Prompt Disentanglement via Language Guidance and Representation Alignment for Domain Generalization

Resumo Técnico: Desempenho de Desentrelaçamento de Prompts via Orientação de Linguagem e Alinhamento de Representação para Generalização de Domínio (PADG)

Definição do Problema
A Generalização de Domínio (DG) visa treinar modelos que operem de forma robusta em domínios alvo não vistos, utilizando apenas dados de domínios de origem. Um desafio primordial na DG é o "deslocamento de domínio" (domain shift), onde os dados de treinamento e teste seguem distribuições diferentes, violando a suposição padrão de independência e distribuição idêntica (i.i.d.). Embora métodos recentes de Modelos de Fundação Visual (VFMs), como o CLIP, mostrem potencial, os métodos de ajuste de prompt existentes frequentemente focam na adaptação específica à tarefa, em vez de desentrelaçar características invariantes de domínio das características específicas de domínio. Consequentemente, esses métodos têm dificuldade em gerar representações que generalizem efetivamente através de diversos domínios não vistos. Além disso, a orientação puramente baseada em texto muitas vezes falha em capturar variações complexas e específicas de domínio (ex: mudanças de perspectiva ou de fundo) que são difíceis de descrever linguisticamente, levando a um desentrelaçamento incompleto.

Metodologia
Os autores propõem o PADG (Prompt Disentanglement via Language Guidance and Representation Alignment), um framework unificado que aproveita a flexibilidade dos VFMs e dos Grandes Modelos de Linguagem (LLMs) para alcançar uma generalização de domínio robusta. O framework opera através de dois estágios de treinamento e uma estratégia de inferência:

1. Desentrelaçamento de Prompt Cross-Modal (CMD): Este estágio aborda a separação de características entre modalidades.

   • Desentrelaçamento de Texto Assistido por GPT (GAT): Os autores utilizam um LLM (GPT-3) para gerar descrições detalhadas para cada classe dentro de domínios específicos. Através da análise semântica latente, o LLM sintetiza essas informações em descrições invariantes de domínio (ex: forma estrutural) e específicas de domínio (ex: cor ou fundo). Essas descrições são usadas para guiar o aprendizado de prompts textuais desentrelaçados via perdas de destilação e aprendizado contrastivo.
   • Desentrelaçamento de Imagem Guiado por Texto (IMT): Os embeddings textuais desentrelaçados servem como guias semânticos para o codificador visual. O codificador visual é ajustado usando prompts aprendíveis para produzir características visuais invariantes de domínio e específicas de domínio correspondentes. Este processo é regularizado pela minimização da distância entre as características visuais aprendidas e os embeddings originais do CLIP, enquanto impõe confusão de domínio para as características invariantes.

2. Alinhamento de Representação de Pior Caso (WERA): Para compensar as limitações da orientação apenas por texto na captura de variações visuais, este módulo aumenta a invariância visual através da robustez distributiva.

   • O método modela uma distribuição de pior caso dentro de uma bola de Wasserstein centrada no domínio de origem.
   • Em vez de distorcer a semântica da imagem, ele emprega uma estratégia de estilização que ajusta a média e a variância (estatísticas) de características visuais intermediárias usando prompts aprendíveis.
   • Um processo de otimização iterativo busca as amostras estilizadas de pior caso que maximizam o risco empírico. O modelo então alinha as representações das amostras originais e estilizadas, garantindo que as características visuais aprendidas permaneçam estáveis sob deslocamentos distributivos limitados.

3. Aprendizado de Protótipo Específico de Domínio (DSPL): Durante a inferência, os autores argumentam que confiar apenas em características invariantes de domínio é subótimo. Eles introduzem uma estratégia de ensemble que combina predições invariantes de domínio com predições específicas de domínio.

   • Protótipos são construídos para cada classe dentro de cada domínio de origem usando o codificador visual específico de domínio.
   • Para uma amostra de teste, o modelo calcula a similaridade entre a consulta (query) e esses protótipos para gerar uma predição específica de domínio.
   • A saída final é uma combinação ponderada da predição invariante de domínio e da predição baseada em protótipos específica de domínio, aproveitando o conhecimento de domínios vistos similares para auxiliar na classificação de domínios não vistos.

Principais Contribuições

• Framework PADG: Um novo framework de ajuste de prompt que utiliza plenamente a modalidade de texto para alcançar o desentrelaçamento cross-modal, separando componentes invariantes e específicos tanto no espaço textual quanto no visual.
• Módulo WERA: Um novo módulo que estiliza adversariamente as características visuais dentro de uma bola de Wasserstein e impõe o alinhamento entre as distribuições original e perturbada. Os autores fornecem análise teórica garantindo limites de generalização sob esta otimização.
• Estratégia DSPL: Um mecanismo de ensemble baseado em protótipos que integra estatísticas específicas de domínio com predições invariantes de domínio para melhorar a confiabilidade da inferência.
• Avaliação Abrangente: Experimentos extensos demonstrando a eficácia do método em múltiplos benchmarks.

Resultos Experimentais
Os autores avaliaram o PADG em cinco benchmarks principais de DG: PACS, VLCS, OfficeHome, DomainNet e TerraIncognita.

• DG de Múltiplas Fontes: O PADG alcançou o estado da arte (SOTA) em todos os datasets, com uma acurácia média de 78,73%, superando métodos SOTA anteriores como SIMPLE+ (78,10%) e SMOS (68,30%). Notavelmente, no desafiador dataset TerraIncognita, o PADG melhorou o baseline ERM em 6,71% e superou o CLIP-LoRA em 3,31%.
• DG de Fonte Única: No cenário mais difícil de generalização de domínio único (treinando em uma fonte, testando em múltiplos alvos), o PADG superou significativamente os métodos existentes, incluindo abordagens baseadas em UDIM e CLIP, com melhorias de até 16,79% no OfficeHome.
• Estudos de Ablação: Os autores confirmaram a significância estatística de cada componente (GAT, IMT, WERA, DSPL). Os resultados indicaram que o desentrelaçamento de texto fornece pistas semânticas ricas, enquanto o WERA reduz efetivamente a divergência entre origem e alvo, e o DSPL refina ainda mais a inferência ao utilizar o conhecimento específico de domínio.

Significância e Alegações
O artigo afirma que o PADG reformula com sucesso o ajuste de prompt como um problema de desentrelaçamento, abordando efetivamente as limitações de métodos existentes que confundem características específicas de tarefa e invariantes de domínio. Ao combinar a riqueza semântica de LLMs com a robustez distributiva do aprendizado baseado em Wasserstein, o método alcança um desempenho robusto mesmo sob grandes mudanças de estilo e dados de origem limitados. Os autores asseguram que sua abordagem fornece um framework de ajuste fino leve e eficaz que valida a hipótese de que o desentrelaçamento explícito de fatores invariantes e específicos é crucial para a generalização. A análise teórica apoia ainda a afirmação de que a otimização proposta garante robustez contra deslocamentos distributivos dentro de um raio definido.