Resumo Técnico: Ajuste de Prompt de Domínio Adversário e Geração para Generalização de Domínio Único

1. Definição do Problema

O artigo aborda a Generalização de Domínio Único (SDG - Single Domain Generalization), um paradigma de aprendizado desafiador onde um modelo deve ser treinado em um único domínio rotulado ($\mathcal{D}_S$) e performar de forma robusta em múltiplos domínios alvo não vistos ($\mathcal{D}_T$). Diferente da Generalização de Domínio (DG) padrão, que utiliza múltiplos domínios de origem, ou da Adaptação de Domínio (DA), que acessa dados do alvo, a SDG opera sob restrições estritas onde os domínios alvo estão indisponíveis durante o treinamento e frequentemente exibem mudanças significativas de distribuição (por exemplo, mudanças de estilo, fundo ou perspectiva).

As abordagens de SDG existentes geralmente dependem de aumento de dados ou normalização adaptativa. No entanto, esses métodos têm dificuldade em construir domínios suficientemente diversos para cobrir lacunas de estilo arbitrárias, particularmente quando as características do domínio são demasiado abstratas para serem descritas manualmente. Embora os modelos fundacionais de Texto-para-Imagem (T2I) ofereçam capacidades generativas poderosas, projetar manualmente prompts textuais para cada possível estilo de domínio é impraticável e falha em capturar nuances estilísticas abstratas.

2. Metodologia: Ajuste de Prompt Adversário Progressivo (PAPT)

Os autores propõem o Ajuste de Prompt Adversário Progressivo (PAPT - Progressive Adversarial Prompt Tuning), um framework que utiliza Modelos de Difusão Latente (LDMs) pré-treinados para gerar automaticamente dados de treinamento fora da distribuição (OOD) diversos. Em vez de depender de descrições textuais estáticas, o método aprende dois conjuntos de prompts abstratos e aprendíveis:

2.1. Componentes Principais

1. Ajuste de Prompt de Categoria (CPT - Category Prompt Tuning):

   • Objetivo: Capturar informações de categoria invariantes ao domínio.
   • Mecanismo: Para cada classe $k$, um vetor de prompt aprendível $\mathbf{E}^c_k$ é inserido em um template de texto fixo (ex: "uma foto de um [classe]"). Este prompt é otimizado usando os dados do domínio de origem para garantir que as imagens geradas mantenham as características semânticas corretas da classe, independentemente do estilo do domínio.

2. Ajuste de Prompt de Domínio Adversário (AD - Adversarial Domain Prompt Tuning):

   • Objetivo: Modelar estilos específicos de domínio, incluindo aqueles demasiado abstratos para a linguagem.
   • Mecanismo: Um conjunto de vetores de prompt de domínio aprendíveis $\mathbf{E}^d_i$ é mantido em um Banco de Memória Específico de Domínio ($\mathcal{P}$).
   • Objetivo Adversário: Para gerar um novo prompt de domínio $\mathbf{E}^d_o$, o modelo minimiza a similaridade entre a representação latente da imagem gerada e todos os prompts existentes em $\mathcal{P}$. Isso é alcançado via uma perda contrastiva ($\mathcal{L}_{domain}$) que afasta o novo estilo dos estilos aprendidos anteriormente.
   • Objetivo de Consistência: Simultaneamente, uma perda de consistência de categoria ($\mathcal{L}_{class}$) garante que a imagem gerada permaneça semanticamente alinhada com o prompt de categoria.
   • Otimização: A perda total é $\mathcal{L}_{all} = \mathcal{L}_{class} + \lambda \mathcal{L}_{domain}$. Para tornar o backpropagation viável, os autores empregam uma aproximação de um passo do processo de denoising.

3. Esquema de Treinamento Progressivo (PTS - Progressive Training Scheme):

   • Objetivo: Garantir diversidade contínua nos domínios gerados.
   • Mecanismo: O banco de memória $\mathcal{P}$ é atualizado iterativamente. Após um número definido de iterações, o novo prompt de domínio recém-aprendido $\mathbf{E}^d_o$ é adicionado a $\mathcal{P}$. Isso força o treinamento subsequente a gerar estilos que sejam distintos do conjunto em expansão de estilos aprendidos, ampliando efetivamente a distribuição dos dados de treinamento gerados.

2.2. Fluxo de Trabalho

1. Inicialização: Semear manualmente $\mathcal{P}$ com alguns embeddings de domínio textuais.
2. Treinamento:
   • Otimizar prompts de categoria $\mathbf{E}^c_k$ nos dados de origem.
   • Aprender iterativamente novos prompts de domínio $\mathbf{E}^d_o$ via ajuste adversário contra $\mathcal{P}$.
   • Atualizar $\mathcal{P}$ adicionando novos prompts bem-sucedidos.
3. Geração: Usar os prompts aprendidos para gerar um conjunto diverso de imagens ($\mathcal{D}_G$) usando o modelo T2I.
4. Modelo Final: Treinar o classificador downstream no conjunto da união do domínio de origem original e das imagens de domínio geradas.

3. Contribuições Principais

O artigo reivindica as seguintes contribuições:

• Primeira Aplicação de T2I para SDG: É o primeiro trabalho a utilizar modelos fundacionais de texto-para-imagem especificamente para generalização de domínio único, indo além do engenharia de prompt manual para prompts abstratos aprendíveis.
• Aprendizado de Prompt Abstrato: O método substitui domínios textuais rígidos por vetores aprendíveis que podem representar estilos abstratos difíceis de descrever com palavras (ex: estilos artísticos específicos ou mudanças de fundo).
• Framework Adversário Progressivo: O framework PAPT proposto equilibra o compromisso entre gerar estilos de domínio diversos e preservar a semântica categórica através de um mecanismo de aprendizado adversário e uma estratégia de atualização de banco de memória progressiva.
• Desempenho de Estado da Arte: O método alcança um desempenho superior em comparação com as abordagens de SDG existentes em múltiplos benchmarks.

4. Resultados Experimentais

O método foi avaliado em cinco benchmarks padrão de DG: PACS, VLCS, Office-Home, DomainNet e TerraIncognita.

• Generalização de Domínio Único (SDG):

  • No PACS, o PAPT alcançou uma acurácia média de 72,72%, superando o melhor anterior (Prompt-Driven) em 1,60%.
  • No VLCS, alcançou 73,37%, uma melhoria significativa de 9,55% sobre o baseline, demonstrando robustez a mudanças de fundo e perspectiva onde os rótulos de domínio não possuem significado semântico.
  • No Office-Home, atingiu 62,03%, superando o estado da arte em 3,73%.
  • O método mostrou ganhos particularmente fortes quando o domínio de origem era um estilo "difícil" (ex: Sketch ou Clipart), com melhorias de até 21,62% em configurações específicas.

• Generalização de Domínio de Múltiplas Fontes:

  • Quando estendido para configurações de múltiplas fontes, o PAPT superou o estado da arte SMOS em 1,34% em média em todos os datasets.
  • Notavelmente, no desafiador dataset DomainNet (grandes discrepâncias de estilo), o PAPT superou o SMOS em 4,88%.

• Estudos de Ablação:

  • Ajuste de Domínio Adversário (AD): Proporcionou ganhos de 3,88% no PACS e 3,42% no VLCS, provando que prompts aprendíveis superam descrições textuais manuais para estilos abstratos.
  • Esquema de Treinamento Progressivo (PTS): Melhorou ainda mais o desempenho em 2,50% (PACS) e 0,83% (VLCS), confirmando que a expansão iterativa da diversidade de estilo reduz a discrepância de distribuição.
  • Sensibilidade de Parâmetros: O método mostrou estabilidade em relação à inicialização do banco de memória e ao hiperparâmetro $\lambda$ (definido como 10).

5. Significância e Alegações

O artigo posiciona seu trabalho como uma solução para as limitações das técnicas atuais de aumento de dados, que frequentemente falham em cobrir a vasta lacuna de distribuição entre os domínios de origem e alvo. Ao utilizar o poder generativo dos modelos T2I através de prompts abstratos aprendíveis, os autores alegam:

1. Superar a incapacidade do texto manual de descrever características de domínio abstratas.
2. Gerar automaticamente um intervalo suficientemente diverso de imagens de treinamento sem exigir acesso aos dados do alvo ou múltiplos domínios de origem.
3. Alcançar um desempenho de generalização comprovável ao minimizar explicitamente a discrepância de distribuição entre os domínios gerados e o alvo através de aprendizado adversário.

Os autores concluem que seu framework mitiga efetivamente os problemas de mudança de domínio, particularmente em cenários envolvendo mudanças complexas de fundo e perspectiva, oferecendo uma alternativa robusta aos métodos de SDG existentes.