Resumo Técnico: CoDoL – Aprendizado de Prompt de Domínio Condicional para Generalização Fora da Distribuição (Out-of-Distribution)

1. Declaração do Problema

Modelos de aprendizado profundo tipicamente dependem da suposição de que os dados são independentes e identicamente distribuídos (IID), o que frequentemente falha em aplicações do mundo real onde as distribuições dos dados de teste diferem das de treinamento (Generalização Fora da Distribuição ou OOD). Embora os Modelos de Visão-Linguagem (VLMs), particularmente o Treinamento de Pré-treinamento Contrastivo de Linguagem-Imagem (CLIP), tenham demonstrado fortes capacidades zero-shot, os métodos de prompting baseados em CLIP enfrentam duas limitações críticas em cenários OOD:

1. Descrições de Texto Imprecisas: Prompts fixos ou projetados manualmente podem não descrever com precisão o conteúdo visual, levando à degradação da acurácia e da robustez.
2. Alinhamento Limitado de Embeddings de Visão-Linguagem: O alinhamento entre os embeddings de imagem e texto é um fator chave para o desempenho de generalização. Métodos padrão de ajuste de prompt (ex: CoOp) frequentemente falham em alinhar suficientemente essas modalidades sob mudanças de distribuição.

Os métodos atuais lutam para aproveitar informações de domínio prontamente disponíveis (ex: localização, tempo, condições experimentais) para melhorar esse alinhamento, o que é crucial para transferir o conhecimento de múltiplos domínios de treinamento para domínios de teste não vistos.

2. Metodologia: CoDoL

Os autores propõem o Aprendizado de Prompt de Domínio Condicional (CoDoL), um método de eficiência de parâmetros que utiliza informações de domínio para aprimorar o alinhamento dos codificadores de imagem e texto do CLIP. O framework consiste em três componentes principais:

A. Construção de Prompt de Domínio Condicional

Ao contrário do ajuste de prompt padrão, que apenas aprende vetores de contexto específicos de classe, o CoDoL constrói um prompt que inclui tanto informações de classe quanto de domínio. O template do prompt é definido como:
$$t = \text{[Tokens de Classe]} + \text{[Tokens de Domínio]} + \text{[Nome da Classe]} + \text{[Nome do Domínio]}$$

• Tokens de Classe: Vetores aprendíveis compartilhados ou específicos para classes.
• Tokens de Domínio: Vetores aprendíveis projetados para capturar características invariantes ao domínio, permitindo que o modelo generalize para domínios de teste não vistos.
• Exemplo: Para um "cachorro" no domínio "Desenho Animado", o prompt torna-se: "[V]_1...[V]_Mc, [V]_1...[V]_Mk, cachorro, desenho animado".

B. Rede Meta de Domínio (DMN)

Para capturar informações específicas da instância juntamente com informações específicas do domínio, os autores introduzem uma rede neural leve chamada Rede Meta de Domínio (DMN).

• Função: A DMN recebe o vetor de característica da imagem ($z_v$) do codificador de imagem congelado e gera um offset condicionado à entrada.
• Mecanismo: Este offset é adicionado elemento a elemento aos vetores de contexto aprendíveis específicos do domínio.
  $$[V]^k_m(x) = [V]^k_m + (f_\theta(z_v))_m$$
• Resultado: Os tokens resultantes carregam tanto o conhecimento estático do domínio quanto detalhes dinâmicos específicos da instância, criando um prompt $t_{y,j}(x)$ que é condicionado tanto à classe $y$ quanto à instância de imagem específica $x$.

C. Treinamento e Inferência

• Treinamento: O modelo minimiza uma perda de entropia cruzada sobre a posterior conjunta de classe e domínio. O rótulo do domínio é usado durante o treinamento para supervisionar o prompt de domínio específico, mas é tratado como uma variável latente durante a inferência.
• Inferência: No momento do teste, os rótulos de domínio não são necessários. O modelo marginaliza sobre todos os $K$ domínios de treinamento para prever o rótulo da classe:
  $$\hat{c}(x) = \arg \max_y \sum_{j=1}^K p(y, k=j | x)$$

3. Principais Contribuições

1. Novo Framework de Prompting: A proposta do CoDoL, que integra informações de domínio prontamente disponíveis na estrutura do prompt para melhorar o alinhamento de embedding visão-linguagem para generalização OOD.
2. Condicionamento de Instância Leve: A introdução da Rede Meta de Domínio (DMN), uma arquitetura leve que gera tokens condicionados à entrada, permitindo que o modelo capture informações tanto específicas da instância quanto do domínio sem atualizações pesadas de parâmetros.
3. Validação Empírica: Experimentos extensos demonstrando que o CoDoL melhora o alinhamento dos espaços de embedding do CLIP, servindo como um fator contribuinte para os ganhos observados em OOD.

4. Resultados Experimentais

Os autores avaliaram o CoDoL em quatro benchmarks padrão de OOD: PACS, VLCS, OfficeHome e DigitDG, utilizando backbones ResNet50 e ViT-B/16.

• Múltiplos Domínios de Treinamento: O CoDoL alcançou desempenho estado da arte (SOTA) em todos os benchmarks. Por exemplo, no PACS com um backbone ViT-B/16, o CoDoL alcançou uma acurácia média de 98,77%, superando o SOTA anterior (StyLIP) e os baselines zero-shot.
• Domínio Único de Treinamento: No cenário mais desafiador onde apenas um domínio é usado para treinamento, o CoDoL superou consistentemente outras técnicas de prompting (ex: CoOp, CoCoOp) por aproximadamente 3-4%, estabelecendo novos resultados SOTA para cenários de treinamento de domínio único.
• Estudos de Ablação:
  • Eficácia da DMN: A remoção da DMN resultou em uma queda de desempenho de cerca de 3%, confirmando o valor do condicionamento específico da instância.
  • Comprimento do Contexto: O comprimento de contexto ideal para os tokens de domínio ($M_k$) foi encontrado como sendo maior do que para os tokens de classe ($M_c$) em configurações multi-domínio, sugerindo que contextos de domínio mais longos são benéficos para aprender o conhecimento do domínio.
  • Métricas de Alinhamento: A análise quantitativa mostrou que o CoDoL alcançou um gap de modalidade ($\delta_{mod}$) menor e um recall de recuperação cross-modal (R@1) mais alto em comparação com os baselines, confirmando um melhor alinhamento visão-linguagem.
• Eficiência de Dados: O método permaneceu eficaz mesmo com apenas 20% das amostras de treinamento contendo informações de domínio.

5. Significância e Alegações

O artigo afirma que o CoDoL aborda os desafios centrais de descrições de texto imprecisas e alinhamento de embedding limitado nos métodos de prompting baseados em CLIP. Ao modelar explicitamente a informação de domínio e os offsets específicos da instância, o método melhora a robustez dos VLMs em mudanças de distribuição do mundo real.

Os autores posicionam a melhoria no alinhamento de embedding visão-linguagem como um fator primário subjacente aos ganhos observados de generalização OOD. Eles enfatizam que esta abordagem é eficiente em termos de parâmetros, exigindo apenas o treinamento de tokens de prompt e uma DMN leve, mantendo os codificadores pré-treinados congelados. O trabalho sugere que aproveitar a informação de domínio é uma estratégia viável e eficaz para aumentar a confiabilidade de sistemas de IA em aplicações de alto risco onde as distribuições de dados são não estacionárias.