Neutral-Reference Prompting for Vision-Language Models

Resumo Técnico: Prompting de Referência Neutra para Modelos Visão-Linguagem (NeRP)

1. Declaração do Problema

Modelos Visão-Linguagem (VLMs) demonstraram fortes capacidades zero-shot, no entanto, sua transferência eficiente via ajuste de prompts ou adaptação leve frequentemente sofre com o Trade-off Base–Novo (BNT). Melhorar o desempenho em classes não vistas (novas) frequentemente degrada a precisão em classes conhecidas (base).

Embora a literatura existente atribua o BNT principalmente ao sobreajuste em classes base durante o ajuste fino, este artigo identifica uma questão subjacente mais sutil: confusão assimétrica. Diferente da confusão simétrica (onde classes similares são mal classificadas em taxas comparáveis), os VLMs exibem vieses sistemáticos unidirecionais, onde amostras da classe A são frequentemente previstas erroneamente como classe B, enquanto o inverso (B → A) raramente ocorre. Esse viés, herdado de desequilíbrios nos dados de pré-treinamento, persiste para classes não vistas porque o ajuste fino padrão (usando perda de entropia cruzada) suprime efetivamente vieses para classes vistas, mas não consegue corrigir os priores induzidos pelo pré-treinamento para classes não vistas.

2. Metodologia: NeRP

Os autores propõem o NeRP (Prompting de Referência Neutra), uma estratégia plug-and-play que corrige previsões no momento da inferência sem modificar parâmetros do modelo ou re-treinar. O método opera na observação de que o ajuste fino deforma principalmente o subespaço de baixa dimensão abrangido pelos protótipos de classes base, deixando a geometria zero-shot de classes não vistas relativamente estável.

Componentes Principais:

• Prompts de Referência Neutra: O método define um prompt "neutro" que é agnóstico à classe.
  • Lado do Texto: Um prompt genérico (por exemplo, "uma foto de um objeto") que descreve qualquer amostra sem pistas específicas de classe.
  • Lado da Imagem: Uma imagem "neutra" construída tomando a média pixel a pixel de todas as imagens de treinamento, preservando o estilo do domínio, mas removendo conteúdo semântico específico.
• Medição da Lacuna de Priori: Ao projetar essas referências neutras contra protótipos de classe, o método calcula priors neutros ($\pi_{txt}$ e $\pi_{img}$). A diferença entre esses priores para um par de classes $(i, j)$ revela a direção e a força do viés inerente do modelo (a "lacuna de priori").
• Score Surrogado Estilo Bayesiano: O método constrói um score surrogado combinando a margem de logit da amostra observada ($m_{ij}$) com a lacuna de priori neutra ($\Sigma_{i,j}$).
  $$s_{ij}(x) \approx m_{ij}(x) + \Sigma_{i,j}(D) + \hat{\beta}(D)$$
• Regra de Decisão (Inversão Local): Para uma dada amostra, se o priori favorecer fortemente uma classe específica (grande $\Sigma_{i,j}$) mas a evidência observada (margem de logit) for fraca, a previsão é considerada "dominada por priori" e provavelmente errônea. Nesses casos, o NeRP realiza uma inversão local entre pares de classes facilmente confundíveis para corrigir o viés. Se tanto o priori quanto a evidência forem fracos, a previsão permanece inalterada.

Justificativa Teórica:
O artigo fornece provas teóricas (Proposição 3.5 e Corolário 3.6) mostrando que, sob um modelo de deformação de baixo posto do ajuste fino, a lacuna de priori neutra alinha-se com a margem de logit esperada para classes não vistas com alta probabilidade. Isso permite que o priori neutro sirva como uma âncora confiável para detectar e corrigir viés.

3. Contribuições Principais

• Identificação da Confusão Assimétrica: O artigo destaca que o BNT não é causado apenas pelo sobreajuste, mas é significativamente impulsionado por vieses de pré-treinamento persistentes e assimétricos em classes não vistas.
• Mecanismo de Referência Neutra: A introdução de prompts de texto e imagem neutros para medir preferências de priori por classe ao longo da geometria inter-classe pré-treinada.
• Correção Livre de Parâmetros: O NeRP é uma estratégia pós-hoc, plug-and-play, que não requer treinamento adicional, atualizações de parâmetros ou alterações arquitetônicas em VLMs existentes.
• Análise Teórica: O trabalho estabelece um link formal entre priores neutros e a estabilidade da geometria zero-shot, provando que esses priores podem detectar confiavelmente a direção do viés em classes novas.

4. Resultados Experimentais

Os autores avaliaram o NeRP em 15 benchmarks, incluindo 11 conjuntos de dados de reconhecimento com poucos exemplos (por exemplo, ImageNet, Caltech101, OxfordPets) e 4 conjuntos de dados de generalização de domínio/cross-domain (por exemplo, ImageNet-V2, ImageNet-Sketch).

• Baselines: O método foi integrado com quatro métodos distintos de ajuste de prompts e adaptação de última geração: CoCoOp, PromptSRC, MMA e MMRL.
• Desempenho:
  • Generalização Base-para-Novo: O NeRP melhorou consistentemente a precisão em classes não vistas (novas) em todas as baselines e conjuntos de dados. Por exemplo, no EuroSAT, os ganhos excederam 5%, enquanto melhorias de 0,5–2% foram observadas no ImageNet e Flowers102.
  • Preservação do Desempenho Base: Crucialmente, o NeRP melhorou o desempenho em classes novas sem degradar a precisão em classes base, mitigando efetivamente o BNT.
  • Generalização Cross-Domain e de Domínio: O NeRP produziu ganhos imediatos em tarefas de generalização entre conjuntos de dados e de domínio, com melhorias médias de ~1% em 10 conjuntos de dados.
• Estudos de Ablação: Experimentos confirmaram que o método é robusto a diferentes granularidades de busca para hiperparâmetros e eficaz mesmo com muito poucas amostras usadas para calibração.

5. Significado e Alegações

O artigo posiciona o NeRP como um "almoço grátis" para transferência eficiente de aprendizado em VLMs. Seu significado principal reside em desacoplar o trade-off entre discriminação (em classes base) e generalização (em classes novas) ao abordar a causa raiz do viés assimétrico, em vez de apenas o sintoma do sobreajuste.

Os autores afirmam que o NeRP serve como uma estratégia de correção universal e agnóstica ao modelo que equilibra discriminação e generalização. Ao aproveitar referências neutras para expor e corrigir vieses induzidos pelo pré-treinamento, o NeRP permite que métodos existentes de adaptação de VLMs alcancem melhor desempenho em classes não vistas sem o custo computacional de re-treinamento ou o risco de comprometer a precisão de classes conhecidas. O trabalho sugere que entender e corrigir a "confusão assimétrica" é uma via crítica, anteriormente pouco explorada, para melhorar a robustez dos VLMs.