Dual-Modality Anchor-Guided Filtering for Test-time Prompt Tuning

Título: Filtragem Guiada por Âncoras de Dual-Modo para Ajuste de Prompt em Tempo de Teste (TPT)

Autores: Jungwon Choi e Eunwoo Kim (Chung-Ang University)

---

1. Problema Identificado

O Ajuste de Prompt em Tempo de Teste (Test-Time Prompt Tuning - TPT) visa adaptar Modelos Visão-Linguagem (VLMs) a dados não rotulados durante a inferência, minimizando a entropia das previsões de múltiplas visões aumentadas (augmentations) de uma imagem de teste.

No entanto, os métodos existentes enfrentam duas limitações críticas:

1. Filtragem Baseada Apenas em Entropia: Os métodos atuais selecionam visões com base na baixa entropia (alta confiança) do modelo. Sob shifts de distribuição (quando os dados de teste diferem dos dados de treino), o modelo frequentemente exibe alta confiança em previsões erradas (ex.: focando em fundos ou regiões irrelevantes em vez do objeto principal). Minimizar a entropia dessas visões "ruidosas" reforça o viés do modelo e guia o ajuste do prompt na direção errada.
2. Falta de Semântica Fina: Os prompts iniciais são frequentemente genéricos (ex.: "uma foto de um [CLASSE]"), incapazes de distinguir atributos finos necessários para validar a identidade do objeto em recortes confusos.
3. Limitações de Similaridade Visual: Métodos que tentam corrigir isso usando similaridade com a imagem original falham, pois favorecem visões visualmente similares, mas semanticamente pobres, reduzindo a diversidade e a generalização.

2. Metodologia Proposta

Os autores propõem um framework de filtragem guiado por âncoras de dual-modality (texto e imagem) para selecionar apenas as visões informativas e semanticamente alinhadas para o ajuste do prompt.

A. Construção de Âncoras

O sistema utiliza duas fontes de "âncora" para guiar a seleção de visões:

1. Âncora de Texto (Text Anchor):

   • Geração: Utiliza Grandes Modelos de Linguagem (LLMs) para gerar descrições ricas em atributos para cada classe (ex.: "tem pelo macio, orelhas caídas e cauda abanando" para um cachorro), em vez de usar apenas o rótulo da classe.
   • Agregação Ponderada por Alinhamento: Para cada visão aumentada, calcula-se a similaridade entre a imagem e as várias descrições textuais geradas. As descrições são agregadas ponderando-as pela sua relevância (alinhamento) com a imagem específica, criando uma representação textual fina e adaptada ao contexto.
   • Filtragem: As visões são pontuadas combinando o alinhamento com a âncora de texto e a confiança (entropia).

2. Âncora de Imagem (Image Anchor):

   • Construção Adaptativa: Mantém um banco de protótipos de classe que é atualizado cumulativamente durante a inferência com as visões selecionadas pela filtragem de texto.
   • Dinâmica: Captura as estatísticas visuais da distribuição de teste atual, servindo como uma memória de como as classes aparecem naquele domínio específico.
   • Filtragem: Realiza uma segunda etapa de seleção baseada no alinhamento com esses protótipos de imagem e na confiança.

B. Seleção de Visões

O conjunto final de visões é a união das visões selecionadas pelos filtros de texto e de imagem. Isso garante que apenas visões que sejam semanticamente consistentes (texto) e visualmente coerentes (imagem) sejam usadas para o ajuste.

C. Ensemble Adaptativo e Função de Perda

Para estabilizar o sinal de supervisão, os autores não apenas filtram as visões, mas também utilizam as âncoras como cabeças preditivas auxiliares:

• Ensemble Ponderado por Confiança: Combina as previsões do prompt original, da âncora de texto e da âncora de imagem. Os pesos são dinâmicos, baseados na probabilidade máxima de cada fonte (confiança).
• Distribuição Alvo: Cria uma distribuição alvo refinada e "aguda" (sharpened) a partir desse ensemble.
• Otimização: O prompt é atualizado minimizando a Divergência de Kullback-Leibler (KL) entre a previsão do prompt e essa distribuição alvo robusta, em vez de apenas minimizar a entropia direta.

3. Contribuições Principais

1. Mecanismo de Filtragem Dual-Modo: Substitui a filtragem cega baseada em entropia por um processo que valida a seleção de visões através de evidências semânticas (texto) e visuais (imagem).
2. Âncoras Ricas em Semântica: Introduz o uso de descrições geradas por LLMs para criar âncoras textuais de alta granularidade, superando a limitação de prompts genéricos.
3. Supervisão Estável via Ensemble: Utiliza as próprias âncoras como fontes preditivas auxiliares em um ensemble ponderado por confiança, fornecendo um sinal de supervisão mais robusto e estável para o ajuste do prompt.
4. Eficiência e Modularidade: O método é leve, não requer dados rotulados de destino e pode ser integrado facilmente a pipelines de prompt tuning existentes com custo computacional marginal.

4. Resultados Experimentais

O método foi avaliado em 15 conjuntos de dados de referência, incluindo generalização de domínio (ImageNet-A, ImageNet-R, etc.) e transferência entre conjuntos de dados (Flower102, StanfordCars, etc.).

• Desempenho Geral: O método alcançou um novo estado da arte (SOTA), superando significativamente os métodos base line (TPT, DiffTPT, DynaPrompt).
  • Em generalização de domínio, obteve uma melhoria média de +3,68% em relação ao TPT padrão e +3,31% na média de dados fora da distribuição (OOD).
  • Em transferência entre conjuntos de dados, alcançou uma acurácia média de 68,81%, superando o melhor método de prompt learning supervisionado (CoPrompt) em 1,81%.
• Eficiência: Ao contrário de métodos que usam difusão (como DiffTPT), que são computacionalmente pesados, a abordagem proposta mantém um tempo de inferência quase idêntico ao TPT padrão (0,2s por imagem), oferecendo ganhos de precisão superiores com custo mínimo.
• Análise de Ablação: Estudos mostraram que tanto a filtragem de texto quanto a de imagem são complementares. A combinação de filtragem + ensemble de múltiplas fontes (texto, imagem e prompt) produziu os melhores resultados.

5. Significado e Impacto

Este trabalho resolve um problema fundamental no ajuste de modelos em tempo de teste: a confiabilidade da seleção de dados. Ao demonstrar que a minimização cega de entropia é perigosa sob shifts de distribuição, o artigo propõe uma solução que ancora o aprendizado em evidências semânticas e visuais robustas.

A abordagem é particularmente relevante para cenários do mundo real onde dados rotulados não estão disponíveis e a distribuição dos dados de teste é desconhecida. O framework oferece uma base sólida para adaptações robustas, garantindo que o modelo aprenda com as informações corretas, evitando o colapso em previsões confiantes, porém errôneas.