Resumo Técnico: Ancoragem de Distribuição Visual para Ajuste de Prompt Eficiente

1. Definição do Problema

Modelos de visão-linguagem (VLMs) como o CLIP realizam o reconhecimento zero-shot comparando representações de imagens contra classificadores de texto derivados de nomes de classes. Embora o ajuste de prompts (prompt tuning) adapte esses modelos usando dados de origem rotulados limitados, as abordagens existentes enfrentam um compromisso fundamental entre eficiência e capacidade de adaptação:

• Prompts textuais estáticos são computacionalmente baratos, mas frequentemente sofrem overfitting à distribuição de origem, falhando em capturar como as classes se manifestam visualmente em um novo domínio alvo.
• Prompts condicionais à imagem adaptam-se a consultas individuais, mas incorrem em custos de computação por instância.
• O ajuste multimodal modifica o ramo visual, aumentando a complexidade.

Existe uma lacuna crítica: os nomes das classes definem a identidade semântica (ex: "floresta"), mas não especificam a instanciação visual dessa classe em um domínio alvo específico (ex: uma imagem de satélite aérea de uma floresta). Métodos existentes que tentam sintetizar protótipos visuais diretamente de nomes de classes frequentemente falham ao transferir para novos conjuntos de dados porque recuperam a geometria do domínio de origem em vez da aparência do domínio alvo. Além disso, o condicionamento indireto de prompts pode não explorar efetivamente os protótipos visuais disponíveis, mesmo quando eles existem.

2. Metodologia: Ancoragem de Distribuição Visual (VDA)

Os autores propõem o VDA, um framework de adaptação de alvo livre de treinamento que aumenta um classificador semântico congelado com protótipos visuais de nível de classe estimados offline a partir de um pool de alvo não rotulado. O método opera sem rótulos de alvo, otimização do lado do alvo, suposições de prior de classe uniforme ou refinamento iterativo.

Componentes Principais

1. Classificadores Semânticos e de Domínio Congelados:

   • Um classificador semântico congelado (ex: TCP ou CLIP zero-shot) pontua imagens com base em nomes de classes.
   • Um classificador de template de domínio fixo pontua imagens com base em uma combinação de nomes de classes e uma descrição de domínio especificada manualmente (ex: "uma fotografia em close-up de uma textura de [classe]").
   • Os logits de ambos os classificadores são calculados pela média para pontuar cada imagem não rotulada no pool de alvo.

2. Particionamento Rígido (Hard Partitioning):

   • Ao contrário dos métodos de atribuição suave (ex: Sinkhorn) que forçam distribuições equilibradas, o VDA realiza uma atribuição argmax rígida, atribuindo cada imagem a exatamente uma classe prevista.
   • Isso permite massas de classe desiguais, refletindo a distribuição natural do pool não rotulado.

3. Seleção de Pseudo-Suporte com Limite (Capped Pseudo-Support Selection):

   • Dentro de cada grupo de classe previsto, as imagens são classificadas pela confiança de atribuição (probabilidade softmax).
   • O VDA retém no máximo $K$ (ex: $K=32$) imagens de topo ranqueadas por classe como "pseudo-suportes". Se uma classe tiver menos de $K$ atribuições, todas são retidas; se não tiver nenhuma, a classe depende exclusivamente do classificador semântico.
   • Crucialmente, o método não exige pseudo-rótulos perfeitos; erros de classificação visualmente locais (ex: classificar incorretamente um modelo específico de aeronave, mas identificar corretamente o fabricante) ainda podem fornecer informações úteis de aparência do domínio alvo.

4. Estimativa e Fusão de Protótipos:

   • Protótipos visuais normalizados são computados como a média das características dos pseudo-suportes selecionados para cada classe.
   • Esses protótipos são fundidos com o classificador semântico original usando um único peso global ($\lambda$).
   • A fusão é conservadora: o classificador semântico preserva a identidade da classe, enquanto o protótipo visual corrige a aparência do domínio alvo.
   • Em espaços de características compartilhados (ex: CLIP padrão), essa fusão reduz-se a um vetor de classe fixo e cacheável, não exigindo computação adicional durante a inferência.

3. Principais Contribuições

O artigo apresenta três contribuições principais:

1. Distinção entre Reconstrução de Origem e Transferência de Alvo: Os autores demonstram que, embora o mapeamento texto-para-centróide possa reconstruir com precisão os protótipos de origem retidos, ele falha em prever os protótipos de alvo específicos do domínio. Análises de oráculo confirmam que os verdadeiros protótipos de alvo são altamente discriminativos, motivando a necessidade de estimá-los a partir de imagens de alvo não rotuladas em vez de apenas texto.
2. Introdução do VDA: Um framework livre de treinamento que estima protótipos visuais correlacionados à classe a partir de um pool de alvo disjunto e não rotulado, fundindo-os com um classificador semântico congelado. Não requer rótulos de alvo, atualizações de gradiente ou refinamento iterativo.
3. Análise de Mecanismo: Experimentos controlados revelam que o particionamento rígido específico de classe é o principal motor dos ganhos de desempenho, e não estatísticas genéricas do domínio de alvo. Além disso, o estudo mostra que erros de pseudo-rótulo visualmente locais podem permanecer úteis quando combinados com um classificador semanticamente estável.

4. Resultados Experimentais

Os autores avaliaram o VDA em dez transferências de ImageNet-para-alvo (incluindo Caltech101, Oxford Pets, Stanford Cars, Flowers102, Food101, FGVC-Aircraft, SUN397, DTD, EuroSAT e UCF101).

• Desempenho Primário: Usando o TCP como classificador semântico base, o VDA melhorou a acurácia média top-1 de 65,82% para 69,21% (+3,39 pontos), melhorando nove dos dez conjuntos de dados de alvo.
• Comparação com Baselines:
  • O VDA superou o ZLaP em 1,53 pontos em média.
  • O VDA superou uma reprodução sem prior correspondente do InMaP em 2,98 pontos.
  • O método alcançou esses ganhos sem assumir um prior de classe uniforme ou usar imagens de teste de alvo para adaptação.
• Generalidade: O mecanismo de correção visual foi aplicado a vários classificadores semânticos, demonstrando melhorias consistentes:
  • Zero-shot CLIP: +3,22 pontos (65,34% $\to$ 68,56%).
  • MaPLe (Multimodal Prompt): +3,35 pontos (66,25% $\to$ 69,60%).
  • PromptKD (Target-Distilled): +2,79 pontos (70,80% $\to$ 73,59%).
• Insights de Ablação:
  • O uso direto de protótipos visuais sem fusão semântica rendeu ganhos mínimos, confirmando a necessidade de fundir a correção de aparência com a identidade semântica.
  • Métodos de atribuição suave (Sinkhorn) levaram a atribuições de alta entropia e degradação de desempenho, validando a escolha do particionamento rígido.
  • O ranking de confiança forneceu um benefício menor, dependente do domínio, em comparação com a correspondência de classe rígida.

5. Significância e Alegações

O artigo afirma que o VDA oferece um mecanismo simples, eficiente e complementar para adaptar modelos de visão-linguagem baseados em prompts a novos domínios. Sua significância reside em:

• Adaptação Livre de Treinamento: Elimina a necessidade de otimização no lado do alvo, refinamento iterativo ou acesso a consultas de teste durante a fase de adaptação.
• Desacoplamento de Identidade e Aparência: Ao tratar os protótipos visuais como correções em vez de substituições, o VDA aproveita a robustez do classificador semântico enquanto se adapta às mudanças de aparência do domínio alvo.
• Robustez a Rótulos Imperfeitos: O método utiliza efetivamente pseudo-rótulos imperfeitos, desde que sejam visualmente locais à classe real, tornando-o prático para cenários onde rótulos exatos não estão disponíveis.
• Eficiência de Implantação: O classificador resultante é fixo e cacheável, não incorrendo em custo de inferência adicional em comparação com classificadores congelados padrão quando operando em um espaço de características compartilhado.

Os autores concluem que a evidência visual de nível de classe, derivada de pools não rotulados e ancorada via particionamento rígido, serve como um recurso poderoso e subutilizado para o ajuste de prompts eficiente.