Towards Fine-Grained Robustness: Attention-Guided Test-Time Prompt Tuning for Vision-Language Models

Resumo Técnico: Ajuste de Prompt Guiado por Atenção no Momento da Inferência para Modelos Visão-Linguagem

Declaração do Problema

Modelos Visão-Linguagem (VLMs), como o CLIP, demonstraram desempenho notável em zero-shot em diversas tarefas downstream. No entanto, eles exibem vulnerabilidade significativa a perturbações adversariais, onde até mesmo ataques sutis podem degradar drasticamente as capacidades de inferência e empurrar rótulos verdadeiros para fora das top-$K$ previsões. Embora métodos de adaptação no momento do treinamento (e.g., VPT, FAP) ofereçam defesas, eles incorrem em altos custos computacionais e exigem grandes quantidades de dados adversariais rotulados, limitando sua praticidade.

Métodos existentes de adaptação no momento da inferência (TTA), que tipicamente dependem de aumento de múltiplas visões e minimização de entropia, lutam em cenários de granularidade fina. Esses métodos frequentemente empregam edição aleatória de regiões ou aumento no espaço de características, o que pode inadvertidamente destruir regiões semânticas discriminativas essenciais para o reconhecimento de granularidade fina. Além disso, técnicas de aumento que preservam semânticas frequentemente dependem de aprendizado no espaço de características ou sinais auto-supervisionados (como logits originais) que perdem sua capacidade de preservação de rótulos sob ataques adversariais, pois o próprio espaço de características se torna distorcido além do limite de decisão original.

O desafio central abordado é: Podemos projetar um método de adaptação no momento da inferência que identifique e preserve informações semânticas discriminativas sem aprendizado no espaço de características, mesmo sob ataques adversariais?

Metodologia: A-TPT

Os autores propõem o Ajuste de Prompt Guiado por Atenção no Momento da Inferência (A-TPT), um framework projetado para guiar a adaptação no momento da inferência usando atenção visual robusta como uma âncora semântica. O método opera sem priores ou modelos de treinamento adicionais e consiste em três componentes principais:

1. Refinamento de Atenção por Gradiente (GAR):
   O Rolamento de Atenção por Gradiente (GAR) padrão é mostrado como sensível a perturbações adversariais, produzindo mapas de atenção dispersos e não confiáveis. O A-TPT refina esse mecanismo substituindo o sinal de gradiente baseado em atenção por um sinal de gradiente baseado em tokens.

   • Em vez de ponderar matrizes de atenção diretamente com gradientes do mapa de atenção, o A-TPT calcula um vetor de ponderação baseado no produto interno de embeddings de tokens e seus gradientes em relação ao logit alvo.
   • Essa abordagem desacopla a ponderação da sensibilidade de segunda ordem do gradiente de atenção, resultando em mapas de atenção mais suaves e confiáveis que destacam regiões discriminativas mesmo sob ataque.
   • Para suprimir ainda mais o ruído, o método média as matrizes de transição dos dois últimos blocos do transformer.

2. Aumento de Múltiplas Visões Guiado por Atenção:
   Usando o mapa de atenção refinado como uma âncora semântica, o A-TPT gera visões diversas enquanto preserva partes semânticas críticas.

   • O mapa de atenção espacial é usado para dividir a imagem em regiões de alta atenção e baixa atenção.
   • Regiões de alta atenção (contendo partes discriminativas) são protegidas com baixa intensidade de aumento para evitar corrupção.
   • Regiões de baixa atenção (frequentemente fundo ou detalhes irrelevantes) são submetidas a maior intensidade de aumento (e.g., via AugMix) para gerar diversidade.
   • Esse aumento espacialmente variável garante que as visões geradas mantenham a integridade das partes semânticas necessárias para a classificação.

3. Ensemble Baseado em TV:
   Para selecionar as visões mais confiáveis para a inferência final, o A-TPT emprega uma estratégia de ponderação baseada em Variação Total (TV).

   • O método calcula a Variação Total anisotrópica do mapa de atenção para cada visão aumentada. Alta TV indica distribuições de atenção fragmentadas ou picudas, frequentemente associadas a características corrompidas ou fundos irrelevantes.
   • Visões com TV mais baixa (atenção mais suave e contínua) recebem pesos mais altos, enquanto aquelas com alta TV são desponderadas.
   • A previsão final é um ensemble ponderado das visões de baixa entropia, priorizando aquelas com distribuições de atenção semanticamente confiáveis.

Contribuições Principais

1. Sinal de Gradiente Robusto: O artigo refina o mecanismo de Rolamento de Atenção por Gradiente introduzindo um sinal de gradiente baseado em tokens. Essa modificação simples identifica efetivamente informações semânticas não perturbadas sob ataques adversariais, superando a sensibilidade dos mapas de atenção padrão.
2. Primeiro TTA Guiado por Semântica para Robustez de Granularidade Fina: O A-TPT é proposto como o primeiro método de adaptação no momento da inferência que explora explicitamente regiões semânticas discriminativas para guiar o processo de adaptação, visando especificamente os desafios do reconhecimento de granularidade fina onde preservar pequenos detalhes críticos é crucial.
3. Desempenho Abrangente: Extensos experimentos demonstram que o A-TPT não apenas preserva regiões discriminativas, mas também supera substancialmente métodos de adaptação no momento da inferência de última geração (SOTA) em distribuições de dados limpos e adversariais.

Resultados Experimentais

Os autores avaliaram o A-TPT em nove conjuntos de dados, incluindo ImageNet padrão e oito benchmarks de granularidade fina (e.g., OxfordPets, FGVC-Aircraft, StanfordCars).

• Robustez Adversarial: Em tarefas de granularidade fina usando ViT-B/16, o A-TPT alcançou uma precisão adversarial média de 45,7%, superando significativamente métodos SOTA como R-TPT (40,7%) e MTA (39,9%). No ImageNet, atingiu 48,2% de precisão adversarial em comparação com o desempenho próximo de zero do CLIP sob ataque.
• Precisão Limpa: O A-TPT também melhorou a precisão limpa, alcançando 63,0% em tarefas de granularidade fina com ViT-B/16, superando o R-TPT (61,1%) e o MTA (62,4%).
• Generalização: O método manteve desempenho forte em conjuntos de dados Fora de Distribuição (OOD) (ImageNet-A, V2, R, S) sob condições adversariais, alcançando uma robustez adversarial média de 35,8% em comparação com 0,3% para o CLIP de base.
• Estudos de Ablação: Experimentos confirmaram que todos os três componentes (Refinamento, Aumento e Ensemble-TV) são necessários. A remoção da etapa de refinamento fez com que os módulos de aumento e ensemble falhassem em proteger regiões discriminativas.
• Eficiência: Embora o método exija extração de atenção por amostra, os autores observam que reduzir o número de visões aumentadas (e.g., de 64 para 16) reduz significativamente o tempo de inferência com perda mínima de precisão.

Significado e Alegações

O artigo alega que o A-TPT representa um passo significativo em direção à robustez de granularidade fina em VLMs. Ao desacoplar a identificação semântica da etapa de treinamento e alavancar mecanismos de atenção robustos, o método fornece um paradigma de defesa eficaz que não requer dados adversariais rotulados.

Os autores enfatizam que a chave para a robustez em cenários de granularidade fina reside em identificar e preservar partes semânticas discriminativas em vez de apenas otimizar representações de características. O método proposto demonstra que a adaptação no momento da inferência pode ser tanto robusta contra ataques adversariais quanto eficaz em dados limpos, desde que o processo de adaptação seja guiado por atenção confiável e que preserva semânticas.

Limitações: Os autores reconhecem que o A-TPT depende de aumento de múltiplas visões e seleção de visões, o que significa que não é totalmente imune a ataques adversariais. Sugere-se trabalho futuro para explorar informações semânticas discriminativas diretamente no espaço latente.