Pay Less Attention to Function Words for Free Robustness of Vision-Language Models

Título: Menos Atenção a Palavras Funcionais para Robustez Gratuita em Modelos Visão-Linguagem

1. O Problema

Os Modelos Visão-Linguagem (VLMs) são altamente suscetíveis a ataques adversariais, onde pequenas perturbações na imagem ou no texto podem levar a erros de classificação ou recuperação.

• Trade-off Robustez-Desempenho: As defesas existentes, como o Treinamento Adversarial (AT), geralmente melhoram a robustez, mas causam uma queda significativa no desempenho em dados limpos (clean performance) e exigem altos custos computacionais.
• Vulnerabilidade Específica: Os autores identificam uma vulnerabilidade intencional: as palavras funcionais (ex: artigos, preposições, conjunções como "the", "is", "of") carregam pouca informação semântica, mas possuem alta frequência. Devido às lacunas semânticas inerentes entre imagens limpas e textos alvo, perturbações cruzadas tendem a se guiar para tokens mais "próximos" semanticamente. As palavras funcionais tornam-se alvos fáceis para ataques, criando uma vulnerabilidade indesejada que desalinha o modelo.

2. Metodologia: Function-word De-Attention (FDA)

Para mitigar essa vulnerabilidade sem re-treinar o modelo do zero ou sacrificar desempenho, os autores propõem o FDA (Function-word De-Attention). A abordagem é inspirada em Transformers Diferenciais e amplificadores diferenciais.

Funcionamento do FDA:

1. Pipeline Paralelo: O método adiciona um pipeline paralelo aos cabeçotes de atenção (attention heads) dentro dos codificadores de fusão do VLM.
2. Extração de Distração:
   • O modelo calcula a atenção cruzada original entre todas as palavras e a imagem.
   • Simultaneamente, ele calcula a atenção cruzada especificamente entre as palavras funcionais (identificadas via um dicionário de stopwords) e a imagem. Essa atenção é tratada como "distração".
3. Subtração Diferencial:
   • As pontuações de atenção das palavras funcionais são suavizadas (softmax) para destacar os tokens visuais ou textuais mais enganosos.
   • Essas "distrações" são subtraídas das pontuações de atenção originais.
   • Uma porta de controle ($G$) regula a intensidade da subtração.
   • A fórmula final toma o mínimo entre a subtração feita nos tokens visuais e nos tokens textuais para garantir que a atenção seja limpa em ambas as modalidades.
4. Implementação: O FDA pode ser aplicado em qualquer camada ou cabeçote de atenção, mas os experimentos sugerem que aplicá-lo nas camadas iniciais (early layers) e nos primeiros cabeçotes é mais eficaz para evitar a "absorção" da informação antes da fusão completa.

3. Contribuições Principais

1. Identificação de Vulnerabilidade: Demonstração empírica de que palavras funcionais são a principal fonte de vulnerabilidade a ataques adversariais em VLMs. A remoção seletiva delas reduz drasticamente a taxa de sucesso do ataque (ASR) com impacto mínimo no desempenho limpo.
2. Método FDA: Proposta de uma técnica de "desatenção" que refina o alinhamento visão-linguagem, permitindo uma robustez "gratuita" (free robustness), ou seja, ganho de segurança sem perda de precisão.
3. Validação Abrangente: Testes extensivos em 3 modelos de ponta (ALBEF, TCL, BLIP), 2 tarefas (Recuperação Texto-Imagem/Imagem-Texto e Grounding Visual), 3 conjuntos de dados (Flickr30k, MSCOCO, RefCOCO+) e 6 tipos de ataques (incluindo PGD, APGD e ataques adaptativos).
4. Análise de Escalabilidade e Zero-Shot: Demonstração de que o FDA escala bem com modelos maiores e melhora o desempenho em cenários zero-shot.

4. Resultados Experimentais

Os resultados mostram que o FDA supera consistentemente as defesas SOTA (TeCoA e FARE) em robustez e desempenho.

• Recuperação (Retrieval - Flickr30k e COCO):
  • O FDA reduziu a Taxa de Sucesso do Ataque (ASR) em média em 18% a 53% dependendo do modelo.
  • A queda no desempenho em dados limpos (R@1) foi insignificante (0,2% a 0,6%), enquanto métodos como TeCoA e FARE sofreram quedas de 4% a 9%.
  • No modelo BLIP, o FDA alcançou uma redução de ASR de 56,36% com apenas 0,46% de queda de desempenho.
• Grounding Visual (RefCOCO+):
  • Resultados ainda mais impressionantes: redução de 90% a 93% na ASR.
  • Curiosamente, o FDA obteve um ganho de 0,3% no desempenho limpo em comparação ao modelo base.
• Ataques Adaptativos: O FDA manteve sua superioridade mesmo contra ataques adaptativos (MAPGD), onde o atacante tenta contornar a defesa.
• Compatibilidade: O FDA funciona como uma ferramenta "plug-and-play", melhorando a robustez de outros métodos de defesa (como TeCoA e FARE) quando combinado com eles.

5. Significado e Conclusão

O trabalho desafia a noção de que robustez e desempenho são inerentemente trade-offs insuperáveis em VLMs. Ao focar na redundância semântica das palavras funcionais, os autores mostram que é possível "apertar" o alinhamento entre visão e linguagem, removendo o ruído que os atacantes exploram.

• Eficiência: Diferente do Treinamento Adversarial, o FDA não requer re-treinamento massivo ou dados adversariais durante o treinamento, sendo uma modificação arquitetural leve.
• Generalização: A técnica é aplicável a diferentes arquiteturas de codificadores de fusão e melhora a generalização em tarefas zero-shot.
• Impacto Futuro: O estudo sugere que a análise de componentes linguísticos específicos (como palavras funcionais) é uma nova fronteira promissora para a segurança de modelos multimodais, abrindo caminho para defesas mais inteligentes e menos custosas.

Em resumo, o FDA oferece uma solução elegante e eficiente para blindar modelos de visão-linguagem contra ataques, provando que "prestar menos atenção" a certas partes do texto pode, paradoxalmente, tornar o modelo mais forte e preciso.