Towards Robustness against Typographic Attack with Training-free Concept Localization

Resumo Técnico: Rumo à Robustez contra Ataques Tipográficos com Localização de Conceitos sem Treinamento

Definição do Problema
Modelos de Pré-treinamento de Linguagem-Imagem Contrastiva (CLIP) servem como os codificadores de visão fundamentais para os modernos Modelos de Linguagem-Visão de Grande Escala (LVLMs). Apesar de sua ampla adoção, esses modelos exibem uma vulnerabilidade crítica conhecida como Ataque Tipográfico (TA). Neste cenário, texto irrelevante sobreposto a uma imagem (ex: a palavra "Goose" [Ganso] sobre uma imagem de um gato) faz com que o modelo classifique incorretamente a imagem com base no conteúdo lexical em vez da verdadeira semântica visual. Este modo de falha decorre de um "emaranhamento de características" (feature entanglement), onde os codificadores Vision Transformer (ViT) não conseguem desacoplar efetivamente as características visuais das semânticas codificadas nas formas lexicais. As defesas existentes frequentemente dependem de treinamento supervisionado ou intervenções de caixa-preta, carecendo de interpretabilidade e falhando em abordar a raiz mecanística da vulnerabilidade.

Metodologia
Os autores propõem um método de interpretabilidade mecanística sem treinamento para localizar e mitigar as vulnerabilidades de TA dentro da arquitetura ViT. A abordagem fundamenta-se na Hipótese da Representação Linear e na Hipótese do Bilhete de Loteria, operando através de três estáveis principais:

1. Mineração Estocástica de Conceitos:
   Em vez de um aprendizado de dicionário paramétrico caro, o método emprega amostragem estocástica de vetores de pseudo-conceitos dentro do subespaço de dimensão inferior das cabeças de Auto-Atenção de Múltiplas Cabeças (MHSA). Ao amostrar vetores aleatórios ($u$) de uma distribuição Gaussiana, o método trata a descoberta de conceitos como uma "loteria estocástica". A análise teórica sugere que operar no subespaço $d_{head}$ (em vez do $d_{model}$ global) reduz significamente a interferência polissêmica, aumentando a probabilidade de encontrar "bilhetes vencedores" — amostras que se alinham fielmente com conceitos lexicais específicos.

2. Atribuição Baseada em Gradiente e Mineração de Circuitos:
   O método quantifica o "foco lexical" de cabeças de atenção individuais usando uma Pontuação de Atribuição de Texto (TAS). Ele calcula a derivada parcial da força do conceito projetado em relação aos logits de atenção pré-softmax. Este mapa de atribuição considera conjuntamente a ativação da atenção ($A_{i,j}$) e a utilidade marginal do patch ($V_j(u) - F_i(u)$). Ao agregar pontuações sobre um conjunto de dados não rotulado, o método identifica cabeças de atenção e circuitos específicos que codificam desproporcionalmente informações de texto adversariais.

3. Intervenção Mecanística:
   Uma vez identificados os "circuitos de leitura tipográfica" vulneráveis, o método aplica intervenções em tempo de teste sem retreinamento:

   • Reponderação de Atenção: Para modelos com um token <cls>, os pesos de atenção do token <cls> para os patches contendo texto são suprimidos (reponderados para zero), forçando o modelo a depender de patches visuais.
   • Ablação Zero: Para LVLMs que carecem de um token <cls> dedicado, as saídas dos módulos vulneráveis identificados são substituídas por vetores zero, removendo efetivamente a distração lexical do fluxo de processamento.

Principais Contribuições

• Mineração de Conceitos por Amostragem: Um novo método de amostragem estocástica sem treinamento que aproveita a decomposição natural dos módulos MHSA para aumentar a probabilidade de acertos de conceitos sem aprendizado de dicionário paramétrico.
• Explicação de Vulnerabilidade: Um mecanismo de atribuição baseado em gradiente que analisa conjuntamente o "foco" da atenção e a "direção" do conceito para produzir pontuações normalizadas (nTAS) que identificam consistentemente módulos de foco lexical.
• Intervenção Mecanística: Uma demonstração de que intervenções simples, sem otimização, nos circuitos identificados (reponderação ou ablação) melhoram substancialmente a robustez contra TAs tanto em classificação de objetos quanto em Visual Question Answering (VQA).

Resultados Experimentais
O método foi avaliado em cinco variantes de CLIP ViT (variando de ViT-B/16 a ViT-bigG/14) e vários LVLMs de última geração (Qwen3-VL, InternVL3.5, Gemma3).

• Classificação de Objetos: Em conjuntos de dados como RTA-100, Disentangling e PAINT, a intervenção melhorou significativamente a Precisão de Classificação de Objetos (OCA) enquanto reduziu drasticamente a Taxa de Confusão de Texto (TCR). Por exemplo, no ViT-H/14, a OCA melhorou em +22,8% no RTA-100, enquanto a TCR caiu 27,6%. O método superou tanto os baselines supervisionados (Defense-Prefix) quanto outros métodos sem treinamento (Dyslexify).
• Robustez de LVLM: Aplicado a LVLMs no conjunto de dados RIO-Bench, a intervenção melhorou a precisão de VQA em múltiplos tamanhos de modelo (ex: +1,58% no Qwen3-VL-8B) sob interferência de ataque tipográfico, com impacto negligível (<1%) no desempenho de imagens limpas.
• Eficiência: O processo de extração de circuito é extremamente rápido (menos de um minuto para todos os backbones em uma única A100) e requer apenas uma fração minúscula (0,1%) de um conjunto de dados de treinamento para calibração de limiar.

Significância e Alegações
O artigo afirma que sua abordagem fornece uma solução fiel e explicável para a robustez de TA ao localizar a fonte mecanística exata da vulnerabilidade dentro da arquitetura transformer. Diferente das defesas de caixa-preta, este método oferece um elo causal claro entre cabeças de atenção específicas e a classificação lexical incorreta. Os autores afirmam que seu trabalho avança a fronteira das soluções mecanísticas para a robustez de VLM, demonstrando que intervenções em nível de circuito sem treinamento podem efetivamente desacoplar a semântica visual das distrações lexicais, aumentando assim a segurança para aplicações críticas como direção autônoma. Os resultados confirmam tanto a eficácia quanto a generalizabilidade desta abordagem mecanística através de diferentes escalas de modelos e arquiteturas.