PDA: Text-Augmented Defense Framework for Robust Vision-Language Models against Adversarial Image Attacks

1. Problema

Os Modelos Visão-Linguagem (VLMs) têm alcançado sucesso significativo em diversas aplicações, como diagnóstico médico, direção autônoma e robótica. No entanto, eles são extremamente vulneráveis a perturbações adversárias em imagens. Pequenas alterações imperceptíveis ao olho humano na entrada de imagem podem causar mudanças drásticas nas previsões do modelo.

As defesas existentes enfrentam limitações críticas:

• Custo Computacional: Métodos baseados em treinamento adversarial (adversarial training) são caros e exigem re-treinamento.
• Falta de Generalização: Modelos treinados contra tipos específicos de ataques (ex: limites $\ell_\infty$) frequentemente falham contra tipos de ataques não vistos.
• Acesso ao Modelo: Muitas defesas exigem acesso aos gradientes do modelo (cenário white-box), o que é inviável para VLMs de código fechado acessados via API (black-box).
• Trade-off de Desempenho: Muitas técnicas melhoram a robustez, mas degradam significativamente a precisão em dados limpos (clean inputs).

2. Metodologia: PDA (Paraphrase-Decomposition-Aggregation)

O artigo propõe o PDA, um framework de defesa livre de treinamento (training-free) que opera exclusivamente no lado do texto durante o tempo de inferência. A ideia central é inspirada no "suavização aleatória" (randomized smoothing), mas aplicada ao espaço semântico do texto em vez do espaço de pixels ou ruído gaussiano.

O PDA assume acesso black-box e executa três etapas principais:

Etapa I: Parafraseamento (Paraphrase)

• Um agente de linguagem (LLM) reescreve a pergunta original do usuário em múltiplas versões semanticamente equivalentes, mas literalmente distintas.
• Objetivo: Explorar a redundância linguística. Como os ataques adversários exploram a similaridade entre imagem e texto, variar o texto ajuda a recuperar semânticas consistentes com a imagem, mesmo que a imagem esteja perturbada.
• Isso cria um estimador de "Expectativa sobre Transformações de Texto" (EoTT).

Etapa II: Decomposição (Decomposition)

• Cada pergunta parafraseada é decomposta em uma sequência de questões atômicas mais simples e verificáveis.
• Objetivo: Em vez de pedir uma resposta holística (que pode ser enviesada pela perturbação), o modelo é forçado a verificar evidências visuais estáveis e de baixo nível (ex: "Há um gato?", "Qual a cor do objeto?", "Quantos objetos existem?").
• Isso torna o processo de raciocínio mais interpretável e robusto, pois as perturbações adversárias geralmente afetam características de alta frequência e de baixo nível, enquanto as questões atômicas buscam fatos visuais claros.

Etapa III: Agregação (Aggregation)

• As respostas das questões atômicas para cada versão parafraseada são agregadas.
• Mecanismo: Utiliza-se um voto ponderado por confiança ou consistência.
  • Para tarefas estruturadas (ex: VQA, classificação), aplica-se uma regra de votação simples sobre as respostas atômicas.
  • Para tarefas de geração (ex: legendas), um LLM agrega as evidências para gerar uma resposta final.
• Resultado: Respostas enviesadas pelo ataque são suprimidas, pois é improvável que todas as variações textuais e decomposições levem ao mesmo erro.

Variantes de Eficiência

O artigo apresenta quatro variantes para equilibrar robustez e custo computacional:

1. PDA-Full: Executa todas as etapas (Parafrasear -> Decompor -> Agregar com LLM).
2. PDA-RJV (Reason-Judge-Vote): Pula a decomposição; o VLM responde às parafrases com justificativas, e um LLM julga e vota.
3. PDA-RDA (Reason-Direct-Aggregate): Pula a decomposição; um LLM revisa todas as respostas e justificativas de uma vez para decidir.
4. PDA-PV (Paraphrase-Vote): A mais leve; gera parafrases logicamente equivalentes e usa votação direta das respostas do VLM, sem LLM intermediário de agregação.

3. Principais Contribuições

1. Framework Genérico e Livre de Treinamento: O PDA não requer modificação nos pesos do modelo VLM, nem acesso a gradientes, funcionando como um "wrapper" plug-and-play.
2. Validação Abrangente: O método foi testado em múltiplas arquiteturas (LLaVA, DeepSeek-VL, InternVL, Ovis), escalas de parâmetros e tarefas (VQA, classificação zero-shot, legendagem).
3. Eficiência e Robustez: Introduz variantes que reduzem drasticamente o custo de inferência mantendo a maior parte dos ganhos de robustez.
4. Superioridade em Cenários Black-box: Demonstra eficácia contra ataques transferíveis e baseados em consultas, onde métodos baseados em gradiente falham.

4. Resultados Experimentais

Os experimentos foram conduzidos em benchmarks padrão (VQA-v2, ImageNet-D, MS COCO) sob ataques white-box (PGD, EoT) e black-box (Transferência, AttackVLM, AnyAttack).

• Robustez: O PDA-Full aumentou consistentemente a precisão adversarial.
  • No VQA-v2, a precisão adversarial subiu de ~44.5% (sem defesa) para 75.4% (LLaVA-7B).
  • No ImageNet-D, a precisão adversarial saltou de ~24.8% para 57.0%.
• Precisão em Dados Limpos: Diferente de métodos de treinamento adversarial que degradam o desempenho em dados limpos, o PDA mantém ou até melhora a precisão em dados limpos (ex: 0.871 vs 0.862 no VQA-v2), pois a agregação de evidências cruzadas corrige alucinações do modelo.
• Ataques Adaptativos: O PDA manteve ganhos significativos mesmo contra ataques adaptativos que tentam otimizar especificamente sobre o pipeline estocástico de parafraseamento (EoT-PD).
• Modelos Fechados: O método foi aplicado com sucesso em APIs comerciais (GPT-5, Claude, Gemini) via ataque de transferência, demonstrando sua utilidade prática.
• Comparação: O PDA superou defesas baseadas em imagem (JPEG, RA) e defesas baseadas apenas em raciocínio (Chain-of-Thought), provando que a diversificação textual é crucial para corrigir erros de percepção visual.

5. Significado e Impacto

O PDA estabelece um novo paradigma para a segurança de VLMs. Ao deslocar o foco da defesa da imagem (onde o adversário tem controle total e o modelo é frágil) para a defesa do texto (onde a redundância semântica pode ser explorada), o trabalho oferece uma solução prática e imediata para proteger sistemas multimodais em produção.

• Praticidade: Como não requer re-treinamento, pode ser implantado imediatamente em modelos existentes, inclusive proprietários.
• Segurança: Oferece uma camada de defesa robusta contra ataques que exploram a sensibilidade dos modelos a ruídos de alta frequência.
• Futuro: Abre caminho para pesquisas em certificações de robustez baseadas em inferência e defende a ideia de que a robustez pode ser alcançada através de estratégias de agregação inteligente de múltiplas visões semânticas, sem comprometer a utilidade do modelo.