Resumo Técnico: Explorando Vulnerabilidades de Codificadores de Visão para Perturbações Adversárias Universais em Grandes Modelos de Linguagem-Visão

Declaração do Problema

Os Grandes Modelos de Linguagem-Visão (LVLMs) alcançaram um desempenho significativo em tarefas multimodais, mas permanecem altamente suscetíveis a perturbações adversárias. As estratégias de ataque adversário existentes tipicamente tratam o codificador de visão como uma superfície monolítica e uniformemente vulnerável, otimizando perturbações contra os embeddings finais do codificador. No entanto, essa abordagem ignora a heterogeneidade estrutural interna do codificador, potencialmente diluindo os efeitos adversários ao visar componentes robustos. Além disso, a maioria dos métodos anteriores depende de perturbações específicas para cada imagem, resultando em altos custos computacionais e escalabilidade limitada para a avaliação de robustez em grandes conjuntos de imagens. Há uma falta de análise sistemática sobre quais componentes internos do codificador de visão são mais críticos para o comportamento do modelo de linguagem downstream e como explorar essas vulnerabilidades de forma eficiente.

Metodologia: VEV-UAP

Os autores propõem a Perturbação Adversária Universal Direcionada a Componentes Vulneráveis do Codificador de Visão (VEV-UAP), um framework projetado para gerar uma única perturbação universal que degrada o desempenho de LVLMs através de imagens e tarefas, sem envolver entradas textuais ou o modelo de linguagem durante a otimização. A metodologia procede em duas etapas principais:

1. Análise de Vulnerabilidade Estrutural

Os autores conduzem uma análise sistemática por componente e por camada dos mecanismos de atenção dentro dos codificadores de visão para identificar a "Pontuação de Robustez de Representação (RR Score)". Esta pontuação mede a similaridade de cosseno entre os estados ocultos do Modelo de Linguagem Grande (LLM) downstream antes e depois de perturbar componentes de atenção específicos (pesos de Atenção, vetores Query, Key e Value) em várias camadas.

• Descoberta Principal: A análise revela que a vulnerabilidade adversária não é distribuída uniformemente. Em vez disso, ela está estruturalmente concentrada nos vetores de valor (value vectors) das camadas médias do codificador de visão. Perturbar esses componentes específicos induz a maior divergência nos estados ocultos do LLM, enquanto perturbar camadas iniciais/finais ou outros componentes (Query, Key, pesos de Atenção) produz um impacto significativamente menor.

2. Otimização de Ataque

Com base na análise de vulnerabilidade, o VEV-UAP otimiza uma perturbação universal $\delta$ maximizando a divergência dos vetores de valor nas camadas médias identificadas como vulneráveis ($L_{vul}$) através de um conjunto de imagens de entrada $X$.

• Objetivo: A otimização minimiza o RR Score (maximiza a distância de cosseno) entre os vetores de valor das imagens limpas $V_l(x)$ e das imagens perturbadas $V_l(x+\delta)$ para camadas $l \in L_{vul}$.
• Restrições: A perturbação é restringida por uma norma $L_\infty$ ($\|\delta\|_\infty \leq \epsilon$) para garantir a imperceptibilidade.
• Eficiência: O processo é inteiramente baseado no codificador de visão. Ele não requer gradientes do LLM, não utiliza prompts textuais durante a otimização e gera uma única perturbação compartilhada entre todas as imagens, eliminando os custos de otimização por imagem.

Contribuições Principais

1. Identificação de Componentes Vulneráveis: O artigo fornece a primeira análise sistemática por componente e por camada dos codificadores de visão de LVLMs, identificando os vetores de valor das camadas médias como a principal via de propagação dos efeitos adversários para o modelo de linguagem.
2. Framework VEV-UAP: Os autores introduzem um método de perturbação adversária universal que visa esses componentes vulneráveis específicos. Esta abordagem alcança altas taxas de sucesso de ataque (ASR) sendo agnóstica à tarefa e não exigindo supervisão textual ou acesso ao LLM durante o treinamento.
3. Eficiência e Transferibilidade: O método proposto demonstra eficiência computacional superior em comparação com baselines de otimização de modelo completo. Crucialmente, uma única perturbação VEV-UAP otimizada em um codificador de visão específico transfere-se efetivamente para diferentes LVLMs que compartilham o mesmo codificador de visão, mesmo quando pareados com diferentes modelos de linguagem.

Resultados Experimentais

Os autores avaliaram o VEV-UAP em múltiplos LVLMs (LLaVA-1.5, LLaVA, InstructBLIP, MiniGPT-4, Qwen2.5-VL) e tarefas (Classificação de Imagem, Legenda de Imagem, Questionamento Visual - VQA).

• Taxas de Sucesso de Ataque (ASR): O VEV-UAP superou consistentemente os baselines existentes (Text-Emb, Img-Emb, Both-Emb). Por exemplo, no LLaVA-1.5 para classificação, o VEV-UAP alcançou um ASR de 96,1% (em $\tau=0,9$), comparado a 29,9% para o melhor baseline. Em tarefas de VQA, reduziu as pontuações do modelo para níveis próximos de zero (ex: 0,3 no VQAv2 para LLaVA-1.5).
• Transferibilidade: Uma única perturbação gerada usando o codificador de visão EVA-CLIP enganou com sucesso tanto o InstructBLIP quanto o MiniGPT-4, apesar de utilizarem backbones de linguagem diferentes (Vicuna-13B vs. LLaMA2-7B). Da mesma forma, uma perturbação baseada em CLIP-336 afetou tanto o LLaVA quanto o LLaVA-1.5.
• Robustez a Defesas: Sob compressão JPEG ($Q=90$), o VEV-UAP manteve um ASR significativamente superior aos baselines (ex: 88,5% vs. 65,9% para classificação no Qwen2.5-VL).
• Custo Computacional: O VEV-UAP reduziu o tempo de otimização para aproximadamente 3,19 horas por UAP, oferecendo uma aceleração de 6,4$\times$ em comparação com métodos que otimizam através da arquitetura completa do LVLM.
• Análise Qualitativa: Visualizações mostraram que o VEV-UAP faz com que as distribuições dos vetores de valor se tornem invariantes entre diferentes imagens de entrada e leva a padrões de atenção borrados e desalinhados no LLM downstream, resultando em saídas repetitivas ou semanticamente não relacionadas.

Significância e Alegações

O artigo alega que a vulnerabilidade adversária dos LVLMs é estruturalmente concentrada em vez de uniformemente distribuída. Ao identificar e visar os componentes de "gargalo" específicos (vetores de valor de camadas médias) que medeiam a integração de características antes da projeção para o modelo de linguagem, o VEV-UAP alcança uma interrupção mais eficiente e potente do pipeline multimodal.

Os autores posicionam o VEV-UAP não apenas como uma ferramenta de ataque, mas como um framework prático para avaliação de robustez escalável. Como elimina a necessidade de otimização por imagem e por prompt e depende exclusivamente do codificador de visão, ele permite a avaliação rápida da robustez através de grandes conjuntos de imagens e diversas arquiteturas de modelos que compartilham o mesmo backbone visual. O trabalho sugere que os esforços futuros para melhorar a robustez dos LVLMs devem focar em reforçar explicitamente essas representações vulneráveis de valor das camadas médias.