On Adversarial Vulnerability of Vision-Language Models through the Lens of Intermediate Spectral Subspaces

Resumo Técnico: Vulnerabilidade Adversária de Modelos de Visão-Linguagem através da Lente de Subespaços Espectrais Intermediários

Definição do Problema
Redes neurais profundas, particularmente os modernos Modelos de Visão-Linguagem (VLMs), são conhecidas por serem vulneráveis a perturbações adversárias que alteram as previsões do modelo permanecendo visualmente imperceptíveis. Embora a pesquisa existente tenha analisado extensivamente essa vulnerabilidade através da geometria do espaço de entrada, propriedades de fronteira de decisão, robustez de características e Jacobianos de entrada-saída, o comportamento espectral das transformações lineares intermediárias dentro dessas redes permanece amplamente inexplorado. Especificamente, há uma falta de compreensão sobre como os sinais adversários se propagam através dos subespaços de vetores singulares (singular-vector subspaces) das camadas lineares (por exemplo, em mecanismos de autoatenção, redes feed-forward e módulos de fusão) que constituem o núcleo dos VLMs baseados em transformers. Este artigo investiga se os subespaços de vetores singulares "inferiores" (bottom) — direções associadas a valores singulares próximos de zero que atenuam a informação — constituem uma superfície de ataque anteriormente negligenciada.

Metodologia
Os autores propõem um arcabouço fundamentado na analogia entre a propagação adversária e a instabilidade de problemas inversos mal-postos. Em problemas inversos, a reconstrução falha ao longo de direções singulares quase nulas; de forma semelhante, os autores hipotetizam que alinhar as representações intermediárias com os subespaços de vetores singulares inferiores das transformações lineares em VLMs leva à atenuação da informação e à degradação semântica.

Para testar isso, o artigo introduz o Ataque de Representação Guiado por Subespaço Espectral (SSGRA), um ataque não direcionado de caixa branca (white-box). A metodologia envolve:

1. Decomposição Espectral: Realização da Decomposição de Valores Singulares (SVD) nas matrizes de pesos das transformações lineares intermediárias dentro do VLM.
2. Medida de Alinhamento: Definição de uma métrica, $\Psi_k$, para quantificar a energia das representações de tokens projetadas em subespaços singulares específicos (top-k vs. bottom-k).
3. Objetivo de Otimização: O SSGRA formula um problema de otimização que combina dois termos:
   • Um termo de discrepância de representação (baseado no Blockwise Similarity Attack) para interromper hierarquias de características.
   • Um termo de guia espectral que explicitamente maximiza o alinhamento das representações intermediárias adversárias com os subespaços de vetores singulares inferiores (bottom-s) de camadas lineares selecionadas.
4. Sondagem por Camada (Layer-wise Probing): Os autores empregam um mecanismo de sondagem para analisar como a otimização adversária naturalmente desloca as representações em direção aos subespaços singulares inferiores, mesmo sem guia espectral explícito, e para comparar as características espectrais de diferentes VLMs (Qwen2.5-VL, LLaVA-1.5 e Gemma-3).

Principais Contribuições

• Identificação de uma Nova Superfície de Ataque: O artigo identifica os subespaços de vetores singulares inferiores das transformações lineares intermediárias como uma superfície de ataque espectral crítica e anteriormente negligenciada em VLMs baseados em transformers.
• Ataque SSGRA: Os autores propõem o SSGRA, um ataque de caixa branca guiado espectralmente que aproveita esse conhecimento. Ele demonstra maior eficácia do que as linhas de base de estado da arte existentes (incluindo ataques de espaço de características como FDA, DRA, BSA e ataques de nível de saída como CE e EGA).
• Validação Empírica da Dinâmica Espectral: Através da sondagem por camada, o estudo mostra que a otimização adversária não direcionada tende naturalmente a aumentar o alinhamento das representações com os subespaços singulares de atenuação de informação (bottom).
• Caracterização Espectral de VLMs: Os autores fornecem uma análise espectral de três VLMs principais, revelando que modelos com uma proporção maior de direções singulares quase nulas (ex: Qwen2.5-VL) exibem maior vulnerabilidade ao SSGRA em comparação com modelos com menos tais direções (ex: Gemma-3).

Resultos Experimentais
Os experimentos foram conduzidos no ImageNet com três VLMs de última geração: Gemma-3 (4B), Qwen2.5-VL (7B) e LLaVA-1.5 (7B).

• Eficácia do Ataque: O SSGRA superou consistentemente todas as linhas de base. No Qwen2.5-VL, alcançou uma degradação relativa adicional de 7,90–19,74% no BERTScore F1 e 30,50–97,93% no ROUGE-L F1 em comparação com a linha de base mais forte. No LLaVA-1.5 e Gemma-3, também alcançou desempenho superior, com melhorias que escalam com o orçamento de perturbação.
• Análise Qualitativa: A inspeção visual dos exemplos adversários mostrou que, enquanto os ataques de linha de base frequentemente preservavam o conteúdo semântico geral (com pequenas alucinações), o SSGRA frequentemente induzia previsões completamente sem sentido ou não relacionadas (ex: descrevendo um acidente de carro em vez de uma ambulância).
• Correlação Espectral: Os resultados confirmaram uma correlação entre a densidade de direções singulares quase nulas e a vulnerabilidade. O Qwen2..5-VL, possuindo a maior proporção de valores singulares quase nulos, foi o mais vulnerável, enquanto o Gemma-3, com a menor proporção, foi o mais robusto.
• Custo Computacional: O SSGRA manteve uma complexidade computacional (medida em FLOPs) comparável a outros ataques baseados em otimização, sem sobrecarga significativa.

Significância e Alegações
O artigo alega que sua principal significância reside na mudança da perspectiva da vulnerabilidade adversária das propriedades do espaço de entrada para a estrutura espectral das transformações lineares intermediárias. Ao demonstrar que a otimização adversária naturalmente explora direções singulares quase nulas, os autores argumentam que as estratégias de robustez não devem apenas focar em restringir grandes valores singulares (via normalização espectral), mas também devem abordar o controle das direções singulares quase nulas.

Os autores afirmam explicitamente que seu trabalho isola os mecanismos espectrais de vulnerabilidade através de ataques de caixa branca não direcionados. Eles observam modestamente que a aplicabilidade deste arcabouço a cenários de transferência e de caixa preta (black-box) ainda não foi investigada e permanece como uma direção para trabalhos futuros. As descobertas sugerem que o controle explícito do alinhamento das representações com os subespaços de vetores singulares inferiores oferece uma estratégia complementar para melhorar a robustez adversária de VLMs.