Reading Between the Pixels: Linking Text-Image Embedding Alignment to Typographic Attack Success on Vision-Language Models

1. Problema e Contexto

O artigo investiga os ataques de injeção de prompt tipográfica em Modelos de Visão-Linguagem (VLMs). Neste cenário, texto adversário é renderizado como uma imagem para contornar filtros de segurança baseados em texto.

• Ameaça: À medida que os VLMs se tornam a espinha dorsal perceptiva de agentes autônomos (automação de navegador, uso de computador e agentes corporificados com câmeras), eles estão expostos a instruções maliciosas embutidas em interfaces visuais ou ambientes físicos.
• Complexidade: A superfície de ataque é heterogênea (fontes de tamanhos variados, condições visuais diversas) e a vulnerabilidade varia drasticamente entre diferentes arquiteturas de modelos. Isso dificulta a criação de defesas universais ("one-size-fits-all").
• Lacuna na Pesquisa: Trabalhos anteriores focaram em maximizar o sucesso do ataque com novos designs, mas não caracterizaram sistematicamente como parâmetros de renderização (tamanho da fonte, transformações visuais) e a escolha do modelo determinam conjuntamente a vulnerabilidade.

2. Metodologia

Os autores realizaram uma avaliação sistemática e controlada utilizando 1.000 prompts do SALAD-Bench (cobrindo seis categorias de dano) em quatro VLMs distintos:

• Modelos Alvo: GPT-4o, Claude Sonnet 4.5, Mistral-Large-3 e Qwen3-VL-4B-Instruct.
• Variáveis Controladas:
  1. Tamanho da Fonte: 12 variações (de 6px a 28px).
  2. Transformações Visuais: 10 tipos, incluindo rotação (30°, 90°), desfoque (moderado e pesado), ruído gaussiano, inversão de cores, baixo contraste e degradação combinada.
  3. Modalidade: Comparação entre ataques via texto puro vs. ataques via imagem tipográfica.
• Análise de Espaço de Embedding: Utilizaram dois modelos de embedding multimodal (JinaCLIP e Qwen3-VL-Embedding) para calcular a distância L2 entre a representação da imagem renderizada e o texto original. A hipótese era que uma menor distância (maior alinhamento) indicaria maior sucesso do ataque.
• Métrica de Avaliação: Taxa de Sucesso do Ataque (ASR), julgada por um avaliador baseado em GPT-4o que verifica se a resposta do modelo forneceu informações úteis para a intenção maliciosa.

3. Principais Contribuições

1. Padrão de Limiar de Tamanho de Fonte: Descobriram que o tamanho da fonte é crítico. Fontes muito pequenas (6px) resultam em ASR próximo a zero, enquanto há um aumento rápido até 10-12px, onde a eficácia atinge um platô.
2. Assimetria de Modalidade por Modelo:
   • Para GPT-4o e Claude, ataques de texto são significativamente mais eficazes do que ataques de imagem (ex: GPT-4o: 36% vs 8%; Claude: 47% vs 22%). Isso sugere que a renderização tipográfica atua como uma defesa implícita para esses modelos.
   • Para Qwen3-VL e Mistral, a vulnerabilidade é comparável entre texto e imagem, indicando que a renderização não oferece proteção significativa.
3. Correlação Negativa com Distância de Embedding: Demonstraram que a distância entre os embeddings de texto e imagem é um preditor robusto do sucesso do ataque. Quanto menor a distância (mais a imagem se assemelha ao texto no espaço vetorial), maior a ASR. A correlação foi forte e estatisticamente significativa em todos os modelos ($r = -0.71$ a $-0.93$).
4. Efeitos Assimétricos de Transformações: Transformações visuais afetam os modelos de forma desigual. Por exemplo, a rotação de 30° reduziu a ASR do Mistral em 50%, mas não afetou o GPT-4o. Degradações pesadas (desfoque + ruído) aumentaram a distância de embedding em 10-12% e reduziram a ASR em 34-96%.

4. Resultados Chave

• Tamanho da Fonte: O ASR cai drasticamente para 6px (ex: 0.3% no GPT-4o, 1.2% no Claude). O pico de eficácia ocorre entre 10px e 12px.
• Desempenho dos Modelos:
  • Mistral: Mais vulnerável em geral (ASR de imagem de ~75%).
  • Qwen3-VL: Vulnerabilidade intermediária (~48%).
  • Claude e GPT-4o: Mais robustos contra ataques de imagem, mas altamente vulneráveis a texto.
• Predição via Embedding:
  • O modelo Qwen3-VL-Embedding mostrou correlações mais fortes ($r$ até -0.93) do que o JinaCLIP ($r$ até -0.80), sugerindo que modelos baseados em decodificador podem capturar melhor as características de reconhecimento de texto.
  • A métrica de distância de embedding manteve sua capacidade preditiva mesmo sob transformações visuais degradadas.
• Métodos de Ataque: O método TAP (Tree of Attacks with Pruning) foi mais eficaz para GPT-4o e Mistral em imagens, enquanto GCG (Greedy Coordinate Gradient) foi superior para Qwen3-VL. O GPTFuzz teve 0% de sucesso em imagens no GPT-4o, indicando filtros específicos para esse tipo de prompt renderizado.

5. Significado e Implicações

• Para Desenvolvedores de Agentes: A escolha do "backbone" (modelo base) para sistemas autônomos deve considerar o ambiente de implantação. Se o agente operará em ambientes com câmeras ou interfaces visuais variadas, modelos como Mistral podem ser mais vulneráveis a ataques tipográficos do que GPT-4o ou Claude.
• Para Defesas: Não existe uma defesa universal. A eficácia de mitigação depende da arquitetura do modelo e das condições visuais (ex: rotação pode defender contra Mistral, mas não contra GPT-4o).
• Ferramenta de Detecção: A distância de embedding texto-imagem pode ser usada como uma métrica leve e agnóstica ao modelo para estimar a eficácia de um ataque ou detectar anomalias em tempo de execução.
• Conclusão Final: A robustez dos VLMs é específica do modelo e do contexto visual. Praticantes devem avaliar a vulnerabilidade sob as condições visuais específicas esperadas no momento da implantação, em vez de confiar em testes de segurança padrão baseados apenas em texto.