One Perturbation, Two Failure Modes: Probing VLM Safety via Embedding-Guided Typographic Perturbations

1. Declaração do Problema

Os Modelos Visuais-Linguísticos (VLMs) são cada vez mais utilizados para impulsionar agentes autônomos, criando uma vulnerabilidade de segurança conhecida como Injeção de Prompt Tipográfica (TPI). Em ataques TPI, instruções maliciosas são renderizadas como texto dentro de imagens. Como a instrução chega através da modalidade visual, ela pode contornar filtros de segurança baseados em texto tradicionais.

Enquanto pesquisas anteriores focaram em maximizar a Taxa de Sucesso do Ataque (ASR) por meio de novos designs de ataque, há uma falta de compreensão sobre por que certas renderizações visuais (por exemplo, tamanhos de fonte específicos, rotações ou desfoques) contornam o alinhamento de segurança enquanto outras falham. Os autores visam preencher essa lacuna caracterizando a relação entre degradação visual, embeddings do modelo e falhas de segurança.

2. Metodologia

O artigo propõe uma abordagem de duas frentes: um estudo empírico para identificar preditores de sucesso do ataque e um framework de otimização para explorar esses preditores.

A. Estudo Empírico: Distância de Embedding como Preditivo

Os autores conduziram um estudo controlado em quatro VLMs (GPT-4o, Claude Sonnet 4.5, Mistral-Large-3 e Qwen3-VL) usando 1.000 prompts do SALAD-Bench.

• Variáveis: Eles testaram 12 tamanhos de fonte (6–28px) e 10 transformações visuais (rotação, desfoque, ruído, etc.).
• Métrica: Eles calcularam a distância L2 entre o embedding multimodal da imagem renderizada e o embedding do prompt de texto original usando modelos prontos (JinaCLIP e Qwen3-VL-Embedding).
• Hipótese: Uma menor distância no espaço de embeddings (significando que a imagem "parece" mais com o texto para o codificador) correlaciona-se com maior sucesso do ataque.

B. Framework de Otimização: Red Teaming Guiado por Embeddings

Com base nas descobertas empíricas, os autores desenvolveram uma ferramenta de red teaming para testar a segurança de VLMs sem acesso aos pesos internos ou classificadores de segurança do modelo alvo.

• Objetivo: Maximizar a similaridade de cosseno entre uma imagem tipográfica degradada e o embedding do texto original sob perturbações limitadas por $\ell_\infty$.
• Algoritmo: Eles adaptaram o CWA-SSA (Common Weakness Attack with Spectral Simulation Augmentation).
  • Ensemble: A otimização usa um ensemble de 4 modelos de embedding substitutos (Qwen3-VL-Embedding, JinaCLIP, OpenAI CLIP, SigLIP) para garantir que as perturbações sejam robustas e transferíveis.
  • Processo: O algoritmo ajusta iterativamente os valores dos pixels para minimizar a distância de embeddings, efetivamente "empurrando" a imagem degradada para uma região do espaço de embeddings onde o VLM é mais propenso a cumprir a instrução.

3. Contribuições Principais

1. Descoberta de uma Forte Correlação: O artigo estabelece que a distância de embedding multimodal é um preditor forte, interpretável e agnóstico ao modelo para o sucesso do TPI.
   • Os coeficientes de correlação ($r$) variam de -0,71 a -0,93 (correlação negativa: menor distância = maior ASR).
   • Isso fornece uma métrica proxy para o sucesso do ataque sem a necessidade de consultar repetidamente o VLM alvo.
2. Identificação de Dois Modos de Falha Co-ocorrentes: A otimização revela que a redução da distância de embeddings melhora a ASR através de dois mecanismos distintos:
   • Recuperação da Legibilidade Perceptiva: A perturbação torna o texto semanticamente analisável pelo modelo quando anteriormente era ilegível devido à degradação (por exemplo, desfoque pesado ou fonte pequena).
   • Evasão do Alinhamento de Segurança: A perturbação altera a representação holística da imagem o suficiente para contornar o raciocínio de segurança do modelo, mesmo que o texto já fosse legível.
3. Uma Ferramenta de Red Teaming Agnóstica ao Modelo: O método proposto permite que pesquisadores de segurança investiguem a robustez da segurança de VLMs usando apenas modelos de embedding substitutos, não exigindo acesso aos gradientes ou filtros de segurança do modelo alvo.

4. Resultados Experimentais

Os autores testaram sua otimização em cinco configurações de degradação (fonte de 6px, fonte de 8px, rotação de 90°, degradação tripla e desfoque pesado) em quatro VLMs alvo.

• Ganhos Quantitativos:

  • Claude Sonnet 4.5 mostrou as melhorias mais significativas, particularmente em cenários de "Desfoque Pesado", onde a ASR aumentou em +28% (de 0,7% para 28,5%).
  • GPT-4o mostrou ganhos em cenários de rotação (+22%) e desfoque pesado (+10%), embora tenha permanecido mais robusto que os outros.
  • Mistral e Qwen (que tinham ASR basal mais alta) às vezes viram uma diminuição no desempenho após a otimização, sugerindo que a perturbação acionou inadvertidamente mecanismos de segurança que estavam anteriormente adormecidos.

• Análise Qualitativa (Modos de Falha):

  • Dominância da Legibilidade: Em degradação extrema (fonte de 6px, desfoque pesado), o ganho principal veio do modelo finalmente conseguir "ler" o texto. Por exemplo, no GPT-4o com texto de 6px, as falhas de legibilidade caíram de 35 para 10, mas as recusas de segurança aumentaram, indicando que o filtro de segurança capturou a solicitação maliciosa agora legível.
  • Dominância da Redução de Recusa: Em degradação moderada (rotação de 90°, fonte de 8px), os ganhos foram impulsionados pelo modelo falhar em recusar a solicitação, mesmo podendo ler o texto. Isso sugere que a perturbação confundiu com sucesso a lógica de alinhamento de segurança.
  • Dependência do Modelo: O modo de falha dominante depende da força inerente do filtro de segurança do modelo. Filtros mais fortes (como GPT-4o) tendem a falhar primeiro na legibilidade; filtros mais fracos falham no alinhamento.

5. Significado e Implicações

• Vulnerabilidade do Mecanismo de Segurança: As descobertas sugerem que o alinhamento de segurança de VLMs é frágil no espaço de representação. Pequenas perturbações que não alteram significativamente a aparência visual (domínio dos pixels) podem alterar drasticamente a representação interna do modelo, levando a contornos de segurança.
• Estratégia de Defesa: Defesas atuais que dependem de degradação visual (por exemplo, desfocar texto para escondê-lo) são insuficientes. As defesas devem ser robustas no espaço de embeddings, garantindo que o modelo recuse instruções prejudiciais independentemente de o texto estar perfeitamente legível ou levemente perturbado.
• Padrão de Red Teaming: O artigo fornece uma nova metodologia eficiente para avaliar a segurança de VLMs que não requer acesso de caixa-preta aos dados de treinamento ou arquitetura interna do modelo alvo, dependendo em vez disso do alinhamento de embeddings.

Limitações: O estudo é limitado a um único conjunto de dados (SALAD-Bench) e a um estilo específico de renderização (texto preto sobre fundo branco). A otimização é computacionalmente cara (~2,5 horas por amostra) e não foi avaliada contra defesas baseadas em detecção.