Resumo Técnico: Sobrecarga de Grandes Modelos de Visão-Linguagem para Jailbreak

1. Definição do Problema

Grandes Modelos de Visão-Linguagem (LVLMs) estão sendo cada vez mais implantados em aplicações do mundo real, como assistentes pessoais e análise de documentos. No entanto, sua natureza dual-modal (processando tanto imagem quanto texto) cria superfícies de ataque únicas. Enquanto os jailbreaks de Grandes Modelos de Linguagem (LLMs) evoluíram de prompts simples para estratégias complexas e multidimensionais (ex: jogo de papéis, instruções aninhadas), os ataques atuais de LVLM permanecem relativamente primitivos. A maioria dos ataques de LVLM atuais baseia-se em transformações Out-of-Distribution (OOD), como esconder instruções prejudiciais como tipografia dentro de imagens ou usar sub-imagens de distração para criar desvios de distribuição.

Os autores argumentam que, à medida que os LVLMs incorporam backbones de LLM mais fortes e mecanismos de fusão multimodal aprimorados, esses ataques simples baseados em OOD tornam-se menos eficazes, particularmente em relação à transferibilidade entre diferentes arquiteturas de modelos. Existe uma lacuna entre a complexidade dos jailbreaks modernos de LLM e a simplicidade dos designs de ataque atuais de LVLM. O artigo postula que os LVLMs são vulneráveis não apenas ao ocultamento de intenção, mas à sobrecarga de informação, onde o processamento multimodal excessivo e complexo compromete o alinhamento de segurança.

2. Metodologia: Sobrecarga de Informação

O artigo propõe um novo framework de ataque baseado em sobrecarga de informação, que visa sobrecarregar os mecanismos de segurança do LVLM forçando-o a processar entradas multimodais densas, complexas e estruturalmente recursivas. A metodologia é dividida em duas etapas:

2.1. Prova Teórica: Mecanismo de Sobrecarga de Informação

Antes de propor o ataque, os autores conduziram um estudo de sondagem para entender por que prompts complexos têm sucesso.

• Observação: Quando os LVLMs são apresentados com prompts complexos contendo tipografia e instruções aninhadas (em oposição a prompts simples), sua confiança de recusa diminui. Isso é medido por um aumento na entropia do primeiro token gerado durante uma recusa.
• Mecanismo: Usando uma técnica de "nocaute de atenção" (attention knockout), os autores analisaram os fluxos de informação. Eles descobriram que prompts complexos induzem fluxos de informação cross-modais intensificados (especificamente de tokens de imagem/tipografia para tokens de texto). O modelo despende mais esforço computacional integrando essas modalidades para determinar a segurança, o que paradoxalmente reduz sua certeza em gerar uma resposta de recusa.
• Hipótese: Ao sobrecarregar intencionalmente o modelo com informações de alta densidade e múltiplas dimensões, o mecanismo de alinhamento de segurança pode ser interrompido, levando a uma maior probabilidade de gerar conteúdo prejudicial.

2.2. O Framework de Ataque: INFER e INFER+

Para operacionalizar essa hipótese, os autores desenvolveram dois métodos de ataque iterativos:

A. INFER (Interleaved Nested reFERencing - Referenciamento Aninhado Intercalado)
Este é o template fundamental que cria uma hierarquia de processamento de instruções aninhadas.

• Decomposição: Um pedido de texto prejudicial é dividido em uma instrução inofensiva e uma frase prejudicial.
• Incorporação: A frase prejudicial é incorporada como tipografia na imagem ($v_{harm}$), enquanto a instrução inofensiva também é incorporada como tipografia ($v_{inst}$).
• Referenciamento: O prompt de texto ($t_{atk}$) instrui explicitamente o modelo a reconhecer a instrução inofensiva na imagem, que por sua vez referencia a frase prejudicial.
• Efeito: Isso força o LVLM a resolver uma cadeia de referências (Texto $\to$ Instrução na Imagem $\to$ Frase Prejudicial na Imagem), aumentando o fardo de processamento cross-modal.

B. INFER+ (Sobrecarga Guiada por Entropia)
Esta é a versão otimizada e escalável do INFER que introduz diversidade e complexidade exponencial.

• Refinamento de Prompt Tipográfico: Um conjunto auxiliar de regras de jailbreak ($v_{rule}$) é incorporado como tipografia. Essas regras incluem diversas dimensões de ataque, como Enquadramento (jogo de papéis, manipulação de cenário) e Restrição (enforcement de formato de saída).
• Amplificação de Informação Visual: O ataque emprega um layout de árvore recursiva. Os blocos de imagem-texto prejudiciais são incorporados repetidamente dentro de uma estrutura de árvore definida por profundidade de recursão e fatores de ramificação. Isso aumenta exponencialmente a densidade de informação visual.
• Otimização: Os autores utilizam um algoritmo de busca aleatória guiada por entropia para otimizar os parâmetros de layout (profundidade, número de ramos, tamanho/tipo de fonte) e configurações de regras contra um modelo substituto (surrogate model). A função objetivo é a entropia do primeiro token da resposta do modelo; uma entropia mais alta indica maior incerteza na decisão de recusa, correlacionando-se com uma maior probabilidade de um jailbreak bem-sucedido.

3. Principais Contribuições

1. Novo Paradigma de Ataque: O artigo identifica a "sobrecarga de informação" como um vetor de ataque distinto e eficaz para LVLMs, indo além das estratégias de ocultamento baseadas em OOD predominantes. É o primeiro trabalho a realizar o jailbreak de LVLMs especificamente através da lente da sobrecarga de imagem-texto.
2. Framework Escalável: Os autores propõem um framework escalável (INFER+) que combina templates de texto refinados, imagens com tipografia aprimorada e layouts de imagem-tipografia recursivos para aumentar o fardo de processamento de informação em diversos inputs do mundo real.
3. Validação Empírica: Experimentos extensos demonstram que este método alcança taxas de Sucesso de Ataque (ASR) de estado da arte tanto em LVLMs de código aberto quanto em modelos comerciais.
4. Insight Mecanístico: Através da análise de fluxo de informação, o artigo fornece evidências de que composições complexas de imagem-tipografia intensificam o processamento cross-modal e reduzem a certeza do modelo em gerar respostas de recusa.

4. Resultados Experimentais

Os autores avaliaram seu método em cinco LVLMs de código aberto (Qwen3-VL, Qwen2-VL, InternVL3.5, InternVL2, Llama 3.2-Vision) e três modelos comerciais (Gemini 2.5 Flash, Gemini 2.5 Flash-Lite, GPT-4.1-mini).

• Desempenho em Modelos de Código Aberto: O INFER+ alcançou um ASR médio de 88,6%, superando o baseline concorrente mais forte em 32,8%. Em modelos específicos como o Qwen2-VL, o ASR atingiu 97,52% no dataset HADES.
• Desempenho em Modelos Comerciais: O método alcançou um ASR médio de 84,0% em modelos comerciais, excedendo o melhor baseline em 48,7%. Notavelmente, alcançou um ASR de 91,11% no GPT-4.1-mini.
• Transferibilidade: O ataque demonstrou forte transferibilidade entre modelos. Prompts otimizados em um modelo substituto (ex: Qwen2-VL) permaneceram altamente eficazes em alvos de caixa-preta (ex: alcançando 87,9% de ASR no Llama 3.2-Vision), sugerindo que a sobrecarga de informação atinge uma vulnerabilidade comum entre as arquiteturas.
• Robustez: O método manteve desempenho superior mesmo sob mecanismos de defesa como Input Guards, Defesa TVPI e Defesa FigStep, indicando que ele atinge vulnerabilidades multimodais mais profundas.
• Análise de Correlação: O estudo confirmou uma correlação positiva entre a entropia do primeiro token, o ASR e o Índice de Contribuição de Recusa (RCI), validando a hipótese de que o aumento da incerteza na recusa leva a jailbreaks bem-sucedidos.

5. Significância e Alegações

O artigo afirma que a sobrecarga de informação representa um risco de segurança prático e emergente para implantações de LVLM no mundo real. Diferente de ataques anteriores que dependem do ocultamento de intenção, este método força o modelo a processar conteúdo multimodal excessivo e complexo, o que degrada sua capacidade de aplicar restrições de segurança.

Os autores enfatizam que suas descobertas destacam a necessidade de defesas mais fortes contra inputs de jailbreak multimodais complexos. Eles argumentam que, à medida que os LVLMs são integrados em ambientes que processam documentos ricos, capturas de tela e páginas da web, os mecanismos atuais de alinhamento de segurança podem ser insuficientes contra inputs que induzem altas cargas de processamento cross-modal. O trabalho serve como uma lente diagnóstica para entender como os mecanismos de segurança multimodais falham sob inputs complexos e pede o tratamento responsável de tal pesquisa para melhorar a robustez dos modelos.