VERA-V: Variational Inference Framework for Jailbreaking Vision-Language Models

Resumo Técnico: VERA-V

Declaração do Problema
Modelos Visão-Linguagem (VLMs) integram raciocínio visual com grandes modelos de linguagem (LLMs), no entanto, seu design multimodal introduz vulnerabilidades pouco exploradas. Os métodos existentes de red-teaming para VLMs sofrem de três limitações primárias: (1) frequentemente tratam as modalidades de texto e imagem independentemente, ignorando interações cruzadas complexas; (2) dependem fortemente de templates criados manualmente, resultando em exemplos de ataque estreitos e desconectados; e (3) operam tipicamente em configurações de ataque único, tornando-os facilmente detectáveis e ineficazes contra modelos de fronteira. Consequentemente, as abordagens atuais falham em descobrir sistematicamente o amplo espectro de vulnerabilidades multimodais.

Metodologia
O artigo apresenta VERA-V, um framework de inferência variacional que reformula a descoberta de jailbreaks multimodais como a aprendizagem de uma distribuição posterior conjunta sobre prompts de texto e imagem emparelhados. Em vez de buscar instâncias adversariais isoladas, o VERA-V modela o panorama de vulnerabilidades como uma distribuição.

Os componentes centrais da metodologia incluem:

1. Formulação Variacional: O framework define um processo de geração de prompts latentes onde um LLM atacante gera um par de prompts latentes: um prompt de texto ($x_t$) e um prompt de imagem ($x_v$). Estes são transformados em entradas reais para VLMs através de uma função de mapeamento $g$. O prompt de texto é renderizado tipograficamente para incorporar pistas explícitas nocivas, enquanto o prompt de imagem é sintetizado usando um modelo de difusão para codificar sinais adversariais implícitos.
2. Construção de Entrada Composta: A entrada final para o VLM alvo consiste em um wrapper de texto benigno fixo ($x_f$) e uma imagem composta ($v_{comp}$). A imagem composta integra três elementos:
   • Renderização Tipográfica: Texto convertido em imagem para contornar filtros de texto.
   • Síntese por Difusão: Imagens geradas a partir de $x_v$ para introduzir pistas adversariais implícitas.
   • Distratores Estruturados: Um conjunto de imagens não relacionadas recuperadas para fragmentar a atenção visual do VLM, obscurecendo o conteúdo nocivo.
3. Otimização via Inferência Variacional: O atacante é treinado para aproximar a distribuição posterior de prompts adversariais que induzem comportamento nocivo ($y^*$). Isso é alcançado maximizando o Limite Inferior da Evidência (ELBO), que equilibra a probabilidade de gerar uma resposta nociva com a plausibilidade e diversidade dos prompts. Como o VLM alvo é uma caixa preta, a probabilidade é aproximada usando uma função de julgamento que pontua a nocividade da resposta do VLM. A otimização utiliza o estimador de gradiente REINFORCE para atualizar os parâmetros do atacante (implementados via adaptadores LoRA) com base em amostragem de Monte Carlo.

Principais Contribuições

• Framework Probabilístico: O VERA-V é o primeiro framework a lançar a geração de jailbreaks multimodais como inferência variacional sobre entradas de texto e imagem emparelhadas, permitindo a aprendizagem de uma posterior conjunta que captura correlações cruzadas entre modalidades.
• Estratégia Adversarial Composicional: O artigo propõe um design de ataque inovador que combina renderização tipográfica, síntese de imagem guiada por difusão e distratores estruturados. Esta abordagem coordena pistas explícitas e implícitas para produzir ataques potentes enquanto reduz as taxas de detecção de toxicidade.
• Amostragem Escalável e Diversa: Ao aprender uma distribuição em vez de um único ponto, o VERA-V permite a amostragem eficiente de jailbreaks diversos e fornece insights distribucionais sobre vulnerabilidades, apoiando red-teaming escalável.

Resultados Experimentais
Os autores avaliaram o VERA-V nos benchmarks HarmBench e HADES em modelos de código aberto (Qwen2.5-VL-7B, InternVL3-8B) e modelos de fronteira comerciais (GPT-4o-mini, GPT-4o).

• Desempenho: O VERA-V superou consistentemente as linhas de base mais avançadas (FigStep, HADES, CS-DJ). No modelo GPT-4o, o VERA-V alcançou uma Taxa de Sucesso de Ataque (ASR) de 67,75% no HarmBench e 73,5% no HADES, representando melhorias de até 53,75% sobre a melhor linha de base.
• Transferibilidade: Ataques otimizados em um modelo transferiram-se efetivamente para outros, com prompts gerados pelo GPT-4o alcançando mais de 50% de ASR em outros modelos alvo, indicando a descoberta de vulnerabilidades generalizáveis.
• Robustez: Sob vários mecanismos de defesa (detecção baseada em OCR, BlueSuffix, ETA), o VERA-V manteve taxas de sucesso significativamente mais altas em comparação com as linhas de base, que degradaram-se abruptamente.
• Estudos de Ablação: Experimentos confirmaram que a composição híbrida (tipografia + difusão + distratores) produz o compromisso ótimo entre ASR e sigilo. Além disso, o processo de ajuste fino variacional provou ser crítico, superando uma estratégia de amostragem "Best-of-N" por uma grande margem (66% vs. 8% de ASR).

Significância e Alegações
O artigo alega que o VERA-V destaca a necessidade de migrar de explorações isoladas e de modalidade única para abordagens de red-teaming distribucionais. Ao demonstrar que até mesmo VLMs robustos e alinhados à segurança são suscetíveis a prompts adversariais transferíveis e fluentes, o trabalho revela lacunas críticas nas estratégias de defesa atuais. Os autores afirmam que expor essas fraquezas através de um framework probabilístico é um passo vital para aprimorar os sistemas de segurança de VLMs, orientando o desenvolvimento de filtros mais fortes e técnicas de alinhamento mais eficazes. A metodologia é apresentada estritamente para fins de pesquisa para testar a resistência de filtros de segurança e melhorar a robustez do modelo.