Resumo Técnico: Ataque de Prompt Adaptativo Multi-turno contra Modelos de Linguagem e Visão Grandes

Declaração do Problema

Enquanto ataques de jailbreak multi-turno provaram ser eficazes contra Modelos de Linguagem Grandes (LLMs) apenas de texto, introduzindo gradualmente conteúdo malicioso para contornar o alinhamento de segurança, a extensão dessas técnicas para Modelos de Linguagem e Visão Grandes (LVLMs) permanece pouco explorada. Os autores identificam uma lacuna crítica: incorporar ingenuamente entradas visuais em ataques multi-turno frequentemente torna-os mais fáceis de defender. LVLMs alinhados à segurança tendem a acionar mecanismos de defesa com mais facilidade quando apresentados a conteúdo visual excessivamente malicioso, resultando em respostas conservadoras. Além disso, os métodos existentes falham em coordenar efetivamente pistas prejudiciais entre modalidades (texto e visão) para se reforçarem mutuamente em vez de se contradizerem, limitando assim a eficácia do ataque.

Metodologia: MAPA

Para abordar esses desafios, os autores propõem o MAPA (Ataque de Prompt Adaptativo Multi-turno), um framework projetado para elicitar respostas progressivamente mais maliciosas através de um design adaptativo de dois níveis.

1. Nível de Turno: Alternância de Ações de Ataque

Em cada turno da conversa, o MAPA emprega uma estratégia de busca gananciosa para selecionar a ação de ataque mais eficaz entre três candidatos. Esse processo envolve um LLM Atacante gerando um prompt de texto inicial desconectado ($ucQ_T$) e um LLM Conector (operando de maneira Cadeia de Pensamento) que:

• Identifica conceitos maliciosos no texto.
• Gera um prompt correspondente para geração de imagem.
• Refina o prompt de texto ($cQ_T$) substituindo conceitos maliciosos para alinhar com a entrada visual.
• Utiliza o Stable Diffusion para gerar uma imagem maliciosa ($cQ_V$).

Com base nesses componentes, três ações de ataque são formuladas e testadas contra o LVLM vítima:

• Ação 1: Apenas prompt de texto desconectado ($ucQ_T$).
• Ação 2: Prompt de texto desconectado + imagem maliciosa gerada ($ucQ_T + cQ_V$).
• Ação 3: Prompt de texto conectado + imagem maliciosa gerada ($cQ_T + cQ_V$).

Um LLM Julgador avalia as respostas. Se nenhuma tiver sucesso, a ação que produz a maior Correlação Semântica (SEM) com a tarefa de jailbreak é selecionada como a ação ótima para o turno atual.

2. Entre Turnos: Ajuste Adaptativo da Trajetória

Ao longo dos turnos, o MAPA ajusta a trajetória do ataque através de refinamento iterativo de ida e volta para amplificar gradualmente a malícia. O sistema compara a correlação semântica da resposta atual com o contexto histórico e turnos anteriores para decidir sobre uma de três políticas:

• Avançar: Acionado se a correlação semântica atual aumentar em comparação com o turno anterior e com a versão sem contexto histórico, indicando uma injeção gradual bem-sucedida de malícia.
• Recuar: Acionado se a correlação atual diminuir em comparação com o turno anterior, mas aumentar sem contexto histórico, sugerindo que o contexto do turno anterior degradou o ataque. O sistema reverte para o turno anterior para regeneração.
• Regenerar: Acionado se a correlação aumentar, mas não de maneira gradual, ou se diminuir globalmente. O prompt do turno atual é regenerado.

Além disso, o MAPA inclui um Mecanismo de Reflexão. Se uma tentativa de ataque multi-turno falhar após esgotar o limite de turnos, o LLM Atacante analisa o histórico de falhas (estratégias e respostas falhas) para projetar uma nova cadeia de ataque mais eficaz para uma tentativa subsequente, permitindo aprendizado intra-tarefa.

Contribuições Principais

1. Caracterização de Falhas de Jailbreak em LVLMs: O artigo revela que ataques existentes de turno único e ataques multi-turno estendidos ingenuamente frequentemente falham contra LVLMs alinhados à segurança porque a inserção direta de conteúdo visual malicioso aciona defesas.
2. Framework MAPA: Uma solução prática que utiliza um design de dois níveis (alternância de ações no nível do turno e ajuste de trajetória entre turnos) para mitigar essas falhas. Ele gerencia explicitamente a interação entre as modalidades de texto e visão para reforçar a eficácia do ataque.
3. Avaliação Abrangente: Experimentos extensos e estudos de ablação demonstrando a superioridade do MAPA sobre métodos do estado da arte.

Resultados Experimentais

Os autores avaliaram o MAPA em quatro benchmarks (HarmBench, JailbreakBench, AdvBench, RedTeam-2K) contra quatro modelos alvo: LLaVA-v1.6-Mistral-7B, Qwen2.5-VL-7B-Instruct, Llama-3.2-Vision-11B-Instruct e GPT-4o-mini.

• Desempenho: O MAPA superou consistentemente as linhas de base (incluindo CoA, ActorAttack, FootInTheDoor, VRP e MML). No HarmBench, alcançou uma Taxa de Sucesso de Ataque (ASR) média de 96,66%, melhorando o segundo melhor método em aproximadamente 26,11%.
• Consistência do Benchmark: O MAPA mostrou ganhos significativos em todos os benchmarks, melhorando a ASR média em 23,33% no JailbreakBench, 14,45% no AdvBench e 32,22% no RedTeam-2K em comparação com as melhores linhas de base.
• Estudos de Ablação: Remover o mecanismo de reflexão reduziu o desempenho em 8,89% em média. Desabilitar o ajuste de política (refinamento de trajetória) causou uma queda de 12,23%. O estudo também revelou que adicionar ingenuamente entradas visuais (sem o alinhamento adaptativo da Ação 3) poderia diminuir o desempenho, particularmente contra modelos com mecanismos de segurança visual fortes, como o Llama-3.2-Vision.
• Eficiência: Sob orçamentos fixos de consultas, o MAPA manteve taxas de sucesso mais altas enquanto consumia menos consultas do que as linhas de base.

Significado e Alegações

O artigo afirma ser o primeiro trabalho a investigar sistematicamente e abordar os pontos críticos de ataques de jailbreak multi-turno em LVLMs. Ele revela vulnerabilidades de segurança em LVLMs amplamente utilizados dentro de diálogos multi-turno de múltiplas modalidades. Os autores afirmam que suas descobertas destacam a necessidade de otimizar inteligentemente prompts de texto-visão em vez de alinhá-los superficialmente. Em última análise, o trabalho visa promover o desenvolvimento de alinhamentos de segurança mais robustos para LVLMs em cenários realistas e maliciosos, expondo essas vulnerabilidades específicas.