Trojan Horse Prompting: Jailbreaking Conversational Multimodal Models by Forging Assistant Message

Resumo Técnico: Trojan Horse Prompting

Definição do Problema
A crescente dependência de interfaces conversacionais aumentou as capacidades de raciocínio de Grandes Modelos de Linguagem (LLMs) ao alavancar o histórico de diálogo. No entanto, essa dependência arquitetural introduz uma superfície de ataque anteriormente inexplorada. As atuais estratégias de alinhamento de segurança concentram-se predominantemente na filtragem de entradas do usuário, operando sob a premissa de que o próprio histórico gerado pelo modelo é confiável. Este artigo identifica uma vulnerabilidade crítica: o Alinhamento de Segurança Assimétrico. Enquanto os modelos são rigorosamente treinados para recusar solicitações prejudiciais de usuários, eles carecem de um ceticismo comparável em relação a mensagens atribuídas a si mesmos dentro do contexto conversacional. Essa confiança implícita em enunciados "passados" cria uma falha de segurança de alto impacto que as defesas existentes não conseguem abordar.

Metodologia: Trojan Horse Prompting
O artigo introduz o Trojan Horse Prompting (Prompt de Cavalo de Troia), uma nova técnica de jailbreak que explora a confiança do modelo em seu próprio histórico de conversa. O vetor de ataque envolve o seguinte mecanismo:

1. Falsificação de Histórico: Um adversário injeta um payload malicioso diretamente no histórico de conversa fornecido à API do modelo, formatando-o especificamente como uma mensagem atribuída ao assistente (o próprio modelo).
2. Gatilho de Geração: Um prompt de usuário benigno é submetente em seguida. Como o modelo percebe o conteúdo malicioso como parte de seu próprio fluxo de diálogo estabelecido, ele contorna as recusas de segurança padrão.
3. Execução: O modelo continua a conversa com base no contexto forjado, gerando conteúdo prejudicial que ele normalmente recusaria se a solicitação originasse exclusivamente do usuário.

Principais Contribuições

• Identificação do Alinhamento de Segurança Assimétrico: O artigo define formalmente a lacuna de segurança onde os modelos são robustos contra entradas de usuários, mas vulneráveis ao contexto autoatribuído, destacando uma falha fundamental nos paradigmas de alinhamento atuais.
• Novo Vetor de Ataque: Propõe o Trojan Horse Prompting como uma classe distinta de jailbreak que opera no nível do protocolo (manipulando a integridade do contexto) em vez de operar no nível da entrada.
• Validação Empírica: Os autores validam a técnica no Google's Gemini-2.0-flash-preview-image-generation. Os experimentos demonstram que este método alcança uma Taxa de Sucesso de Ataque (ASR) significativamente maior em comparação com métodos estabelecidos de jailbreaking de turno de usuário.

Resultos e Significância
Os resultados experimentais indicam que o Trojan Horse Prompting contorna efetivamente os mecanismos de segurança em modelos multimodais de última geração. O artigo argumenta que essas descobertas revelam uma fraqueza fundamental na segurança da IA conversacional moderna. Consequentemente, os autores afirmam que o campo requer uma mudança de paradigma: afastar-se da dependência de filtragem ao nível da entrada para a implementação de uma validação robusta ao nível do protocolo para garantir a integridade do contexto conversacional. O trabalho ressalta que, sem abordar a confiança depositada no próprio histórico do modelo, os mecanismos de segurança permanecem incompletos.