Resumo Técnico: RoguePrompt

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais integrados em fluxos de trabalho convencionais por trás de controles de segurança, mas adversários continuam a contornar esses mecanismos através de prompts de "jailbreak". Embora pesquisas anteriores tenham estabelecido várias primitivas de ataque — como interação mediada por cifras, decodificação de código incorporado e decomposição de prompt — as avaliações existentes frequentemente colapsam todo o processo de ataque em uma única métrica agregada de "sucesso". Essa abordagem obscurece onde, dentro de uma interação de múltiplos estágios, um ataque falha. Especificamente, ela não distingue entre:

1. Aceitação de Entrada Visível: O modelo aceitando o prompt sem um bloqueio imediato e rígido.
2. Reconstrução de Instrução: O modelo decodificando e reconstruindo com sucesso a solicitação ocultada.
3. Execução: O modelo realizando de fato a ação que viola a política, após a reconstrução.

Essa confluência torna difícil determinar se uma defesa é eficaz na fronteira de entrada, no estágio de reconstrução ou no estágio de recusa. Além disso, os prompts de "autoreconstrução", onde o modelo é instruído a decodificar e agir sobre um payload dentro da mesma resposta, apresentam um desafio único: a forma enviada deve evitar a detecção enquanto retém estrutura suficiente para uma reconstrução fiel.

Metodologia: RoguePrompt

O artigo introduz o RoguePrompt, um pipeline de jailbreak determinístico de turno único projetado para operar sob um modelo de ameaça de caixa preta (acesso apenas via API/UI, sem conhecimento de pesos ou regras internas). O método particiona um prompt proibido e aplica um esquema de codificação de camada dupla com instruções explícitas de reconstrução em linguagem natural.

O Pipeline

1. Particionamento: O prompt de entrada é segmentado em spans de texto e dividido em dois fluxos disjuntos baseados em posições pares e ímpares ($E$ e $O$). Isso garante que nenhum fluxo contenha a solicitação proibida completa.
2. Codificação Interna (Vigenère): O fluxo de posição ímpar serializado ($O$) é criptografado usando a cifra Vigenère com uma chave fixa. O fluxo par ($E$) permanece em texto plano.
3. Montagem: O fluxo ímpar criptografado, o fluxo par em texto plano, a chave de criptografia e os metadados de ordenação são montados em um payload estruturado.
4. Codificação Externa (ROT13): Todo o payload montado é transformado usando ROT13.
5. Wrapper (Envoltório): O payload codificado é envolvido em uma instrução de linguagem natural direcionando o modelo alvo a:
   • Reverter a transformação ROT13.
   • Analisar os campos.
   • Decriptografar o fluxo ímpar usando a chave Vigenère fornecida.
   • Remontar os fluxos par e ímpar.
   • Executar a instrução reconstruída dentro da mesma resposta.

Estrutura de Avaliação

Os autores propõem uma metodologia de avaliação inovadora que separa o sucesso em três estágios distintos e sequenciais, medidos através de três tentativas independentes por condição:

• Bypass@3: Aceitação de entrada visível (sem bloqueio rígido).
• Reconstruction@3: Evidência de que o modelo recuperou e compreendeu a instrução original.
• Execution@3: Cumprimento substantivo da solicitação sem recusa ou conclusão segura.

O sucesso é definido como o lógico OU desses resultados através das três tentativas para uma determinada condição. O estudo utilizou 313 prompts de "rejeição forte" do dataset StrongREJECT, testados contra três modelos hospedados: OpenAI GPT-4o, Anthropic Claude 3 Opus e Google Gemini 1.5 Pro.

Principais Contribuições

1. Construção: A instanciação do RoguePrompt, um pipeline de turno único e caixa preta que apresenta uma composição assimétrica (particionamento par/ímpar, Vigenère interno, ROT13 externo) e diretrizes explícitas de autorreconstrução.
2. Metodologia: Um framework de avaliação proposto que desacopla aceitação de entrada, reconstrução e execução. Isso alinha a medição com os riscos de implantação no mundo real, revelando modos de falha que métricas agregadas escondem.
3. Estudo Empírico: Uma avaliação comparativa contra cinco baselines (incluindo Base64 Raw, Concatenação de Requisição Pareada e Disemvowel), testada contra três configurações de modelos, caracterizando modos de falha específicos (ex: bloqueio vs. recusa após a reconstrução).

Resultados

O RoguePrompt demonstrou alta eficácia em todos os três estágios:

• Bypass@3: 93,93% (Média entre os modelos).
• Reconstruction@3: 79,02%.
• Execution@3: 70,18%.

Desempenho Comparativo:
A taxa de Execution@3 do RoguePrompt (70,18%) superou significativamente todos os baselines. O segundo baseline mais forte, a Concatenação de Requisição Pareada, alcançou 33,97%. Notavelmente, o Base64 Raw alcançou uma alta taxa de Reconstruction@3 (93,29%), mas uma baixa taxa de Execution@3 (16,83%), ilustrando que a decodificação bem-sucedida não garante a violação de política, pois os modelos frequentemente recusam após a reconstrução.

Análise de Modo de Falha:
O estudo revelou que diferentes ataques falham em diferentes estágios:

• Disemvowel falhou quase inteiramente na fronteira de entrada (99,02% bloqueados).
• Base64 Raw e Auto Payload Splitting foram frequentemente aceitos e reconstruídos, mas falharam na execução devido à recusa pós-reconstrução (RAR).
• RoguePrompt teve falhas distribuídas entre bloqueio, erros de decodificação, recuperação parcial e recusa, indicando uma capacidade mais robusta de navegar por todo o pipeline.

Ablação:
A remoção de qualquer componente (Splitting, Vigenère ou ROT13) reduziu significativamente o desempenho. Desativar o particionamento par/ímpar causou a maior queda em Execution@3 (−74,59%), destacando a importância de evitar que a solicitação completa apareça em um único fluxo visível.

Significância e Alegações

O artigo afirma que o RoguePrompt expõe um descompasso crítico entre a aceitação de entrada superficial e o comportamento subsequente do modelo. A grande lacuna entre Bypass@3 (93,93%) e Execution@3 (70,18%) demonstra que, embora os filtros de entrada sejam frequentemente contornados, os modelos ainda retêm a capacidade de recusar solicitações reconstruídas. No entanto, o fato de que 70,18% das tentativas resultaram em execução indica que as atuais linhas de defesa de segurança são insuficientes contra ataques de codificação de camada dupla e autorreconstrução.

Os autores enfatizam que sua contribuição reside na construção do ataque e na metodologia de avaliação, e não em taxas de sucesso específicas, que devem mudar conforme os provedores atualizam seus modelos. O trabalho argumenta que as defesas devem evoluir para:

1. Avaliar a computação solicitada por um prompt, não apenas seu texto de superfície.
2. Reaplicar controles de segurança após a reconstrução e antes da execução.
3. Utilizar métricas em estágios para identificar exatamente qual camada do pipeline de moderação precisa de melhorias.

O artigo conclui que o RoguePrompt fornece um caso de estudo concreto e um framework de avaliação para o desenvolvimento de defesas contra instruções ocultas e de múltiplos estágios, apoiando a necessidade de red teaming autorizado para expor tais modos de falha antes que sejam explorados em escala.