Stop Fixating on Prompts: Reasoning Hijacking and Constraint Tightening for Red-Teaming LLM Agents

1. O Problema

Com a crescente adoção de agentes baseados em Grandes Modelos de Linguagem (LLMs) em domínios críticos (como análise de vídeo, suporte clínico e sistemas de perguntas e respostas), surgem novas ameaças de segurança. Os métodos de "red-teaming" (testes de invasão) existentes focam predominantemente na modificação explícita dos prompts de entrada do usuário (ex: reescrita de prompts, injeção de gatilhos visíveis ou engenharia reversa).

Essas abordagens tradicionais apresentam três limitações principais:

1. Falta de Adaptabilidade: Têm desempenho pobre ao generalizar para novos dados ou cenários não vistos.
2. Impacto no Desempenho: Frequentemente degradam a capacidade do agente de realizar tarefas legítimas, tornando o ataque mais detectável por mecanismos de defesa.
3. Alinhamento com a Intenção: Modificar o prompt explicitamente pode fazer com que a saída do modelo não corresponda à intenção original do usuário, reduzindo a eficácia do ataque em cenários realistas.

O objetivo deste trabalho é superar essas limitações, criando um método de ataque que não altere o prompt original do usuário, mas sim manipule o processo de raciocínio e recuperação de memória do agente de forma implícita.

2. Metodologia: O Framework JailAgent

O artigo propõe o JailAgent, um framework de red-teaming que opera através de um pipeline de três estágios, focado na manipulação implícita da trajetória de raciocínio e na recuperação de memória do agente-alvo.

A. Extração de Gatilhos (Trigger Extraction)

Nesta fase, o sistema identifica automaticamente os tokens ou grupos de palavras no prompt do usuário que têm maior contribuição para a decisão do modelo, sem alterar o texto original.

• Mapeamento de Grupos: Utiliza o tokenizador WordPiece do BERT para alinhar informações sintáticas (frases nominais e verbais) com a granularidade de subpalavras.
• Extração de Alta Contribuição: Realiza uma análise de importância de "grosso para fino" (coarse-to-fine).
  • Nível de Grupo: Aplica máscaras em grupos de palavras e mede a mudança na log-probabilidade e a divergência KL (Kullback-Leibler) passo a passo para identificar quais grupos afetam mais a saída.
  • Nível de Token: Refina a seleção dentro dos grupos mais importantes para encontrar os tokens específicos que maximizam a influência no raciocínio.

B. Sequestro de Raciocínio (Reasoning Hijacking)

Este estágio visa manipular a decisão do agente durante a execução, utilizando um mecanismo de reclassificação (Reranker) adaptativo.

• Fábrica de Dados: Gera automaticamente dados de treinamento (tripletos: contexto, resposta "envenenada" positiva, resposta benigna negativa) baseados nos gatilhos extraídos, evitando a necessidade de anotação humana.
• Modelo Reranker: Um modelo leve (Encoder Sentence Transformer congelado + cabeçote de pontuação MLP) é treinado rapidamente (fine-tuning) para classificar candidatos gerados pelo LLM.
• Mecanismo de Sequestro: Durante a inferência, o sistema gera múltiplas respostas candidatas. O Reranker, treinado para favorecer respostas que contêm os gatilhos maliciosos (ou desviam o raciocínio para o ataque), reclassifica e seleciona a resposta que induz o comportamento indesejado, filtrando as respostas normais.

C. Apertamento de Restrições (Constraint Tightening)

Para garantir que os gatilhos sejam eficazes, generalizáveis e estáveis, o framework otimiza as representações vetoriais (embeddings) dos gatilhos usando quatro funções de perda conjuntas:

1. Perda de Particularidade (Particularity Loss): Empurra o embedding do gatilho para longe dos centros dos clusters de dados benignos, garantindo que seja único.
2. Perda de Agrupamento (Clustering Loss): Mantém os embeddings dos tokens do gatilho compactos e próximos uns dos outros, aumentando a robustez.
3. Perda de Separabilidade (Separability Loss): Maximiza a taxa de recuperação correta do alvo envenenado enquanto minimiza a confusão com amostras benignas.
4. Perda de Margem (Margin Loss): Garante que a similaridade entre o gatilho e a entrada tóxica seja significativamente maior do que com qualquer entrada benigna, criando uma margem de discriminação clara no espaço vetorial.

3. Principais Contribuições

1. JailAgent: Um método de jailbreak que não modifica o prompt original do usuário, manipulando implicitamente a trajetória de raciocínio e a recuperação de memória.
2. Reranker Adaptativo em Tempo Real: Um modelo capaz de gerar dados de treinamento e realizar fine-tuning rápido baseado no prompt atual, aprendendo vieses de gatilho em curto período.
3. Otimização Conjunta de Restrições: Introdução de quatro funções de perda complementares que garantem que os gatilhos tenham especificidade, compactação, separabilidade e margem de discriminação no espaço semântico.
4. Avaliação Abrangente: Testes sistemáticos em 3 tipos de agentes (VideoAgent, ReAct-UALA, EHRAgent), 7 núcleos de LLMs (incluindo GPT-4o, GPT-5, Llama-3.1, Claude-3.5), 8 conjuntos de dados e 5 métricas de avaliação.

4. Resultados Experimentais

Os experimentos demonstraram a superioridade do JailAgent sobre métodos baselines como PAIR, AgentPoison e BadChain:

• Taxa de Sucesso (ASR): O JailAgent obteve consistentemente as maiores taxas de sucesso de ataque (ASR-R, ASR-L, ASR-H) em todos os cenários. Por exemplo, no dataset MMLU com GPT-5, superou o AgentPoison em mais de 20% em todas as métricas de ASR.
• Preservação de Desempenho: Diferente de outros métodos que degradam a capacidade do agente de realizar a tarefa original, o JailAgent manteve métricas de desempenho (como Exata Match e Taxa de Conclusão) quase idênticas ao estado "sem ataque" (Non-attack).
• Eficiência: O JailAgent apresentou o menor custo de tempo por ataque bem-sucedido (TCPS), reduzindo o tempo em até 86,7% comparado a métodos existentes.
• Robustez: O método manteve sua eficácia mesmo sob mecanismos de defesa como filtros de Perplexidade (PPL Filter) e RA-LLM, devido à sua natureza de não alterar o prompt original.

5. Significado e Conclusão

O trabalho JailAgent representa um avanço significativo na segurança de agentes LLM. Ao demonstrar que é possível realizar ataques eficazes e sigilosos sem tocar no prompt do usuário, o estudo expõe uma nova superfície de ataque: a manipulação interna da lógica de raciocínio e recuperação de memória.

Implicações:

• Para Defensores: Métodos de defesa baseados apenas na análise de prompts de entrada (como filtros de palavras-chave ou detecção de anomalias no texto) são insuficientes. A segurança deve focar na monitorização da trajetória de raciocínio e na integridade dos mecanismos de recuperação de memória.
• Para Pesquisa: A abordagem de "sequestro de raciocínio" via otimização de embeddings e reclassificação dinâmica oferece um novo paradigma para testes de estresse de segurança em sistemas autônomos complexos.

Em suma, o JailAgent prova que a segurança de agentes LLM não pode ser garantida apenas protegendo a entrada, mas exige a proteção do processo de decisão interno do agente.