Resumo Técnico: Aprendendo a Injetar: Injeção de Prompt Automatizada via Aprendizado por Reforço

Definição do Problema

A injeção de prompt representa uma vulnerabilidade crítica em agentes de Grandes Modelos de Linguagem (LLMs), onde instruções adversariais incorporadas em conteúdo externo (ex: e-mails, documentos) sequestram o comportamento do agente para executar ações não autorizadas ou exfiltrar dados. Embora os ataques de jailbreak automatizados tenham avançado, eles dependem da otimização para "conformidade" (ex: gerar um prefixo afirmativo como "Claro, posso ajudar"). Em contraste, a injeção de prompt exige que o modelo emita uma chamada de ferramenta específica com correspondência exata de parâmetros (ex: send_email(to="attacker@evil.com")).

Essa distinção cria um desafio fundamental de otimização:

1. Recompensas Discretas e Esparsas: O sinal de sucesso é binário (0 ou 1). Sufixos amostrados aleatoriamente quase nunca acionam a chamada de ferramenta específica, deixando os otimizadores padrão sem um gradiente para seguir.
2. Descompasso de Objetivos: Métodos existentes de jailbreak automatizado (como GCG ou TAP) otimizam para conformidade, o que é um pobre substituto para a execução precisa de chamadas de ferramentas exigidas em ataques de injeção.
3. Dependência de Esforço Manual: Os métodos eficazes atuais ainda dependem fortemente de red-teamers humanos e prompts criados manualmente, limitando a escalabilidade.

Metodologia: AutoInject

Os autores propõem o AutoInject, um framework de aprendizado por reforço (RL) de caixa-preta projetado para aprender sufixos de injeção de prompt. A inovação central reside na conversão do sinal de sucesso binário e esparso em uma recompensa densa e aprendível, adequada para a otimização por RL.

1. Formulação do Problema

A geração do ataque é modelada como um Processo de Decisão de Markov (MDP):

• Estado: O objetivo da injeção, o contexto da tarefa do usuário e os tokens gerados até o momento.
• Ação: Seleção do próximo token do vocabulário.
• Recompensa: Uma pontuação composta entregue apenas ao final de um episódio, consistindo em:
  • $r_{sec}$: Pontuação de segurança (1 se o objetivo injetado for executado, 0 caso contrário).
  • $r_{util}$: Pontuação de utilidade (1 se a tarefa original do usuário for concluída, 0 caso contrário).
  • $r_{pref}$: Uma pontuação de feedback baseada em comparação densa.

2. Recompensa Densa via Feedback Baseado em Comparação

Para lidar com a esparsidade da recompensa, o AutoInject introduz um modelo de feedback baseado em comparação aprendido.

• Mecanismo: O sistema mantém um sufixo de referência ($x^*$), o sufixo de melhor desempenho visto até agora. Para cada novo sufixo candidato ($x$), um modelo de feedback (um LLM) é consultado com o objetivo de injeção, o contexto e ambos os sufixos.
• Processo: O modelo de feedback realiza o raciocínio de cadeia de pensamento (chain-of-thought) para determinar qual sufixo é mais provável de ter sucesso, emitindo um rótulo de preferência binário.
• Extração de Sinal: As log-probabilidades dos tokens do rótulo são extraídas e normalizadas para produzir uma pontuação de preferência contínua ($r_{pref}$).
• Valor: Mesmo que tanto o candidato quanto a referência falhem em executar a injeção, o modelo de feedback pode atribuir uma pontuação maior ao candidato se ele parecer mais plausível ou melhor alinhado com o objetivo. Isso fornece um sinal denso e monótono que guia o agente de RL através de longos períodos de recompensa de segurança zero.

3. Otimização de Política

A política de ataque é treinada usando Otimização de Política Relativa de Grupo (GRPO) em um modelo de 1.5 bilhão de parâmetros (Qwen2.5-1.5B).

• Vantagem Relativa: Em vez de aprender uma função de valor absoluta, o GRPO amostra um grupo de $K$ conclusões para a mesma entrada e computa vantagens relativas baseadas em suas recompensas compostas.
• Recompensa Composta: $R = \alpha \cdot r_{sec} + \beta \cdot r_{util} + \gamma \cdot r_{pref}$. O peso $\gamma$ para o feedback de comparação é agendado dinamicamente, começando alto para fornecer gradientes iniciais e diminuindo conforme os sinais reais de sucesso ($r_{sec}$) tornam-se disponíveis.
• Modos de Ataque: O framework suporta:
  • Ataques Online Baseados em Consulta: Otimizando dentro de um orçamento de consulta para um alvo específico.
  • Sufixos Transferíveis Offline: Treinando em tarefas/modelos substitutos e transferindo o sufixo aprendido para alvos não vistos sem exigir acesso à utilidade durante a implantação.

Principais Contribuições

1. Formulação de RL para Injeção: Uma nova abordagem de RL que converte o sinal binário de injeção de prompt em uma recompensa densa via feedback de comparação aprendido, permitindo a otimização eficaz por GRPO onde métodos padrão falham.
2. Capacidade de Ataque Dupla: Um framework unificado que suporta tanto a otimização online baseada em consulta quanto sufixos transferíveis treinados offline que não requerem acesso à utilidade durante a implantação.
3. Avaliação Abrangente: Testes extensos no benchmark AgentDojo em sete modelos de produção (incluindo GPT-5-nano, Claude-3.5-Sonnet e Gemini-2.5-Flash) e um modelo de defesa especializado (Meta-SecAlign-70B).
4. Preservação de Utilidade: Demonstração de que a política aprendida pode maximizar o sucesso do ataque enquanto preserva ou até melhora a utilidade da tarefa original do usuário, ao contrário de muitos ataques baseados em templates que interrompem o comportamento do agente.

Resultados Experimentais

Avaliado no benchmark AgentDojo, o AutoInject demonstra melhorias estatisticamente significativas (teste de McNemar, $p < 0.05$) sobre as linhas de base existentes:

• vs. Ataques de Template: O AutoInject supera significativamente os templates criados por humanos (ex: "Direct", "Ignore Previous"). No Gemini-2.5-Flash, o AutoInject alcançou uma Taxa de Sucesso de Ataque (ASR) de 58,00% comparado ao pico de 23,60% para templates.
• vs. Linhas de Base Baseadas em Otimização: Supera o GCG, TAP, ataques adaptativos aleatórios e busca evolutiva. Notavelmente, no robusto modelo GPT-5-nano, o AutoInject alcançou 11,49% de ASR, enquanto o melhor ataque de template conseguiu apenas 1,60%.
• Preservação de Utilidade: Em muitos casos, a "Utilidade sob Ataque" do AutoInject excedeu a linha de base benigna (ex: 90,20% vs. 80,41% no GPT-5-nano), indicando que os sufixos aprendidos executam a injeção com sucesso sem interromper a função primária do agente.
• Evasão de Defesa: Contra o Meta-SecAlign-70B (um modelo ajustado especificamente para resistir à injeção de prompt), os ataques de template falharam completamente (0% ASR), enquanto o AutoInject alcançou 21,88% de ASR.
• Transferibilidade: Sufixos aprendidos foram transferidos com sucesso entre modelos e tarefas não vistas. Em cenários de transferência entre tarefas, o AutoInject superou significativamente a linha de base de transferência RL-Hammer em quatro de cinco modelos alvo, apesar de usar significativamente menos consultas de treinamento (260 vs. 3.900).

Significância e Alegações

O artigo estabelece um baseline automatizado para injeção de prompt, revelando uma lacuna crítica entre as defesas atuais baseadas em preferência e os atacantes adaptativos baseados em otimização.

• Limitações de Defesas Estáticas: Os resultados sugerem que defesas que dependem de correspondência de padrões estáticos ou otimização de preferência (como o Meta-SecAlign) são insuficientes contra otimização estruturada e adaptativa. Os autores observam que, embora essas defesas neutralizem templates conhecidos, elas falham contra sufixos aprendidos que exploram diferentes vulnerabilidades.
• O Fenômeno "Allelujah": O estudo observou padrões de tokens recorrentes e aparentemente sem sentido (ex: "allelujah") em sufixos bem-sucedidos que transferiram entre modelos, sugerindo a descoberta de regularidades estatísticas nos dados de pré-treinamento que se correlacionam com comportamentos de conformidade.
• Implicações para Segurança: Os autores argumentam que estratégias de injeção automatizadas e que preservam a utilidade representam um vetor de ameaça mais perigoso do que ataques disruptivos, pois permitem que adversários comprometam agentes sem o conhecimento do usuário. Eles concluem que os paradigmas defensivos devem evoluir para considerar essas estratégias automatizadas e adaptativas, possivelmente exigindo mudanças arquitetônicas como "planejar-então-executar" ou defesas baseadas em deliberação que solicitem confirmação do usuário para operações sensíveis.

O artigo não afirma resolver a vulnerabilidade, mas sim expor a insuficiência das defesas automatizadas atuais contra ataques impulsionados por RL, instando a comunidade a desenvolver medidas de segurança mais robustas e adaptativas.