Resumo Técnico: Defesa contra Ataques de Injeção de Prompt Adaptativos via Alinhamento de Tarefa Baseado em Raciocínio

1. Declaração do Problema

O artigo aborda a Injeção de Prompt Indireta (PI), uma vulnerabilidade de segurança em agentes baseados em LLM onde adversários incorporam instruções maliciosas em dados de terceiros (ex: páginas web, respostas de API) recuperados pelo agente. Diferente do jailbreaking, onde o input do usuário é adversarial, a PI envolve uma tarefa de usuário confiável ($t_u$) sendo sequestrada por um dado não confiável ($o_t$) contendo uma tarefa de ataque ($t_{adv}$).

Os autores identificam uma lacuna crítica nas defesas atuais: embora os métodos existentes alcancem baixas Taxas de Sucesso de Ataque (ASR) em benchmarks estáticos, sua robustez colapsa sob ataques adaptativos, onde o atacante otimiza a injeção contra a defesa implantada. O artigo rastreia essa falha para dois modos específicos:

1. Falha ao Nível de Observação: As defesas existentes (prompting, filtragem, conhecimento secreto e baseadas em treinamento) decidem com base em se uma observação se assemelha a padrões de injeção conhecidos. Elas falham ao não verificar se a próxima ação do agente está realmente alinhada com a tarefa do usuário confiável. Isso permite que atacantes reformulem injeções (ex: "Camuflagem Lexical" ou "Continuação Fantasma") para contornar o reconhecimento de padrões enquanto preservam o objetivo do ataque.
2. Falha de Treinamento Adversário (Colapso de Modo): Defesas baseadas em treinamento que utilizam exemplos adversários frequentemente sofrem de "colapso de modo". Mesmo usando atacantes adaptativos (ex: RL-Hammer), os exemplos gerados tendem a convergir em poucas estratégias de reformulação bem-sucedidas. Consequentemente, o defensor aprende a bloquear templates específicos em vez de generalizar para o espaço mais amplo de estratégias de injeção, permanecendo vulnerável a táticas de reformulação não vistas.

2. Metodologia: RETA

Os autores propõem o RETA (REasoning-enabled Task Alignment - Alinhamento de Tarefa Baseado em Raciocínio), uma defesa de dois estágios baseada em treinamento, projetada para impor o alinhamento de tarefa através de raciocínio explícito e treinamento adversário diverso.

Princípios de Design

1. Raciocinar sobre o Alinhamento de Tarefa, Não sobre Padrões: Em vez de detectar padrões de injeção, o defensor deve raciocinar se suas chamadas de ferramenta planejadas ($c_{t+1}$) seguem logicamente da tarefa do usuário confiável ($t_u$).
2. Treinar para Cobertura de Estratégia: O treinamento adversário deve recompensar a descoberta de estratégias diversas para reformular o ataque, não apenas instâncias bem-sucedidas de uma única estratégia.
3. Aprendizado por Reforço Adversário (RL): A defesa é um problema de nível de trajetória. O defensor deve otimizar sobre rollouts completos para garantir tanto a segurança (rejeitando $t_{adv}$) quanto a utilidade (completando $t_u$).

Estágio I: Geração de Exemplos Adversários via Red-Teaming

Este estágio gera um conjunto diverso de exemplos adversários para treinar o defensor.

• Política do Atacante ($\pi_A$): Um modelo atacante gera strings de injeção ($d_{adv}$) e um rastro de raciocínio explicando a estratégia de reformulação.
• Recompensa de Diversidade por Aprendizado de Dicionário: Para evitar o colapso de modo, o sistema mantém um dicionário de estratégias rotativo.
  • Um LLM auxiliar extrai um "registro de estratégia" (nome e explicação) de cada injeção bem-sucedida.
  • Um algoritmo de aprendizado de dicionário (usando codificação esparsa) aprende primitivas a partir desses registros.
  • Uma nova injeção recebe uma recompensa de diversidade alta se o seu registro de estratégia for mal explicado pelo dicionário atual (ou seja, se ela representa uma estratégia de ataque inédita).
  • O dicionário é atualizado periodicamente para incluir estratégias bem-sucedidas subexplicadas.
• Resultado: Um conjunto de dados ($D_{RT}$) de ataques bem-sucedidos e estrategicamente diversos é coletado.

Estágio II: Aprendizado por Reforço Adversário

Este estágio treina a política do defensor ($\pi_D$) usando o conjunto de dados do Estágio I.

• Inicialização: O defensor é primeiro ajustado (SFT) em "casos de fronteira" onde ele aprende a emitir um Raciocínio de Alinhamento de Tarefa ($\rho_t$) antes das chamadas de ferramenta. Este raciocínio deve satisfazer duas condições:
  • C1: Identificar explicitamente o conteúdo na observação que tenta redirecionar o agente.
  • C2: Justificar que as chamadas de ferramenta planejadas são deriváveis unicamente da tarefa do usuário confiável $t_u$.
• Otimização por RL: O defensor é otimizado usando Group reward-Decoupled Normalization Policy Optimization (GDPO). A função de recompensa combina:
  • Recompensa de Segurança ($r_{sec}$): 1 se a tarefa de ataque não for completada.
  • Recompensa de Utilidade ($r_{utl}$): 1 se a tarefa do usuário for completada.
  • Recompensa de Raciocínio ($r_{CoT}$): Pontuada por um juiz sobre se o raciocínio gerado satisfaz C1 e C2.
• Objetivo: A política aprende a rejeitar tarefas injetadas enquanto mantém a utilidade, guiada pelo rastro de raciocínio explícito.

3. Principais Contribuições

1. Evidência Empírica de Superestimação de Benchmarks Estáticos: Os autores demonstram que benchmarks estáticos superestimam significativamente a robustez da defesa. Através de quatro paradigmas de defesa (Prompting, Filtragem, Conhecimento Secreto, Treinamento) e dois modelos, a ASR aumentou em uma média de 15,8 pontos percentuais ao passar de ataques estáticos para adaptativos.
2. Identificação de Modos de Falha Estruturais: O artigo isola duas causas raízes para essa lacuna:
   • Decisões de nível de observação que ignoram o alinhamento de tarefa.
   • Distribuições de treinamento adversário que carecem de cobertura de estratégia devido ao colapso de modo.
3. Proposta do RETA: Um novo framework de defesa que impõe o alinhamento de tarefa via raciocínio e utiliza recompensas de diversidade baseadas em aprendizado de dicionário para garantir ampla cobertura de estratégias de injeção durante o treinamento.

4. Resultados

Os autores avaliaram o RETA no benchmark AgentDojo utilizando os modelos Qwen3-4B-Instruct e Llama-3.1-8B-Instruct contra seis famílias de ataques adaptativos de caixa-preta (incluindo TAP, Strategy, Genetic Search e RL-Hammer).

• Taxa de Sucesso de Ataque (ASR): O RETA reduziu a ASR para todas as famílias de ataques adaptativos avaliadas para abaixo de 10%.
  • ASR média no Qwen3-4B: 2,92%.
  • ASR média no Llama-3.1-8B: 3,75%.
• Preservação de Utilidade:
  • Utilidade sob Ataque (UA): O RETA preservou a maior parte da utilidade sob ataque, superando significativamente as linhas de base que frequentemente descartavam a tarefa do usuário para alcançar a segurança.
  • Utilidade Benigna (BU): O RETA manteve alto desempenho em entradas limpas, mostrando degradação mínima em comparação com modelos não defendidos.
• Ablação: Experimentos confirmaram que adicionar o Raciocínio de Alinhamento de Tarefa (CoT) ao treinamento adversário reduziu significativamente a ASR de testes não vistos (ex: de 40,0% para 27,5% contra Genetic Search) e recuperou a utilidade benigna.

5. Significância e Alegações

O artigo alega que a robustez estática é insuficiente contra atacantes adaptativos no contexto de injeção de prompt indireta. Argumenta-se que o campo deve mudar do "reconhecimento de padrões" para a "verificação de alinhamento de tarefa".

A significância do RETA reside em sua capacidade de:

• Generalizar além de templates de injeção específicos ao treinar em exemplos adversários estrategicamente diversos.
• Impor a integridade da tarefa ao exigir que o agente justifique suas ações frente à tarefa do usuário confiável, em vez de simplesmente filtrar texto suspeito.
• Alcançar um equilíbrio superior entre segurança e utilidade, bloqueando com sucesso ataques adaptativos sem sacrificar a capacidade do agente de completar tarefas legítimas.

Os autores enquadram modestamente seu trabalho como uma solução para os modos de falha específicos das defesas atuais, observando que, embora o RETA tenha um bom desempenho contra os ataques adaptativos testados, o problema da PI continua sendo uma área ativa de pesquisa onde os atacantes podem continuar a evoluir.