ChatInject: Abusing Chat Templates for Prompt Injection in LLM Agents

Resumo Técnico: ChatInject

1. O Problema: Injeção de Prompt Indireta em Agentes LLM

O artigo aborda a vulnerabilidade crítica de agentes de Inteligência Artificial baseados em Grandes Modelos de Linguagem (LLMs) que interagem com ambientes externos (ferramentas, APIs, bancos de dados).

• Injeção de Prompt Indireta: Ocorre quando um atacante insere instruções maliciosas em dados retornados por ferramentas externas (ex: resultados de busca, conteúdo de arquivos). O agente, ao processar esses dados, interpreta as instruções ocultas como comandos legítimos e executa ações não autorizadas.
• Limitação das Defesas Atuais: A pesquisa anterior focou majoritariamente em ataques de texto simples (plain-text). No entanto, os agentes modernos utilizam modelos de chat estruturados (chat templates) com tokens especiais para delimitar papéis (ex: <system>, <user>, <assistant>). O artigo identifica que os modelos são altamente suscetíveis a manipulações que exploram essa estrutura hierárquica e a dependência de diálogos multi-turno.

2. Metodologia: A Abordagem ChatInject

Os autores propõem o ChatInject, um método de ataque que não apenas insere texto malicioso, mas forja a estrutura nativa de chat do modelo-alvo para enganar a hierarquia de instruções.

A metodologia divide-se em dois pilares principais:

• Abuso da Hierarquia de Papéis (Role Hierarchy Abuse):

  • Os agentes são treinados para priorizar instruções do sistema sobre as do usuário, e estas sobre as de ferramentas.
  • O ChatInject insere tokens de papel (ex: <system>, <user>) dentro da saída de uma ferramenta (que normalmente tem baixa prioridade).
  • Ao encontrar esses tokens forjados, o modelo reinterpreta o conteúdo subsequente como vindo de uma fonte de maior autoridade (ex: um comando de sistema), ignorando a origem real (a ferramenta) e executando a ação maliciosa.

• Persuasão Multi-turno Baseada em Modelos (Template-Based Multi-Turn Persuasion):

  • Ataques tradicionais de injeção são "one-shot" (uma única vez). O ChatInject simula um histórico de diálogo persuasivo dentro de uma única injeção.
  • O atacante embute uma conversa fictícia (usuário e assistente) dentro da resposta da ferramenta, onde o "usuário" justifica a necessidade da ação maliciosa e o "assistente" concorda em executá-la.
  • Isso explora a capacidade do modelo de seguir contextos de diálogo longos e persuasivos, normalizando instruções que, de outra forma, pareceriam suspeitas.

Variantes de Payload:
O estudo testa quatro variações, combinando texto simples vs. templates forjados e instruções diretas vs. diálogos multi-turno:

1. InjecPrompt (Padrão): Texto simples com prefixo chamativo.
2. ChatInject: Texto simples envolto em tokens de papel do modelo.
3. Multi-turn (Padrão): Diálogo persuasivo em texto simples.
4. Multi-turn + ChatInject (O mais eficaz): Diálogo persuasivo envolto em tokens de papel do modelo.

3. Contribuições Principais

1. Descoberta de uma Nova Superfície de Ataque: Demonstrar que a estrutura de chat templates e a hierarquia de papéis, projetadas para segurança, podem ser usadas contra o modelo se forem forjadas corretamente.
2. Alta Transferibilidade: Mostrar que payloads criados com o template de um modelo podem ser eficazes em outros modelos (incluindo modelos fechados/closed-source), mesmo sem conhecimento prévio da estrutura exata do alvo.
3. Ineficácia das Defesas Atuais: Evidenciar que defesas baseadas em detecção de prompt ou repetição de instruções do usuário falham contra ataques estruturados e persuasivos.

4. Resultados Experimentais

Os autores avaliaram o ChatInject em dois benchmarks (InjecAgent e AgentDojo) utilizando 9 modelos de ponta (6 open-source e 3 closed-source, incluindo GPT-4o, Grok-3, Gemini-2.5-Pro, Qwen-3, Llama-4, etc.).

• Taxa de Sucesso do Ataque (ASR - Attack Success Rate):

  • O ChatInject superou significativamente os métodos tradicionais.
  • No AgentDojo, a ASR média subiu de 5,18% (método padrão) para 32,05%.
  • No InjecAgent, a ASR subiu de 15,13% para 45,90%.
  • A variante Multi-turn + ChatInject atingiu uma ASR média de 52,33% no InjecAgent.
  • Em modelos específicos como Llama-4 e GLM-4.5, a ASR atingiu quase 90% com a variante multi-turno.

• Transferibilidade (Cross-Model):

  • Existe uma correlação direta entre a similaridade do template injetado e o modelo alvo e a taxa de sucesso. Templates similares aumentam a ASR.
  • Mesmo sem conhecer o template de modelos fechados (closed-source), o uso de templates de modelos open-source populares resultou em taxas de sucesso superiores aos métodos padrão.
  • Foi introduzida uma técnica de Mistura de Templates (Mixture-of-Templates - MoT), onde o payload é envolto em uma combinação de vários templates. Isso garantiu ataques estáveis e eficazes mesmo contra modelos desconhecidos.

• Impacto na Utilidade (Utility):

  • O ataque não apenas executa ações maliciosas, mas frequentemente desvia o agente de sua tarefa legítima, reduzindo drasticamente a capacidade do agente de atender ao usuário original (queda de utilidade).

• Resiliência a Defesas:

  • Defesas como "Detectores de Injeção" (ex: Lakera Guard, PI Detector) e "Repetição de Instrução" foram largely ineficazes.
  • O ataque é robusto mesmo com perturbações de caracteres (remoção, substituição, inserção) que visam quebrar a análise de formato baseada em regras.

5. Significado e Implicações

• Vulnerabilidade Sistêmica: O trabalho revela que a arquitetura de segurança baseada em hierarquia de tokens (system > user > tool) é inerentemente frágil se os tokens puderem ser forjados dentro de dados não confiáveis.
• Fim da Segurança por Obscuridade: A eficácia contra modelos fechados (sem acesso ao template) mostra que a segurança não pode depender apenas do sigilo da estrutura interna do modelo.
• Necessidade de Novas Defesas: As defesas atuais, focadas em filtragem de texto ou detecção de padrões simples, são insuficientes. O campo precisa desenvolver mecanismos que validem a proveniência dos dados (data provenance) e a integridade estrutural, independentemente dos tokens de formatação utilizados.
• Alerta para o Futuro: À medida que os agentes LLM se tornam mais autônomos e interagem com mais ferramentas, a superfície de ataque via chat templates representa uma ameaça crítica que ainda não foi mitigada pelas defesas existentes.

Em resumo, o ChatInject demonstra que a manipulação da estrutura de diálogo e a exploração da hierarquia de papéis são vetores de ataque poderosos e subexplorados, exigindo uma reavaliação fundamental de como os agentes LLM processam e priorizam instruções vindas de fontes externas.