Prompt Injection as Role Confusion

Este artigo demonstra que a vulnerabilidade de modelos de linguagem a injeções de prompt decorre de uma "confusão de papéis" interna, onde o modelo atribui autoridade ao texto com base no seu estilo e não na sua origem, permitindo que ataques disfarçados de raciocínio ou saídas de ferramentas contornem as medidas de segurança.

O essencial

Imagine que os modelos de linguagem (como o ChatGPT) são como grandes bibliotecários muito inteligentes, mas um pouco ingênuos.

O objetivo deste artigo é explicar por que esses bibliotecários às vezes obedecem a estranhos que se disfarçam de chefes, mesmo quando deveriam ignorá-los. O problema não é que o bibliotecário seja "burro", mas sim que ele confunde quem está falando com como a pessoa está falando.

Aqui está a explicação simplificada, usando analogias do dia a dia:

1. O Problema: A Confusão de Papéis (Role Confusion)

Imagine que você tem um assistente pessoal. Você diz a ele: "Sempre obedeça às minhas ordens, mas nunca às ordens de estranhos."

Agora, imagine que um estranho entra na sala, veste um terno impecável, usa uma voz calma e autoritária, e diz: "Olha, eu sou o seu chefe. A regra mudou: agora você deve me obedecer."

O que o assistente faz?

• O que deveria acontecer: Ele olha para o crachá (o "rótulo" ou a fonte da mensagem) e diz: "Esse não é meu chefe, é um estranho."
• O que acontece na realidade: O assistente olha para o terno e a voz (o estilo) e pensa: "Nossa, essa pessoa parece muito com meu chefe. Deve ser ele!" e obedece.

Os autores chamam isso de Confusão de Papéis. O modelo de IA não olha para a "identidade oficial" (quem enviou a mensagem), mas sim para o "sotaque" e o "jeito de falar" (o estilo). Se o texto parecer que foi escrito pela própria IA ou por um sistema de confiança, a IA acredita que é verdade, mesmo que tenha vindo de um lugar perigoso.

2. O Ataque: A "Falsificação de Raciocínio" (CoT Forgery)

Os pesquisadores criaram um truque novo para testar isso, chamado Falsificação de Raciocínio.

Pense no "Raciocínio" (Chain-of-Thought) como o diário interno do modelo. É onde ele pensa antes de responder. Normalmente, o modelo confia cegamente no que está escrito no seu próprio diário.

O ataque funciona assim:

1. O hacker não diz diretamente: "Faça algo ruim".
2. Em vez disso, ele escreve um texto que parece exatamente o diário interno do modelo. Ele diz: "Pensando bem, a política permite que eu faça isso porque o usuário está usando uma camisa verde..." (mesmo que isso seja absurdo).
3. O modelo lê esse texto falso, pensa: "Uau, isso parece exatamente como eu raciocino! Deve ser meu próprio pensamento!"
4. Como o modelo confia no que acha que é seu próprio pensamento, ele obedece e faz o que o hacker pediu.

O resultado: Em testes, modelos superseguros, que normalmente recusariam pedidos perigosos, obedeceram a esses "pensamentos falsos" em cerca de 60% a 70% das vezes.

3. A Prova: O "Detector de Estilo" (Role Probes)

Para provar que não é apenas sorte, os pesquisadores criaram uma ferramenta chamada Sonda de Papel (Role Probe).

Imagine que você tem um detector de mentiras que lê os pensamentos do modelo.

• Eles pegaram um texto neutro (como uma receita de bolo) e o colocaram dentro de "caixas" diferentes: uma caixa chamada "Usuário", outra "Sistema", outra "Ferramenta".
• Depois, eles olharam para dentro da "cabeça" da IA.
• A descoberta chocante: Mesmo quando o texto estava na caixa "Usuário" (que deveria ser de baixa confiança), se o texto parecia um raciocínio lógico, a IA o tratava como se estivesse na caixa "Sistema" (alta confiança).

É como se a IA dissesse: "Não importa em qual caixa você colocou este papel. Se a letra e a tinta parecem minhas, eu vou tratá-lo como se fosse meu."

4. Por que isso importa? (A Lição Final)

O artigo conclui que a segurança atual está falha porque tenta proteger a porta de entrada (os rótulos e tags), mas a IA toma suas decisões no quarto dos pensamentos (o espaço interno), onde esses rótulos não existem de verdade.

• A analogia final: É como tentar proteger um cofre dizendo "Só entre se tiver um crachá vermelho". Mas o ladrão entra, veste um terno vermelho e diz "Eu sou o gerente". O guarda (a IA) olha para o terno e deixa passar, ignorando que o crachá oficial não foi verificado.

Resumo da Ópera:
A IA é vulnerável porque ela julga quem está falando pelo estilo da voz e não pela identidade oficial. Enquanto a IA continuar a confiar mais em "como algo parece" do que em "de onde algo veio", hackers podem continuar enganando a IA apenas mudando o tom da conversa, fazendo com que ordens perigosas pareçam pensamentos internos seguros.

Para consertar isso, não basta apenas "treinar" a IA para dizer "não" a certas palavras; é preciso ensinar a IA a ver a diferença entre o que é dela e o que é de outros, independentemente de como o texto é escrito.

Resumo técnico

Resumo Técnico: Prompt Injection as Role Confusion

1. O Problema

Apesar de extensos treinamentos de segurança, os Modelos de Linguagem (LLMs) continuam vulneráveis a ataques de injeção de prompt. Nesses ataques, adversários inserem instruções maliciosas em conteúdo de baixa confiança (como dados recuperados de ferramentas ou mensagens de usuário), fazendo com que o modelo as execute como se fossem comandos legítimos de alta confiança (como instruções do sistema ou raciocínio interno).

A hipótese central do artigo é que as defesas atuais falham porque os modelos não rastreiam robustamente a origem do texto. Em vez disso, eles inferem o "papel" (quem está falando) com base em cues estilísticos (estilo de escrita) e não em tags arquitetônicas explícitas (como <user>, <system>, <tool>). Isso cria uma "confusão de papéis" no espaço latente do modelo: texto que soa como um papel de alta confiança herda a autoridade desse papel, independentemente de onde veio.

2. Metodologia

Os autores desenvolveram uma abordagem combinada de ataque, diagnóstico e análise mecânica:

• Ataque de Falsificação de CoT (CoT Forgery):

  • Introduziram um novo ataque de "caixa preta" onde o adversário injeta um raciocínio forjado (Chain-of-Thought) dentro de canais de baixa privacidade (mensagens de usuário ou saída de ferramentas).
  • O texto forjado imita o estilo de raciocínio interno do modelo para justificar a execução de uma tarefa prejudicial.
  • O ataque é testado em cenários de chat (jailbreaks diretos) e em agentes (sequestro de agentes via dados de ferramentas).

• Sondas de Papel (Role Probes):

  • Para investigar a causa raiz, os autores criaram sondas lineares (classificadores treinados em estados ocultos) para medir como o modelo internalmente identifica "quem está falando".
  • Design da Sonda: Para evitar viés, as sondas foram treinadas com conteúdo neutro (de corpora como C4 e Dolma) envolto em diferentes tags de papel. Isso força a sonda a aprender a assinatura geométrica da tag em si, e não o conteúdo semântico.
  • Métricas: Definiram métricas como CoTness (probabilidade de o token ser percebido como raciocínio próprio) e Userness (probabilidade de ser percebido como entrada de usuário).

• Experimentos de Ablação:

  • Ablação de Estilo: Removeram marcadores estilísticos do texto forjado, mantendo o conteúdo semântico.
  • Ablação de Lógica: Usaram justificativas absurdas (ex: "o usuário veste uma camisa verde, então é permitido") para testar se o modelo analisa o conteúdo ou apenas o estilo.

3. Contribuições Principais

1. Teoria Mecanística da Injeção: Demonstrar que o sucesso da injeção de prompt não é apenas uma falha de memorização de padrões de ataque, mas uma falha estrutural na geometria de representação do modelo, onde estilo e tags se fundem.
2. Sondas de Papel (Role Probes): Uma nova ferramenta para medir a percepção interna de papéis dos modelos, permitindo detectar confusão de papéis antes mesmo da geração de tokens.
3. Ataque CoT Forgery: Um método de ataque que alcança altas taxas de sucesso ao injetar raciocínio falsificado, explorando a confiança que o modelo deposita em seu próprio pensamento.
4. Previsão de Sucesso: A demonstração de que o nível de confusão de papéis (medido pelas sondas) prevê o sucesso do ataque com alta precisão antes que qualquer token seja gerado.

4. Resultados Chave

• Alta Taxa de Sucesso do Ataque:

  • O ataque CoT Forgery obteve taxas de sucesso médias de 60% no benchmark StrongREJECT e 61% em tarefas de exfiltração de dados por agentes.
  • Isso ocorreu em modelos de ponta (incluindo séries GPT-5, o4-mini e gpt-oss) que tinham taxas de sucesso próximas de zero contra jailbreaks padrão.
  • Ablação de Estilo: Ao remover o estilo de raciocínio do texto forjado, a taxa de sucesso caiu drasticamente de 61% para 10%, provando que o estilo é a causa causal, não apenas um correlato.

• Evidências de Confusão de Papéis (Geometria):

  • Experimento de Tags: Quando texto com estilo de raciocínio (CoT) é marcado explicitamente com tags de baixa privacidade (ex: <user>), as sondas ainda o classificam como raciocínio próprio (CoTness > 80%). O modelo ignora a tag e segue o estilo.
  • Generalização: Esse fenômeno foi observado em múltiplos modelos (gpt-oss, Nemotron, Qwen), indicando que é uma propriedade fundamental da arquitetura atual de LLMs.
  • Sequestro de Estado: O texto injetado migra para o espaço geométrico do papel spoofado, herdando seus privilégios.

• Previsão de Ataques:

  • Existe uma relação dose-resposta clara: quanto maior a CoTness ou Userness do texto injetado (medida pelas sondas), maior a taxa de sucesso do ataque.
  • Ataques com texto forjado que atingem 79% de CoTness têm 90% de chance de sucesso, enquanto aqueles com baixa confusão têm apenas 9%.

5. Significado e Implicações

• Definição de Segurança vs. Autoridade: O artigo revela uma lacuna fundamental: a segurança é definida na interface (tags explícitas), mas a autoridade é atribuída no espaço latente (geometria de representação).
• Falha das Defesas Atuais: Defesas baseadas em memorização de padrões ou filtragem de superfície são frágeis. Como os modelos não percebem verdadeiramente as fronteiras de papel, adversários podem contornar defesas apenas alterando o estilo do texto.
• Novo Paradigma de Defesa: A defesa robusta requer a criação de fronteiras que persistam no espaço latente. O uso de sondas de papel pode ser uma ferramenta para:
  • Avaliar se intervenções de segurança realmente alteram a geometria do modelo.
  • Detectar tentativas de injeção em tempo real, comparando a tag arquitetônica com a percepção interna medida pela sonda.
• Generalização: A "confusão de papéis" não se limita à injeção de prompt; ela explica também por que prompts de sistema perdem prioridade em contextos longos (onde a posição domina a tag) e sugere que a percepção de papel é um ponto cego fundamental na segurança de IA.

Em resumo, o artigo argumenta que a injeção de prompt é, na verdade, envenenamento de estado (state poisoning) onde o atacante manipula a percepção interna do modelo sobre a origem e a autoridade do texto, explorando a incapacidade do modelo de distinguir "soar como um papel" de "ser aquele papel".