Resumo Técnico: Mesmo Payload, Diferente Canal

1. Declaração do Problema

À medida que os Grandes Modelos de Linguagem (LLMs) transitam de chatbots para agentes autônomos capazes de chamar APIs externas, ler saídas de ferramentas e agir sobre conteúdo de terceiros, sua superfície de ataque expandiu-se para além da entrada direta do usuário. Embora benchmarks recentes tenham documentado vulnerabilidades em descrições de ferramentas (envenenamento de ferramenta) e saídas de ferramentas (injeção de prompt indireta), eles não investigaram sistematicamente se a suscetibilidade de um modelo a uma instrução maliciosa específica varia dependendo do canal de entrega.

A questão central abordada é: Um modelo trata uma instrução maliciosa de forma diferente se ela chegar via mensagem do usuário versus metadados de ferramenta (descrições) ou saídas de ferramenta, mesmo quando o texto malicioso é byte a byte idêntico?

2. Metodologia

O Score de Assimetria de Segurança (SAS)

Os autores introduzem o Score de Assimetria de Segurança (SAS) para quantificar a confiança dependente do canal. Para um modelo $M$ e um conjunto de casos de ataque $C$, o SAS é definido como:
$$SAS(M) = ASR_{tool}(M) - ASR_{chat}(M)$$
Onde $ASR$ é a Taxa de Sucesso de Ataque (Attack Success Rate).

• SAS Positivo: O modelo é mais vulnerável quando o ataque chega via canal de ferramenta.
• SAS Negativo: O modelo é mais vulnerável quando o ataque chega via mensagem do usuário (chat).

Construção de Payload Pareado

Para isolar o canal como a única variável experimental, o estudo utiliza um design de payload pareado. Para cada caso de ataque, dois prompts são construídos:

1. Prompt de Chat: A instrução maliciosa é incorporada na mensagem do usuário.
2. Prompt de Ferramenta: A mesma instrução maliciosa é incorporada em metadados (descrição) ou saída de ferramenta.

Os payloads compartilham o mesmo:

• Ação Maliciosa (ex: leitura não autorizada de arquivo).
• Justificativa Plausível (razão fabricada para conformidade).
• Tarefa subjacente do usuário.
• Parâmetros de amostragem (temperatura 0, max tokens 1024).

As únicas diferenças são a localização sintática da instrução e a presença de definições de ferramentas.

Configuração Experimental

• Modelos: 6 LLMs de classe de produção (3 nativos de agente: Nemotron 3, GPT-OSS, Kimi K2.5; 3 de propósito geral: Llama 3.3, Qwen3, GLM 4.5).
• Famílias de Ataque: 98 casos em três famílias:
  1. Envenenamento de Ferramenta (50 casos): Instruções maliciosas em descrições de ferramentas.
  2. Injeção de Prompt Indireta (IPI) via Saída de Ferramenta (24 casos): Instruções injetadas em valores de retorno de ferramentas.
  3. Sombreamento entre Ferramentas (Cross-Tool Shadowing) (24 casos): Instruções na descrição de uma ferramenta visando outra ferramenta.
• Pontuação: Os resultados são classificados em SUCESSO, IGNORADO, RECUSADO, EXECUÇÃO DIRETA, AMBÍGUO e ERRO. O ASR é calculado sobre traços não ambíguos/não erro.

Análise Mecanística

Para o modelo Llama 3.3 70B (que exibiu um SAS negativo), os autores realizaram:

• Probing Linear: Treinamento de sondas de regressão logística nas ativações do fluxo residual do último token para detectar conteúdo adversário vs. benigno.
• Patching de Ativação: Intervenção causal onde as ativações de prompts adversários são aplicadas (patched) em prompts benignos (e vice-versa) em camadas específicas (16, 32, 48, 64) para testar necessidade e suficiência.

3. Resultados Principais

Assimetria Comportamental

• Lacuna de Grupo: Modelos nativos de agente mostraram um SAS médio de +24,8 pp, enquanto modelos de propósito geral tiveram média de -5,6 pp, resultando em uma lacuna de grupo de +30,4 pp.
• Envenenamento de Ferramenta: Modelos nativos de agente foram substancialmente mais vulneráveis ao envenenamento de ferramenta (ASR 40–68%) do que a ataques de chat (ASR 11–22%). Modelos gerais mostraram o padrão inverso.
• Inversão de IPI: Na família de Injeção de Prompt Indireta, todos os modelos exibiram SAS negativo. As saídas de ferramentas foram tratadas como menos autoritativas do que as mensagens do usuário, fazendo com que a assimetria se invertesse em relação ao envenenamento de ferramenta.
• Interpretação: Modelos nativos de agente tratam implicitamente descrições de ferramentas como instruções confiáveis e saídas de ferramentas como dados comuns. Modelos gerais tendem a tratar a mensagem do usuário como autoritativa.

Achados Mecanísticos (Llama 3.3 70B)

• Falha do Probe Linear: Contrário à hipótesia de que maiores taxas de recusa implicam sinais lineares mais fortes, os probes lineares tiveram desempenho pior no canal de ferramenta do que no canal de chat (precisão do chat: ~0,95–0,99; ferramenta: ~0,87–0,93).
• Transferência entre Canais: Probes treinados em um canal falharam em generalizar para o outro (precisão caiu para ~0,50–0,55), indicando que o sinal de segurança é específico do canal e não um eixo linear compartilhado.
• Sucesso do Patching de Ativação: Apesar da falha do probe linear, o patching causal nas camadas 48 e 64 (de 80) alterou com sucesso as saídas do modelo.
  • Aplicar ativações adversárias em prompts benignos causou uma mudança em direção ao token adversário (suficiência).
  • Aplicar ativações benignas em prompts adversários restaurou o token benigno (necessidade).
  • Ambas as direções mostraram mudanças positivas significativas com intervalos de confiança excluindo zero.
• Conclusão: A representação relevante para a segurança está causalmente presente em profundidades intermediárias a tardias da rede, mas é codificada de forma não linear, tornando os probes lineares ineficazes.

Validação Externa

O ranking por modelo nos casos de envenenamento de ferramenta dos autores correlacionou-se com os rankings no benchmark MCPTox (Spearman $\rho = 0,54$), validando que as vulnerabilidades observadas não são artefatos da construção específica dos casos.

4. Contribuições Principais

1. Definição de SAS: Uma métrica para medir a assimetria de confiança dependente do canal usando payloads pareados.
2. Descoberta Empírica: Identificação de um ponto cego sistemático onde modelos nativos de agente confiam mais em metadados de ferramentas do que em mensagens de usuário, uma vulnerabilidade que se inverte para saídas de ferramentas.
3. Insight Mecanístico: Demonstração de que sinais de segurança em modelos que usam ferramentas podem ser causalmente determinantes, porém codificados de forma não linear, explicando por que classificadores de segurança lineares falham em detectá-los.
4. Benchmarking: Uma avaliação rigorosa em 6 modelos e 3 famílias de ataque, revelando que "ferramentas são perigosas" é uma simplificação; o perigo é específico do canal e dos objetivos de treinamento do modelo.

5. Significância e Alegações

O artigo afirma expor um ponto cego sistemático e dependente do canal nos atuais modelos que utilizam ferramentas. Os achados sugerem que:

• Calibração de Confiança: Modelos calibram implicitamente a confiança com base no canal de entrega (metadado = instrução, saída = dado, mensagem do usuário = requisição).
• Implicações de Defesa: Classificadores de segurança lineares (probes) são insuficientes para detectar ataques de canal de ferramenta porque as representações relevantes são codificadas de forma não linear em profundidades médias a tardias. Defesas eficazes devem operar nessas profundidades usando métodos não lineares (ex: autoencoders esparsos).
• Limitações: O estudo é modesto quanto ao seu escopo. Ele mede e localiza o fenômeno, mas não propõe uma mitigação. Os achados mecânicos são limitados a um modelo (Llama 3.3 70B) e uma família de ataque (Envenenamento de Ferramenta). As alegações estatísticas de nível de grupo baseiam-se em amostras pequenas ($n=3$ por grupo), portanto, os autores relatam a direção e magnitude do efeito em vez de valores p.

O trabalho ressalta que, à medida que os LLMs se tornam agentes, a "superfície de ataque" não é apenas o conteúdo do prompt, mas o contexto no qual esse conteúdo chega.