Resumo Técnico: Não Confie em Nenhuma Ferramenta: Avaliando e Defendendo Agentes LLM sob Feedback de Ferramentas Não Confiáveis

1. Formulação do Problema: Envenenamento Cognitivo

Este artigo identifica um modo de falha distinto em agentes de Modelos de Linguagem de Grande Escala (LLM) que utilizam ferramentas, denominado envenenamento cognitivo. Diferentemente da injeção de prompt indireta tradicional ou do envenenamento de resposta única, onde a malícia está localizada em uma passagem de texto específica ou descritor de ferramenta, o envenenamento cognitivo opera através do processo exploratório de formação de confiança.

Neste modelo de ameaça, uma ferramenta maliciosa comporta-se de forma plausível durante as etapas iniciais de exploração, acumulando confiança através de feedback que aparenta ser benigno. A ferramenta torna-se prejudicial apenas quando uma condição de gatilho oculta é satisfeita pela ação executável final e pelo estado latente do ambiente. O ataque tem sucesso não porque uma única mensagem é abertamente maliciosa, mas porque a trajetória de interação molda o prior do agente para tratar uma ação final perigosa como ordinária. O risco decisivo é uma propriedade da composição estado-ação: a história de como a confiança foi formada combinada com os parâmetros específicos da chamada final da ferramenta.

Benchmarks e defesas existentes frequentemente assumem implicitamente que, uma vez selecionada uma ferramenta, seu feedback é confiável. Este artigo argumenta que, em ecossistemas de ferramentas de caixa-preta, os agentes não podem verificar diretamente a confiabilidade interna e devem inferi-la através da interação, criando uma superfície de ataque única onde o "alvo de defesa decisivo" não é o texto do prompt local, mas o risco condicionado à trajetória da ação final.

2. Metodologia

2.1 TRUST-BENCH: Um Benchmark Condicionado à Tarefa

Para estudar este regime, os autores construíram o TRUST-BENCH (Risco de Trajetória sob Ferramentas Estatais Não Confiáveis).

• Construção: Derivado de cinco conjuntos de testes upstream (OpenAgentSafety, RedTeamCUA, MCP-SafetyBench, MCPMark, Toolathlon), resultando em 1.970 episódios curados.
• Estrutura: Cada episódio consiste em um par correspondente: um controle benigno e uma variante maliciosa. Ambos compartilham a mesma interface de ferramenta externa e intenção de tarefa.
• Gatilhos Ocultos: As variantes maliciosas são definidas por uma especificação de gatilho estruturada composta por:
  • required_all_tokens: Campos que devem aparecer conjuntamente (ex: op=export, cross_check=off).
  • required_any_tokens: Âncoras contextuais onde pelo menos uma deve aparecer.
  • forbidden_tokens: Campos que habilitam segurança e que, se presentes, suprimem o gatilho.
• Protocolo de Interação: Um agente da "equipe azul" sonda a ferramenta ao longo de um orçamento padronizado de três rodadas (coletar linha de base, verificar consistência, sondagem profunda) antes de propor uma ação final. As regras de gatilho e os rótulos permanecem ocultos do defensor durante a inferência.

2.2 Métrica de Avaliação: GUARDEDJOINT

O artigo introduz o GUARDEDJOINT, uma métrica assimétrica de segurança-utilidade projetada para refletir riscos de implantação real onde tanto os falsos negativos (aceitar ações maliciosas) quanto os falsos positivos (rejeitar ações benignas) são custosos.

• Fórmula: $G_\rho(AMR, RNR) = \max(0, 100 - (\rho + 0.5)AMR - 1.5RNR)$
  • $AMR$: Taxa de Aceitação de Malícia.
  • $RNR$: Taxa de Rejeição de Normalidade.
  • $\rho$: Custo relativo de aceitar uma chamada maliciosa (definido como 1,5 nos experimentos principais).
• Significado: Esta métrica penaliza estratégias de "rejeitar-tudo" ou "executar-tudo", forçando as defesas a minimizar simultaneamente a aceitação maliciosa e a rejeição benigna.

2.3 Framework de Defesa: VISTA-GUARD

Os autores propõem o VISTA-GUARD (Inferência de Estado Variável para Ações de Ferramenta Seguras), um framework agnóstico ao backbone para pontuação de risco de ação final.

• Ideia Central: Abstrair interações de ferramentas multi-etapa em variáveis de ambiente estruturadas que codificam dinâmicas de formação de confiança.
• Representação de Entrada: O modelo recebe uma tripleta serializada:
  1. Estado da Trajetória ($z_{traj}$): Resume evidências de exploração (ex: contagens de fases acionadas, detecções de sondagem, pontuações de incompatibilidade, deriva de ID, avisos) em uma densidade de anomalia e resumo de risco de estado.
  2. Parâmetros da Ação Final ($z_{param}$): Codifica a semântica executável da chamada final proposta (nome da ferramenta, chaves de payload, contagens de marcadores de alto impacto/bypass/segurança).
  3. Alvo ($y$): Um rótulo binário ($high\_risk$ / $low\_risk$) usado apenas para treinamento.
• Mecanismo: Um backbone LLM (ex: Mistral, Qwen, Llama) é ajustado para pontuar o risco da ação final condicionado às evidências da trajetória. Ele aprende a rejeitar ações onde o pacote final de parâmetros é incompatível com o estado inferido do comportamento da ferramenta.

3. Resultados Principais

3.1 Desempenho In-Domain

Sob a métrica GUARDEDJOINT ($\rho=1,5$), o VISTA-GUARD supera significativamente os baselines existentes:

• VISTA-GUARD (Mistral-7B): Alcançou pontuação 84,2 in-domain.
• Outros Backbones: Todos os seis backbones LLM testados (Qwen3, Qwen2.5, OLMo-2, Llama-3.1, Meta CWM) alcançaram pontuações positivas (variando de 39,0 a 67,6), demonstrando robustez entre arquiteturas.
• Colapso do Baseline: Métodos que otimizam apenas um lado da compensação ou que dependem de heurísticas centradas no prompt colapsaram para 0,0:
  • Julgadores centrados no prompt (GPT-5.4 zero-shot) e salvaguardas heurísticas (ToolShield, GuardAgent) falharam em distinguir dinâmicas de confiança sutis, frequentemente optando por aceitar todas as ações maliciosas ou rejeitar todas as benignas.
  • Classificadores escalares (Gradient Boosting, SVM) e modelos de texto não-LLM (BERT) falharam em capturar o contexto temporal, resultando em pontuações próximas de zero.

3.2 Transferência Fora de Distribuição (OOD)

• O VISTA-GUARD manteve a eficácia em dados OOD balanceados (famílias de ferramentas não vistas de ToolEmu e SafeToolBench), alcançando 56,9 no GUARDEDJOINT.
• Isso indica que a representação estruturada de trajetória transfere-se melhor do que abordagens centradas no prompt ou escalares, que caíram significativamente ou colapsaram.

3.3 Estudos de Ablação

• Representação vs. Backbone: Um estudo de isolamento mostrou que o ganho provém principalmente da representação estruturada de trajetória e não apenas da escolha do backbone. Fornecer a mesma entrada estruturada a modelos não-LLM melhorou seu desempenho, mas ainda deixou uma lacuna em comparação com backbones LLM.
• Falha Apenas em Parâmetros: Modelos treinados apenas em parâmetros de ação final (sem contexto de trajetória) colapsaram, confirmando que o histórico da trajetória é essencial para distinguir controles benignos de ações finais maliciosas.

4. Significado e Alegações

O artigo alega que a contribuição decisiva deste trabalho é representacional: o problema de defesa torna-se tratável quando a interação com ferramentas é convertida em variáveis de ambiente estruturadas, em vez de tratada como texto bruto ou parâmetros isolados.

• Mudança de Foco: Os autores argumentam que, para envenenamento cognitivo condicionado a estado, o alvo de defesa relevante é a pontuação de risco da ação final baseada em como a confiança é formada ao longo da trajetória.
• Limitações: Os autores são modestos em suas alegações, observando que o TRUST-BENCH é um benchmark construído com exploração padronizada de três etapas e um espaço de ação binário de executar/rejeitar. Eles reconhecem que implantações do mundo real podem envolver interações mais longas, atacantes adaptativos e estados latentes mais complexos.
• Conclusão: As descobertas motivam uma questão de avaliação mais ampla: quando o próprio feedback da ferramenta pode ser não confiável, as defesas de segurança devem raciocinar sobre a formação de confiança condicionada à trajetória em vez de depender exclusivamente da inspeção local do prompt ou descritores de ferramenta.

O artigo conclui que, enquanto resumos escalares descartam muita informação de trajetória e modelos de texto bruto recuperam algum sinal, os backbones de sequência beneficiam-se mais quando o histórico de interação é organizado como evidência de estado de trajetória e ação final, fornecendo um framework principiado para generalização segura de ferramentas.