Resumo Técnico: AgentCanary

Declaração do Problema

A transição dos Grandes Modelos de Linguagem (LLMs) de agentes conversacionais passivos para agentes de IA autônomos, capazes de executar tarefas em ambientes computacionais do mundo real, introduz uma mudança fundamental nos riscos de segurança. Diferente dos LLMs tradicionais baseados em texto, onde as falhas de segurança se manifestam primariamente como decepção textual ou jailbreaks, os agentes autônomos enfrentam ameaças que levam ao comprometimento do sistema, manipulação irreversível de estado e perda econômica.

Os frameworks de avaliação de segurança existentes enfrentam três gargalos críticos:

1. Cobertura de Risco Fragmentada: Muitos benchmarks anteriores tratam vetores de risco (ex: injeção de prompt, envenenamento de ferramentas, contaminação de memória) como questões isoladas, falhando em considerar como o mesmo ponto de entrada pode levar a diferentes danos ou como diferentes entradas podem causar o mesmo resultado.
2. Ambientes Estáticos e de Baixa Fidelidade: A maioria das avaliações depende de Q&A estático ou respostas de ferramentas simuladas (mocked). Elas falham em reproduzir cadeias de chamadas de ferramentas realistas, mudanças de estado dinâmicas e formatos de dados autênticos, tornando impossível avaliar ataques de longo horizonte ou baseados em estado que dependem de efeitos colaterais ambientais.
3. Avaliação Unidimensional e de Grão Grosso: Métricas existentes frequentemente colapsam segurança, vigilância e usabilidade em um único rótulo de "sucesso de ataque" ou dependem de julgamentos binários da resposta final. Isso obscurece se o agente reconheceu um ataque, se causou dano apesar de reconhecê-lo, ou se recusou uma tarefa benigna para manter a segurança.

Metodologia: Framework AgentCanary

O AgentCanary é proposto como um framework abrangente de avaliação de segurança projetado para avaliar agentes autônomos na mesma superfície de sistema que os atacantes visariam. Ele integra modelagem de risco, execução de alta fidelidade e avaliação fundamentada em trajetórias.

1. Taxonomia de Risco Ortogonal (Entrada × Impacto)

O AgentCanary introduz uma taxonomia de risco desacoplada para fornecer cobertura sistemática:

• Entradas de Risco ($E$): Descreve como a influência adversária entra no fluxo de trabalho. O framework define cinco entradas:
  • Injeção de Prompt Direta (DPI): Instruções maliciosas via canal do usuário.
  • Injeção de Prompt Indireta (IPI): Instruções ocultas em conteúdo externo não confiável (e-mails, páginas da web).
  • Envenenamento de Habilidades (SP): Habilidades ou ferramentas de terceiros comprometidas.
  • Contaminação de Memória (MC): Regras maliciosas ou fatos falsos em memória ou estado persistente.
  • Falhas Intrínsecas (IF): Comportamento inseguro decorrente das próprias limitações do agente (ambiguidade, supergeneralização) sem vetores de ataque externos.
• Impactos de Risco ($U$): Descreve a consequência realizada. Sete categorias incluem danos ao ambiente local, vazamento de dados, contaminação de memória, escalonamento de privilégios, ataques de rede, abuso de negócios e riscos financeiros.
• Construção da Matriz: As tarefas são instanciadas como pares específicos $(e_i, u_j)$, garantindo que os riscos sejam fundamentados em fluxos de trabalho realistas (ex: navegação web, e-mail, transações financeiras) em vez de prompts isolados.

2. Ambiente Executável de Alta Fidelidade

Para resolver a lacuna de fidelidade, o AgentCanary fornece um ambiente de sandbox onde os agentes interagem com ferramentas reais contra artefatos de tarefas provisionados dinamicamente.

• Ferramentas e Interfaces Reais: Os agentes executam comandos de shell reais, interagem com sistemas de arquivos reais e acessam serviços locais controlados (DNS, e-mail, web) em vez de APIs simuladas.
• Provisionamento Dinâmico: Um motor automatizado prepara artefatos específicos da tarefa (ex: caixas de entrada com instruções ocultas, contas bancárias virtuais, habilidades envenenadas) antes da execução.
• Persistência de Estado: O ambiente suporta interações de múltiplos passos com estado persistente, permitindo a avaliação de ataques de longo horizonte onde o risco se acumula ao longo do tempo ou entre sessões.
• Agnosticismo de Framework: O ambiente suporta múltiplos frameworks de agentes (Hermes, NanoClaw, OpenClaw), permitindo comparações entre frameworks.

3. Avaliação Multidimensional Fundamentada em Trajetória

Em vez de avaliar apenas a resposta final, o AgentCanary analisa a trajetória completa do agente ($\Psi$), incluindo chamadas de ferramentas, efeitos colaterais no nível do sistema e mudanças de estado. Ele decompõe o desempenho em três pontuações ortogonais:

• Pontuação de Segurança de Resultado (OSS): Verifica se as consequências ambientais prejudiciais foram de fato evitadas (escala 0–1).
• Pontuação de Consciência de Segurança (SAS): Avalia se o agente reconheceu a fonte do risco e tomou a ação defensiva apropriada.
• Pontuação de Utilidade da Tarefa (TUS): Mede a capacidade de completar o objetivo legítimo sem execução insegura.
  Essas pontuações são agregadas em uma pontuação total, ponderada de forma diferente dependendo do tipo de tarefa (ex: a segurança de resultado tem o maior peso para todas as tarefas; a utilidade tem peso zero para tarefas de injeção direta onde o próprio pedido do usuário é malicioso).

Principais Contribuições

1. Cobertura de Risco Abrangente: A taxonomia ortogonal Entrada × Impacto e um conjunto de 496 tarefas semente abrangendo fluxos de trabalho de implantação realistas (web, e-mail, finanças, etc.) fornecem uma cobertura mais sistemática e auditável do que listas de ataques planas.
2. Execução de Alta Fidelidade: O framework permite a avaliação de ataques de longo horizonte e baseados em estado em um ambiente executável real, suportando a avaliação de efeitos colaterais no nível do sistema que benchmarks simulados não conseguem reproduzir.
3. Avaliação Multidimensional: Ao separar Segurança de Resultado, Consciência de Segurança e Utilidade da Tarefa, o framework revela trade-offs e modos de falha distintos (ex: agentes que evitam o dano, mas falham em reconhecer o ataque) que métricas de pontuação única obscurecem.
4. Avaliação Empírica em Larga Escala: O framework avalia 12 modelos de fronteira (pesos abertos e proprietários) através de três frameworks de agentes e múltiplos regimes adversariais, incluindo evolução de ataque dinâmica e ataques progressivos de longo horizonte.

Resultados Experimentais

A avaliação de 12 modelos (incluindo GPT-5.4, Claude Opus 4.6, Qwen3.6-Plus e outros) revela lacunas significativas na segurança dos agentes atuais:

• Capacidades de Segurança Desiguais: A segurança não é uma propriedade compartilhada pelos modelos de fronteira. O Claude Opus 4.6 alcançou a pontuação geral mais alta (83.9), superando significativamente o segundo melhor modelo (Qwen3.6-Plus com 69.7). Muitos modelos, particularmente os leves como o GLM-4.7-Flash, exibiram altas taxas de resultados inseguros (UOR > 60%).
• Desacoplamento de Segurança e Consciência: Uma descoberta crítica é a dissociação entre prevenir o dano e reconhecer ataques. Alguns modelos (ex: Claude Sonnet 4.5 em cenários de IPI) alcançaram pontuações de Segurança de Resultado elevadas (>95), mas pontuações de Consciência de Segurança muito baixas (<25), sugerindo que eles dependem de execução conservadora ou evasão de tarefas em vez de reconhecimento genuíno de risco.
• Vulnerabilidade a Ataques de Longo Horizonte e Baseados em Estado:
  • Ataques Progressivos de Longo Horizonte (LPA): Estes ataques, que se desenrolam ao longo de múltiplas sessões, provaram-se altamente eficazes. Sete de doze modelos tiveram UOR > 50%, indicando uma fraqueza estrutural em conectar sinais de risco dispersos no tempo.
  • Contaminação de Memória (MC): A maioria dos modelos falhou em tratar a memória persistente como não confiável, com UOR variando de 3.8% (Claude Opus 4.6) a 67.3% (GLM-4.7-Flash).
  • Envenenamento de Habilidades: A camuflagem baseada em script (esconder lógica maliciosa em scripts executáveis em vez de manifestos) causou um colapso abrupto nas pontuações de segurança em todos os modelos.
• Impacto do Fortalecimento de Ataque: A Evolução Dinâmica de Ataque (refinamento iterativo de prompts) degradou significativamente o desempenho da maioria dos modelos, revelando que benchmarks estáticos subestimam a vulnerabilidade a adversários adaptativos.

Significância e Alegações

O artigo afirma que o AgentCanary fornece uma base sistemática para o desenvolvimento de sistemas de agentes mais confiáveis e seguros. Sua principal significância reside na mudança do foco da avaliação de segurança de agentes de "conformidade de conteúdo" (geração de texto) para "integridade do sistema e controlabilidade de ação" (execução no mundo real).

Os autores enfatizam que os agentes atuais frequentemente falham em reconhecer os ataques que enfrentam, particularmente sob condições de habilidades comprometidas, estado persistente e execução de longo horizonte. O framework demonstra que uma segurança robusta requer a realização conjunta de prevenir resultados inseguros e reconhecer explicitamente a intenção adversária. Ao fornecer um pipeline de avaliação de alta fidelidade e fundamentado em trajetórias, o AgentCan emabilita o diagnóstico de modos de falha específicos (ex: falta de raciocínio entre sessões, confiança cega na memória) que são críticos para a implantação segura de agentes autônomos em ambientes de alto privilégio.