Resumo Técnico: VERA – Testes de Segurança para Agentes LLM em Escala

1. Declaração do Problema

Agentes de Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implantados para realizar ações autônomas por meio de ferramentas externas em domínios como desenvolvimento de software, serviços empresariais e computação pessoal. Embora essa autonomia estenda as capacidades para além da geração de texto, ela introduz riscos de segurança complexos e em constante evolução, incluindo exposição de dados sensíveis, modificações não autorizadas no sistema e execução de código inseguro.

Os métodos de avaliação de segurança existentes sofrem de três limitações primárias:

1. Estáticos e Dependentes de Especialistas: Os benchmarks atuais dependem de cenários projetados por especialistas e categorias de risco predefinidas, falhando em acompanhar a rápida evolução das capacidades dos agentes e dos ecossistemas de ferramentas.
2. Falta de Verificação Fundamentada: Muitas abordagens confundem uma solicitação insegura ou uma declaração textual de intenção com uma violação de segurança realizada. Elas frequentemente dependem de auto-relatos do modelo ou de juízes baseados em LLM para verificar os resultados, em vez de observar os efeitos reais das ações executadas no ambiente.
3. Baixa Escalabilidade e Manutenibilidade: Os frameworks existentes acoplam rigidamente definições de risco, implementações de ambiente e procedimentos de verificação. Estender a cobertura para novos riscos ou arquiteturas de agentes requer modificações coordenadas em múltiplas camadas do sistema, tornando os conjuntos de dados de segurança caros de construir e difíceis de manter.

Além disso, adaptar os paradigmas tradicionais de teste de software para agentes é desafiador porque o planejamento do agente, a seleção de ferramentas e a evolução do estado são não-determinísticos em tempo de execução, ao contrário dos mapeamentos determinísticos de entrada-saída assumidos no teste de software padrão.

2. Metodologia: O Framework VERA

Para enfrentar esses desafios, os autores apresentam o VERA, um framework de teste de segurança automatizado de ponta a ponta que instacia princípios de teste de engenharia de software para agentes não-determinísticos. O VERA opera através de um pipeline de três estágios e auto-reforçável:

A. Exploração Contínua de Riscos

Em vez de depender de taxonomias estáticas, o VERA emprega um processo de exploração impulsionado pela literatura para descobrir e estruturar continuamente riscos emergentes.

• Processo: Um "Agente de Sumarização" processa iterativamente a literatura de pesquisa (ex: do arXiv) para construir e consolidar taxonomias de Riscos de Segurança (consequências prejudiciais), Métodos de Ataque (mecanismos de indução) e Ambientes (contextos de execução de ferramentas).
• Mecanismo: O sistema utiliza um operador de atualização para criar novos nós, mesclar variações terminológicas ou deletar conceitos não suportados, garantindo que as taxonomias convirjam para estruturas estáveis que reflitam o cenário de ameaças atual.
• Escopo: A exploração é limitada a riscos de tempo de inferência testáveis contra agentes implantados, excluindo ataques de fase de treinamento como envenenamento de dados.

B. Construção de Casos de Teste Executáveis

Este estágio transforma as folhas da taxonomia abstrata em casos de segurança executáveis ($\sigma = \langle g, s_0, V_g \rangle$).

• Composição Combinatória: O framework gera candidatos a objetivos de segurança ($g$) compostos por folhas dos três taxonomias (Risco, Método de Ataque, Ambiente).
• Compilação:
  • Estado Inicial ($s_0$): Construído programaticamente via APIs de serviço para criar pré-condições diversas e relevantes ao objetivo (ex: um repositório com uma dependência vulnerável).
  • Verificador ($V_g$): Um script determinístico em nível de código que verifica se a violação de segurança foi realizada com base em artefatos observáveis.
• Filtragem: Os casos são filtrados para garantir que dependam de efeitos observáveis em vez de rastros de raciocínio interno. Cada cenário base é expandido em três variantes: Benigno (tarefa legítima), Canal Único (apenas mensagens de usuário adversárias) e Multicanal (mensagens de usuário adversárias + resultados de ferramentas injetados).

C. Execução Adaptativa e Verificação Baseada em Evidências

O agente alvo é executado em um sandbox isolado sob um contrato de execução unificado.

• Ambiente em Sandbox: Um Gateway de Ferramentas configurável (baseado em MCP) media todas as chamadas de ferramentas, registrando resultados originais e observações transformadas. Ele suporta quatro modos de injeção: identidade, anexar, prefixar e sobrescrever.
• Agente de Controle Adaptativo: Um agente de controle do lado do teste direciona a interação de múltiplos turnos. Ele observa comportamentos em tempo de execução (respostas do agente, chamadas de ferramentas, mudanças de estado) e adapta sua estratégia (ex: reformular solicitações, ajustar decomposição de tarefas) para guiar o agente em direção ao objetivo de segurança.
• Verificação Baseada em Evidências: Um verificador programático julga os resultados com base em uma hierarquia de evidências:
  1. Estado do Ambiente ($s_T$): Prioridade é dada a mudanças persistentes de estado (ex: modificações de arquivos, exfiltração de dados).
  2. Registros de Chamada de Ferramenta: Usados se as mudanças de estado não forem o principal indicador de violação.
  3. Respostas do Agente: Usadas apenas se o próprio output textual constituir a violação.
  • Esta abordagem elimina falsos positivos de auto-avaliação otimista e falsos negativos de intenções prejudiciais não executadas.

3. Principais Contribuições

1. Instanciação de Princípios de Teste de SE: O artigo operacionaliza conceitos de engenharia de software (oráculos de teste, construção combinatória, verificação baseada em evidências) para agentes de LLM, resultando em um framework para casos de segurança executáveis e protocolos de execução adaptativos.
2. O Framework VERA: Um novo sistema de ponta a ponta que suporta frameworks de agentes heterogêneos através de três estágios: descoberta autônoma de risco, geração de casos de teste executáveis e execução adaptativa em tempo de execução.
3. VERA-Bench e Avaliação Empírica: Os autores lançam o VERA-Bench, composto por 1.600 casos de segurança executáveis abrangendo 124 categorias de risco em três configurações de execução. Eles avaliam o VERA em quatro frameworks de agentes de produção (OpenClaw, Hermes, Codex, Claude Code), revelando fraquezas de segurança substanciais.

4. Resultados Experimentais

A avaliação foi conduzida em quatro frameworks de agentes usando múltiplos modelos de backend (GPT-5.2, Gemini-3, Qwen-3.7, etc.) em ambientes Docker isolados.

• Taxas de Sucesso de Ataque (ASR): Sob ataques de multicanal, a taxa média de sucesso de ataque atingiu 93,9%. Mesmo sob ataques de canal único, o ASR médio foi de 90,6%, excedendo significativamente os resultados de benchmarks de prompt estático.
• Vulnerabilidades de Framework:
  • Claude Code e Hermes mostraram alta suscetibilidade (88,6% e 86,6% de ESR geral em modos de ataque), sugerindo que capacidades mais fortes de conclusão de tarefa e orquestração flexível de ferramentas correlacionam-se com maior vulnerabilidade a ataques adaptativos.
  • OpenClaw teve um ESR geral mais baixo (70,3%), em parte devido a políticas de chamada de ferramenta conservadoras, mas também a taxas mais altas de falha de infraestrutura.
• Análise de Modelo de Ameaça:
  • Multicanal vs. Canal Único: O teste multicanal proporcionou um ganho incremental modesto, mas consistente (+3,3% em média), revelando que a injeção de resultados de ferramentas é um vetor de bypass viável, particularmente para agentes com processamento de mensagens de usuário conservador (ex: OpenClaw viu um ganho de +6,3%).
  • Driver Adaptativo: O agente de controle adaptativo aumentou as taxas de sucesso em cerca de 20 pontos percentuais em comparação com configurações benignas, demonstrando o valor da interação adaptativa em tempo de execução para contornar defesas.
• Impacto Downstream: O ajuste fino de um modelo de guarda (Qwen3Guard) com dados derivados do VERA melhorou significativamente o desempenho da classificação de segurança (Acurácia: 61,7%, Recall: 77,9%, F1: 68,4%) em comparação com baselines prontos para uso, e mostrou generalização para benchmarks externos como o R-Judge.

5. Significância e Alegações

O artigo argumenta que, à medida que os agentes se tornam mais autônomos e integrados a ferramentas, a avaliação de segurança deve evoluir de benchmarking estático para uma infraestrutura de teste modular e executável.

• Modularidade e Manutenibilidade: O VERA demonstra que o desacoplamento de definições de risco, implementações de ambiente e procedimentos de verificação permite uma avaliação de segurança escalável que pode se adaptar a sistemas de agentes que evoluem rapidamente sem reengenharia manual custosa.
• Verificação Fundamentada: Ao priorizar o estado observável do ambiente sobre os auto-relatos do modelo, o VERA fornece uma avaliação mais rigorosa e confiável de violações de segurança reais.
• Alinhamento Capacidade–Vulnerabilidade: Os resultados destacam uma tensão estrutural no design de agentes: as mesmas capacidades que tornam os agentes úteis (forte seguimento de instruções, orquestração flexível de ferramentas) também os tornam mais suscetíveis à manipulação adversária.
• Infraestrutura Futura: Os autores posicionam o VERA não meramente como um benchmark, mas como um passo fundamental para estabelecer a infraestrutura necessária para a garantia de segurança rigorosa, mantível e em larga escala de sistemas agênticos.

O artigo conclui que o "alinhamento capacidade–vulnerabilidade" observado é uma propriedade estrutural dos sistemas de agentes atuais, e que frameworks como o VERA são essenciais para expor e abordar esses riscos em ambientes de produção.