Resumo Técnico: OpenART: Escalando o Red Teaming de Agentes via Evolução de Ambiente de Código Aberto

Declaração do Problema

Agentes de IA operam cada vez mais em ambientes persistentes onde ações mediadas por ferramentas modificam continuamente o estado compartilhado, dados, permissões e recursos externos ao longo de fluxos de trabalho de longo horizonte. Diferente das interações convencionais de modelos de linguagem, o comportamento do agente é acoplado através de um ambiente em evolução que é repetidamente observado, atualizado e reutilizado. Essa persistência altera fundamentalmente a natureza da segurança da IA: uma ação que parece benigna isoladamente pode introduzir uma mudança de estado latente que se propaga através de interações futuras, manifestando-se como um comportamento prejudicial muito mais tarde. Consequentemente, falhas de segurança tornam-se propriedades de toda a trajetória de interação, em vez de ações isoladas.

Os benchmarks de segurança de agentes existentes avaliam primariamente tarefas estáticas e curtas ou ambientes que podem ser reiniciados, oferecendo cobertura limitada para manipulação de estado persistente, propagação de ataque atrasada e falhas de segurança de longo alcance. Além disso, as interfaces específicas de cada benchmark dificultam a comparação direta entre diferentes runtimes de agentes e modelos de fundação. Há uma necessidade crítica de um framework escalável que trate o ambiente executável, em vez de prompts isolados, como a unidade fundamental de red teaming.

Metodologia: O Framework OpenART

O OpenART aborda essas limitações introduzindo uma arena de larga escala para a avaliação de segurança de agentes centrada na evolução controlada do ambiente. O framework opera através de três estágios principais:

1. Construção de Cenários

O OpenART constrói mais de 10.000 especificações de cenários validadas abrangendo 50 domínios, sintetizadas a partir de um corpus de capacidades de mais de 500.000 Ferramentas, MCPs (Protocolos de Contexto de Modelo) e Habilidades (Skills).

• Design: Um cenário é definido como um contrato de avaliação agnóstico ao alvo, compreendendo um objetivo de tarefa benigno, um ambiente executável (estado inicial) e um contrato de segurança oculto.
• Validação: Os cenários são admitidos apenas após passarem por um avaliador determinístico com sondas comportamentais automatizadas. Isso garante que o fluxo de trabalho seja executável e que o avaliador distinga de forma confiável a conclusão da tarefa segura da vazão insegura.
• Complexidade: As tarefas resultantes exigem uma mediana de 97 chamadas de ferramentas, excedendo significativamente a complexidade de benchmarks anteriores (ex: 1–15 chamadas em benchmarks existentes).

2. Projeção de Runtime Trans-Agente

Para permitir uma avaliação unificada, o OpenART emprega adaptadores leves e específicos para o alvo ($\psi_r$) que projetam o cenário compartilhado nas interfaces nativas dos agentes implantados.

• Agnosticismo ao Alvo: A semântica do cenário e o avaliador permanecem fixos, enquanto os adaptadores mapeiam o estado compartilhado para as instruções, capacidades e superfícies de estado (ex: workspace, memória, planos) suportadas por cada agente.
• Cobertura: O framework avalia 15 agentes implantados (incluindo OpenCode, Aider, Claude Code, etc.) pareados com 5 modelos de fundação (GPT-5.5, Claude-Opus-4.8, GLM-5.2, Qwen-3.7-Max, DeepSeek-V4-Pro), resultando em 75 configurações distintas de agente–modelo.
• Vetores de Ataque: O sistema expõe oito superfícies de estado visíveis ao alvo: Workspace, Instruções, Habilidades, Ferramentas, MCPs, Memória de Curto Prazo, Estado do Plano e Memória de Longo Prazo.

3. Evolução Controlada do Ambiente (EMHA)

O protocolo central de red-teaming envolve a evolução apenas do estado do ambiente visível ao alvo, mantendo o objetivo da tarefa benigna e o contrato de segurança inalterados. Isso é instanciado via Evolução de Ambiente por Hipergrafo de Markov (EMHA).

• Política Black-Box: O EMHA é uma política de referência que realiza a evolução do ambiente baseada em feedback sem atualizar os parâmetros do modelo ($\theta_{t+1} = \theta_t$). Ele depende de aprendizado em contexto (in-context learning) e gerenciamento de estado externo.
• Travessia de Hipergrafo: Mudanças coordenadas no ambiente são modeladas como um hipergrafo onde vértices representam subobjetivos de ataque e hiperarestas conectam pré-requisitos a sucessores. O EMHA amostra caminhos através deste grafo para propor transições de estado.
• Loop de Feedback: Após cada execução, um avaliador fornece feedback ($Y_t$). O EMHA utiliza esse feedback para atualizar uma função de valor para transições, guiando a seleção de caminhos futuros para maximizar a Taxa de Sucesso de Ataque (ASA) dentro de um orçamento. Ele utiliza uma busca evolutiva guiada por arquivo (semelhante ao MAP-Elites) para manter uma população diversa de estratégias de ataque.

Principais Contribuições

1. Arena OpenART: Uma arena de larga escala e código aberto para red teaming de agentes que desloca a unidade de avaliação de segurança de prompts isolados para ambientes executáveis e em evolução. Fornece uma base compartilhada para estudar a segurança de agentes sob condições realistas e com estado.
2. Representação Agnóstica ao Alvo: Uma representação de cenário inovadora e adaptadores de runtime leves que preservam a semântica da tarefa e os critérios de avaliação entre agentes, modelos e interfaces heterogêneas.
3. Algoritmo EMHA: Uma formulação da evolução do ambiente como um problema de otimização de caixa-preta, instanciada com uma política livre de parâmetros e baseada em feedback que modela transições de estado coordenadas como travessia de hipergrafo.
4. Avaliação Abrangente: Um estudo sistemático através de 75 configurações de agente–modelo, revelando como a complexidade do ambiente e a implementação do agente determinam conjuntamente os resultados de segurança.

Resultados Experimentais

A avaliação foi conduzida através de 75 configurações de agente–modelo utilizando os 10 mil cenários validados.

• Taxa de Sucesso de Ataque (ASR/ASA): O EMHA alcançou uma ASR Estrita combinada de 85,0%. Um ataque estrito é contado como bem-sucedido apenas se tanto o avaliador determinístico quanto um juiz de LLM (GLM-5.2) identificarem a condição de ataque.
• Impacto da Complexidade: A vantagem da evolução total do ambiente sobre a evolução apenas de instruções é altamente correlacionada com a complexidade do cenário. Em ambientes simples, o ganho é de 1,8–2,7%, mas nos ambientes mais complexos, aumenta para 17,2–17,6%. Isso demonstra que fluxos de trabalho de longo horizonte amplificam o impacto da evolução do estado persistente.
• Papel da Implementação do Agente: Embora a identidade do modelo de fundação explique 73,6% da variação da ASR, incorporar a identidade do agente-alvo explica um adicional de 7,6% de variação além dos controles de modelo e capacidade. Isso sugere que a implementação do runtime desempenha um papel significativo na segurança do agente.
• Estudos de Ablação:
  • Restrição de Vetor: A evolução apenas do workspace alcançou 92,5% de ASR, superando a evolução apenas de instruções em 10,9%.
  • Mecanismos de Busca: Remover os mecanismos de arquivo ou de redistribuição de crédito reduziu a ASR em 3,9% e 2,6%, respectivamente, confirmando sua importância no refinamento das estratégias.
• Dinâmicas de Propagação: A análise de 10.000 trajetórias revelou que falhas de segurança frequentemente emergem após uma mediana de 37 ações do alvo. A latência mediana entre o consumo de um estado evoluído e a produção de um output inseguro é de 41% do fluxo de trabalho, indicando que avaliações estáticas perdem vulnerabilidades que só se manifestam após longos horizontes de execução.

Significância e Alegações

O artigo afirma que o OpenART estabelece uma base escalável para o estudo da segurança de agentes em ambientes complexos e em evolução. A principal significância reside em demonstrar que a segurança do agente não pode ser totalmente caracterizada através de avaliações curtas, estáticas ou centradas no modelo.

Principais descobertas destacadas pelos autores incluem:

• Evolução do Ambiente como Fator Crítico: Falhas de segurança são propriedades da trajetória de interação. À medida que a complexidade da tarefa cresce, a capacidade de evoluir o ambiente expõe substancialmente mais vulnerabilidades do que o teste estático.
• A Implementação Importa: A segurança é determinada conjuntamente pela complexidade do ambiente e pela implementação específica do agente (runtime), não apenas pelo modelo de fundação subjacente.
• Vulnerabilidades Recorrentes: O estudo identifica três modos de falha recorrentes nos agentes atuais:
  1. Suposições Obsoletas (Stale Assumptions): Agentes falham em invalidar suposições formadas anteriormente quando o ambiente muda (ex: desvio de referente de plano, revinculação de capacidade).
  2. Decisões de Segurança Propagadas: Agentes adiam julgamentos de segurança para componentes downstream em vez de recomputá-los conforme o contexto muda.
  3. Risco Composicional: Comportamentos inseguros emergem da interação de múltiplas mudanças individualmente benignas ao longo de fluxos de trabalho longos.

Os autores concluem que as futuras avaliações de segurança devem considerar interações de longo horizonte entre agentes e seus ambientes em evolução para avaliar e mitigar riscos com precisão.