Resumo Técnico: Proteus – Uma Equipe Vermelha Autoevolutiva para Ecossistemas de Habilidades de Agentes

1. Formulação do Problema: Vazamento Adaptativo

O artigo aborda uma lacuna crítica na avaliação de segurança das habilidades de agentes de Modelos de Linguagem de Grande Escala (LLM). Embora pesquisas existentes tenham identificado riscos em habilidades maliciosas estáticas e criadas manualmente, elas falham em grande parte em medir o risco residual remanescente quando um atacante revisa iterativamente uma habilidade usando feedback de auditores e ambientes de execução.

Os autores definem Vazamento Adaptativo como o risco de implantação onde um atacante com orçamento limitado pode revisar iterativamente uma habilidade de terceiros até que ela simultaneamente:

1. Passe na auditoria estática ou baseada em LLM.
2. Execute com sucesso no ambiente de execução alvo.
3. Produza dano verificado e detectável por oráculo.

As avaliações atuais tratam os auditores como classificadores de única tentativa contra entradas fixas. No entanto, como os auditores de código aberto (por exemplo, SkillVetter, AI-Infra-Guard) frequentemente publicam seus conjuntos de regras e descobertas, os atacantes podem reproduzir localmente os resultados da auditoria. Isso cria um canal de "caixa cinza" onde um atacante pode usar descobertas estruturadas de auditoria e rastreamentos de tempo de execução para refinar seu ataque em múltiplas rodadas, uma capacidade não capturada por testes de invasão (red-teaming) de única tentativa ou linhas de base de feedback escalar.

2. Metodologia: O Framework Proteus

Proteus é um framework de equipe vermelha de caixa cinza e autoevolutivo projetado para medir o vazamento adaptativo. Ele opera através de um sistema de malha fechada composto por quatro componentes acoplados:

A. O Espaço de Ataque de Habilidade de Cinco Eixos

Proteus decompõe uma variante de habilidade $s$ em uma 5-tupla $(o, \tau, c, \kappa, d)$:

• $o$ (Objetivo): A meta do ataque (por exemplo, exfiltração de dados, escalonamento de privilégios).
• $\tau$ (Topologia): A estrutura da cadeia de habilidades (habilidade única ou cadeia de $k$).
• $c$ (Código): O artefato executável.
• $\kappa$ (Canal de Efeito Colateral): O mecanismo para o dano (por exemplo, escrita em arquivo, saída de rede).
• $d$ (Documentação): A documentação de definição de contexto carregada no prompt do agente.

B. O Contrato de Rodada de Caixa Cinza

Cada rodada de avaliação segue um pipeline agnóstico ao defensor: Auditoria $\to$ Sandbox $\to$ Oráculo.

• Auditoria: A habilidade é submetida a um auditor (por exemplo, SkillVetter ou AI-Infra-Guard).
• Sandbox: Se a auditoria passar, a habilidade é executada em um ambiente containerizado (OpenClaw).
• Oráculo: Um juiz baseado em regras verifica se a execução produziu o efeito colateral alvo (letalidade).
• Quadrupla de Feedback: O sistema retorna uma tupla estruturada $\langle b, \ell, F, R \rangle$:
  • $b$: Veredito booleano da auditoria (contornado?).
  • $\ell$: Veredito booleano de letalidade (dano alcançado?).
  • $F$: Descobertas estruturadas da auditoria (códigos de motivo, severidades, ponteiros de evidência).
  • $R$: Rastreamento/conselho de tempo de execução (por exemplo, quais sensores foram acionados ou bloqueados).

C. Mutador Autoevolutivo

O agente da equipe vermelha é um loop de uso de ferramentas baseado em LLM que consome a quadrupla de feedback como informação lateral em contexto (um "gradiente verbal") em vez de uma recompensa escalar. Ele utiliza um catálogo de 12 operadores de mutação (por exemplo, purpose-coherent-embed, code-offload, thematic-chain-insert) para modificar os cinco eixos da habilidade.

D. Processo de Evolução de Três Camadas

Proteus emprega uma estratégia de busca aninhada:

1. Camada 1 (Descoberta Livre): Busca livremente dentro do objetivo pai para encontrar o primeiro desvio bem-sucedido ($b \land \ell$).
2. Camada 2 (Expansão de Caminho): Após o sucesso, gera implementações alternativas do mesmo objetivo de ataque (por exemplo, trocar cron por temporizadores systemd) sem consumir o orçamento principal da rodada.
3. Camada 3 (Expansão de Superfície): Transfere padrões de implementação aprendidos (motivos estruturais) para novos objetivos de ataque, testando se o atacante pode generalizar além da semente inicial.

3. Configuração Experimental

• Auditores: SkillVetter (código aberto, MIT-0) e AI-Infra-Guard (Tencent, Apache-2.0).
• Alvos: GPT-5.4-mini e GLM-5.
• Mutadores: DeepSeek-V4-Pro e Kimi-2.6.
• Sementes: 20 habilidades semente maliciosas geradas via composição de cadeia guiada por grafo sobre um grafo de habilidades de 47 mil nós (ClawHub).
• Orçamento: $T=5$ rodadas para a Fase-1; expansão fora do orçamento para a Fase-2.

4. Resultados Chave

Fase-1: Desvio Iterativo

Em oito células de configuração, Proteus alcançou uma Taxa de Sucesso do Ataque (ASR@5) de 40–90%.

• Curvas de Aprendizado: Proteus demonstrou inclinações positivas de curva de aprendizado (LCS), indicando que as taxas de sucesso aumentaram significativamente a cada rodada de feedback.
• Comparação com Linha de Base:
  • Linha de Base de Caixa Preta: Quando fornecido apenas com um veredito escalar de passar/falhar (sem descobertas estruturadas), a taxa de sucesso estabilizou em ~43% com inclinação de aprendizado negligenciável.
  • PyRIT: Uma ferramenta padrão de teste de invasão externa (reescrita narrativa apenas) alcançou apenas 5/20 sementes bem-sucedidas, destacando a necessidade de mutar código e topologia, não apenas documentação.
• Desempenho do Auditor: O auditor mais forte, AI-Infra-Guard, reduziu as taxas de sucesso em 10–30 pontos percentuais em comparação com o SkillVetter, mas Proteus ainda alcançou até 41,3% de sucesso contra ele.

Fase-2: Expansão de Caminho e Superfície

Após encontrar uma variante bem-sucedida, Proteus expandiu a superfície de ataque:

• Total de Variantes: Gerou 438 variantes que contornavam e eram letais conjuntamente.
• SkillVetter: Contornado em $\ge 93\%$ em cada célula de expansão.
• AI-Infra-Guard: Ainda admitiu 25–41% das variantes.
• Expansão de Superfície: O agente transferiu com sucesso padrões de ataque para novos objetivos (por exemplo, movendo de persistência para exfiltração de dados) usando motivos estruturais compartilhados, demonstrando generalização emergente.

Transferência entre Auditores

Uma descoberta crítica é a transferibilidade dos ataques aprendidos. 87,7% das variantes evoluídas contra o mais forte AI-Infra-Guard também contornaram o SkillVetter sem qualquer nova mutação. Isso sugere que o vazamento adaptativo não é específico do auditor, mas representa uma vulnerabilidade fundamental no paradigma de verificação de habilidades.

5. Significado e Alegações

O artigo alega que a verificação atual de habilidades subestima substancialmente o risco residual quando avaliada contra atacantes adaptativos e orientados por feedback.

• Lacuna de Medição: Estudos de segurança existentes tratam os auditores como classificadores estáticos. Proteus demonstra que, quando um atacante tem acesso a feedback estruturado (o canal de "caixa cinza"), ele pode refinar iterativamente ataques para contornar tanto a análise estática quanto verificações narrativas baseadas em LLM.
• O "Gradiente Verbal": O estudo valida empiricamente que o uso de descobertas estruturadas de auditoria como informação lateral em contexto é significativamente mais eficaz do que recompensas escalares. Colapsar o feedback para um veredito binário reduz a inclinação de aprendizado em uma ordem de magnitude.
• Vulnerabilidade de Canal Duplo: Os resultados destacam que a combinação de execução de código e documentação de definição de contexto cria uma superfície de ataque dupla. Ataques bem-sucedidos frequentemente exigem mutações coordenadas em múltiplos eixos (por exemplo, reescrever a narrativa para corresponder ao código enquanto descarrega a carga útil para um binário).
• Risco do Ecossistema: A alta taxa de transferência entre auditores implica que vulnerabilidades descobertas contra um auditor provavelmente persistem em outros, sugerindo um risco sistêmico no ecossistema de habilidades de agentes que não pode ser resolvido simplesmente trocando auditores.

Os autores concluem que o vazamento adaptativo é uma ameaça mensurável e significativa que requer novos mecanismos de defesa capazes de lidar com adversários iterativos e orientados por feedback, em vez de confiar em auditorias estáticas de única tentativa.