Resumo Técnico: Trident – Como Quebrar o Aprendizado por Reforço Profundo

Declaração do Problema

Sistemas de defesa cibernética autônomos baseados em Aprendizado por Reforço Profundo (DRL) estão sendo cada vez mais implantados para monitorar redes e recuperar hosts comprometidos em tempo real. No entanto, sua robustez contra ameaças adaptativas permanece criticamente subestudada. As avaliações atuais dependem quase exclusivamente de "agentes vermelhos" estáticos e heurísticos com assinaturas comportamentais fixas. Consequentemente, os defensores de DRL desenvolvem políticas implicitamente condicionadas a esses padrões estáticos, criando pontos cegos sistemáticos que os métodos de avaliação tradicionais não conseguem descobrir.

Simultaneamente, embora o Aprendizado por Reforço com Recompensas Verificáveis (RLVR) tenha avançado o raciocínio de Grandes Modelos de Linguagem (LLMs) em domínios como matemática e engenharia de software, sua integração na cibersegurança tem sido dificultada pela falta de ambientes de benchmark adequados. Os conjuntos de dados de cibersegurança existentes tipicamente oferecem corpora estáticos ou desafios isolados de Capture The Flag (CTF), carecendo das interações contínuas e de múltiplos passos necessárias para treinar agentes contra defensores ativos e adaptativos. Existe uma lacuna crítica de infraestrutura capaz de fornecer ambientes adversariais estáveis e repetíveis com sinais de recompensa verificáveis para o treinamento de agentes vermelhos baseados em LLM via RLVR.

Metodologia

Para abordar essas lacunas, os autores introduzem o Trident, um framework de red teaming dinâmico composto por uma infraestrutura de benchmark, um conjunto de dados e uma arquitetura agêntica.

1. Benchmark e Conjunto de Dados Trident

O Trident opera através de dois simuladores de alta fidelidade: o CybORG CAGE 4 (modelando uma rede militar segmentada com defensores multiagentes cooperativos) e o CyberWheel (fundamentando ataques em técnicas reais do MITRE ATT&CK).

• Infraestrutura: O framework utiliza servidores sandbox isolados e conteinerizados com uma arquitetura cliente-servidor. As políticas de ataque geradas são transmitidas para esses sandboxes, executadas nativamente contra defensores DRL vivos e retornam logs de execução determinísticos e verificáveis.
• Conjunto de Dados: Os autores construíram um conjunto de dados de mais de 13.000 trajetórias de interação red-blue de alta fidelidade. Essas trajetórias são serializadas em logs de linguagem natural estruturados, capturando observações parciais, inteligência diferencial de host e resultados de ações, servindo como base para o pós-treinamento de RLVR.

2. Arquitetura Agêntica Trident

O Trident Agentic reformula o problema de treinamento do agente vermelho de um Processo de Decisão de Markov Parcialmente Observável Descentralizado (Dec-POMDP) para um problema de Bandido Contextual usando um paradigma de "Código como Políticas" (Code-as-Policies). A arquitetura consiste em três módulos especializados:

• Resumidor de Logs (Log Summarizer): Um módulo híbrido que utiliza parsing baseado em regras e um LLM congelado para comprimir logs de execução brutos. Ele preserva eventos críticos de "marco" (ex: explorações bem-sucedidas, escaladas de privilégio) enquanto amostra tentativas falhas, sintetizando um resumo semântico denso para o planejador.
• Planejador ($\pi_\theta$): O único componente treinável (um LLM de 7 bilhões de parâmetros). Ele recebe o resumo comprimido como contexto e gera uma estratégia de ataque de alto nível em uma única passagem direta (forward pass), produzindo um payload JSON estruturado. É otimizado via Otimização de Política Relativa de Grupo (GRPO) utilizando recompensas verificáveis derivadas da execução no sandbox.
• Programador (Coder): Um LLM congelado que traduz a estratégia JSON do Planejador em código Python executável. Ele emprega um mecanismo de patching baseado em Árvore de Sintaxe Abstrata (AST) e um loop de autorreparo iterativo (até $K=3$ tentativas) para corrigir erros de sintaxe antes da implantação, garantindo que o Planejador não seja penalizado por ruídos incidentais de implementação.

3. Design de Recompensa

O sistema utiliza uma função de recompensa densa e verificável derivada diretamente dos logs de execução:

• Marcos Positivos ($R^+$): Recompensas ponderadas pelo progresso na killchain (ex: impacto no sistema, escalada de privilégio) aumentadas por um coeficiente de eficiência baseado na razão entre conquista e passos realizados.
• Eventos Negativos ($R^-$): Penalidades para explorações falhas, ações inválidas e ruído operacional.
• Penalidades de Execução: Penalidades estritas são aplicadas para erros de sintaxe, falhas de tempo de execução ou tentativas de acessar internos não observáveis do simulador (ex: flags de isca), garantindo que o agente dependa de inferência comportamental em vez de acesso a estados privilegiados.

Principais Contribuições

1. Benchmark e Conjunto de Dados de Avaliação Trident: O primeiro benchmark de red teaming cross-environment abrangendo CAGE 4 e CyberWheel que fornece execução em sandbox isolada para recompensas verificáveis contra defensores DRL vivos. Inclui um conjunto de dados de mais de 13.000 trajetórias especificamente projetado para suportar treinamento RLVR.
2. Trident Agentic: Uma arquitetura agêntica de LLM tripartida que aproveita o "Código como Políticas" para permitir a geração direta de estratégias de ataque executáveis. Ao tratar a geração de estratégia como um bandido contextual, ela contorna a intratabilidade computacional do planejamento passo a passo de um POMDP.
3. Evidência Empírica de Fragilidade de DRL: O framework demonstra que os defensores autônomos atuais são significativamente mais frágeis contra atacantes adaptativos do que indicado anteriormente por avaliações estáticas.

Resultados Experimentais

Os autores avaliaram o Trident Agentic contra agentes azuis (blue agents) de estado da arte em DRL (incluindo variantes GNN, HMARL e MARL) tanto no CAGE 4 quanto no CyberWheel.

• Redução de Performance: O Trident Agentic reduziu o desempenho defensivo dos agentes azuis em uma média de 522% em comparação com as bases heurísticas padrão.
• Comparação com Baselines:
  • Heurísticas Estáticas: Agentes vermelhos tradicionais falharam em descobrir fraquezas nas políticas aprendidas.
  • Zero-Shot/CoT: Embora abordagens de prompting zero-shot e Chain-of-Thought (CoT) tenham mostrado alguma melhoria sobre as bases estáticas, foram substancialmente superadas pelo Trident Agentic treinado via RLVR.
  • Modelos de Fronteira: Um modelo de 7B parâmetros treinado via RLVR (Trident Agentic) superou o desempenho de modelos de escala de fronteira (ex: GPT-4o) usados em capacidade zero-shot, destacando a eficácia do treinamento RLVR específico para a tarefa sobre a escala bruta do modelo.
• Comportamentos Emergentes: Os agentes treinados descobriram autonomamente novos vetores de ataque que as heurísticas estáticas não puderam representar, incluindo:
  • Evitação de Decoys (Iscas): No CyberWheel, o agente aprendeu a abortar ataques em hosts que exibiam falhas repetidas, identificando e evitando efetivamente honeypots.
  • Priorização Adaptativa de Estado: No CAGE 4, o agente aprendeu a priorizar alvos de alto valor (ex: acesso Root/User) sobre o reconhecimento básico, mudando dinamicamente o foco com base no estado da rede.

Significância e Alegações

O artigo afirma que o Trident expõe uma lacuna fundamental de avaliação na defesa cibernética autônoma: as práticas atuais subestimam criticamente a vulnerabilidade dos defensores de DRL contra atacantes generativos e adaptativos. Ao demonstrar que um LLM compacto de 7B com pesos abertos pode desmantelar sistematicamente defesas de estado da arte, os autores argumentam que o campo deve ir além da avaliação de adversários estáticos.

O Trident é apresentado não apenas como uma ferramenta ofensiva, mas como uma infraestrutura necessária para a "coevolução" da ofensa e defesa cibernéticas. Seu design de sandbox agnóstico ao simulador e baseado em REST permite a integração de ambientes de maior fidelidade, possibilitando o treinamento de agentes azuis que sejam robustos contra ameaças generativas e adaptativas. Os autores enfatizam que a transparência sobre essas capacidades é essencial para impulsionar o desenvolvimento de sistemas defensivos igualmente adaptativos e movidos por RL, antes que tais estratégias de ataque sejam independentemente implantadas por adversários.