Resumo Técnico: Aprendizado por Reforço Multiagente com Gráfico de Contrato de Segurança para Resposta Autônoma de Segurança de Rede

1. Definição do Problema

O artigo aborda a lacuna crítica entre o desempenho de segurança teórico e a capacidade de implementação operacional em sistemas de resposta autônoma à segurança de rede. Embora agentes de Aprendizado por Reforço Multiagente (MARL) possam otimizar recompensas de segurança em simulação (ex: CAGE Challenge 4), eles frequentemente falham em respeitar as restrições operacionais de um Centro de Operações de Segurança (SOC).

Em ambientes reais de SOC, as ações de resposta carregam custos específicos:

• Tempo de Inatividade/MTTR: Restaurar um host comprometido o retira de operação, consumindo um orçamento de "Tempo Médio de Recuperação" (Mean Time to Recover).
• Falsos Positivos: Restaurar hosts sem evidências claras de malícia sobrecarrega os analistas e erode a confiança.
• Disrupção de Firewall: Modificar zonas de tráfego requer aprovação de gestão de mudanças e cria trilhas de auditoria.

O problema central é que agentes MARL padrão baseados apenas em recompensa, quando treinados para maximizar pontuações de segurança, esgotam sistematicamente esses orçamentos operacionais. Na avaliação do CAGE Challenge 4, agentes sem restrições violaram o orçamento de tempo de inatividade em 100% dos episódios, consumindo de 6 a 9 vezes o orçamento permitido por episódio. O artigo postula que um sistema de resposta autônoma não é implantável se não puder operar dentro de restrições explícitas de governança de SOC, independentemente de sua recompensa de segurança.

2. Metodologia

Os autores propõem um framework de Gráfico de Contrato de Segurança MARL, instanciado principalmente através de duas arquiteturas: C-MAPPO-GAT e ACD3-GAT. A abordagem trata o problema como um Processo de Decisão de Markov Parcialmente Observável Descentralizado (Dec-POMDP) com Restrições.

2.1. Componentes Principais do Framework

• Orçamentos Operacionais: Três contadores de orçamento explícitos são definidos por episódio:
  • $B_{down} = 50$ (Ações de restauração).
  • $B_{fp} = 10$ (Ações de restauração de falsos positivos).
  • $B_{fw} = 20$ (Ações de mudança de firewall).
  • Um episódio só é considerado "seguro" se o custo cumulativo para cada restrição permanecer dentro de seu orçamento.
• Codificação de Observação de Grafo: Os agentes observam vetores binários representando estados de rede. Estes são processados em grafos de host-sub-rede. Um codificador de Rede de Atenção de Grafos (GAT) processa esses grafs para capturar dependências topológicas, substituindo os codificadores MLP padrão.
• Otimização de Restrição Lagrangiana: O framework utiliza uma abordagem de relaxação Lagrangiana. Uma variável dual (multiplicador $\lambda_k$) é atualizada após cada lote para penalizar políticas que excedem orçamentos específicos. A função de vantagem é modificada para subtrair penalidades de custo:
  $$\hat{A}^{Lag}_t = \hat{A}^r_t - \sum_k \lambda_k \hat{A}^{c_k}_t$$
• Triagem de Ação Contrafactual (Shielding/Blindagem): Antes de uma ação ser executada, um "escudo" avalia as ações candidatas.
  • Guarda Rígida (Hard Guard): Ações que esgotariam imediatamente um orçamento restante são bloqueadas.
  • Propagação de Risco Contrafactual de Grafo (G-CRP): Um modelo determinístico propaga o risco através do grafo da rede para estimar a probabilidade de comprometimento pós-ação. As ações são classificadas por uma pontuação de segurança $Q_{safe}$, que combina risco previsto, custo e restrições de orçamento.
• Blindagem de Grafo de Contrato Temporal (TCGS): Uma extensão diagnóstica que utiliza um modelo recorrente aprendido para prever a probabilidade de violações futuras de orçamento com base no histórico da trajetória, atuando como um filtro temporal para propostas de ação.

2.2. Arquiteturas Avaliadas

1. C-MAPPO-GAT: Um baseline restrito que combina MAPPO (Multi-Agent PPO) com um codificador GAT e controle de custo Lagrangiano. Ele isola o efeito das restrições explícitas de custos operacionais.
2. ACD3-GAT (Adaptive Constrained Counterfactual Decisioning with a Graph Attention Network): O framework integrado completo. Ele adiciona:
   • Vetores de contexto de orçamento à entrada da política.
   • Reponderação de CVaR (Conditional Value-at-Risk) para penalizar o risco de cauda (pior caso).
   • Estimativa de estado de crença do oponente (via GRU).
   • Mecanismos de blindagem G-CRP e TCGS.
   • Sinais de sobreposição (override) para acionar retornos ao humano-no-loop (ex: ação SLEEP) quando a confiança é baixa ou os orçamentos estão esgotados.

3. Contribuições Principais

• Contratos de Segurança Explícitos: O artigo move as restrições operacionais de efeitos colaterais implícitos para "contratos de segurança" explícitos e auditáveis, que são otimizados e triados durante o treinamento e execução.
• Framework ACD3-GAT: Uma arquitetura inovadora que integra percepção de grafo, aprendizado de restrição Lagrangiana, contabilidade de risco de cauda e propagação de risco contrafactual em um único sistema MARL.
• Evidência Empírica de Falha Baseada Apenas em Recompensa: O estudo demonstra que o MARL baseado apenas em recompensa (IPPO, MAPPO-GAT) é fundamentalmente não implantável neste domínio, violando orçamentos de tempo de inatividade em 100% dos episódios.
• Baselines Controlados: A introdução do C-MAPPO-GAT serve como um baseline controlado para provar que as melhorias de segurança advêm da maquinaria de restrição (Lagrangiana + blindagem) e não apenas do codificador de grafo ou modelagem de recompensa.

4. Resultados

Os experimentos foram conduzidos no CAGE Challenge 4 usando 5 agentes "Azuis" cooperativos contra um adversário "Vermelho" ao longo de episódios de 500 passos.

4.1. Conformidade de Segurança

• Métodos Não Restritos: Todos os baselines de recompensa pura (IPPO, MAPPO-GAT, etc.) alcançaram uma taxa de violação do orçamento de tempo de inatividade de 100%. Seus custos médios de inatividade variaram de 311 a 430 contra um orçamento de 50.
• C-MAPPO-GAT: Reduziu a taxa de violação do tempo de inatividade para 0,3% (2 violações em 600 episódios) e reduziu o custo médio de inatividade para 15,5. Isso representa uma redução de 95–96% no dano operacional em comparação com o MAPPO-GAT não restrito.
• ACD3-GAT: Alcançou um custo médio de inatividade de 48,2 com uma taxa de violação de 13,8%. Embora menos conservador que o C-MAPPO-GAT, ele opera na "fronteira do contrato de segurança", equilibrando risco e recompensa de forma mais eficaz que os métodos não restritos.

4.2. Trade-off entre Retorno vs. Segurança

• Métodos restritos incorreram em uma penalidade na recompensa média de segurança (ex: C-MAPPO-GAT retornou -6.992 vs. -3.937 para o MAPPO-MLP não restrito).
• No entanto, o artigo argumenta que este trade-off é necessário: uma política com alta recompensa de segurança mas 100% de violação de orçamento é operacionalmente inútil.
• Risco de Cauda: Codificadores de grafo (GAT) melhoraram o retorno de pior cauda (CVaR-10%) em comparação com codificadores MLP, mas apenas os métodos restritos eliminaram episódios catastróficos (violações de limiar de alerta).

4.3. Testes de Estresse de Robustez

• Mudanças de Topologia: O C-MAPPO-GAT manteve 0% de violações de tempo de inatividade em topologias de rede não vistas, enquanto os métodos não restritos permaneceram em 100% de violação.
• Processo Vermelho Adaptativo: Quando testado contra um agente Red PPO adaptativo, as políticas restritas mostraram uma degradação significativamente menor no desempenho de pior caso em comparação com o MAPPO-GAT baseado apenas em recompensa.

5. Significância e Alegações

O artigo alega modestamente que sua principal contribuição é estabelecer um padrão de suporte à decisão implantável para agentes de SOC autônomos, em vez de alegar um sistema totalmente autônomo pronto para produção.

• Disciplina Operacional: A descoberta central é que "o aprendizado baseado apenas em recompensa carece de disciplina operacional". O artigo demonstra que, sem contratos de segurança explícitos, os agentes MARL aprendem estratégias que são operacionalmente destrutivas (ex: esgotar orçamentos de MTTR).
• Auditabilidade: O framework transforma o agente em um componente auditável onde as ações podem ser verificadas contra orçamentos locais, fornecendo um caminho claro para governança humana e escalonamento.
• Posicionamento de Fronteira: Os resultados distinguem entre a configuração C-MAPPO-GAT (o ponto de conformidade mais confiável no benchmark) e a arquitetura ACD3-GAT (o framework geral para integrar segurança, percepção de grafo e risco).
• Limitações: Os autores reconhecem que as garantias de segurança são empíricas (baseadas em taxas de violação em simulação) e não provas matemáticas formais para políticas neurais não convexas. O "contrato de segurança" é uma disciplina de avaliação e treinamento dentro do simulador CAGE-4, e a implantação no mundo real exigiria o ajuste dos orçamentos para SLAs organizacionais específicos.

Em conclusão, o artigo argumenta que, para que a segurança de rede autônoma seja viável, o objetivo de aprendizado deve otimizar explicitamente a aceitabilidade operacional juntamente com as recompensas de segurança, utilizando mecanismos como restrições Lagrangianas e blindagem contrafactual para evitar o esgotamento de orçamentos.