Explainable Autonomous Cyber Defense using Adversarial Multi-Agent Reinforcement Learning

Título: Defesa Cibernética Autônoma Explicável usando Aprendizado por Reforço Multi-Agente Adversarial

1. Problema e Motivação

O artigo aborda os desafios críticos na segurança de infraestruturas críticas (como redes de energia e sistemas industriais) frente a Ameaças Persistentes Avançadas (APTs).

• Complexidade e Ambiguidade: Os atacantes modernos utilizam técnicas "Living off the Land" (LotL) e manipulação de telemetria para criar ambiguidade nos sistemas de monitoramento.
• Falhas das Defesas Atuais: As abordagens existentes, baseadas principalmente em correlação e modelos monolíticos ou multi-agente sem restrições estruturais, tendem a sofrer de "deriva de raciocínio" sob entradas adversárias. Isso resulta em:
  • Falsos Positivos Elevados: Classificação de comportamento benigno como malicioso.
  • Ações de Mitigação Inseguras: Respostas automáticas que podem causar interrupção operacional (ex: isolamento desnecessário de servidores críticos).
  • Falta de Explicabilidade: Sistemas de IA "caixa-preta" que não fornecem justificativas estruturadas para suas decisões, dificultando a supervisão humana.

O objetivo é criar um sistema de defesa autônoma que seja causalmente fundamentado, estruturalmente restrito (para evitar ações inválidas) e explicável, garantindo segurança e confiabilidade.

2. Metodologia: O Framework C-MADF

Os autores propõem o Causal Multi-Agent Decision Framework (C-MADF), uma arquitetura que integra modelagem causal, aprendizado por reforço adversarial e supervisão humana. O framework opera em quatro estágios dependentes:

A. Descoberta Causal e Modelagem (SCM)

• O sistema aprende um Modelo Causal Estrutural (SCM) a partir de telemetria histórica.
• Este modelo é compilado em um Mapa de Investigação (Roadmap) na forma de um Grafo Acíclico Direcionado (DAG).
• Restrição Estrutural: O DAG define quais transições de estado são "admissíveis". O espaço de ações do agente é restrito apenas a transições que respeitam a causalidade aprendida (ex: não se pode mitigar uma ameaça sem antes coletar evidências suficientes).

B. Deliberação Multi-Agente Adversarial ("Council of Rivals")

A tomada de decisão ocorre dentro de um Processo de Decisão de Markov (MDP) restrito, utilizando dois agentes com objetivos assimétricos:

1. Agente Blue-Team: Otimizado para maximizar a utilidade da mitigação (neutralizar ameaças, eficiência).
2. Agente Red-Team: Otimizado conservadoramente para penalizar intervenções injustificadas ou prematuras (minimizar falsos positivos e interrupções operacionais).

• Mecanismo de Validação: Os dois agentes debatem sobre as ações admissíveis. A divergência entre suas políticas é quantificada por uma Pontuação de Divergência de Política (Policy Divergence Score - D).
• Se a divergência for alta (indicando incerteza epistêmica), o sistema evita a execução automática.

C. Interface Explicável com Humano no Loop (HITL)

• O sistema calcula uma Pontuação de Explicabilidade e Transparência (ETS - Explainability–Transparency Score).
• A ETS agrega três componentes:
  1. Clareza: Estabilidade e concentração dos sinais explicativos.
  2. Completude: Suficiência das evidências e cobertura do histórico.
  3. Confiança: Certeza epistêmica da ação recomendada (baseada na divergência entre agentes).
• Gatilho de Escalação: Se a ETS estiver abaixo de um limiar calibrado ou a divergência for alta, a decisão é escalada para um supervisor humano, evitando ações autônomas arriscadas.

3. Principais Contribuições

1. Planejamento de Investigação Restrito Causalmente: Integração de um SCM aprendido em um MDP-DAG que restringe as ações autônomas a transições causalmente admissíveis, eliminando caminhos de investigação ilógicos.
2. Deliberação Dual Adversarial: Introdução de um design de "Conselho de Rivais" onde uma política de mitigação (Blue) é contrabalançada por uma política conservadora (Red), quantificando a incerteza através da divergência de políticas.
3. Mecanismo de Escalação Explicável: Definição da ETS como um sinal de governança que integra qualidade da explicação, suficiência de evidências e consistência de políticas para suportar intervenções humanas calibradas.
4. Avaliação Orientada à Verificação: Análise formal e empírica que demonstra a robustez do sistema contra manipulação de telemetria (ataques "Shadow-Jitter") e validação em dados reais.

4. Resultados Experimentais

O framework foi avaliado no conjunto de dados real CICIoT2023 (um benchmark de detecção de intrusão em IoT) e comparado com três bases de referência de ponta (DUGAT-LSTM, BiLSTM IDS e Hybrid Weighted-XGBoost).

• Desempenho de Detecção:
  • Precisão: 0.997 (superior a todos os baselines).
  • Recall: 0.961 (mantém alta sensibilidade a ataques reais).
  • F1-Score: 0.979.
• Redução de Falsos Positivos (FPR):
  • C-MADF: 1.8%
  • Baselines: 11.2%, 9.7% e 8.4%.
  • Impacto: Redução relativa de aproximadamente 80-84% nos falsos positivos, crucial para evitar interrupções operacionais em infraestruturas críticas.
• Estudo de Ablação:
  • Remover o SCM aumentou o FPR para 59.4% (mostrando a importância do filtro causal).
  • Remover o Red-Team aumentou o FPR para 21.2% (mostrando a importância da validação conservadora).
  • Remover o Blue-Team degradou a precisão geral.
• Comportamento da ETS: A pontuação ETS mostrou alinhamento monotônico com a suficiência de evidências e o acordo entre políticas, validando sua utilidade como sinal de escalação.

5. Significado e Implicações

• Segurança em Infraestrutura Crítica: O C-MADF demonstra que é possível automatizar a resposta a incidentes sem sacrificar a segurança operacional. Ao restringir ações a caminhos causalmente válidos, o sistema previne "auto-ataques" (interrupções desnecessárias) comuns em sistemas de IA puramente correlacionais.
• Mudança de Paradigma: O trabalho move a IA de segurança de uma abordagem puramente estatística ("o que parece suspeito?") para uma abordagem causal e deliberativa ("qual é a causa provável e qual ação é admissível?").
• Governança de IA: A integração de sinais de explicabilidade (ETS) diretamente no processo de decisão (gatekeeping) oferece um modelo prático para sistemas semi-autônomos onde a confiança e a auditabilidade são requisitos obrigatórios.
• Robustez Adversarial: O framework é resiliente a tentativas de manipulação de telemetria, pois o agente Red-Team e o filtro causal conseguem identificar inconsistências que enganariam detectores convencionais.

Em resumo, o C-MADF oferece uma arquitetura verificável e explicável para defesa cibernética autônoma, equilibrando a necessidade de resposta rápida com a segurança operacional e a supervisão humana necessária em ambientes de alto risco.