Explainable Autonomous Cyber Defense using Adversarial Multi-Agent Reinforcement Learning

1. Il Problema

L'automazione delle operazioni di difesa cibernetica sta diventando sempre più critica, specialmente in infrastrutture critiche dove le interazioni devono avvenire a velocità di macchina. Tuttavia, gli attuali sistemi autonomi presentano gravi vulnerabilità:

• Fragilità Adversarial: Gli attori delle Minacce Persistenti Avanzate (APT) utilizzano tecniche come il "Living off the Land" (uso di strumenti legittimi) e la manipolazione delle telemetrie per creare ambiguità.
• Limiti dei Sistemi Correlazionali: Le difese esistenti si basano spesso su correlazioni statistiche. Sotto input ambigui o manipolati, questi sistemi tendono a subire una "deriva del ragionamento" (reasoning drift), portando a falsi positivi, reazioni eccessive o azioni di mitigazione non sicure.
• Mancanza di Vincoli Strutturali: I pipeline di difesa attuali mancano di vincoli strutturali sulle azioni di risposta e di meccanismi di verifica interna robusti, rendendo difficile garantire che un'azione autonoma sia causalmente giustificata prima dell'esecuzione.

2. Metodologia: Il Framework C-MADF

Gli autori propongono il Causal Multi-Agent Decision Framework (C-MADF), un'architettura strutturata che integra modellazione causale, apprendimento per rinforzo multi-agente e supervisione umana. Il framework opera in quattro fasi dipendenti:

A. Scoperta Causale e Mappatura (SCM & DAG)

• Il sistema apprende un Modello Causale Strutturale (SCM) dai dati storici di telemetria.
• Questo SCM viene compilato in una Roadmap MDP-DAG (Processo Decisionale di Markov su un Grafo Aciclico Diretto).
• Vincolo Chiave: Lo spazio delle azioni non è illimitato; è restrittivo e permette solo transizioni che sono causalmente ammissibili secondo il modello appreso. Questo impedisce al sistema di saltare direttamente a misure di mitigazione senza aver prima raccolto le prove necessarie (es. non si può isolare un host senza prima aver raccolto evidenze).

B. Deliberazione Adversarial Multi-Agente ("Council of Rivals")

All'interno dello spazio delle azioni vincolato, il processo decisionale è gestito da due agenti di Reinforcement Learning (RL) con obiettivi asimmetrici:

• Blue-Team (Policy $\pi_B$): Ottimizzato per massimizzare l'utilità della mitigazione delle minacce e l'efficienza dell'indagine.
• Red-Team (Policy $\pi_R$): Ottimizzato con una ricompensa conservativa per penalizzare interventi non giustificati o ad alto impatto privi di prove sufficienti. Il suo obiettivo è minimizzare i falsi positivi e le interruzioni operative.
• Interazione: Gli agenti deliberano su azioni ammissibili. La loro disaccordo è quantificato da un Policy Divergence Score ($D(s_t)$). Un alto livello di disaccordo indica incertezza epistemica e attiva meccanismi di allerta.

C. Interfaccia Spiegabile Human-in-the-Loop (HITL)

• Viene introdotto un Explainability–Transparency Score (ETS). Questo punteggio aggrega la chiarezza delle spiegazioni, la sufficienza delle prove e la coerenza delle policy.
• L'ETS funge da segnale di escalation: se il punteggio è basso (bassa fiducia/alta ambiguità) o se la divergenza tra gli agenti è alta, l'azione autonoma viene sospesa e passata a un supervisore umano per la decisione finale.

3. Contributi Chiave

1. Pianificazione di Indagine Vincolata Causalmente: Integrazione di un SCM appreso in un MDP-DAG che agisce come un vincolo "hard" sulle transizioni di stato, garantendo che le azioni autonome seguano un flusso di indagine logicamente coerente.
2. Deliberazione Duale Adversarial: Un design innovativo ("Council of Rivals") dove una policy conservativa (Red) bilancia una policy offensiva (Blue), quantificando l'incertezza attraverso la divergenza delle policy invece di affidarsi a soglie statiche.
3. Meccanismo di Escalation Spiegabile: Definizione dell'ETS, che trasforma l'interpretabilità da un semplice report post-hoc a un meccanismo di controllo attivo per la governance delle decisioni in tempo reale.
4. Valutazione Orientata alla Verifica: Analisi formale e empirica che dimostra come il framework riduca le violazioni causali e i falsi positivi, mantenendo la robustezza contro manipolazioni delle telemetrie (modello "Shadow-Jitter").

4. Risultati Sperimentali

Il framework è stato valutato sul dataset reale CICIoT2023 e confrontato con tre baseline all'avanguardia (DUGAT-LSTM, BiLSTM IDS, Hybrid Weighted-XGBoost).

• Riduzione dei Falsi Positivi: C-MADF ha ridotto il tasso di falsi positivi (FPR) al 1,8%, un miglioramento drastico rispetto alle baseline (11,2%, 9,7% e 8,4%).
• Alta Precisione e Recall: Ha raggiunto una Precisione di 0,997, un Recall di 0,961 e un F1-score di 0,979, superando tutte le baseline.
• Validazione delle Componenti (Ablation Study):
  • Rimuovendo il modello causale (SCM), l'FPR è salito al 59,4%.
  • Rimuovendo il Red-Team, l'FPR è salito al 21,2%.
  • Rimuovendo il Blue-Team, l'FPR è salito al 25,1%.
  • Questo dimostra che ogni componente è essenziale per la sicurezza e l'efficacia del sistema.
• Comportamento dell'ETS: Il punteggio ETS ha mostrato una forte correlazione monotona con la sufficienza delle prove e l'accordo tra le policy, confermando la sua utilità come segnale di escalation affidabile.

5. Significato e Implicazioni

Il lavoro di Zhang et al. rappresenta un passo avanti significativo verso la difesa cibernetica semi-autonoma affidabile.

• Sicurezza Operativa: Dimostra che è possibile automatizzare la risposta agli incidenti senza sacrificare la sicurezza operativa, riducendo drasticamente il rischio di interruzioni auto-inflitte (falsi positivi) in ambienti critici come le reti energetiche o industriali.
• Trasparenza e Fiducia: Integrando la spiegabilità direttamente nel processo decisionale (non solo come output postumo), il framework fornisce un percorso verso sistemi certificabili e supervisionabili.
• Robustezza Adversarial: L'approccio basato su vincoli causali e deliberazione interna offre una difesa superiore contro le manipolazioni delle telemetrie rispetto ai metodi puramente correlazionali o basati su deep learning "black-box".

In sintesi, C-MADF propone un cambio di paradigma: passare da sistemi che reagiscono alle correlazioni a sistemi che ragionano sulla causalità, verificano le proprie ipotesi internamente e chiedono aiuto all'umano solo quando l'incertezza supera una soglia calibrata.