Learning Red Agent Policy from Observations for Neurosymbolic Autonomous Cyber Agents

Riepilogo Tecnico: Apprendimento della Policy dell'Agente Red dalle Osservazioni per Agenti Cyber Autonomi Neurosimbolici

Definizione del Problema

I moderni sistemi di difesa cibernetica autonoma si affidano sempre più a agenti di Reinforcement Learning (RL) per applicare regole di sicurezza e adattarsi alle minacce in evoluzione. Tuttavia, questi ambienti sono intrinsecamente parzialmente osservabili. Nello specifico, il difensore (agente blue) non può osservare direttamente le azioni o le policy dell'attaccante (agente red). Il difensore percepisce solo transizioni di stato parziali ed esiti indiretti degli attacchi. Questa mancanza di visibilità ostacola la capacità di ricostruire la reale dinamica del sistema, prevedere i movimenti dell'attaccante o valutare efficacemente i livelli di intrusione.

Sebbene l'apprendimento per imitazione sia stato applicato per inferire policy latenti nel controllo classico e nei domini video, i metodi esistenti non sono direttamente applicabili alle reti autonome. Ciò accade perché gli stati di rete sono tipicamente discreti (istantanee delle attività di host/server) e le transizioni di stato dipendono dalle azioni congiunte sia dell'agente red che dell'agente blue. Di conseguenza, esiste una critica necessità di una tecnica in grado di apprendere le policy dell'agente red e prevedere le azioni red durante l'esecuzione (runtime) utilizzando solo le osservazioni blue e le azioni blue.

Metodologia

Gli autori propongono una Tecnica di Apprendimento della Policy basata sull'apprendimento per imitazione, progettata per inferire le policy dell'agente red ($\pi'$) e prevedere le azioni red ($r_{t-1}$) partendo da osservazioni blue consecutive ($o^b_{t-1}, o^b_t$) e dall'azione blue precedente ($b_{t-1}$). L'approccio è strutturato in tre fasi ed è integrato con un framework neurosimbolico.

1. Formulazione del Problema

La rete è modellata come un Processo Decisionale di Markov Parzialmente Osservabile (POMDP) a tempo discreto. L'obiettivo è apprendere la policy red $\pi'$ data una nota policy blue $\pi$. L'input consiste in:

• Osservazioni blue al tempo $t-1$ e $t$.
• L'azione blue eseguita al tempo $t-1$.
• L'obiettivo è prevedere l'azione red eseguita al tempo $t-1$.

2. Tecnica di Apprendimento a Tre Fasi

La tecnica impiega un modello di dinamica multi-stadio utilizzando Reti Neurali Profonde (DNN):

• Fase I: Generazione dei Dati

  • Il sistema interagisce con l'ambiente per raccogliere le transizioni $(o^b_{t-1}, b_{t-1} \to o^b_t)$.
  • Viene generato un dataset $D$ per l'addestramento.
  • Un dataset etichettato $D_R$ viene generato estraendo le azioni red reali ($r_{t-1}$) dal sistema (non osservabili durante l'esecuzione effettiva) e pre-elaborandole in componenti: nome dell'azione, host target e subnet.

• Fase II: Apprendimento della Policy (Inferenza dell'Azione Latente)

  • Codifica: Le azioni e i target blue vengono codificati tramite one-hot encoding.
  • Apprendimento dell'Azione Latente: Due modelli vengono addestrati congiuntamente:
    1. Modello di Dinamica Inversa (IDM1): Stima un'azione latente red ($l_{t-1}$) dati le osservazioni e le azioni blue.
    2. Modello di Dinamica Diretta (FDM1): Predice l'osservazione corrente ($\tilde{o}^b_t$) dato lo stato precedente, l'azione blue e l'azione latente inferita.
    • Questi sono addestrati per minimizzare l'errore di osservazione $|\tilde{o}^b_t - o^b_t|$, costringendo l'azione latente a catturare la dinamica red mancante.
  • Imitazione della Policy: Un secondo Modello di Dinamica Inversa (IDM2) viene addestrato per imitare le azioni latenti apprese da IDM1, imparando efficacemente la policy $\pi'$.
  • Mappatura su Azioni Discrete: Un Modello di Dinamica Diretta (FDM2) mappa le azioni latenti continue nuovamente nei componenti discreti dell'azione red (nome azione, host, subnet). Questi output vengono sottoposti a soglia per produrre codifiche one-hot binarie per la finale azione red predetta $\hat{r}_{t-1}$.

3. Integrazione con Agenti Neurosimbolici

La policy appresa viene integrata in un Evolving Behavior Tree (EBT), un'architettura neurosimbolica che combina i Behavior Trees (BT) con i Learning-Enabled Components (LEC).

• Nuovi comportamenti vengono aggiunti all'EBT per eseguire la predizione durante l'esecuzione.
• Un nodo di condizione assicura che esista una storia di osservazione sufficiente prima della predizione.
• L'EBT seleziona la policy red appresa appropriata in base alla strategia blue attiva (ad esempio, distinguendo tra le strategie di attaccante "Meander" e "B line").
• Se non esiste una policy, il sistema registra le transizioni per l'analisi offline.

Contributi Chiave

Il documento delinea tre contributi primari:

1. Tecnica di Apprendimento della Policy: Un metodo innovativo per apprendere le policy dell'agente red e prevedere le azioni red in ambienti di RL parzialmente osservabili con stati e azioni discrete, utilizzando solo le osservazioni e le azioni blue.
2. Integrazione Neurosimbolica: Il successo dell'integrazione di questa tecnica in un agente di difesa cibernetica autonoma basato su behavior tree, consentendo la predizione in runtime dei movimenti avversari.
3. Valutazione Empirica: Una valutazione completa utilizzando l'ambiente CybORG CAGE Challenge 2, che utilizza le tattiche MITRE ATT&CK. L'approccio dimostra un'alta precisione attraverso diverse strategie, inclusa la commutazione dinamica di strategia.

Risultati Sperimentali

Gli autori hanno valutato la tecnica nell'ambiente CybORG CAGE Challenge 2 utilizzando due strategie di attaccante statiche (Meander e B line) e una strategia di commutazione dinamica (RedSwitch).

• Accuratezza della Predizione:

  • B line: Ha raggiunto l'accuratezza più elevata (99,93% per la predizione dell'osservazione blue, 95,28% per la predizione dell'azione red a livello di host) grazie alla sua natura deterministica e orientata agli obiettivi.
  • Meander: Ha mostrato un'accuratezza inferiore (94,96% osservazione, 77,71% host-level) a causa della maggiore variabilità del comportamento.
  • RedSwitch: Le prestazioni sono variate in base alla strategia attiva; l'accuratezza è aumentata quando l'agente è passato alla strategia B line.
  • Subnet vs. Host: L'accuratezza della predizione a livello di subnet ha superato costantemente quella a livello di host in tutte le strategie, a causa della natura intrinsecamente casuale della selezione dell'host target.

• Stima del Livello di Intrusione:

  • Le azioni predette sono state utilizzate per calcolare i punteggi di intrusione basati sui livelli di compromissione (Nessuna, Livello Utente, Livello Privilegiato).
  • I risultati hanno indicato che l'agente EBT blue è stato significativamente più efficace nel mitigare gli attacchi sotto la strategia Meander rispetto a B line e RedSwitch, come dimostrato da un minor numero di timestep che raggiungono la compromissione a livello di privilegi.

Significato e Rivendicazioni

Il documento sostiene che la tecnica proposta affronta efficacemente la sfida della parziale osservabilità nella difesa cibernetica autonoma. Inferendo le policy red durante l'esecuzione, il sistema consente:

• Rilevamento precoce dei movimenti avversari prima di una profonda compromissione della rete.
• Stima dei livelli di intrusione dell'attaccante nel tempo.
• Raffinamento delle strategie di mitigazione identificando le debolezze della rete esposte dalle azioni red predette.

Gli autori sottolineano che, sebbene la valutazione attuale sia basata su un ambiente simulato (CybORG CAGE Challenge 2) derivato da MITRE ATT&CK, la tecnica è generalizzabile a qualsiasi agente RL parzialmente osservabile con stati e azioni discrete. Il lavoro futuro è identificato nella validazione dell'approccio in ambienti emulati realistici e nello sfruttamento delle azioni red predette per addestrare agenti blue più robusti. Il lavoro è presentato come un passo verso sistemi di difesa autonomi più adattivi e interpretabili.