Riepilogo Tecnico: Oltre le Ricompense nel RL per la Difesa Cibernetica

1. Definizione del Problema

Gli agenti di Difesa Cibernetica Autonoma (ACD) addestrati tramite il Deep Reinforcement Learning (DRL) sono sempre più impiegati in ambienti di "cyber gym" per proteggere sistemi di rete. Questi agenti vengono tipicamente addestrati utilizzando funzioni di ricompensa dense e altamente ingegnerizzate che combinano numerosi input di penalità e incentivi per specifici stati e azioni di rete. Sebbene le ricompense dense facilitino un'esplorazione più rapida in ambienti complessi, esse introducono rischi significativi:

• Bias Subottimale: Possono vincolare gli agenti a soluzioni subottimali che contengono debolezze evitabili, difficili da rilevare prima di un attacco.
• Equivalenze Arbitrarie: Spesso impongono equivalenze numeriche arbitrarie tra distinti stati e azioni di rete, il che diventa sempre più difficile da gestire all'aumentare della complessità del compito.
• Limitazioni della Valutazione: Gli attuali metodi di valutazione si basano sulla ricompensa episodica media, che non riesce a catturare il "ground truth" dei complessi ambienti cibernetici. Nello specifico, le comuni cyber gym trascurano spesso gli eventi intra-step (ad esempio, un nodo compromesso e immediatamente ripristinato all'interno di un singolo step temporale), portando a valutazioni delle prestazioni imprecise che oscurano differenze critiche di rischio tra le policy.

2. Metodologia

Gli autori propongono un quadro di valutazione completo per confrontare funzioni di ricompensa sparse e dense in due cyber gym consolidate: Yawning Titan (YT) e Cyber Autonomy Gym for Experimentation (CAGE 2).

2.1. Meccanismo di Punteggio Ground Truth

Per affrontare i limiti della valutazione discreta per step, l'articolo introduce un Punteggio Ground Truth ($Score_{GT}$).

• Definizione: $Score_{GT}(t) = \max(m^{intra}_t, m^{end}_t)$, dove $m^{intra}_t$ e $m^{end}_t$ sono rispettivamente il numero di nodi compromessi durante lo step e al termine dello step.
• Scopo: Questa metrica cattura il massimo compromesso avvenuto all'interno di uno step temporale, indipendentemente dall'ordine in cui vengono eseguiti le azioni red (attaccante) e blue (difensore). Fornisce una base riproducibile e indipendente dalla ricompensa per confrontare agenti addestrati con diverse strutture di ricompensa.

2.2. Metriche di Affidabilità e Rischio

Lo studio valuta gli agenti utilizzando metriche che vanno oltre la ricompensa episodica media:

• Affidabilità dell'Addestramento: Misurata tramite la Dispersione della Variabilità nel Tempo ($\bar{DT}$) e tra le Corse ($DR'$), quantificando la stabilità e la riproducibilità dell'addestramento.
• Rischio Post-Addestramento: Misurato utilizzando la Conditional Value at Risk (CVaR) applicata a rollout a policy fissa, concentrandosi specificamente sulla peggiore perdita attesa (ad esempio, il peggior 5% dei risultati).

2.3. Setup Sperimentale

• Ambienti:
  • Yawning Titan: Configurato con strutture di rete lineari da 2 a 50 nodi. Gli spazi di azione includevano "base" (scansione, ripristino) ed "esteso" (aggiunta di "posizionamento esca").
  • MiniCAGE: Una versione raffinata di CAGE 2 caratterizzata da una rete aziendale con 3 subnet (utente, enterprise, operativa) e 13 host.
• Algoritmi: Gli esperimenti hanno utilizzato PPO (Proximal Policy Optimization) e DQN (Deep Q-Network).
• Funzioni di Ricompensa:
  • Sparse: Sparse Positive (SP), Sparse Negative (SN), Sparse Positive-Negative (SPN).
  • Dense: Dense Negative (DN), Complex Dense Negative (CDN) (che rappresentano le ricompense standard delle gym).
• Ordinamento degli Agenti: Gli esperimenti hanno testato tre ordinamenti di azione: Red-poi-Blue (standard), Blue-poi-Red, e Random (per simulare l'incertezza temporale dell'attaccante).

3. Contributi Chiave

1. Valutazione Ground Truth: L'introduzione di $Score_{GT}$, che rivela i compromessi intra-step spesso nascosti dalle valutazioni standard delle gym, consentendo un confronto diretto tra le strategie di ricompensa.
2. Analisi Completa delle Ricompense: Una valutazione sistematica di ricompense sparse rispetto a quelle dense attraverso diverse dimensioni di rete, spazi di azione e algoritmi DRL.
3. Quantificazione di Rischio e Affidabilità: Dimostrare che la scelta della funzione di ricompensa influisce significativamente sulla l'affidabilità dell'addestramento e sui profili di rischio nel caso peggiore, metriche spesso ignorate a favore della ricompensa episodica media.
4. Evidenza Empirica per le Ricompense Sparse: Mostrare che le ricompense sparse allineate agli obiettivi possono generare policy superiori con minor rischio e maggiore affidabilità rispetto alle ricompense dense complesse.

4. Risultati Chiave

• Superiorità delle Ricompense Sparse: Gli agenti addestrati con ricompense Sparse Positive (SP) e Sparse Positive-Negative (SPN) hanno costantemente superato quelli addestrati con ricompense dense (DN, CDN) in tutte le dimensioni di rete e gli ordinamenti degli agenti.
  • In Yawning Titan, SPN ha ottenuto il $Score_{GT}$ medio più basso (meno nodi compromessi).
  • In MiniCAGE, SP e SPN hanno ottenuto il miglior $Score_{GT}$ e hanno dimostrato un migliore allineamento con gli obiettivi di sicurezza (ad esempio, confinare i compromessi alle subnet utente piuttosto che ai server operativi).
• Affidabilità dell'Addestramento: Le ricompense sparse hanno prodotto una dispersione della variabilità significativamente inferiore ($\bar{DT}$ e $DR'$), indicando un addestramento più stabile e riproducibile rispetto alle ricompense dense, che mostravano una variabilità di un ordine di grandezza superiore.
• Mitigazione del Rischio: Le policy con ricompensa sparsa hanno esibito rischi nel caso peggiore inferiori (minore Upper RF). Notevolmente, nell'ordinamento "Blue-poi-Red" con spazi di azione estesi, gli agenti SP hanno raggiunto un $Score_{GT}$ medio di 0 (difesa perfetta), mentre gli agenti con ricompensa densa non sono riusciti a raggiungere l'ottimo.
• Robustezza all'Ordinamento degli Agenti: Le ricompense sparse, in particolare SPN, hanno mantenuto prestazioni superiori anche sotto ordinamento randomizzato degli agenti (l'impostazione più realistica e impegnativa), mentre le prestazioni delle ricompense dense sono degradate significativamente.
• Efficienza delle Azioni: Gli agenti con ricompensa sparsa hanno imparato a utilizzare le azioni difensive costose (ad esempio, "ripristino") in modo più parsimonioso e strategico, senza penalità numeriche esplicite per tali azioni, a differenza degli agenti con ricompensa densa che spesso le sovrastimavano a causa delle penalità ingegnerizzate.

5. Significato e Rivendicazioni

L'articolo sostiene che l'attuale affidamento su funzioni di ricompensa dense e artigianali nelle cyber gym potrebbe essere subottimale per l'impiego reale della ACD. Introducendo un meccanismo di punteggio ground truth e metriche rigorose del rischio, gli autori dimostrano che:

• Le ricompense sparse e allineate agli obiettivi non sono solo sufficienti per apprendere policy efficaci, ma sono spesso più affidabili e sicure rispetto alle alternative dense.
• Le pratiche di valutazione nel settore devono evolversi per includere il punteggio ground truth e metriche orientate al rischio (CVaR, dispersione della variabilità), invece di fare affidamento esclusivamente sulle ricompense episodiche medie.
• Guida Pratica: Gli autori raccomandano di adottare di default ricompense sparse e allineate agli obiettivi, valutare gli agenti con un ordinamento intra-step randomizzato e riportare la riproducibilità dell'addestramento e i rischi nel caso peggiore.

Il lavoro posiziona questi risultati come un prerequisito per l'impiego responsabile degli agenti ACD che devono integrare i difensori umani, sottolineando che un design efficace della ricompensa è critico per evitare l'introduzione di rischi evitabili nei sistemi di difesa cibernetica autonoma.