A Scalable Approach to Solving Simulation-Based Network Security Games

Titolo: Un approccio scalabile per la risoluzione di giochi di sicurezza di rete basati su simulazione

Autori: Michael Lanier e Yevgeniy Vorobeychik

---

1. Il Problema

La cybersecurity è un dominio intrinsecamente avversario che richiede ai difensori di adattarsi continuamente ad attaccanti intelligenti. Modellare queste interazioni come giochi a somma zero in ambienti di rete realistici presenta sfide computazionali enormi:

• Spazi di stato e azione combinatori: Le reti aziendali moderne possono contenere migliaia di dispositivi eterogenei. Lo spazio degli stati (vulnerabilità, servizi, credenziali, topologia) e lo spazio delle azioni (scelta di dispositivi, exploit, configurazioni) crescono esponenzialmente con il numero di nodi ($M$).
• Limitazioni degli approcci esistenti: I metodi basati su Double Oracle (DO) e Policy-Space Response Oracles (PSRO) sono teoricamente solidi per trovare equilibri, ma richiedono la valutazione ripetuta di funzioni di valore per ogni coppia di strategie. In ambienti di rete su larga scala, questo porta a un costo computazionale super-lineare, rendendo l'esplorazione esaustiva delle combinazioni di azioni a livello di dispositivo intrattabile.
• Colli di bottiglia delle RL standard: Gli approcci di Reinforcement Learning (RL) multi-agente (MARL) o gerarchici esistenti spesso falliscono su reti grandi (es. 10.000 dispositivi) a causa di problemi di memoria (Out-of-Memory), latenza eccessiva durante l'inferenza e difficoltà di addestramento stabile in ambienti parzialmente osservabili.

2. Metodologia: MetaDOAR

Gli autori introducono MetaDOAR, un meta-controllore leggero progettato per potenziare il paradigma DO/PSRO esistente senza riscrivere gli algoritmi di base. L'architettura è gerarchica e si basa su tre pilastri principali:

A. Filtraggio Intelligente e Proiezione dello Stato

Invece di considerare tutti i $M$ dispositivi ad ogni passo, MetaDOAR apprende una proiezione compatta dello stato per identificare un sottoinsieme ristretto di dispositivi rilevanti (una partizione top-k).

• Embedding Strutturale: Per ogni dispositivo $i$, vengono costruiti vettori di caratteristiche strutturali (embedding ID casuale, grado normalizzato del grafo, flag binari per visibilità e proprietà).
• Proiettore di Nodi: Un piccolo MLP (Multi-Layer Perceptron) mappa queste caratteristiche in un embedding strutturale $z_i$.
• Punteggio di Rilevanza: Un modello di compatibilità semplice calcola un punteggio per ogni dispositivo in base all'osservazione globale $o$ e all'embedding strutturale: $score(i|o) = z_i^\top h(o) + b$.
• Selezione Top-k: Vengono selezionati solo i $k$ dispositivi con il punteggio più alto (dove $k$ cresce logaritmicamente rispetto a $M$). Questo riduce drasticamente lo spazio di ricerca per l'agente a basso livello.

B. Agente a Livello Inferiore (Actor-Critic)

L'agente DOAR originale (basato su DDPG/Actor-Critic) rimane invariato nella sua logica interna, ma viene vincolato a operare solo sul sottoinsieme di dispositivi selezionati dal meta-controllore.

• L'agente a basso livello esegue una ricerca focalizzata (beam search) solo sulle azioni relative a questi dispositivi selezionati.
• Questo approccio preserva la capacità di controllo continuo e la qualità decisionale del DOAR originale, ma riduce la complessità computazionale.

C. Cache Q-Value e Invalidazione Conservativa

Per ridurre ulteriormente il costo di valutazione delle funzioni di valore (critic), MetaDOAR implementa una cache LRU (Least Recently Used).

• Chiave della Cache: Le valutazioni Q sono memorizzate basandosi su una proiezione quantizzata dello stato e sugli identificatori locali delle azioni.
• Invalidazione k-hop: Le voci della cache vengono invalidate solo se il nodo target o i suoi vicini entro $k$ hop subiscono modifiche. Questo permette di riutilizzare le valutazioni per parti della rete che non sono cambiate, evitando ricalcoli costosi.
• Garantire la correttezza: L'invalidazione conservativa assicura che le decisioni rimangano di alta qualità senza richiedere un aggiornamento completo dello stato.

3. Contributi Chiave

1. Architettura Meta-Controllore: Un nuovo strato che separa la selezione dei dispositivi rilevanti dalla politica di azione, permettendo di scalare i metodi DO/PSRO a reti di dimensioni enterprise.
2. Efficienza Computazionale: Riduzione drastica della complessità da $O(M)$ a $O(k \log M)$ per la selezione delle azioni, mantenendo la complessità dell'addestramento indipendente da $M$ (grazie all'uso di embedding fissi e proiettori condivisi).
3. Garanzie Teoriche: Viene fornito un limite di approssimazione ($\epsilon$-best response) che dimostra come la strategia di pruning (potatura) di MetaDOAR porti a un equilibrio di Nash approssimato, garantendo che la perdita di utilità sia controllata.
4. Integrazione Non Invasiva: Il metodo si sovrappone a DOAR esistente senza modificare il loop di addestramento o la struttura dell'agente a basso livello, rendendolo facilmente integrabile.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti nell'ambiente di simulazione CyGym (istanza Volt Typhoon) su topologie di rete con numero di dispositivi variabile da 10 a 10.000.

• Prestazioni Strategiche: MetaDOAR ottiene un'utilità media per giocatore superiore rispetto a tutti i baseline (DOAR puro, IPPO, MAPPO, HAGS, HMARL) su tutte le dimensioni di rete. Su reti grandi, raddoppia spesso il payoff rispetto al DOAR standard.
• Scalabilità:
  • Tempo di Inferenza: Mantiene un tempo di inferenza (wall-clock time) stabile tra 1 e 2 ms anche con 10.000 dispositivi.
  • Memoria: Il consumo di RAM rimane costante intorno a 1.4 GB, mentre i baseline MARL falliscono per esaurimento della memoria o diventano proibitivamente lenti.
  • Confronto con Baseline: I metodi MARL gerarchici e standard falliscono o mostrano prestazioni degradate su reti >1000 dispositivi, mentre MetaDOAR scala linearmente o sub-linearmente.
• Ablazione: L'analisi del raggio di invalidazione $k$-hop mostra che anche con radii piccoli si ottengono la maggior parte dei guadagni di utilità, confermando l'efficacia della cache.

5. Significato e Impatto

Questo lavoro rappresenta un passo significativo verso l'applicazione pratica della teoria dei giochi e dell'apprendimento per rinforzo nella cybersecurity su larga scala.

• Superamento del "Collo di Bottiglia": Risolve il problema fondamentale della scalabilità degli algoritmi di equilibrio in reti complesse, permettendo di trattare scenari realistici che prima erano computazionalmente intrattabili.
• Approccio Ibrido: Combina l'efficienza strutturale (filtraggio basato su topologia) con la potenza dell'apprendimento profondo (critic caching e RL), offrendo una via pratica per politiche adattive gerarchiche.
• Implicazioni Pratiche: Fornisce un metodo per difensori di rete di calcolare strategie di risposta ottimali in tempo reale su infrastrutture critiche massive, bilanciando realismo, scalabilità e rigore analitico.

In sintesi, MetaDOAR dimostra che è possibile mantenere la qualità decisionale dei metodi di equilibrio teoricamente fondati (come DO) applicandoli a reti di dimensioni reali, attraverso un'architettura intelligente di selezione e caching che riduce drasticamente il carico computazionale.