Riepilogo Tecnico: Un Framework di Red Teaming per la Valutazione della Robustezza dei Sistemi SOAR Abilitati all'IA

Enunciato del Problema

Mentre le imprese adottano sempre più sistemi di Orchestrazione, Automazione e Risposta alla Sicurezza (SOAR) abilitati all'intelligenza artificiale per il rilevamento e la risposta autonoma alle minacce, la resilienza di tali sistemi contro avversari adattivi e strategici rimane poco esplorata. I tradizionali test di penetrazione e il red teaming basato su regole non riescono a cogliere la natura dinamica e multi-step delle campagne di attacco reali. Sebbene i recenti progressi nei Modelli Linguistici di Grande Dimensione (LLM) e nell'Apprendimento per Rinforzo (RL) offrano potenzialità per il red teaming autonomo, entrambi i paradigmi presentano limitazioni fondamentali quando applicati indipendentemente:

• LLM: Faticano nel tracciamento dello stato a lungo termine, nella coerenza delle azioni e nell'adattamento tramite feedback ambientale. Spesso non riescono a sostenere campagne di attacco multi-stadio contro difensori adattivi.
• RL: Soffre di inefficienza nel campionamento, interpretabilità limitata e scarsa generalizzazione attraverso ambienti cyber eterogenei. Gli agenti RL puri tendono spesso a convergere verso politiche degeneri (ad esempio, ripetendo azioni di ricognizione) quando affrontano ricompense sparse e spazi degli stati complessi.

Esiste un divario critico nella valutazione della robustezza dei sistemi di difesa cyber abilitati all'IA contro agenti in grado di combinare un ragionamento strategico di alto livello con un'esecuzione tattica adattiva.

Metodologia

Gli autori propongono un framework ibrido gerarchico che integra la pianificazione strategica basata su LLM con l'esecuzione tattica basata su RL per il red teaming autonomo. Il sistema è modellato come un Processo Decisionale di Markov Parzialmente Osservabile (POMDP) e opera all'interno dell'ambiente CybORG CAGE Challenge 4, una simulazione di rete aziendale ad alta fedeltà caratterizzata da osservabilità parziale e difensori AI coordinati.

Architettura

Il framework scompone l'agente in due livelli distinti:

1. Pianificatore Strategico (LLM): Un LLM congelato opera a una risoluzione temporale grossolana (ad esempio, ogni 20 passaggi). Genera "intenti" strutturati basati sulle osservazioni correnti e su una memoria opzionale. Questi intenti codificano decisioni di alto livello come tipo di azione, tattica MITRE ATT&CK, selezione dell'obiettivo e postura del rischio. I parametri dell'LLM rimangono fissi durante l'addestramento per preservare la conoscenza esterna.
2. Controllore Tattico (RL): Un controllore RL addestrabile (utilizzando Proximal Policy Optimization, PPO) esegue azioni ad ogni passo temporale. Condiziona la propria politica sia sull'osservazione ambientale corrente sia sull'intento generato dall'LLM. Ciò consente al controllore di apprendere politiche radicate nell'ambiente rispettando al contempo la guida strategica di alto livello.

Meccanismi Chiave

• Modellazione Gerarchica delle Ricompense: Per affrontare ricompense sparse e ritardate, gli autori introducono una funzione di ricompensa multi-componente ($r_t = r_{env} + r_{progress} + r_{constraint} + r_{alignment}$). Questa include penalità per azioni non valide e bonus per il progresso attraverso le fasi della catena di uccisione (ad esempio, scoperta, sfruttamento, escalation dei privilegi, impatto), allineate con MITRE ATT&CK.
• Reflexion (Memoria): Un meccanismo opzionale consente al pianificatore LLM di generare auto-riflessioni in linguaggio naturale alla fine di ogni episodio. Queste riflessioni (che riassumono successi, fallimenti e comportamenti dei difensori) vengono memorizzate in un buffer FIFO e reimmesse nell'input del pianificatore per gli episodi successivi, consentendo un adattamento strategico senza aggiornamenti dei parametri.
• Rappresentazione dello Stato: Le osservazioni vengono trasformate in un riepilogo testuale per l'LLM e in un vettore di caratteristiche numerico per il controllore RL. L'intento strutturato dell'LLM viene codificato in uno spazio di embedding compatibile con la rete della politica RL.

Contributi Chiave

1. Architettura Gerarchica LLM-RL: Il documento presenta un'architettura innovativa che scompone la pianificazione strategica (LLM) dall'esecuzione tattica (RL), abilitando un'interazione strutturata tra la generazione di intenti di alto livello e il controllo radicato nell'ambiente di basso livello.
2. Framework RL Allineato alla Catena di Uccisione: Gli autori introducono un meccanismo di modellazione delle ricompense specificamente progettato per guidare comportamenti avversariali a lungo termine coerenti con le fasi di MITRE ATT&CK, stabilizzando l'apprendimento in ambienti a ricompensa sparsa.
3. Studio Empirico Completo: Il lavoro valuta un'ampia gamma di LLM (da 0,6 a 70 miliardi di parametri), inclusi modelli generici (Qwen3, Llama), specialisti nel ragionamento (DeepSeek-R1, QwQ) e modelli specializzati nel settore della cybersecurity (Foundation-Sec, DeepHat).
4. Benchmark Rigoroso: Il framework è stato valutato contro il difensore autonomo pubblicato più potente per l'impostazione CAGE 4 (politica Esperto H-MARL), fornendo un test robusto delle capacità di red teaming in condizioni avversarie realistiche.

Risultati

Gli esperimenti sono stati condotti su 200 episodi nell'ambiente CAGE 4. La metrica principale è stata il Tasso di Compromissione dell'Episodio (ECR).

• Prestazioni del Framework Ibrido: Gli agenti proposti LLM+RL hanno raggiunto un successo quasi perfetto.
  • Qwen3 + RL: Ha raggiunto un ECR del 100% (200/200 episodi).
  • Foundation-Sec + RL: Ha raggiunto un ECR del 94%.
  • Questi agenti hanno progredito in modo affidabile attraverso molteplici stadi di attacco, inclusa l'escalation dei privilegi e l'impatto.
• Limitazioni degli LLM Autonomi: Gli agenti basati solo su LLM (zero-shot) hanno mostrato capacità end-to-end limitate.
  • Solo 6 modelli su 14 hanno ottenuto qualsiasi compromissione oltre la testa di ponte iniziale.
  • Il modello autonomo più forte (QwQ-32B) è riuscito solo nel 30% degli episodi.
  • I modelli specializzati nel settore (ad esempio Foundation-Sec-8B) hanno generato alti volumi di azioni ma non sono riusciti a tradurli in un progresso significativo dell'attacco (ECR del 6,5%), indicando che la conoscenza di dominio da sola è insufficiente senza un'esecuzione coerente.
• Limitazioni del RL Autonomo: L'agente basato solo su RL è collassato in una politica degenere, selezionando una singola azione di ricognizione in quasi tutti i passaggi temporali e ottenendo un ECR del 0%. Non è riuscito a scoprire la sequenza strutturata di azioni necessaria per gli attacchi multi-stadio sotto la data struttura di ricompensa.
• Osservazioni sul Scaling: Le prestazioni nella famiglia Qwen3 sono state non monotone; modelli più piccoli (0,6B, 1,7B) hanno ottenuto qualche successo, mentre varianti più grandi (4B+) non hanno tentato lo sfruttamento nonostante un'esplorazione efficace.

Significato e Affermazioni

Il documento afferma che il red teaming autonomo contro sistemi SOAR abilitati all'IA richiede un accoppiamento stretto tra ragionamento strategico ed esecuzione appresa. Gli autori sostengono che:

1. Gli approcci autonomi sono insufficienti: Né i sistemi basati solo sul ragionamento (LLM) né quelli basati solo sull'apprendimento (RL) possono eseguire comportamenti completi della catena di uccisione contro difensori adattivi.
2. L'integrazione ibrida produce un miglioramento moltiplicativo: Combinare la pianificazione LLM con l'esecuzione RL comporta miglioramenti sostanziali nel successo degli attacchi multi-stadio e nella robustezza.
3. La pianificazione strutturata è più critica della specializzazione di dominio: I modelli generici hanno costantemente superato i modelli più grandi specializzati in cybersecurity nell'impostazione ibrida. Ciò suggerisce che l'affidabilità dell'output e il controllo strutturato sono requisiti chiave per gli LLM nei sistemi decisionali gerarchici, superando i vantaggi del fine-tuning specifico di dominio.

Lo studio conclude che questo framework ibrido colma il divario tra le capacità di ragionamento strategico degli LLM e l'esecuzione tattica adattiva del RL, fornendo un approccio principiato per lo stress-testing della robustezza dei sistemi di difesa cyber autonomi.