🤖 AI

Trident : How to Break Deep Reinforcement Learning Cyber Defenses (Agentic)

Il documento introduce Trident, un framework di red teaming per LLM agentici che sfrutta un'architettura RLVR "Code-as-Policy" per generare strategie di attacco adattive, rivelando che le attuali difese cyber basate sul Deep Reinforcement Learning sono fondamentalmente fragili e facilmente superate da minacce dinamiche rispetto ai baseline euristici statici.

Autori originali: Ryozo Masukawa, Ian Bryant, Armita Kazeminajafabadi, Sanggeon Yun, Hyunwoo Oh, SungHeon Jeong, Nathaniel D. Bastian, Mahdi Imani, Mohsen Imani

Pubblicato 2026-08-06

📖 3 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Ryozo Masukawa, Ian Bryant, Armita Kazeminajafabadi, Sanggeon Yun, Hyunwoo Oh, SungHeon Jeong, Nathaniel D. Bastian, Mahdi Imani, Mohsen Imani

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate una partita di scacchi digitale ad alta posta in gioco, ma invece di muovere pezzi su una scacchiera, due squadre combattono per il controllo di una vasta e invisibile rete di computer. Una squadra, la "Blue Team", costruisce un difensore IA che impara a individuare gli intrusi e a riparare i computer guasti in tempo reale. L'altra squadra, la "Red Team", cerca di infiltrarsi. Per anni, gli scienziati hanno testato questi difensori del Blue Team contro attaccanti del Red Team che sono come robot che seguono un copione rigido e immutabile. Eseguono le stesse mosse ancora e ancora, come un giocattolo meccanico. Il problema è che i veri hacker non sono giocattoli meccanici; sono astuti, adattabili e cambiano tattica non appena vedono una difesa. Nel frattempo, un nuovo tipo di IA super intelligente, nota come Large Language Model (LLM), è diventata incredibilmente brava a risolvere enigmi e a scrivere codice. La grande domanda che gli scienziati si pongono è: se insegniamo a queste IA super intelligenti a essere il Red Team, possono finalmente superare in astuzia le difese del Blue Team in un modo in cui i vecchi robot statici non hanno mai potuto fare?

È esattamente ciò che i ricercatori dietro un progetto chiamato Trident si sono posti l'obiettivo di scoprire. Hanno costruito un nuovo campo di prova dinamico dove un attaccante IA intelligente poteva imparare facendo, piuttosto che limitarsi a seguire uno script pre-scritto. Hanno creato una massiccia libreria di oltre 13.000 battaglie simulate tra attaccanti e difensori per addestrare la loro IA. Invece di far scegliere all'IA una mossa alla volta, le hanno insegnato a scrivere la propria "strategia di attacco" sotto forma di un pezzo di codice informatico, che poi esegue contro il difensore.

I risultati sono stati sorprendenti. L'IA Trident, addestrata su un singolo modello da 7 miliardi di parametri (una dimensione relativamente piccola per l'IA moderna), non si è limitata a battere i difensori; ha causato un calo massiccio della loro efficacia. Mentre i vecchi attaccanti statici facevano appena un piccolo solco, Trident ha ridotto la performance difensiva del Blue Team di una media del 522% rispetto al baseline. Ciò suggerisce che molte delle odierne difese cyber "intelligenti" siano in realtà molto più fragili di quanto pensassimo, perché sono state testate solo contro nemici stupidi e prevedibili. Trident non si è limitato a seguire le regole; ha scoperto da solo trucchi nuovi e astuti, come rendersi conto quando un difensore cercava di ingannarlo con un bersaglio falso (un "esca") e imparare a ignorarlo, o capire quali computer fossero i più preziosi da hackerare per primi. Il documento suggerisce che, per costruire sistemi veramente sicuri, dobbiamo smettere di testarli contro robot statici e iniziare a testarli contro IA adattive e capaci di apprendere come Trident.

Sintesi Tecnica: Trident – Come rompere il Deep Reinforcement Learning

Problematica

I sistemi di difesa cibernetica autonoma basati sul Deep Reinforcement Learning (DRL) vengono sempre più impiegati per monitorare le reti e ripristinare gli host compromessi in tempo reale. Tuttavia, la loro robustezza contro le minacce adattive rimane criticamente sotto studiata. Le attuali valutazioni si affidano quasi esclusivamente a "agenti rossi" statici ed euristici con firme comportamentali fisse. Di conseguenza, i difensori DRL sviluppano policy implicitamente condizionate su questi pattern statici, creando lacune sistematiche che i metodi di valutazione tradizionali non riescono a scoprire.

Simultaneamente, sebbene il Reinforcement Learning con Ricompense Verificabili (RLVR) abbia fatto avanzare il ragionamento dei Large Language Models (LLM) in domini come la matematica e l'ingegneria del software, la sua integrazione nella cybersicurezza è stata ostacolata dalla mancanza di benchmark adeguati. I dataset di cybersicurezza esistenti offrono tipicamente corpora statici o sfide isolate di tipo Capture The Flag (CTF), privi delle interazioni continue e multi-step necessarie per addestrare agenti contro difensori attivi e adattivi. Esiste un vuoto critico nell'infrastruttura capace di fornire ambienti avversari stabili, ripetibili e con segnali di ricompensa verificabili per l'addestramento di agenti rossi basati su LLM tramite RLVR.

Metodologia

Per affrontare queste lacune, gli autori introducono Trident, un framework di red teaming dinamico composto da un'infrastruttura di benchmark, un dataset e un'architettura agentica.

1. Benchmark e Dataset di Trident

Trident opera su due simulatori ad alta fedeltà: CybORG CAGE 4 (che modella una rete militare segmentata con difensori multi-agente cooperativi) e CyberWheel (che ancora gli attacchi alle tecniche reali MITRE ATT&CK).

Infrastruttura: Il framework utilizza server sandbox isolati e containerizzati con un'architettura client-server. Le policy di attacco generate vengono trasmesse a queste sandbox, eseguite nativamente contro i difensori DRL live e restituiscono log di esecuzione deterministici e verificabili.
Dataset: Gli autori hanno costruito un dataset di oltre 13.000 traiettorie di interazione rosso-blu ad alta fedeltà. Queste traiettorie sono serializzate in log testuali strutturati, catturando osservazioni parziali, intelligence differenziale dell'host e risultati delle azioni, fungendo da base per il post-training RLVR.

2. Architettura Agentica di Trident

Trident Agentic riformula il problema di addestramento dell'agente rosso da un Processo Decisionale di Markov Parzialmente Osservabile Decentralizzato (Dec-POMD) a un problema di Bandito Contestuale utilizzando un paradigma "Code-as-Policies". L'architettura consiste in tre moduli specializzati:

Log Summarizer: Un modulo ibrido che utilizza il parsing basato su regole e un LLM congelato per comprimere i log di esecuzione grezzi. Preserva gli eventi critici ("milestone", come exploit riusciti o escalation di privilegi) campionando al contempo i tentativi falliti, sintetizzando un riassunto semantico denso per il pianificatore.
Planner ( $\pi_\theta$ ): L'unico componente addestrabile (un LLM con 7 miliardi di parametri). Riceve il riassunto compresso come contesto e genera una strategia di attacco di alto livello in un singolo passaggio in avanti, producendo un payload JSON strutturato. È ottimizzato tramite Group Relative Policy Optimization (GRPO) utilizzando ricompense verificabili derivate dalla sandbox.
Coder: Un LLM congelato che traduce la strategia JSON del Planner in codice Python eseguibile. Utilizza un meccanismo di patching basato su Abstract Syntax Tree (AST) e un ciclo di auto-riparazione iterativo (fino a $K=3$ tentativi) per correggere gli errori di sintassi prima del deployment, garantendo che il Planner non venga penalizzato per rumore implementativo incidentale.

3. Design della Ricompensa

Il sistema utilizza una funzione di ricompensa densa e verificabile derivata direttamente dai log di esecuzione:

Milestone Positive ( $R^+$ ): Ricompense pesate per il progresso della killchain (es. impatto sul sistema, escalation di privilegi) aumentate da un coefficiente di efficienza basato sul rapporto tra obiettivi raggiunti e passi effettuati.
Eventi Negativi ( $R^-$ ): Penalità per exploit falliti, azioni non valide e rumore operativo.
Penalità di Esecuzione: Sono applicate penalità rigorose per errori di sintassi, fallimenti di runtime o tentativi di accedere a interni del simulatore non osservabili (es. flag esca), garantendo che l'agente si basi sull'inferenza comportamentale piuttosto che su un accesso privilegiato allo stato.

Contributi Chiave

Benchmark e Dataset di Valutazione Trident: Il primo benchmark di red teaming cross-ambiente che spazia tra CAGE 4 e CyberWheel, fornendo l'esecuzione in sandbox isolata per ricompense verificabili contro difensori DRL live. Include un dataset di oltre 13.000 traiettorie progettato specificamente per supportare l'addestramento RLVR.
Trident Agentic: Un'architettura agentica LLM tripartita che sfrutta il "Code-as-Policies" per consentire la generazione diretta di strategie di attacco eseguibili. Trattando la generazione della strategia come un bandito contestuale, bypassa l'intrattabilità computazionale della pianificazione step-by-step dei POMDP.
Evidenza Empirica della Fragilità del DRL: Il framework dimostra che gli attuali difensori autonomi sono significativamente più fragili contro attaccanti adattivi rispetto a quanto indicato dalle valutazioni statiche.

Risultati Sperimentali

Gli autori hanno valutato Trident Agentic contro agenti blu DRL allo stato dell'arte (inclusi varianti GNN, HMARL e MARL) sia in CAGE 4 che in CyberWheel.

Riduzione delle Performance: Trident Agentic ha ridotto le performance difensive degli agenti blu in media del 522% rispetto alle baseline euristiche predefinite.
Confronto con le Baseline:
- Euristici Statici: Gli agenti rossi tradizionali non sono riusciti a scoprire le debolezze nelle policy apprese.
- Zero-Shot/CoT: Sebbene l'approccio zero-shot e il Chain-of-Thought (CoT) abbiano mostrato un certo miglioramento rispetto alle baseline statiche, sono stati ampiamente superati da Trident Agentic addestrato tramite RLVR.
- Modelli Frontier: Un modello da 7B parametri addestrato tramite RLVR (Trident Agentic) ha superato le performance dei modelli di scala frontier (es. GPT-4o) utilizzati in capacità zero-shot, evidenziando l'efficacia dell'addestramento RLVR specifico per il compito rispetto alla semplice scala del modello.
Comportamenti Emergenti: Gli agenti addestrati hanno scoperto autonomamente nuovi vettori di attacco che le euristiche statiche non potevano rappresentare, tra cui:
- Evitamento delle Esche (Decoy Avoidance): In CyberWheel, l'agente ha imparato ad abortire gli attacchi su host che mostravano fallimenti ripetuti, identificando eك evitando efficacemente gli honeypot.
- Prioritizzazione Adattiva dello Stato: In CAGE 4, l'agente ha imparato a dare priorità a target di alto valore (es. accesso Root/User) rispetto alla ricognizione di base, spostando dinamicamente il focus in base allo stato della rete.

Significato e Rivendicazioni

Il paper sostiene che Trident espone un fondamentale gap di valutazione nella difesa cibernetica autonoma: le pratiche attuali sottostimano criticamente la vulnerabilità dei difensori DRL rispetto ad attaccanti generativi e adattivi. Dimostrando che un modello compatto e open-weight da 7B può smantellare sistematicamente le difese allo stato dell'arte, gli autori sostengono che il campo debba andare oltre la valutazione dell'avversario statico.

Trident è presentato non solo come uno strumento offensivo, ma come un'infrastruttura necessaria per la "co-evoluzione" dell'offesa e della difesa cibernetica. Il suo design sandbox-agnostic e RESTful permette l'integrazione di ambienti ad alta fedeltà, consentendo l'addestramento di agenti blu robusti contro minacce generative e adattive. Gli autori sottolineano che la trasparenza riguardo a queste capacità è essenziale per guidare lo sviluppo di sistemi difensivi ugualmente adattivi e guidati da RL, prima che tali strategie di attacco vengano impiegate indipendentemente dagli avversari.