💻 computer science

Network and Device Level Cyber Deception for Contested Environments Using RL and LLMs

Questo lavoro esamina l'uso della fusione tra modelli linguistici su larga scala (LLM) e apprendimento per rinforzo (RL) per sviluppare strategie di inganno informatico dinamiche ed efficienti a livello di rete e dispositivo, ottimizzando la difesa contro attacchi stealth in ambienti operativi tecnologici (OT) contestati.

Autori originali: Abhijeet Sahu, Shuva Paul, Richard Macwan

Pubblicato 2026-03-20

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Abhijeet Sahu, Shuva Paul, Richard Macwan

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover proteggere una centrale elettrica molto importante (come una diga o una rete di distribuzione) da ladri digitali. Il problema è che i ladri sono molto pazienti: passano ore a studiare la casa, a cercare le serrature deboli e a capire come entrare, mentre i guardiani devono reagire in pochi secondi. Se il ladro entra davvero, può spegnere la luce o causare danni fisici.

Questo articolo racconta come i ricercatori del National Renewable Energy Laboratory abbiano creato un nuovo tipo di "trappola intelligente" per ingannare questi ladri, usando due tecnologie all'avanguardia: l'Intelligenza Artificiale (in particolare i "Grandi Modelli Linguistici" o LLM, come quelli che usano per chattare) e l'Apprendimento per Rinforzo (RL, un tipo di AI che impara per tentativi ed errori).

Ecco come funziona, passo dopo passo, con delle metafore:

1. Il Problema: Le Trappole Vecchio Stampo

In passato, per ingannare i ladri, si usavano delle "trappole" fisse (chiamate honeypots). Immagina di lasciare una porta aperta con un cartello che dice "Tesoro qui dentro".

Il difetto: Un ladro esperto capisce subito che è una trappola perché la porta è sempre aperta, il cartello è sempre lì e la risposta è sempre la stessa. È come un attore che recita la stessa scena ogni volta: dopo un po' il pubblico (il ladro) si accorge che è finto.

2. La Soluzione: Un'Orchestra di Inganni

I ricercatori hanno creato un sistema che funziona come un'orchestra di due sezioni che lavorano insieme:

A. Il Direttore d'Orchestra (L'Agente RL - Rete)

Immagina un direttore d'orchestra intelligente che controlla il traffico di dati nella rete.

Cosa fa: Quando vede un ladro che sta cercando di entrare, invece di lasciarlo andare verso la vera centrale elettrica, il direttore cambia istantaneamente i segnali stradali (il routing).
L'analogia: È come se il ladro cercasse di entrare nella casa principale, ma improvvisamente il portone si sposta e lo indirizza verso una casa finta, bellissima e identica all'originale, ma vuota e piena di trappole.
L'apprendimento: Questo direttore impara col tempo. Se manda il ladro in una trappola che il ladro smaschera subito, il direttore viene "punito" (riceve un punteggio basso). Se il ladro rimane intrappolato a lungo, il direttore viene "premiato".

B. L'Attore Geniale (L'Agente LLM - Dispositivo)

Una volta che il ladro è stato indirizzato verso la casa finta, incontra un "ospite" virtuale.

Cosa fa: Invece di essere un robot stupido che risponde sempre "Sì" o "No", questo ospite è un attore geniale (un LLM).
L'analogia: Se il ladro chiede: "Che temperatura c'è nel trasformatore?", l'attore non risponde con un numero fisso. Analizza il contesto, ricorda cosa ha detto prima, e risponde in modo perfettamente realistico, come farebbe un vero tecnico umano o un vero computer industriale.
Il trucco: L'attore impara dai suoi errori. Se il ladro sembra sospettoso, l'attore cambia il suo "personaggio" per sembrare ancora più reale. Usa una tecnica chiamata RAG (Retrieval-Augmented Generation), che è come avere un manuale di istruzioni aperto davanti mentre recita, per non dire mai una sciocchezza.

3. Come lavorano insieme (La Magia)

Il vero segreto di questo lavoro è che il Direttore e l'Attore si parlano continuamente:

Se l'Attore (l'LLM) riesce a ingannare il ladro per molto tempo, il Direttore riceve un premio e impara a mandare più ladri in quella direzione.
Se l'Attore sbaglia e il ladro capisce che è una finta, il Direttore viene punito e impara a non usare quella trappola per quel tipo di ladro.

È come un gioco di "Nascondino" dove il nascondiglio diventa sempre più realistico man mano che il ladro cerca di scoprirlo.

4. Perché è importante per le Centrali Elettriche?

Le centrali elettriche (chiamate OT o Tecnologia Operativa) sono diverse dai computer normali. Non possono permettersi ritardi o risposte strane.

Se un computer normale risponde lentamente, non succede nulla.
Se un computer di una centrale elettrica risponde in modo strano o lento, potrebbe causare un blackout o un'esplosione.

Questo sistema è speciale perché l'Attore (LLM) è stato addestrato specificamente per rispettare le regole rigide e i tempi precisi delle centrali elettriche. Non dice "boh", ma risponde esattamente come dovrebbe fare un vero dispositivo industriale, mantenendo il ladro ingannato senza disturbare il lavoro vero della centrale.

In Sintesi

I ricercatori hanno creato un sistema di difesa vivente:

Rileva il ladro.
Lo sposta in una zona sicura ma finta (grazie all'AI che gestisce la rete).
Lo intrattiene con risposte perfette e realistiche (grazie all'AI che simula i dispositivi).
Impara da ogni interazione per diventare sempre più bravo a ingannare i criminali digitali, guadagnando tempo prezioso per i difensori reali.

È come avere un guardiano che non solo chiude le porte, ma costruisce un labirinto magico che cambia forma ogni volta che un ladro tocca un muro, facendogli perdere tempo e risorse finché non si arrende o viene catturato, tutto senza mai spegnere la luce della città.

Titolo del Lavoro

Inganno Cibernetico a Livello di Rete e Dispositivo per Ambienti Contesi Utilizzando RL e LLM

1. Il Problema

Il lavoro affronta l'asimmetria fondamentale nella difesa cibernetica, dove gli attaccanti possono condurre ricognizioni e movimenti laterali per lunghi periodi, mentre i difensori devono reagire in pochi secondi. Questa sfida è particolarmente critica negli ambienti di Tecnologia Operativa (OT), come le reti elettriche (SCADA), dove un ritardo nella risposta può portare a interruzioni fisiche del sistema.

Le tecniche di inganno cibernetico (cyber deception) tradizionali, come i honeypot statici o la randomizzazione degli indirizzi IP, presentano limiti significativi:

Staticità: Spesso sono rilevabili da avversari esperti attraverso analisi temporali o impronte comportamentali.
Costo e Complessità: La ricreazione manuale di servizi realistici è costosa e richiede intervento umano.
Inadeguatezza per l'OT: I protocolli industriali come DNP3 (Distributed Network Protocol 3) richiedono coerenza di stato, vincoli temporali deterministici e logica di validazione dei comandi che i modelli di inganno tradizionali faticano a replicare senza violare le specifiche del protocollo.
Mancanza di Adattabilità: Le soluzioni esistenti raramente integrano modelli generativi avanzati per adattarsi dinamicamente al comportamento dell'avversario.

2. Metodologia

Gli autori propongono un framework ibrido che fonde Reinforcement Learning (RL) per la gestione a livello di rete e Large Language Models (LLM) per l'emulazione a livello di host (dispositivo).

Architettura Gerarchica

Il sistema è strutturato in tre livelli interconnessi:

Livello di Controllo di Rete (RL Agent): Un agente (o agenti multi-agente) che modifica dinamicamente le politiche di instradamento dei router. L'obiettivo è reindirizzare il traffico sospetto verso honeypot (RTU ingannevoli) invece che verso i dispositivi reali, minimizzando il rischio di rilevamento.
Livello di Emulazione Host (LLM Agent): Un emulatore RTU basato su LLM che genera risposte ai comandi DNP3. A differenza dei honeypot statici, questo agente utilizza il RAG (Retrieval-Augmented Generation) e l'iniezione di contesto/personalità per produrre risposte coerenti con lo stato del sistema, i vincoli temporali e la semantica del protocollo.
Livello di Valutazione e Feedback: Un modulo che quantifica la qualità dell'inganno (basata su metriche di similarità e coerenza) e fornisce un segnale di ricompensa all'agente RL.

Formulazione Matematica e RL

MDP (Markov Decision Process): Il problema di inganno a livello di rete è modellato come un MDP.
Approccio Multi-Agente (MARL): Per migliorare la scalabilità, viene utilizzato un framework multi-agente (tramite PettingZoo) dove ogni router agisce come un agente indipendente con spazi di azione locali, riducendo l'esplosione dello spazio degli stati rispetto a un approccio single-agent centralizzato.
Funzione di Ricompensa Composita: Viene definita una funzione di ricompensa vincolata che combina:
- Ricompensa Cibernetica: Basata sul numero di pacchetti reindirizzati agli honeypot vs. quelli che raggiungono i sistemi reali.
- Ricompensa Fisica: Basata sullo stato critico del carico elettrico (evitare interruzioni reali).
- Modulazione LLM: La ricompensa è moltiplicata per una probabilità di inganno ( $P_{dec}$ ), calcolata tramite il punteggio di perplessità delle risposte generate dall'LLM. Se l'LLM genera risposte poco realistiche, la ricompensa per l'agente RL diminuisce, penalizzando l'instradamento verso quel nodo.

Integrazione LLM

L'LLM non è utilizzato in modo "naive". Viene vincolato da:

Prompt strutturati e livelli di validazione.
Aggiornamenti dinamici del file di "personalità" basati sulle interazioni osservate.
Metriche di valutazione (perplessità, BLEU, ROUGE) per garantire che le risposte siano protocol-compliant e temporalmente plausibili.

3. Contributi Chiave

Framework RL Unificato: Definizione formale di un framework single- e multi-agente per l'inganno adattivo a livello di rete con una progettazione di ricompensa composita e vincolata.
Primo Honeypot Consapevole del Protocollo DNP3: Sviluppo del primo honeypot guidato da LLM specifico per le stazioni remote (RTU) DNP3, che preserva la semantica temporale e di stato dei sistemi ICS (Industrial Control Systems).
Architettura RL-LLM Coordinata: Creazione di un'architettura che permette una sinergia tra il reindirizzamento di rete (RL) e la generazione di risposte realistiche (LLM), creando un ciclo di feedback chiuso.
Analisi di Sovraccarico Computazionale: Valutazione delle considerazioni di deployment per ambienti OT in tempo reale, distinguendo tra fasi di addestramento (simulazione) e deployment (inferenza).

4. Risultati

Gli esperimenti sono stati condotti su un ambiente simulato basato sulla rete IEEE 123-bus.

Confronto RL (Senza LLM): Gli agenti RL addestrati con algoritmi come PPO (Proximal Policy Optimization) e A2C (Advantage Actor-Critic) hanno dimostrato di essere significativamente più efficaci degli agenti casuali nel reindirizzare il traffico verso gli honeypot, riducendo la lunghezza media delle episode e massimizzando la ricompensa. L'approccio Multi-Agente ha mostrato una convergenza più stabile rispetto al Single-Agent.
Integrazione LLM: L'introduzione dell'LLM per generare risposte realistiche ha migliorato drasticamente l'efficacia complessiva.
- La metrica di perplessità ( $M_{perp}$ ) è diminuita nel tempo (da 5.07 a 0.12), indicando un aumento della qualità delle risposte.
- La probabilità di inganno ( $P_{dec}$ ) è aumentata da 0.06 a 0.90.
Impatto sull'Addestramento RL: L'uso dell'LLM per modulare la ricompensa ha permesso all'agente RL di raggiungere l'obiettivo (inganno completo) in un numero inferiore di episodi rispetto all'addestramento solo su modello cibernetico o fisico.
- Esempio: Con l'approccio combinato (RL + LLM), la lunghezza media delle episode è scesa a 40.2 rispetto a 59.25 per il solo modello cibernetico-fisico (CP), con una ricompensa media superiore (45.6 vs 56.2, nota: la ricompensa è normalizzata e positiva in questo contesto di successo).

5. Significato e Implicazioni

Questo lavoro rappresenta un passo avanti significativo nella difesa cibernetica per le infrastrutture critiche:

Superamento delle Limitazioni Statiche: Dimostra come l'IA generativa possa superare i limiti dei honeypot statici, rendendo l'inganno dinamico e adattivo al comportamento dell'avversario.
Protezione OT Realistica: Risolve il problema della complessità dei protocolli industriali (DNP3), fornendo un metodo per emulare dispositivi OT in modo sicuro e realistico senza violare i vincoli di tempo reale.
Strategia Difensiva Proattiva: Sposta il paradigma dalla semplice rilevazione all'alterazione attiva della percezione dell'avversario, aumentando i costi e il tempo necessari per l'attacco, permettendo ai difensori di raccogliere intelligence e mitigare danni fisici.
Scalabilità: L'approccio Multi-Agente offre una via per scalare queste soluzioni a reti industriali complesse e distribuite.

In sintesi, la fusione di RL e LLM crea un ecosistema di difesa sinergico dove la rete guida l'attaccante verso trappole intelligenti, e le trappole stesse si evolvono per sembrare sempre più reali, massimizzando l'efficacia della difesa in ambienti OT contestati.