💻 computer science

Network and Device Level Cyber Deception for Contested Environments Using RL and LLMs

Dit artikel onderzoekt hoe de combinatie van large language models (LLMs) en reinforcement learning (RL) kan worden ingezet om dynamische, kosteneffectieve en nauwkeurige cyberdeceptiestrategieën op netwerk- en apparaatniveau te ontwikkelen voor bescherming tegen sluipende aanvallen in omstreden omgevingen, zoals operationele technologie (OT)-systemen.

Oorspronkelijke auteurs: Abhijeet Sahu, Shuva Paul, Richard Macwan

Gepubliceerd 2026-03-20

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Abhijeet Sahu, Shuva Paul, Richard Macwan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een fort bouwt om je huis te beschermen. Traditionele beveiliging is als een stevige deur en een alarm: als iemand probeert binnen te komen, probeer je ze te stoppen of te detecteren. Maar hackers zijn slim; ze kunnenurenlang rondsnuffelen, de deuren testen en plannen maken voordat ze echt toeslaan.

Deze paper introduceert een heel nieuwe strategie: Cyber-Deceptie (bedrog). In plaats van alleen te proberen de deur dicht te houden, bouw je een valstrik of een fata morgana. Je laat de hacker denken dat hij een waardevolle schat heeft gevonden, terwijl hij eigenlijk in een leeg, nep-huisje loopt.

Hier is hoe de auteurs dit doen, vertaald naar alledaagse taal:

1. Het Probleem: De Onzichtbare Vijand

In de wereld van energie (zoals stroomnetten) is het heel lastig om te verdedigen. Een hacker kan maandenlang stiekem rondkijken (reconnaissance), terwijl jij als verdediger binnen seconden moet reageren. Als je te laat bent, kan de hacker de stroom uitschakelen of schade aanrichten aan fysieke machines.

2. De Oplossing: Twee Spelers die Samenwerken

De auteurs gebruiken twee moderne technologieën om een slimme valstrik te bouwen:

De "Verkeersagent" (Reinforcement Learning - RL):
Stel je voor dat je een slimme verkeersagent hebt die elke seconde kijkt waar de hacker probeert te komen. Deze agent leert door ervaring (net zoals een kind dat leert fietsen door te vallen). Zijn taak? De hacker omleiden. Als de hacker naar een echt belangrijk stroomstation wil, stuurt de agent hem per ongeluk (of zo lijkt het) naar een nep-station.
- De analogie: Het is alsof je een verkeersbordje verplaatst dat zegt "Hier is de goudmijn!", terwijl de goudmijn eigenlijk een nep-grot is.
De "Methodacteur" (Large Language Models - LLM):
Eerdere valstrikken (zoals 'honeypots') waren vaak domme robots die alleen vaste antwoorden gaven. Als een hacker iets vreemds vroeg, gaf de robot een raar antwoord en wist de hacker: "Aha, dit is nep!"
De auteurs gebruiken nu een LLM (zoals een super-slimme chatbot). Dit is de methodacteur. Als de hacker vraagt: "Wat is de spanning op deze lijn?", denkt de AI na en geeft een antwoord dat klinkt als een echte, vermoeide technicus. Het onthoudt wat er eerder is gezegd, maakt kleine foutjes (zoals een echt mens zou doen) en reageert op de toon van de hacker.
- De analogie: In plaats van een poppetje dat "Ik ben een robot" zegt, heb je nu een acteur die perfect de rol van een elektricien speelt, zelfs als de hacker probeert hem in de val te laten lopen met moeilijke vragen.

3. Hoe werken ze samen? (De Dans)

Het geniale aan dit onderzoek is hoe deze twee samenwerken:

De Verkeersagent (RL) ziet dat de hacker probeert een bepaalde route te nemen.
Hij stuurt de hacker naar de Methodacteur (LLM).
De Methodacteur praat met de hacker en probeert hem zo lang mogelijk vast te houden met slimme antwoorden.
Als de Methodacteur een goed antwoord geeft (de hacker gelooft het), krijgt de Verkeersagent een puntje.
Als de hacker merkt dat het nep is en weggaat, krijgt de Verkeersagent een straf.

Hierdoor leren ze samen: de Verkeersagent leert waarheen de hacker te sturen, en de Methodacteur leert hoe hij het meest geloofwaardig moet klinken.

4. Waarom is dit belangrijk voor stroomnetten?

In de echte wereld (bijv. bij stroomnetten) mag je geen rare dingen doen. Je kunt niet zomaar een verkeersbord veranderen als dat betekent dat de stroom uitvalt voor ziekenhuizen.

De paper laat zien hoe je dit veilig doet. De "Verkeersagent" zorgt dat de echte stroomnetten veilig blijven, terwijl de "Methodacteur" de hacker bezig houdt.
Het doel is om de hacker zoveel tijd en energie te laten besteden aan het bestuderen van de nep-systemen, dat hij geen tijd meer heeft om de echte systemen aan te vallen.

Samenvattend in één zin:

De auteurs hebben een slim systeem bedacht waarbij een AI-verkeersagent hackers omleidt naar een AI-acteur die perfect doet alsof hij een echt stroomnet is, zodat de hackers zich verplaatsen in een droomwereld terwijl ze de echte wereld veilig laten.

Dit maakt het voor hackers veel moeilijker, duurder en tijdrovender om schade aan te richten, terwijl de verdedigers rustig kunnen blijven kijken en leren van de aanval.

Titel

Netwerk- en apparaatniveau cyberbedrog voor betwiste omgevingen met behulp van RL en LLM's

1. Probleemstelling

Cyberaanvallen worden steeds onopvallender en omzeilen traditionele preventie- en detectiemechanismen (zoals firewalls en IDS). Er bestaat een fundamentele asymmetrie tussen aanvallers (die langdurig verkenning kunnen uitvoeren) en verdedigers (die snel moeten reageren). Dit is vooral kritiek in Operationele Technologie (OT)-omgevingen, zoals elektriciteitsnetten, waar vertraging kan leiden tot fysieke schade.

Bestaande bedrogstechnieken (zoals honeypots) zijn vaak statisch, duur in onderhoud en vereisen veel menselijke interventie. Ze zijn vaak niet dynamisch genoeg om geavanceerde aanvallers te misleiden. Bovendien zijn bestaande oplossingen op basis van Reinforcement Learning (RL) vaak beperkt tot netwerkniveau of simpele host-emulaties, zonder rekening te houden met de strikte timing- en protocolvereisten van industriële protocollen zoals DNP3 (Distributed Network Protocol 3). Het modelleren van DNP3 als een Markov Decision Process (MDP) is traditioneel te complex vanwege de hoge dimensionaliteit en de noodzaak om state-consistentie en timing te behouden.

2. Methodologie

De auteurs stellen een hiërarchisch raamwerk voor dat Reinforcement Learning (RL) combineert met Large Language Models (LLM's) om zowel op netwerkniveau als op hostniveau dynamisch bedrog te realiseren.

A. Architectuur

Het systeem bestaat uit drie lagen:

Netwerkcontrolelaag (RL-agent): Een multi-agent RL-systeem dat routeringsbeleid dynamisch aanpast om verdacht verkeer om te leiden naar honeypot-RTU's (Remote Terminal Units) in plaats van echte apparaten.
Host-emulatielaag (LLM-agent): Een protocolbewuste LLM die realistische DNP3-antwoorden genereert op aanvragen van de aanvaller. Deze emuleert het gedrag van een echte RTU, inclusief timing en state-transities.
Evaluatie- en feedbacklaag: Kwalificeert de kwaliteit van het bedrog en stuurt dit signaal terug naar de RL-beloning.

B. Technische Implementatie

RL Formuliering: Het probleem wordt gemodelleerd als een MDP. In plaats van één centrale agent, gebruiken ze een Multi-Agent Reinforcement Learning (MARL) framework (via PettingZoo), waarbij elke router een onafhankelijke agent is met een lokaal observatie- en actieruimte. Dit vermindert de complexiteit en verbetert de convergentie.
LLM Integratie: De LLM (GPT-4 via AWS) fungeert als een honeypot voor DNP3-outstations. Om hallucinaties en protocolfouten te voorkomen, wordt de LLM beperkt door:
- Gestructureerde prompt-conditioning.
- Validatielagen voor antwoorden.
- Retrieval-Augmented Generation (RAG): Het injecteren van context (zoals "personality files") over beveiligingsbeleid en protocolregels om het gedrag consistent te houden met een echte RTU.
Beloningsfunctie (Reward Engineering): Een samengestelde cyber-fysieke beloningsfunctie wordt gebruikt om reward hacking te voorkomen:
- Cyber-beloning: Gebaseerd op het aantal pakketten dat naar honeypots gaat versus echte RTU's.
- Fysieke beloning: Gebaseerd op het herstellen van kritieke lasten (vermijden van fysieke schade).
- Koppeling: De uiteindelijke beloning wordt gemoduleerd door de bedrogkans ( $P_{dec}$ ), die wordt berekend op basis van de perplexity-score van de LLM-antwoorden. Als de LLM onrealistisch reageert (hoge perplexity), wordt de beloning voor het omleiden van verkeer naar die honeypot verlaagd.

3. Belangrijkste Bijdragen

Formeel RL-raamwerk: Een gedefinieerd single- en multi-agent RL-systeem voor adaptief netwerkbedrog met een gebonden samengestelde beloningsontwerp.
Eerste protocolbewuste LLM-honeypot: De ontwikkeling van de eerste DNP3-outstation honeypot die door een LLM wordt aangestuurd en de timing- en state-semantiek van industriële besturingssystemen (ICS) behoudt.
Gecombineerde RL-LLM architectuur: Een unieke integratie die gecoördineerd bedrog op netwerk- en hostniveau mogelijk maakt, waarbij de kwaliteit van de host-emulatie direct invloed heeft op de netwerkbeslissingen.
Analyse van rekenkosten: Een evaluatie van de rekenkundige overhead en implementatieoverwegingen voor real-time OT-omgevingen.

4. Resultaten en Analyse

De auteurs evalueerden hun aanpak in een gesimuleerde omgeving gebaseerd op het IEEE 123-bus distributienetwerk.

RL-prestaties (Zonder LLM):
- Multi-agent RL (PPO en A2C) presteerde aanzienlijk beter dan statische of single-agent benaderingen, met name in scenario's met netwerkcongestie.
- Multi-agent agents bereikten het doel (verkeer omleiden) in minder stappen en met hogere beloningen dan single-agent modellen.
LLM-prestaties (Zonder RL):
- Initieel waren de antwoorden van de LLM onrealistisch. Door iteratieve updates van de "personality file" en het gebruik van RAG, verbeterde de nauwkeurigheid drastisch.
- De perplexity-score daalde van 5,07 naar 0,12, wat resulteerde in een bedrogkans ( $P_{dec}$ ) van 0,9 (90% realisme).
Gecombineerde Aanpak (RL + LLM):
- Het integreren van de LLM-bedrogkwaliteit in de RL-beloningsfunctie leidde tot een snellere convergentie.
- De agenten leerden om verkeer alleen naar honeypots te leiden die een hoge realiteitswaarde hadden, wat de totale episode-lengte verkortte en de beloning stabiliseerde.
- In vergelijking met alleen cyber-fysieke training (CP), verminderde de RL+LLM-combinatie de benodigde episodes om het doel te bereiken aanzienlijk.

5. Betekenis en Toekomstperspectief

Dit onderzoek toont aan dat de combinatie van RL voor strategische besluitvorming en LLM's voor realistische, adaptieve emulatie een krachtige methode is om de kosten voor aanvallers te verhogen in OT-omgevingen.

Significantie: Het lost het probleem op van statische honeypots die door slimme aanvallers te snel worden ontmaskerd. Door gebruik te maken van generatieve AI, kunnen honeypots zich aanpassen aan het gedrag van de aanvaller zonder menselijke tussenkomst.
Beperkingen en Toekomst: De huidige implementatie vereist nog veel rekenkracht voor training in realistische omgevingen (zoals de NREL Cyber Range). Toekomstig werk richt zich op:
- Het overbrengen van modellen van simulatie naar realiteit (Sim-to-Real transfer).
- Het gebruik van heterogene actieruimtes voor routers met verschillende interfaces.
- Het optimaliseren van de LLM-aanpassing (bijv. via in-weight learning) om de respons nog realistischer te maken.

Kortom, dit werk biedt een robuust raamwerk voor het verdedigen van kritieke infrastructuur door aanvallers in een "betwiste omgeving" vast te houden in een illusie van een realistisch systeem, waardoor tijd wordt gewonnen voor verdedigers om echte schade te voorkomen.