💻 computer science

Multi-Agent LLM Governance for Safe Two-Timescale Reinforcement Learning in SDN-IoT Defense

Deze paper introduceert een zelfreflectieve, twee-schaalige verdedigingsoplossing voor SDN-IoT-netwerken die snelle mitigatie door PPO-agenten combineert met een multi-agent LLM-bestuurslaag voor veilige, auditabele en gestructureerde evolutie van beleidsregels, waardoor de stabiliteit van de controller wordt gewaarborgd en de prestaties onder aanval aanzienlijk worden verbeterd.

Oorspronkelijke auteurs: Saeid Jamshidi, Negar Shahabi, Foutse Khomh, Carol Fung, Mohammad Hamdaqa

Gepubliceerd 2026-04-02

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Saeid Jamshidi, Negar Shahabi, Foutse Khomh, Carol Fung, Mohammad Hamdaqa

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat een Internet of Things (IoT) netwerk (alle slimme apparaten, van thermostaten tot fabrieksrobots) een enorme, drukke stad is. In deze stad is er één centrale verkeersleider (de SDN-controller) die alle verkeerslichten en afsluitingen regelt.

Het probleem? Hackers proberen de stad te verlammen door verkeersopstoppingen te veroorzaken. Als de verkeersleider te agressief reageert (bijvoorbeeld door elke auto die verdacht is, direct te blokkeren), kan hij zelf verdrinken in werk. Hij raakt de controle kwijt, de verkeerslichten blijven steken, en de hele stad komt tot stilstand.

Dit artikel beschrijft een slimme nieuwe manier om deze stad te beveiligen, met behulp van twee soorten "hulp" die op verschillende snelheden werken.

1. De Twee Snelheden: De Brandweerman en de Burgemeester

De auteurs van dit onderzoek zeggen: "We moeten twee dingen doen, maar niet tegelijk."

Snel Tempo (De Brandweerman):
Op elk kruispunt (elke switch in het netwerk) zit een slimme, autonome agent (een AI). Deze agent ziet direct als er een brand (aanval) is en grijpt direct in. Hij kan snel een weg afsluiten of het verkeer omleiden.
- Het gevaar: Als elke brandweerman te wild handelt, kan hij zelf de verkeerslichten verstoppen.
- De oplossing: Deze agenten werken onder strikte regels. Ze mogen niet zomaar alles blokkeren als de verkeersleider al overbelast is.
Langzaam Tempo (De Burgemeester):
Hier komt de innovatie: een team van LLM's (grote taalmodellen, vergelijkbaar met slimme chatbots) fungeert als de "Burgemeester". Deze Burgemeester kijkt niet naar elke auto, maar naar het gehele verhaal van de afgelopen tijd.
- Hij zegt: "Hé, de brandweerlieden blokkeren te vaak de verkeerslichten. Dat maakt de stad trager dan de hackers zelf."
- In plaats van de brandweerlieden zelf te herschrijven (wat riskant en duur is), schrijft de Burgemeester een nieuwe wet (een beleidswijziging). Hij past de regels aan: "Vanaf nu mag je alleen blokkeren als de verkeersleider nog ruimte heeft."

2. De Creatieve Analogie: Het Bestelboekje

Stel je voor dat de AI-agenten (de brandweerlieden) een bestelboekje hebben met instructies.

Oude manier: Als het misgaat, moet je de hele bestelboeken opnieuw laten drukken en elke agent een nieuwe training geven. Dat duurt lang en is duur.
Nieuwe manier (in dit papier): De "Burgemeester" (het LLM-team) pakt het bestelboekje en plakt er een kleine, gecontroleerde sticker op.
- Sticker 1: "Als de verkeersleider moe is, mag je alleen maar zachtjes fluiten, niet schreeuwen."
- Sticker 2: "Als er te veel auto's zijn, blokkeer dan niet, maar stuur ze om."

Deze stickers worden gemaakt door een team van slimme computers die samenwerken:

De Critic: Kijkt naar de fouten. "We hebben te veel files veroorzaakt."
De Compiler: Schrijft de nieuwe regel op in een taal die de computer begrijpt.
De Red-Team: Doet alsof hij een hacker is om te testen: "Werkt deze nieuwe regel nog steeds goed als ik een nieuwe aanval doe?"
De Judge: Beslist: "Ja, dit is veilig. Plak de sticker erop."

Als de test mislukt, wordt de sticker niet geplakt. De oude regels blijven staan. Dit zorgt ervoor dat het systeem nooit "crasht" door een foutieve nieuwe wet.

3. Waarom is dit zo slim?

In het verleden probeerden computers alleen maar de hackers te vangen (zoals een alarm dat zo hard mogelijk piept). Maar in een SDN-netwerk is het gevaar dat het alarm zelf de stroom uitdoet omdat het te hard piept.

Dit systeem lost dat op door:

Veiligheid boven alles: Het systeem is zo ontworpen dat het liever een hacker laat passeren dan dat het de hele netwerk-stad platlegt.
Zelfreflectie: Het systeem kijkt terug naar wat er misging en past de regels aan, niet de intelligentie van de agenten. Dat is veel veiliger en sneller.
Stabiliteit: De resultaten tonen aan dat dit systeem de verkeersleider (de controller) niet overbelast, zelfs niet tijdens zware aanvallen. De vertraging van het verkeer blijft laag, en de "files" (wachtlijsten) lopen niet uit de hand.

Samenvatting in één zin

Dit papier introduceert een slim beveiligingssysteem voor slimme netwerken waarbij snelle, lokale agenten de aanval bestrijden, terwijl een langzame, slimme "Burgemeester" (AI) de regels aanpast om te voorkomen dat de verdediging zelf het netwerk platlegt. Het is alsof je een auto rijdt met een scherpe passagier die remt, en een verstandige navigator die de routeplanner aanpast zodat je niet in een muur rijdt.

Probleemstelling

De beveiliging van Internet-of-Things (IoT) netwerken die gebruikmaken van Software-Defined Networking (SDN) wordt geconfronteerd met een fundamenteel gesloten-lus controlegebied (closed-loop control problem). Traditionele benaderingen behandelen mitigatie vaak als een geïsoleerde reactiestap, waarbij ze de terugkoppeling tussen mitigatie-acties en de dynamiek van de controller negeren.

Structurale Koppeling: In SDN-IoT verbruiken mitigatieacties (zoals het installeren van flow-regels, rate limiting of het isoleren van apparaten) zelf resources van de centrale controller.
Risico's: Aggressieve mitigatie kan leiden tot een overbelasting van de controller, een toename van wachtrijen (backlog), vertraagde regelinstallatie en een verslechtering van de Quality of Service (QoS).
Beperkingen van Bestaande Oplossingen: Bestaande leer-gebaseerde methoden (zoals Reinforcement Learning - RL) optimaliseren vaak alleen detectie-accuraatheid of korte-termijn beloningen. Ze modelleren de koppeling met de controller onvoldoende en missen mechanismen voor gestructureerde, auditabele en veilige evolutie van beleidsregels. Dit kan leiden tot instabiliteit onder complexe aanvalsscenario's.

Methodologie: Een Twee-Tijdschaal Architectuur

Het paper introduceert een zelfreflectieve twee-tijdschaal besturingsarchitectuur die snelle, gedecentraliseerde mitigatie scheidt van langzamere, gestructureerde beleidsbesturing.

Snelle Tijdschaal (Gedecentraliseerd RL):
- Elke SDN-switch draait een onafhankelijke Proximal Policy Optimization (PPO) agent.
- Deze agents nemen real-time beslissingen op basis van lokale telemetrie (wachtrijbezetting, flow-table status, controller-backlog).
- Acties worden gefilterd door veiligheidsbeperkingen en actie-maskering die worden opgelegd door een globale beleidsconstitutie ( $\Pi$ ). Dit zorgt ervoor dat agents geen acties uitvoeren die de controller zouden kunnen overbelasten.
- Het doel is om direct te reageren op lokale congestie en aanvallen zonder de RL-parameters direct te wijzigen.
Trage Tijdschaal (Multi-Agent LLM Governance):
- Een Multi-Agent Large Language Model (LLM)-systeem fungeert als een "governance engine" die op een langzamere tijdschaal werkt (bijv. elke $K$ stappen).
- In plaats van de neurale netwerken opnieuw te trainen, analyseert dit systeem trajectdata en stelt het gestructureerde updates ( $\Delta\Pi$ ) voor aan de globale beleidsconstitutie $\Pi$ .
- De LLM-rolverdeling:
  - Critic: Analyseert fouten en stelt diagnose.
  - Compiler: Zet voorstellen om in machine-leesbare delta's (JSON-schema).
  - Red-Team: Genereert gerichte stress-tests om zwaktes te vinden.
  - Judge: Beslist of een update veilig is en geen regressie veroorzaakt.
- Beveiliging: Updates worden alleen geaccepteerd als ze voldoen aan hard-safety constraints (geen controller-crash) en non-regression criteria (geen verslechtering van QoS of detectie).
Risicogevoelige Doelfunctie:
- Het systeem optimaliseert niet voor de gemiddelde beloning, maar voor Conditional Value at Risk (CVaR). Dit betekent dat het specifiek gericht is op het minimaliseren van de "staartrisico's" (catastrophische gebeurtenissen zoals controller-overload), in plaats van alleen de gemiddelde prestatie te maximaliseren.

Belangrijkste Bijdragen

Zelfreflectieve Twee-Tijdschaal Architectuur: Een nieuw kader dat snelle, lokale RL-reacties combineert met langzame, interpretabele beleidsaanpassingen via een LLM-governance-laag.
Auditabele Beleidsconstitutie ( $\Pi$ ): De introductie van een expliciete, machine-leesbare beleidsstructuur die veiligheidsbeperkingen, drempelwaarden en beloningsprioriteiten encodeert. Wijzigingen zijn traceerbaar en vereisen validatie voordat ze worden ingezet.
Controller-bewuste Verdediging: Het model expliciet de koppeling tussen mitigatieacties en de controller-backlog, inclusief vertragingen bij regelinstallatie. Dit voorkomt dat verdedigingsacties de verdediging zelf destabiliseren.
Veilige Evolutie zonder Retraining: Het systeem past zich aan aan nieuwe aanvalspatronen door de beleidsregels ( $\Pi$ ) aan te passen in plaats van de onderliggende RL-modellen opnieuw te trainen, wat operationele kosten verlaagt en stabiliteit garandeert.

Resultaten

De evaluatie werd uitgevoerd in een gesloten-lus simulatie met heterogene IoT-traffic en diverse aanvalsscenario's (DoS, low-and-slow scans, mimicry). De resultaten tonen aan:

Prestatieverbetering: De voorgestelde oplossing verbetert de Macro-F1 score met 9,1% ten opzichte van onbeperkte PPO en 15,4% ten opzichte van statische drempelwaarden.
Stabiliteit: De verslechtering in het slechtste geval (worst-case agent degradation) is 36,8% lager.
Controller-gezondheid: De pieken in de controller-backlog nemen af met 42,7%.
QoS: De vertraging (RTT p95) blijft tijdens zware aanvallen onder 5,8% inflatie. Er werd geen oscillatoire instabiliteit of controller-collaps waargenomen.
Convergentie: De governance-gestuurde beleidsontwikkeling convergeert binnen vijf reflectiecycli en reduceert catastrofale overbelastingsgebeurtenissen van 11,6% naar 2,3% zonder hertraining van de RL-parameters.

Significantie

Dit paper is significant omdat het de paradigma verschuift van puur "detectie-georiënteerde" beveiliging naar een systeem-brede besturingsbenadering.

Het erkent dat in SDN-IoT verdediging een dynamisch spel is waarbij elke verdedigingsactie de omgeving (en dus de toekomstige observaties) verandert.
Door het gebruik van een Multi-Agent LLM voor beleidsgovernance, biedt het een oplossing voor het "black-box" probleem van RL: beleidswijzigingen zijn nu expliciet, auditabel en onderworpen aan strikte veiligheidschecks.
De aanpak biedt een schaalbare manier om veilige, adaptieve verdediging te implementeren in kritieke infrastructuur, waarbij de balans wordt gevonden tussen snelle reactie en langetermijnstabiliteit. Het bewijst dat het mogelijk is om RL-systemen robuust te maken tegen tail-risk (catastrofale uitval) zonder de complexiteit van volledige hertraining.