From Threat Intelligence to Firewall Rules: Semantic Relations in Hybrid AI Agent and Expert System Architectures

Dit onderzoek toont aan dat een hybride architectuur van AI-agenten en expertsystemen, die semantische hyperoniem-hyponiem-relaties gebruikt om cyberdreigingsinformatie om te zetten in CLIPS-code voor firewallregels, een betrouwbaardere en effectievere verdediging biedt tegen cyberdreigingen dan bestaande benaderingen.

De kern

Hier is een uitleg van het onderzoek, vertaald naar alledaags Nederlands met behulp van creatieve vergelijkingen.

🛡️ Van Cyberdreiging tot Digitale Sluis: Een Slimme Wacht

Stel je voor dat het internet een enorme, drukke stad is. In deze stad zijn er aanvallers (hackers) die proberen deuren open te breken en verdedigers (beveiligingsexperts) die proberen de stad veilig te houden.

Het probleem is dat de aanvallers steeds slimmer worden en AI gebruiken om hun plannen te maken. De verdedigers moeten dan ook snel schakelen, maar ze worden vaak overspoeld door duizenden rapporten over nieuwe dreigingen. Het is alsof je duizenden krantenkoppen moet lezen om te weten welke deuren je moet dichtslaan.

De auteurs van dit paper hebben een nieuwe manier bedacht om dit proces te versnellen en veiliger te maken. Ze hebben een hybride team gebouwd: een team van een AI-assistent en een strenge expert.

---

🧠 De Twee Helden in het Team

Het systeem werkt met twee hoofdpersonages die samenwerken:

1. De Slimme Vertaler (De AI-Agent):
   Deze is als een zeer goed opgeleide tolk die gespecialiseerd is in hacker-taal. Zijn taak is het lezen van lange, rommelige rapporten over cyberaanvallen.

   • De Truc: In plaats van zomaar te raden, gebruikt deze AI een slimme zoektruc. Hij zoekt naar woorden die "soort" en "soortgenoot" zijn (in de academische taal: hyperoniemen en hyponiemen).
   • De Analogie: Stel je voor dat je een rapport leest over een "rode Ferrari die gestolen is". De AI denkt niet alleen aan de Ferrari, maar herkent ook dat dit een "sportauto" is en dat een sportauto een "voertuig" is. Door deze hiërarchie te begrijpen, kan hij beter begrijpen wat er gebeurt, in plaats van alleen te kijken naar specifieke woorden.

2. De Strenge Bouwmeester (Het Expert Systeem):
   Zodra de AI-assistent de informatie heeft vertaald, geeft hij het door aan de Bouwmeester. Deze is als een strenge architect die alleen werkt volgens de regels.

   • De Taak: Hij neemt de vertaalde informatie en schrijft er firewall-regels op (de digitale sluisdeuren).
   • De Veiligheid: Omdat AI soms dingen kan verzinnen (hallucineren), fungeert deze Bouwmeester als een controleur. Hij zorgt dat de regels die hij schrijft (in een taal genaamd CLIPS) technisch perfect zijn en echt werken. Hij is de "rekenmachine" die de "dromer" (de AI) controleert.

---

🚀 Hoe werkt het in de praktijk?

Het proces ziet eruit als een productielijn:

1. Invoer: Er komt een vers verslag binnen van een beveiligingsanalist over een nieuwe virusaanval.
2. Vertaling (De AI): De AI leest het verslag. Hij pakt niet zomaar zinnen eruit, maar zoekt naar de essentie. Hij denkt: "Ah, ze praten over een specifieke malware, maar dat valt onder de categorie 'netwerk-intrusie'."
3. Actie (De Expert): De AI stuurt dit concept naar de expert. De expert zegt: "Oké, als het een 'netwerk-intrusie' is, moeten we de poort 80 sluiten." Hij schrijft dan automatisch de code die deze poort sluit.
4. Resultaat: Binnen enkele seconden is er een nieuwe beveiligingsregel die automatisch het verkeer blokkeert, zonder dat een mens handmatig code hoeft te typen.

---

🏆 Wat was het resultaat?

De onderzoekers hebben dit systeem getest en het werkt verrassend goed:

• Slimmer zoeken: Door te kijken naar de "soort-relaties" (zoals auto vs. voertuig), was de AI veel beter in het vinden van de juiste informatie dan andere methoden. Het was alsof je een zoekopdracht doet in een bibliotheek en in plaats van alleen op titels te kijken, je ook op de inhoud van de boeken kijkt.
• Betrouwbare regels: De combinatie van de creatieve AI en de strenge expert zorgde ervoor dat de gegenereerde regels technisch correct waren. Mensen die dit hebben gecontroleerd, waren het erover eens dat de regels goed werkten.
• Sneller reageren: Het systeem kan dreigingen veel sneller omzetten in actieve verdediging dan mensen dat alleen kunnen.

💡 De Kernboodschap

Dit onderzoek laat zien dat we AI niet alleen moeten laten "dromen" over oplossingen, maar dat we het moeten koppelen aan strenge, logische systemen.

Het is als het bouwen van een auto: Je hebt een motor nodig die krachtig is (de AI), maar je hebt ook een stuur en remmen nodig die precies doen wat je zegt (het expert systeem). Alleen samen kunnen ze veilig en snel rijden in de gevaarlijke wereld van cyberveiligheid.

Kortom: Ze hebben een manier gevonden om AI te laten begrijpen wat hackers doen, en die kennis direct om te zetten in onmiddellijke, foutloze verdediging voor onze computers.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "From Threat Intelligence to Firewall Rules: Semantic Relations in Hybrid AI Agent and Expert System Architectures", geschreven in het Nederlands.

Probleemstelling

Webtoepassingen zijn kwetsbaar voor cyberaanvallen, waarbij aanvallers steeds vaker AI-gestuurde tools gebruiken om kwetsbaarheden geautomatiseerd te exploiteren. Dit creëert een structurele asymmetrie: verdedigers moeten het hele systeem beschermen, terwijl aanvallers slechts een paar zwakke plekken hoeven te vinden.
De huidige uitdaging ligt in het vertalen van complexe Cyber Threat Intelligence (CTI) rapporten naar praktische, automatische verdedigingsmaatregelen (zoals firewallregels). Bestaande AI-methoden hebben moeite met het automatisch categoriseren van gevoelige data, vooral vanwege de inherente complexiteit en de ernstige ongelijke verdeling van data (data imbalance) tussen verschillende soorten bedreigingen. Er is behoefte aan een betrouwbare, snelle en semantisch onderbouwde aanpak om bedreigingen te identificeren en direct te vertalen naar beveiligingsregels.

Methodologie

Het artikel presenteert een hybride architectuur die neurale AI-componenten (Large Language Models - LLMs) combineert met symbolische AI (Expert Systemen). De pipeline, genaamd Semantic Information Flow (SIF), werkt als volgt:

1. Semantische Extractie (Neuraal):

   • Een versterkte CoALA-agent (een multi-agent systeem) analyseert CTI-rapporten.
   • In plaats van ruwe tekst direct naar code te vertalen, gebruikt het een iteratieve prompt-strategie gebaseerd op taxonomische relaties: hyperoniemen (algemene termen) en hyponiemen (specifieke termen).
   • Het proces verloopt in drie fasen:
     1. Extractie van specifieke domein-entiteiten uit de tekst.
     2. Abstractie van deze entiteiten naar semantische categorieën (via hyper/hyponiemen).
     3. Generatie van specifieke operaties op basis van deze verrijkte representaties.
   • Dit zorgt voor een gestructureerd begrip van de bedreiging, wat essentieel is omdat CTI-rapporten vaak ongestructureerd en "ruisrijk" zijn.

2. Symbolische Verwerking en Code Generatie:

   • De geëxtraheerde semantische informatie wordt gebruikt om CLIPS-code (een regelsysteem voor expert systemen) te genereren.
   • Expert System A fungeert als een syntactische verificatielaag om "hallucinaties" van de LLM te detecteren en te corrigeren.
   • Expert System B (de Refinement Engine) gebruikt de gegenereerde CLIPS-regels om de benodigde beveiligingscapaciteiten te identificeren en deze om te zetten in daadwerkelijke filterregels (bijv. iptables regels) om kwaadaardig verkeer te blokkeren.

3. Determinisme:

   • Om de betrouwbaarheid te waarborgen, worden strikte maatregelen genomen voor deterministische inferentie van de LLM (vaste random seeds, uitschakelen van CuDNN-benchmarking, greedy decoding), zodat de output reproduceerbaar is.

Belangrijkste Bijdragen

1. Nieuwe Methodologie voor Semantische Extractie: Het introduceren van hyperoniem-hyponiem-relaties als kernmechanisme om semantisch rijke informatie uit CTI-rapporten te halen. Dit verbetert het begrip van beveiligingsgebeurtenissen en faciliteert de mapping naar verdedigingsstrategieën.
2. Hybride Agentic Systeem: Een systeem dat geautomatiseerd bedreigingen analyseert, passende beveiligingscontroles identificeert en CLIPS-code-artifacten genereert die direct kunnen worden ingezet voor firewallconfiguratie.
3. Empirische Validatie: Een diepgaande evaluatie van zowel de informatie-extractie als de code-generatie, waarbij bewezen wordt dat de methode robuuster is op onbalans data dan bestaande baselines.

Resultaten

De evaluatie is uitgevoerd op twee datasets (CTI-HAL en een corpus van het Center for Internet Security) met behulp van krachtige GPU-hardware (NVIDIA RTX 4090/5090).

• Taak A (Semantische Extractie & Classificatie):

  • De voorgestelde methode (gebaseerd op hyper/hyponiemen) presteerde significant beter dan baselines zoals Word2Vec, GloVe, SecureBERT en traditionele ML-methoden (SVM, Random Forest).
  • F1-score: De methode behaalde een gewogen F1-score van 0,329, wat een verbetering is van ongeveer 7% ten opzichte van de beste baselines.
  • Top-K Accuracy: De methode scoorde 0,968, wat aangeeft dat het zeer goed in staat is om relevante tekstfragmenten te selecteren.
  • Vergelijking met Chain-of-Thought (CoT): Hoewel CoT vergelijkbare nauwkeurigheid had, presteerde deze slechter op minder frequente klassen (minority classes), wat de superioriteit van de semantische structuur benadrukt.

• Taak B (Code Generatie & Firewall Regels):

  • De gegenereerde CLIPS-regels werden beoordeeld door cybersecurity-experts.
  • De resultaten toonden een hoge inter-annotator overeenstemming (Krippendorff's alpha van +0,5768 voor technische correctheid).
  • De regels waren syntactisch correct en toonden een hoge "fidelity" (trouw) aan de oorspronkelijke CTI-rapporten.

Betekenis en Conclusie

Dit onderzoek toont aan dat het combineren van Agentic AI met symbolische expert systemen een veelbelovende route is voor het automatiseren van incidentrespons in de cybersecurity.

• Betrouwbaarheid: Door de LLM-output te filteren via een symbolische laag (CLIPS) en gebruik te maken van semantische taxonomieën, wordt het risico op hallucinaties verminderd en wordt de output geschikt gemaakt voor kritieke beveiligingstaken.
• Efficiëntie: Het systeem kan complexe, ongestructureerde bedreigingsrapporten vertalen naar direct toepasbare firewallregels, wat de reactietijd van verdedigers aanzienlijk verkort.
• Toekomst: De auteurs pleiten voor verdere onderzoek naar determinisme in LLM's en de toepasbaarheid van deze aanpak in productieomgevingen, waarbij de focus ligt op het creëren van een betrouwbaar AI-gestuurde verdediging tegen evoluerende cyberdreigingen.