ExAI5G: A Logic-Based Explainable AI Framework for Intrusion Detection in 5G Networks

Titel: ExAI5G: Een Logica-gebaseerd Verklaarbaar AI-kader voor Inbraakdetectie in 5G-netwerken

1. Het Probleem

De uitrol van 5G-netwerken heeft een enorme connectiviteit voor IoT-apparaten mogelijk gemaakt, maar heeft ook het aanvalsoppervlak voor cyberinbraken aanzienlijk vergroot. Traditionele, handtekeningsgebaseerde detectiesystemen kunnen niet omgaan met nieuwe of evoluerende bedreigingen, waardoor machine learning (ML) en deep learning modellen worden ingezet voor anomaly detection.

Het fundamentele probleem is echter dat deze geavanceerde modellen vaak werken als "black boxes". Hoewel ze hoge detectiepercentages kunnen bereiken, ontbreekt het aan transparantie. Voor beveiligingsoperatoren creëert dit een vertrouwenskloof: zonder inzicht in waarom een model een waarschuwing afgeeft, is het moeilijk om te vertrouwen op de alert of effectief te reageren. Bestaande verklaarbare AI (XAI) methoden (zoals SHAP of LIME) zijn vaak instabiel en moeilijk om te vertalen naar concrete, actieerbare inzichten. Er is een dringende behoefte aan systemen die zowel hoge prestaties leveren als volledig transparant en logisch onderbouwd zijn.

2. Methodologie: Het ExAI5G-kader

ExAI5G is een raamwerk dat de afweging tussen prestatie en interpreteerbaarheid oplost door een deep learning-model te combineren met logica-gebaseerde uitlegtechnieken. Het kader bestaat uit vier hoofdstadia:

1. Transformer-based IDS Model:

   • Het systeem gebruikt een TabTransformer-architectuur om netwerkverkeer te analyseren.
   • Categorieën en string-waarden worden omgezet naar numerieke representaties.
   • Het model projecteert feature-vectoren naar 128-dimensionale embeddings, voegt een leerzame [CLS]-token toe en verwerkt dit via een Transformer-encoder (6 lagen, 8 heads).
   • Om klasse-ongelijkheid in het dataset aan te pakken, wordt een Focal Loss-functie gebruikt.

2. Feature Attribution met Integrated Gradients (IG):

   • Om te bepalen welke invoerfeatures de beslissingen van de Transformer beïnvloeden, wordt Integrated Gradients toegepast.
   • Dit berekent de bijdrage van elke feature ten opzichte van een nul-baseline, waardoor een ranglijst van de belangrijkste features voor een specifieke detectie ontstaat.

3. Surrogaat Decision Tree & Regelextractie:

   • Om het complexe Transformer-model interpreteerbaar te maken, wordt een surrogaat Decision Tree (CART) getraind. Deze tree leert de voorspellingen van de Transformer (als pseudolabels) na te bootsen.
   • Uit deze boom worden menselijk leesbare logische regels (if-then regels) geëxtraheerd. Bijvoorbeeld: ALS frame.time_relative hoog is EN tcp.stream groot is, DAN is het een DoS_MQTT-aanval.
   • De fideliteit (hoe goed de tree de originele modelvoorspellingen nabootst) en dekking worden gemeten.

4. LLM-gemedieerde Uitleg en Validatie:

   • De geëxtraheerde regels en feature-attributies worden ingevoerd in Large Language Models (LLMs) (o.a. Qwen2.5, Llama3.1, Phi4, Gemma3) om natuurlijke taalverklaringen te genereren.
   • Nieuwe Validatiemethode: Het paper introduceert een drietalige validatieschema om de kwaliteit van deze LLM-verklaringen automatisch te beoordelen:
     • Semantische Similariteit: Vergelijking van de vector-embeddings van de logische regel met de tekst van de LLM.
     • Attributie-Getrouwheid (Faithfulness): Programmeermatige controle of de taal van de LLM (bijv. "hoog", "laag") overeenkomt met het teken van de attributiescore (positief/negatief).
     • Actieerbaarheidsscore: Een krachtige evaluator-LLM (Llama3.3:70b) scoort de uitleg op een schaal van 1-5 op basis van hoe nuttig deze is voor een beveiligingsexpert (bijv. suggereert het een concrete volgende stap?).

3. Belangrijkste Bijdragen

• Nieuw XAI-kader: Een geïntegreerd systeem dat een deep learning IDS transparant maakt via logische regelextractie en gevalideerde natuurlijke taalverklaringen.
• Validatieschema: Een innovatieve, drie-onderdelen validatie voor LLM-gegenereerde uitleg die semantische consistentie, getrouwheid aan de attributies en actieerbaarheid meet.
• Prestatie vs. Transparantie: Een directe vergelijking die aantoont dat een verklaarbaar systeem bijna dezelfde prestaties kan leveren als een "black box" model, zonder in te leveren op betrouwbaarheid.
• Kwantitatieve Analyse van LLMs: Een vergelijking van vier verschillende LLMs, waarbij wordt aangetoond dat moderne modellen perfecte scores kunnen behalen op getrouwheid en actieerbaarheid.
• Expertstudie: Een pilotstudie met twee beveiligingsanalisten die de correlatie tussen menselijke beoordeling en LLM-as-judge metrics onderzocht.

4. Resultaten

Het systeem is getest op een uitgebreid 5G/IoT-inbraakdataset (9 klassen, inclusief diverse aanvallen zoals DDoS, DoS_MQTT, en Brute Force).

• Classificatieprestaties:
  • De Transformer bereikte een nauwkeurigheid van 99,9% en een macro F1-score van 0,854.
  • Hoewel ensemble-methoden zoals Random Forest een iets hogere F1-score (0,989) hadden, waren deze niet interpreteerbaar. ExAI5G biedt een uitstekend alternatief met hoge transparantie.
• Regelextractie:
  • Er werden 16 logische regels geëxtraheerd met een fideliteit van 99,7%.
  • Deze regels dekken 100% van de testcases (na pruning 99,998%), wat betekent dat het gedrag van het complexe model bijna volledig kan worden samengevat in eenvoudige logica.
• LLM-evaluatie:
  • De modellen Qwen2.5:14b en Phi4:14b presteerden het beste, met attributie-getrouwheidsscores van respectievelijk 0,99 en 0,98 en actieerbaarheidsscores van 4,6 en 4,5 (op een schaal van 5).
  • De uitleggen waren niet alleen semantisch correct, maar ook technisch accuraat (bijv. het correct interpreteren van "hoge" attributies als "hoog" in de tekst).
• Efficiëntie:
  • De inferentielatentie is extreem laag: 2,48 ms per flow op een CPU, wat real-time implementatie in 5G-netwerken mogelijk maakt.

5. Betekenis en Conclusie

De kernboodschap van ExAI5G is dat in kritieke domeinen zoals 5G-beveiliging vertrouwen en transparantie even belangrijk zijn als pure nauwkeurigheid. Een model dat perfect werkt maar niet verklaarbaar is, kan operationeel nutteloos zijn omdat beveiligingsanalisten het niet kunnen verifiëren.

Dit paper bewijst dat het mogelijk is om een systeem te bouwen dat:

1. Hoge prestaties levert (99,9% nauwkeurigheid).
2. Volledig transparant is via logische regels.
3. Betrouwbare uitleggen genereert die door experts als actieerbaar worden ervaren.

De studie benadrukt dat de "trade-off" tussen prestatie en interpreteerbaarheid niet langer een noodzaak is; door logica-gebaseerde methoden en geavanceerde LLM-validatie kunnen we betrouwbare, "white-box" beveiligingssystemen creëren die klaar zijn voor de complexe 5G-omgeving. Toekomstig werk richt zich op het testen op diverse datasets, het verbeteren van de fideliteit van surrogaatmodellen en het ontwikkelen van verdedigingsmechanismen tegen adversariale aanvallen die specifiek gericht zijn op de verklaarbare regels.