Neurosymbolic Learning for Advanced Persistent Threat Detection under Extreme Class Imbalance

Dit artikel presenteert een neurosymbolische architectuur die een geoptimaliseerd BERT-model combineert met logica-tensornetwerken om met hoge nauwkeurigheid en uitlegbaarheid geavanceerde aanhoudende bedreigingen (APTs) in IoT-netwerken te detecteren, ondanks extreme klassenonevenwichtigheid.

De kern

Stel je voor dat je een enorme, drukke stad bent (een slimme stad met duizenden IoT-apparaten zoals slimme lampen, sensoren en camera's). In deze stad gebeurt er bijna altijd niets bijzonders: mensen lopen rond, lampen gaan aan en uit. Dit is de normale verkeersstroom.

Maar dan zijn er ook sluipende dieven (de hackers). Ze komen niet met een brede klap, maar sluipen in, kijken eerst rond, verplaatsen zich van huis naar huis, en stelen pas op het einde iets kleins. Dit noemen we een APT (Advanced Persistent Threat).

Het probleem is tweeledig:

1. De naald in de hooiberg: Er zijn miljoenen normale activiteiten en slechts een handjevol dieven. Als je een gewone camera (een standaard computerprogramma) neerzet, ziet die alleen maar de massa en mist de dieven, of hij roept te vaak "Dief!" terwijl het gewoon een voorbijganger is.
2. De zwarte doos: Zelfs als de camera een diep ziet, zegt hij niet waarom. "Ik denk dat die man een dief is." Maar waarom? Welke stap gaf het weg? Voor beveiligingsexperts is dat niet genoeg; ze moeten het begrijpen om te weten of het echt gevaar is.

De Oplossing: Een Team van een Genie en een Logica-Meester

De auteurs van dit paper hebben een slimme oplossing bedacht: Neurosymbolic Learning. Ze hebben twee experts samengevoegd tot één team:

1. Het Genie (BERT - De Neural Component):
   Dit is een heel slimme AI die gewend is om taal te begrijpen (zoals een vertaalbot). In plaats van woorden, leert deze AI nu "zinnen" van netwerkdata. Hij kijkt naar patronen. Hij ziet: "Oh, dit gedrag lijkt op wat dieven doen." Hij is goed in het voelen van patronen, maar hij kan soms niet goed uitleggen waarom.

2. De Logica-Meester (LTN - De Symbolic Component):
   Dit is de strenge, logische denker. Hij werkt met regels, zoals een detective die een checklist afwerkt. Hij vraagt zich af: "Is de data-overdracht groter dan normaal? Is er een verdachte poort gebruikt?" Hij geeft een score: "Ja, dit klopt met de regels voor diefstal."

Hun samenwerking:
Het Genie kijkt naar de data en zegt: "Ik zie een patroon!" De Logica-Meester zegt: "Laat me checken of dit patroon voldoet aan onze regels." Samen beslissen ze. Het mooie is: omdat de Logica-Meester erbij is, kunnen ze precies uitleggen welke regel het verdachte gedrag veroorzaakte. Geen "zwarte doos" meer, maar een transparant proces.

Hoe gaan ze om met de "Naald in de Hooiberg"?

Omdat er zo weinig dieven zijn (slechts 1,65% van de data), zou een gewone AI denken: "Ik roep gewoon 'Alles is veilig' en ik heb 98% van de tijd gelijk." Dat is nutteloos.

De auteurs gebruiken een tweestaps-strategie:

• Stap 1: De Poortwachter. Een simpele, snelle check. "Is dit normaal of verdacht?" Als het verdacht is, gaat het door. Als het normaal is, gaat het weg. Hierdoor hoef je niet elke seconde te controleren op de soort diefstal, maar alleen op "Is er überhaupt iets aan de hand?".
• Stap 2: De Detective. Alleen als de Poortwachter roept "Stop!", komt de Detective kijken. Welk type diefstal is het? Is het "inbraken", "spioneren" of "weglopen met de schat"? Omdat de Detective alleen naar de verdachte gevallen kijkt, is de verhouding tussen dieven en slachtoffers hier veel eerlijker, waardoor hij veel beter kan leren.

Wat is het resultaat?

Ze hebben dit getest op een echte dataset met slimme stadsdata.

• Succes: Ze vonden 95% van de echte dieven.
• Geen onnodig lawaai: Ze riepen maar 1 keer per 1000 keer "Dief!" terwijl het veilig was (een heel lage "false positive" rate). Dit is cruciaal, want als je te vaak alarm slaat, stoppen mensen met luisteren (vermoeidheid).
• Vertrouwen: Het belangrijkste: ze kunnen bewijzen waarom ze een alarm slaan. Ze hebben statistisch bewezen dat de AI kijkt naar de juiste dingen (zoals de grootte van pakketten of de snelheid van verbindingen) en niet naar toeval.

Conclusie in één zin

Dit systeem is als een super-slimme, logische bewaker die niet alleen ziet wie er iets stiekems doet, maar je ook precies kan vertellen waarom hij dat denkt, zodat je er volledig op kunt vertrouwen in een wereld vol slimme apparaten.

Technische samenvatting

Probleemstelling

De toenemende implementatie van Internet of Things (IoT)-apparaten in slimme steden en industriële omgevingen vergroot het aanvalsoppervlak voor geavanceerde, aanhoudende bedreigingen (Advanced Persistent Threats of APT's). Deze aanvallen zijn vaak sluipend, multi-stadia en maken misbruik van draadloze communicatie. De detectie hiervan staat voor twee fundamentele uitdagingen:

1. Extreme Class Imbalance (Klasse-ongelijkheid): In netwerkverkeer is het aandeel kwaadaardig verkeer extreem klein (bijvoorbeeld slechts 1,65% aanval, 98,35% normaal verkeer). Traditionele deep learning-modellen zijn hierdoor vaak inefficiënt omdat ze geoptimaliseerd zijn voor algehele nauwkeurigheid en de zeldzame aanvalssamples negeren.
2. Gebrek aan Explainability (Verklaringbaarheid): Bestaande systemen fungeren als "black boxes". Zonder inzicht in de beslissingslogica kunnen beveiligingsanalisten waarschuwingen niet valideren of mitigatiestrategieën ontwikkelen, wat essentieel is voor autonome systemen zonder menselijk toezicht.

Methodologie: Neurosymbolische Architectuur

De auteurs stellen een nieuw raamwerk voor dat BERT (een transformer-model voor patroonherkenning) combineert met Logic Tensor Networks (LTN) (voor symbolisch logisch redeneren). Deze hybride architectuur is ontworpen om zowel hoge prestaties als intrinsieke verklaringbaarheid te bieden.

1. Data Preprocessing en Feature Encoding

• Dataset: Gebruik van de SCVIC-APT2021-dataset, die realistisch IoT-verkeer bevat met een extreme onbalans (98,35% normaal).
• Feature Selectie: Uit 84 oorspronkelijke kenmerken wordt een set van 12 discriminatieve kenmerken geselecteerd via een consensusbenadering (Random Forest, Extra Trees, Mutual Information, F-test).
• BERT-Compatibiliteit: Omdat BERT sequentiële invoer vereist en netwerkverkeer tabulair is, worden de 12 kenmerken geëncodeerd als "tokens". Elk kenmerk wordt geprojecteerd naar een 768-dimensionele vector. Er worden speciale [CLS] en [SEP] tokens toegevoegd om een sequentie van 14 tokens te vormen.

2. De Neurosymbolische Architectuur
Het model bestaat uit twee parallelle paden die samenwerken:

• Neurale Component (BERT): Verwerkt de sequentie van kenmerken via multi-head attention. De attention-weights van de [CLS]-token worden gebruikt voor feature attribution, wat aangeeft welke kenmerken het meest invloedrijk waren voor een specifieke voorspelling.
• Symbolische Component (LTN): Werkt direct op de genormaliseerde invoer en implementeert 16 leerbare logische predikaten (bijv. "groot voorwaarts gegevensoverdracht", "ongebruikelijke poortactiviteit").
  • Elk predikaat leert specifieke attention-weights om te bepalen welke invoerfeatures relevant zijn.
  • De uitkomst is een "satisfaction degree" (waarde tussen 0 en 1) die aangeeft in hoeverre een domeinconcept waar is voor een gegeven stroom.
  • Een leerbare gewichtsvector combineert deze predikaten tot een uiteindelijke beslissing.

3. Hiërarchische Classificatie voor Onbalans
Om het extreme onbalansprobleem op architecturaal niveau op te lossen, wordt een tweestaps-strategie gebruikt in plaats van synthetische data-augmentatie (zoals SMOTE):

• Fase 1 (Binair Detectie): Een lichtgewicht classifier onderscheidt "Normaal" van "Aanval". Dit lost het probleem van de 98,35% : 1,65% verhouding op.
• Fase 2 (APT Categorisatie): Alleen stromen die als "Aanval" zijn gedetecteerd in Fase 1, worden doorgestuurd naar een dieper MLP voor classificatie in vijf APT-fasen (Initial Compromise, Reconnaissance, Lateral Movement, Pivoting, Data Exfiltration). Omdat Fase 2 alleen op het aangevallen subset werkt, is de onbalans daar veel minder extreem.

4. Trainingsdoel en Loss Functies
De training combineert drie loss-componenten:

• Focal Loss (Fase 1): Benadrukt moeilijk te classificeren voorbeelden (subtiele aanvallen) en straft makkelijke negatieve voorbeelden (normaal verkeer) minder zwaar.
• Gewogen Cross-Entropy (Fase 2): Geeft hogere straffen voor het verkeerd classificeren van zeldzame aanvalstypen (bijv. Initial Compromise).
• Consistency Loss: Zorgt ervoor dat de logische uitkomst van de LTN consistent is met de binare ground-truth labels, waardoor de symbolische redenering niet losstaat van de feitelijke detectie.

Belangrijkste Bijdragen

1. Eerste Neurosymbolische IoT-IDS: Dit is het eerste werk dat een transformer-based (BERT) architectuur combineert met logische redenering (LTN) voor IoT-intrusiedetectie, waarbij verklaringbaarheid in het trainingsproces is geïntegreerd in plaats van post-hoc.
2. Architecturale Innovatie voor Onbalans: De hiërarchische twee-staps aanpak vermijdt de ambiguïteit van synthetische data (SMOTE) en behoudt de interpretatie van de leerpatronen.
3. Statistisch Geverifieerde Explainability: De auteurs leveren kwantitatief bewijs dat de door het model gebruikte kenmerken statistisch significant verschillen tussen aanval en normaal verkeer, wat de betrouwbaarheid van de uitleg garandeert.

Resultaten

Het model is geëvalueerd op een vastgehouden testset van de SCVIC-APT2021-dataset:

• Binair Detectie (Fase 1):
  • F1-score: 95,27%
  • False Positive Rate (FPR): 0,14% (extreem laag, cruciaal voor operationele bruikbaarheid).
  • Weighted F1: 99,70%.
• Multi-class Categorisatie (Fase 2):
  • Macro F1-score: 76,75%.
  • De prestaties variëren per klasse; "Data Exfiltration" scoort lager (40,86%) vanwege de zeldzaamheid en subtiliteit, maar "Initial Compromise" scoort hoog (86,52%).
• Vergelijking met State-of-the-Art: Hoewel de macro F1-score iets lager is dan sommige niet-interpretabele SOTA-modellen (ACM: 82,27%, PKI: 81,37%), biedt het voorgestelde model de unieke combinatie van hoge detectie, extreem lage false positives en intrinsic explainability.
• Ablatie Studies: Vergelijkingen met pure BERT, BERT met few-shot learning en andere baselines tonen aan dat de neurosymbolische component essentieel is voor de prestaties (Macro F1 van 0,76 vs. 0,39-0,43 voor baselines).

Betekenis en Conclusie

Dit onderzoek demonstreert dat het mogelijk is om hoogpresterende, interpreteerbare en operationeel haalbare IDS-systemen te bouwen voor IoT-netwerken, zelfs onder extreme onbalanscondities.

• Vertrouwen: Door de beslissingen te baseren op logische predikaten en statistisch gevalideerde kenmerken, wordt "alert fatigue" verminderd en kan het systeem autonoom worden ingezet.
• Toekomst: De huidige architectuur vereist aanzienlijke rekenkracht (110M parameters), maar toekomstig werk richt zich op modeldistillatie voor implementatie op gateway-apparaten.

Kortom, het papier levert een doorbraak in het balanceren van nauwkeurigheid, interpretatie en operationele betrouwbaarheid voor de detectie van complexe APT-aanvallen in IoT-omgevingen.