🤖 AI

Next-generation cyberattack detection with large language models: anomaly analysis across heterogeneous logs

Dit artikel introduceert een tweefasig large language model-framework en nieuwe gebalanceerde datasets om de beperkingen van traditionele intrusiedetectiesystemen te overwinnen, waarbij praktische, goedkope, real-time anomaliedetectie over heterogene logbronnen wordt bereikt terwijl datatekort en misleidende evaluatiemetrieken worden aangepakt.

Oorspronkelijke auteurs: Yassine Chagna, Antal Goldschmidt

Gepubliceerd 2026-02-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yassine Chagna, Antal Goldschmidt

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de hoofd van de beveiliging bent van een enorme, bruisende stad. Elke dag lopen miljoenen mensen door de straten, betreden gebouwen en maken gebruik van diensten. Meestal gaat iedereen gewoon zijn gang. Maar af en toe probeert een dief een bank te overvallen, of een saboteur probeert het elektriciteitsnet te manipuleren.

Jouw taak is om de surveillancecamera's (de logs) in de gaten te houden en de boeven te spotten. Het probleem is dat er zoveel camera's zijn en ze allemaal verschillende talen spreken. De ene camera praat over "deursloten", een andere over "e-mailverkeer" en een derde over "servertemperaturen". Traditionele beveiligers (oude computerprogramma's) raken overweldigd. Ze missen de dieven omdat ze de context niet begrijpen, óf ze schreeuwen "BRAND!" telkens wanneer iemand een deur opent, wat zorgt voor een paniek van valse alarmen.

Dit artikel introduceert een nieuwe, slimmere manier om dit te doen met behulp van Large Language Models (LLM's)—denk aan superintelligente detectives die de "verhalen" kunnen lezen en begrijpen die in deze logs worden geschreven. Hier is hoe ze het probleem hebben opgelost, uitgelegd in eenvoudige stappen:

1. Het Probleen: De "Naald in de Hooiberg" is kapot

De auteurs wijzen op een grote tekortkoming in de manier waarop we deze beveiligingssystemen momenteel testen.

De Analogie: Stel je voor dat een leraar een leerling een toets geeft met 99 vragen over "Appels" en slechts 1 vraag over "Oranjes". Als de leerling op elke vraag simpelweg "Appel" antwoordt, haalt hij een score van 99%! Maar hij is volledig gefaald in het vinden van de sinaasappel.
De Realiteit: In het echte leven zijn cyberaanvallen zeldzaam (zoals de sinaasappel). De meeste logs zijn normaal. Oude tests waren als die neptest; ze lieten modellen slim lijken omdat ze gewoon gokten dat "alles normaal is". Wanneer deze modellen daadwerkelijk werden ingezet, misten ze elke aanval.

2. De Oplossing: Een Betere Bibliotheek Bouwen (De Datasets)

Om dit op te lossen, hebben de auteurs twee nieuwe "bibliotheken" van gegevens (datasets) gebouwd om hun AI op te trainen.

Bibliotheek A (LogAtlas-Foundation-Sessions): Dit is als een enorme encyclopedie van hoe een stad normaal gesproken functioneert. Het bevat 19 miljoen log-items van 8 verschillende soorten systemen (servers, firewalls, e-mail). Het leert de AI de "grammatica" en het "vocabulaire" van het normale leven, zodat het weet hoe een "normale dag" eruitziet.
Bibliotheek B (LogAtlas-Defense-Set): Dit is de trainingsgrond voor de eigenlijke detectives. In tegenstelling tot de oude bibliotheken is deze gebalanceerd. Het bevat veel meer "aanval"-voorbeelden (ongeveer 35% van de data), zodat de AI echt leert om de boeven te spotten in plaats van alleen maar te gokken dat "alles in orde is".

3. De Trainingsstrategie: De Meester en de Leerling

De auteurs gebruikten een slimme tweestaps-trainingsmethode om het beste resultaat te krijgen zonder een supercomputer ter grootte van een gebouw nodig te hebben.

Stap 1: De Meesterdetective (Base-AMAN)
Ze trainden een groot, slim model (3 miljard parameters) op Bibliotheek A. Dit model werd een expert in het begrijpen van de context van logs. Het leerde dat een "mislukte login" om 3 uur 's nachts anders is dan een mislukte login om 3 uur 's middag, of dat een plotselinge piek in het verkeer van een specifieke server verdacht is. Het is als een ervaren detective die alles heeft gezien.
- Tech-truc: Ze gebruikten een techniek genaamd Soft Mixture-of-Experts, wat lijkt op een team van specialisten (één voor netwerklogs, één voor e-mail, enz.) die allemaal samenwerken aan elke zaak, in plaats van slechts één persoon die alles probeert te doen.
Stap 2: De Leerling (AMAN)
Je kunt geen model van 3 miljard parameters draaien op een goedkope laptop; dat is te traag en te duur. Daarom gebruikten ze Knowledge Distillation.
- De Analogie: Stel je voor dat de Meesterdetective (het grote model) naast een jonge Leerling (een pieklein model van 0,5 miljard parameters) gaat zitten. De Meester zegt niet alleen: "Dit is een misdaad." In plaats daarvan legt de Meester uit waarom: "Dit lijkt voor 65% op een misdaad en voor 3% op een fout." De Leerling leert van deze genuanceerde verklaringen.
- Het Resultaat: De Leerling wordt bijna even slim als de Meester, maar is klein, snel en goedkoop in gebruik.

4. De Resultaten: Snel, Goedkoop en Echt

Het artikel beweert dat dit nieuwe systeem werkt in de echte wereld, niet alleen in een lab.

Snelheid: Het piekleine Leerling-model kan een sessie van 500 logregels analyseren in 0,2 tot 0,5 seconden. Dat is snel genoeg om een hacker in realtime te betrappen.
Kosten: Het draaien van dit systeem kost ongeveer $10 tot $50 per dag op standaard cloudcomputers. De auteurs vergelijken dit met de kosten van het inhuren van een junior analist voor slechts 30 minuten. Het is goedkoop genoeg om 24/7 te draaien.
Betrouwbaarheid: Omdat ze op de "gebalanceerde" dataset hebben getraind, gokt het model niet simpelweg "normaal". Het spot daadwerkelijk de aanvallen zonder beveiligingsteams te overspoelen met valse alarmen.

De Belangrijkste Conclusie

De auteurs stellen dat het vakgebied van cybersecurity moet stoppen met het gebruiken van "nep" tests die modellen goed laten lijken maar falen in het echte leven. Ze hebben geleverd:

Betere Data: Realistische, gebalanceerde datasets die daadwerkelijke aanvallen weerspiegelen.
Betere Training: Een manier om kleine, snelle modellen slim te maken door te leren van grote, trage modellen.
Een Nieuwe Standaard: Een oproep aan de industrie om het eens te worden over hoe deze systemen correct te testen, zodat wanneer een model zegt dat het "99% accuraat" is, het ook echt betekent dat het de boeven kan vangen, en niet alleen de boeven negeert.

Kortom, ze hebben een slimme, betaalbare en snelle "digitale beveiligingsbeambte" gebouwd die daadwerkelijk begrijpt waar hij naar kijkt, in plaats van dat hij gewoon gokt.

Technische Samenvatting: Volgende Generatie Cyberaanvaldetectie met Large Language Models

1. Probleemstelling

Het vakgebied van loggebaseerde anomaliedetectie staat voor een kritieke triade van uitdagingen: semantische blindheid, datascarciteit en evaluatierelatie-misalignment. Traditionele regelgebaseerde en machine learning-systemen falen in het generaliseren over heterogene logbronnen, omdat ze vaak vertrouwen op rigide parsing die breekt bij de evolutie van templates. Bovendien zorgt de inherente zeldzaamheid van kwaadaardige activiteiten in real-world logs voor een ernstige klassenimbalans. Deze imbalans leidt tot een "metingscrisis" waarbij standaardmetrieken (bijv. nauwkeurigheid, F1-score) misleidend zijn; modellen kunnen een hoge nauwkeurigheid bereiken door simpelweg de meerderheidsklasse (normaal gedrag) te voorspellen, wat resulteert in nul werkelijke detecties van aanvallen. Daarnaast zijn bestaande Large Language Model (LLM) benaderingen vaak computationeel onhaalbaar voor real-time implementatie of beperkt tot enkelvoudige logtypen, waarbij ze de semantische diepte missen om sequentiële gedragspatronen over diverse systemen heen te interpreteren.

2. Methodologie

De auteurs stellen een twee-fasen trainingsframework voor dat ontworpen is om een balans te vinden tussen diep semantisch begrip en operationele haalbaarheid in real-time.

Fase 1: Foundation Model Training (Base-AMAN)

Doel: Een algemeen model voor log-begrip ontwikkelen zonder anomaliedetectie-specifieke bias.
Data: Getraind op LogAtlas-Foundation-Sessions, een dataset bestaande uit meer dan 44.000 temporele sessies en ~~19 miljoen ruwe logevents van acht diverse enterprise testbeds. Deze dataset behoudt de natuurlijke klassenverdeling (~~2% aanvalsprevalentie) om ervoor te zorgen dat het model algemene syntaxis, templates en temporele structuren leert.
Architectuur: Maakt gebruik van Qwen2.5-3B-Instruct als basis.
Optimalisatiestrategie:
- Chinchilla Scaling: Houdt zich aan het principe van het gelijkmatig schalen van parameters en tokens, gericht op ~51,6 tokens per parameter.
- Parameter-Efficient Fine-Tuning (PEFT): Gebruikt Low-Rank Adaptation (LoRA) met rang $r=16$ , waarbij 99% van de gewichten wordt bevroren en slechts ~0,96% van de parameters wordt getraind.
- Soft Mixture-of-Experts (Soft-MoE): Vervangt dichte feed-forward lagen door een differentieerbaar soft-routing mechanisme met vier experts. Dit stelt alle experts in staat om deel te nemen aan elke forward pass, wat ondertraining van experts voorkomt terwijl specialisatie over diverse logpatronen mogelijk wordt gemaakt.

Fase 2: Knowledge Distillation (AMAN)

Doel: De semantische kennis van de 3B-parameter leraar (teacher) comprimeren naar een lichtgewicht, inzetbaar student-model voor real-time detectie.
Data: Getraind op LogAtlas-Defense-Set, een gebalanceerde dataset met ~35% aanvalsprevalentie. Deze kunstmatige balans voorkomt de "majority class collapse" die wordt waargenomen bij imbalanced training, waardoor het model wordt gedwongen om discriminerende grenzen te leren.
Architectuur: Distilleert kennis naar Qwen2.5-0.5B-Instruct (0,5B parameters).
Distillatiemechanisme: Gebruikt temperature-scaled softmax ( $T=4.0$ ) om "dark knowledge" (soft probability distributions) van de leraar naar de student over te dragen. De loss-functie combineert Kullback-Leibler (KL) divergentie (distillatie loss) en cross-entropy (classificatie loss) met gelijke weging ( $\alpha=0.5$ ).

Data Engineering

Het artikel introduceert twee nieuwe datasets om het gebrek aan moderne, heterogene benchmarks aan te pakken:

LogAtlas-Foundation-Sessions: Aggregeert logs van 50+ brontypen (Apache, DNS, Suricata, etc.) met rijke metadata (host, tijd, duur) en natuurlijke aanvalsprevalentie.
LogAtlas-Defense-Set: Een gebalanceerde subset (~35% aanvallen) die specifiek is ontworpen om discriminerende classificaties te trainen, om zo de degeneratieve oplossingen te vermijden die gebruikelijk zijn in imbalanced security datasets.

3. Belangrijkste Resultaten

De studie legt de nadruk op praktische operationele metrieken boven standaard benchmark scores, die de auteurs naar eigen zeggen vaak betekenisloos zijn in beveiligingscontexten.

Inference Snelheid: Het gedistilleerde 0,5B model bereikt inferentietijden van 0,2–0,5 seconden per sessie (500 logregels) op commodity single-GPU hardware (bijv. NVIDIA RTX 3080). Dit is een significante verbetering ten opzichte van de 2–5 seconden die vereist zijn door de 3B leraar.
Operationele Kosten: Het systeem maakt de analyse van 10.000–50.000 logsessies per dag mogelijk tegen een geschatte kostprijs van $10–50 per dag op cloud-infrastructuur, vergelijkbaar met de kosten van 30 minuten arbeid van een junior analist.
Failure Mode Analyse: Empirische benchmarking toonde aan dat standaardmodellen (RoBERTa, LogBERT) getraind op imbalanced data lijden aan "catastrophic class collapse", waarbij ze alleen de meerderheidsklasse voorspellen, zelfs wanneer de proportie aanvallen in de testset hoog is. Dit valideert de noodzaak van de gebalanceerde trainingsstrategie gebruikt in Fase 2.
Stabiliteit: Het gedistilleerde model behoudt een continue operatie zonder hallucinaties die incident response-teams zouden overweldigen, waarbij het succesvol het aantal valse alarmen vermindert terwijl het root cause analyse ondersteunt.

4. Betekenis en Bijdragen

Het artikel positioneert zichzelf niet louter als een modelverbetering, maar als een correctie op de gefragmenteerde staat van log-anomaliedetectie onderzoek.

Infrastructuurkloof: De auteurs stellen dat het vakgebied een gebrek heeft aan gestandaardiseerde infrastructuur (leaderboards, gedeelde benchmarks, overeengekomen metrieken) die wel aanwezig is bij algemene domein LLM-ontwikkeling. Deze fragmentatie verhindert cumulatieve vooruitgang en maakt vergelijking tussen verschillende papers onmogelijk.
Dataset Bijdrage: De release van LogAtlas-Foundation-Sessions en LogAtlas-Defense-Set biedt de eerste openbaar beschikbare, heterogene en gebalanceerde datasets met expliciete aanvalsannotaties, wat de schaarste aan moderne, privacy-bewuste benchmarks aanpakt.
Paradigmaverschuiving in Evaluatie: Het werk daagt de afhankelijkheid van standaardmetrieken (F1, nauwkeurigheid) voor beveiligingsapplicaties uit, door aan te tonen hoe deze totale detectiefouten kunnen maskeren in imbalanced scenario's. Het pleit voor evaluatieprotocollen die in lijn zijn met de operationele realiteit.
Haalbaarheid: Door de combinatie van Chinchilla scaling, Soft-MoE en knowledge distillation, demonstreert het onderzoek dat hoogwaardige, real-time anomaliedetectie computationeel haalbaar is op standaard hardware, waarmee het veld beweegt van theoretische "black box" modellen naar praktische, inzetbare tools.

Concluderend stelt het artikel dat de weg vooruit voor log-anomaliedetectie een institutionele toewijding vereist aan gedeelde infrastructuur en realistische evaluatiestandaarden, in plaats van geïsoleerde oplossingen voor laboratoriumproblemen.