CAM-LDS: Cyber Attack Manifestations for Automatic Interpretation of System Logs and Security Alerts

Dit paper introduceert CAM-LDS, een nieuw open-source dataset met gelabelde logbestanden van diverse cyberaanvallen, om de beperkingen van handmatige analyse en regelgebaseerde systemen te overwinnen en het potentieel van Large Language Models voor semantische loginterpretatie en aanvalsdetectie te demonstreren.

De kern

Titel: De Digitale Politie en de Slimme Vertaler: Een Nieuw Gereedschap voor Cyberveiligheid

Stel je voor dat een computerbedrijf een enorme bibliotheek is. Elke dag komen er miljarden boeken binnen, maar deze boeken zijn niet geschreven in leesbare zinnen. Ze zijn vol met rare symbolen, codes en onbegrijpelijke krabbels. Dit zijn de systeemlogs: de dagboeken van computers die registreren wat er gebeurt.

Normaal gesproken moeten beveiligingsexperts (de "politie" van de digitale wereld) deze miljoenen boeken handmatig doorbladeren om te zien of er een inbreker is geweest. Dat is als proberen een naald te vinden in een hooiberg, terwijl de hooiberg elke seconde groter wordt.

De auteurs van dit paper, een team van onderzoekers uit Oostenrijk, hebben een oplossing bedacht die bestaat uit twee delen: een nieuwe "spoorboekje" en een slimme vertaler.

1. Het Spoorboekje: CAM-LDS

Tot nu toe was het heel moeilijk om te oefenen met het vinden van hackers, omdat er geen goede, openbare voorbeelden waren. Bestaande datasets waren vaak verouderd, te simpel, of alleen voor Windows-computers.

De onderzoekers hebben daarom CAM-LDS gemaakt.

• De Metafoor: Stel je voor dat ze een volledig opgebouwd, leeg dorpje hebben gebouwd (een virtueel testomgeving). In dit dorpje hebben ze vervolgens 7 verschillende scenarios nagespeeld waarin hackers proberen in te breken.
• De Actie: Ze hebben niet zomaar geknoeid; ze hebben 81 verschillende "trucs" (technieken) gebruikt die echte hackers ook gebruiken. Denk aan: wachtwoorden kraken, verborgen deuren openen, of bestaande systemen misbruiken.
• Het Resultaat: Ze hebben elke stap van deze inbraken vastgelegd. Ze hebben niet alleen de logs van de computers zelf, maar ook de waarschuwingen van de alarmen (IDS) en zelfs hoe snel de computers werden belast tijdens de inbraak.
• Waarom is dit cool? Omdat alles open-source is, kan elke onderzoeker ter wereld dit "dorpje" opnieuw opzetten en precies hetzelfde scenario spelen. Het is als een trainingscentrum voor digitale politieagenten, waar ze kunnen oefenen zonder echte schade aan te richten.

2. De Slimme Vertaler: LLM's

Nu hebben ze die logs, maar hoe lees je ze? Hier komt de Grote Taalmodel (LLM) in beeld. Denk aan een AI zoals ChatGPT, maar dan gespecialiseerd in beveiliging.

• Het Probleem: Traditionele software kijkt alleen naar vaste patronen (bijvoorbeeld: "Als er 'hack' in de tekst staat, is het gevaarlijk"). Maar hackers zijn slim; ze veranderen hun taal.
• De Oplossing: De onderzoekers hebben de AI gevraagd om de rare log-boeken te lezen en te vertalen naar menselijke taal. Ze vroegen de AI: "Wat is hier aan de hand? Is dit een hacker of gewoon een normale werknemer?"
• De Test: Ze gaven de AI stukjes van die logs en keken of de AI de juiste "hack-truc" kon benoemen uit een lijst van 216 mogelijke trucs (de MITRE ATT&CK lijst).

Wat bleek eruit?

De resultaten waren verrassend goed, maar ook niet perfect:

1. De Top-performers: Bij ongeveer 1 op de 3 inbraakstappen kon de AI de truc perfect benoemen. De AI zag bijvoorbeeld: "Oh, iemand probeerde een wachtwoord te kraken via een webpagina, en dat is verdacht!"
2. De Gemiddelden: Bij nog eens 1 op de 3 stappen zat het antwoord in de top-10 van de AI. Het was dus niet perfect, maar de AI had wel de juiste richting opgepikt.
3. De Moeilijke Cases: Bij de laatste derde was het lastig. Soms zijn de logs zo vaag of lijken ze zo veel op normaal gedrag dat zelfs de slimme AI het niet zag.

De les: De AI werkt het beste als de hacker duidelijk zichtbare sporen achterlaat (zoals het uitvoeren van een commando) of als er veel activiteit is (veel logs op een korte tijd). Als de hacker heel subtiel is, is het nog steeds lastig.

Waarom is dit belangrijk voor jou?

Vroeger moesten beveiligingsexperts urenlang zitten te zoeken in die onbegrijpelijke codes. Met dit nieuwe systeem (CAM-LDS) en de slimme AI kunnen ze:

• Sneller reageren: De AI kan de logs in seconden "vertalen" naar een verhaal: "Er is iemand in het netwerk die wachtwoorden probeert te stelen."
• Beter trainen: Omdat ze nu een openbaar spoorboekje hebben, kunnen bedrijven hun eigen beveiligingssystemen beter testen.
• Minder fouten: De AI helpt om te onderscheiden wat echt gevaarlijk is en wat gewoon een normale administratieve taak is.

Kortom: De onderzoekers hebben een nieuw, open trainingsveld gebouwd waar hackers (in de goede zin) worden nagespeeld, en ze hebben getest of een slimme computer deze sporen kan lezen. Het antwoord is: ja, ze kunnen het al behoorlijk goed, en met meer training en betere data wordt het alleen maar slimmer. Dit helpt ons allemaal om onze digitale huizen veiliger te maken.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "CAM-LDS: Cyber Attack Manifestations for Automatic Interpretation of System Logs and Security Alerts" in het Nederlands.

Probleemstelling

Logbestandsanalyse is essentieel voor detectie van indringers en forensisch onderzoek, maar de handmatige analyse is extreem tijdrovend door de enorme datavolumes, heterogene formaten en ongestructureerde berichten. Bestaande geautomatiseerde methoden zijn vaak beperkt omdat ze afhankelijk zijn van domeinspecifieke configuraties, zoals handmatig gedefinieerde detectieregels, zelfgemaakte logparsers of handmatige feature-engineering. Cruciaal is dat deze methoden logs niet semantisch kunnen begrijpen of de onderliggende oorzaken kunnen verklaren.

Hoewel Large Language Models (LLM's) beloven om domein- en formaatonafhankelijke interpretatie mogelijk te maken, wordt onderzoek hierin gehinderd door het gebrek aan openbare, gelabelde datasets die een breed scala aan aanvalstechnieken bestrijken. Bestaande datasets zijn vaak beperkt tot netwerkverkeer, Windows-omgevingen, of bevatten te veel "ruis" waardoor het isoleren van aanvalssporen moeilijk is.

Methodologie

De auteurs introduceren CAM-LDS (Cyber Attack Manifestation Log Data Set), een dataset die is gegenereerd in een volledig open-source, reproduceerbare testomgeving genaamd AttackBed.

1. Ontwerp en Selectie:

   • Er zijn aanvalstechnieken geselecteerd uit het MITRE ATT&CK-framework (versie 18.1).
   • Selectiecriteria waren: Observability (moet zichtbare artefacten in logs genereren), Feasibility (moet emuleerbaar zijn in een Linux-omgeving) en Automation (moet volledig geautomatiseerd uitvoerbaar zijn).
   • Dit resulteerde in een selectie van 81 distincte technieken over 13 tactieken.

2. Scenario's en Uitvoering:

   • Er zijn 7 coherente aanvalsscenario's (kill chains) ontworpen die realistische aanvalspaden simuleren, variërend van reconnaissance tot impact (bijv. ransomware, data-exfiltratie).
   • De uitvoering gebeurt met AttackMate, een open-source framework voor reproduceerbare aanvalsemulatie. Dit zorgt voor scriptgedreven uitvoering die toch realistisch is (bijv. door interactieve sessies te simuleren die lijken op handmatige typen).
   • De infrastructuur is volledig geautomatiseerd met Infrastructure-as-Code (OpenTofu, Terragrunt, Ansible) en bestaat uit een gesegmenteerd netwerk (Internet, DMZ, LAN, User Network, Admin Network) met diverse diensten (ZoneMinder, Nextcloud, Docker, etc.).

3. Dataverzameling:

   • Logs worden verzameld van 18 verschillende bronnen op alle hosts, inclusief audit logs, syslog, authenticatielogs, applicatielogs (bijv. Apache, Docker), en prestatie-metrics.
   • Er worden ook alerts gegenereerd door Host-based IDS (Wazuh) en Network-based IDS (Suricata) met standaard regelsets.
   • Om "ruis" te minimaliseren, draait de omgeving in een idle-modus en wordt er een stabilisatieperiode van 15 minuten gehanteerd voordat de aanval start.

4. Data Filtering:

   • Een geautomatiseerde filtermethode verwijdert logevenementen die overeenkomen met normaal systeemgedrag (gebaseerd op een referentieperiode voor de aanval), hoewel handmatige filtering ook wordt toegepast voor audit logs.

Belangrijkste Bijdragen

1. CAM-LDS Dataset: De eerste publiek beschikbare dataset specifiek ontworpen voor het onderzoek naar LLM-gedreven interpretatie van systeemlogs en beveiligingsalerts. Deze bevat gelabelde aanvalssporen van 81 technieken.
2. Reproduceerbare Infrastructuur: De volledige open-source release van de AttackBed-infrastructuur, inclusief alle scripts voor aanvalsimulatie en datacollectie.
3. Systematische Analyse: Een diepgaande analyse van hoe aanvalstechnieken zich manifesteren in logs (commando-observatie, frequentie, prestatie-metrics en IDS-alerts).
4. Illustratieve Evaluatie: Een case study waarin een LLM (ChatGPT) wordt getest op de dataset om logs te interpreteren zonder voorafgaande training (zero-shot).

Resultaten

De auteurs hebben de dataset geanalyseerd en een evaluatie uitgevoerd met een LLM:

• Observatie van Aanvalssporen:

  • Van de 243 aanvalstappen genereerden 47,3% expliciete commando-indicatoren in audit logs.
  • 32,1% genereerde logs zonder directe commandoverwijzingen, en 18,5% genereerde geen logs die na filtering overbleven.
  • De zichtbaarheid hangt sterk af van de uitvoeringsmethode (bijv. interactieve SSH-sessie vs. implantaten).
  • IDS Detectie: Van de 198 aanvalstappen met logdata, detecteerden de standaard IDS-regels (Wazuh/Suricata) slechts 43 stappen met een lage tot hoge ernst. De meeste stappen bleven onopgemerkt door signatuur-gebaseerde detectie.

• LLM Evaluatie (Zero-Shot):

  • De LLM werd gevraagd om logs te classificeren naar MITRE ATT&CK-technieken en de intentie (aanval vs. normaal) te beoordelen.
  • Resultaat: Voor ongeveer een derde van de aanvalstappen werd de juiste techniek perfect voorspeld (vaak op positie 1 of 2). Voor een tweede derde werd de juiste techniek gevonden binnen de top-10 voorspellingen.
  • De nauwkeurigheid was het hoogst wanneer:
    • Commando's zichtbaar waren in zowel audit- als andere logs.
    • Er een hoge frequentie van logevenementen was (bijv. bij scans).
    • Er IDS-alerts werden gegenereerd.

Betekenis en Conclusie

Het paper demonstreert dat:

1. LLM's potentieel hebben voor het semantisch begrijpen van complexe, ongestructureerde logbestanden zonder specifieke training, wat een stap vooruit is ten opzichte van traditionele methoden.
2. Signatuur-gebaseerde detectie tekortschiet voor een groot deel van de moderne aanvalstechnieken, wat de noodzaak onderstreept voor aanvullende analysemethoden zoals LLM's.
3. CAM-LDS een cruciale bron is voor de gemeenschap om reproduceerbaar onderzoek te doen naar geautomatiseerde loganalyse en forensiek.

De auteurs benadrukken dat hoewel de resultaten veelbelovend zijn, er nog uitdagingen zijn zoals de variabiliteit in logmanifestaties, de beperkingen van huidige LLM's (hallucinaties, kosten) en het feit dat de dataset momenteel beperkt is tot Linux-omgevingen. Toekomstig werk moet zich richten op het integreren van contextuele asset-informatie en het testen van kleinere, lokaal draaiende modellen voor privacy.