Multi-Source Cybersecurity Logs: An ATT&CK-Labeled Dataset and SLM Evaluation

Technische Samenvatting: Multi-Source Cybersecurity Logs: Een ATT&CK-gelabelde Dataset en SLM-evaluatie

Probleemstelling
Moderne multi-stage cyberaanvallen bewegen zich simultaan door systeem-, netwerk- en browserlogs. Het detecteren van deze aanvallen vereist het correleren van gebeurtenissen over alle drie de bronnen om de volledige aanvalsketen te reconstrueren. Hoewel machine learning (ML)-methoden een pad bieden voor het leren van deze cross-source patronen, vereisen ze gelabelde multi-source data, die momenteel niet beschikbaar is in het publieke domein. Bestaande datasets lijden onder significante beperkingen: netwerk-georiënteerde datasets (bijv. CICIDS, UNSW-NB15) missen host- en browserzichtbaarheid; host-georiënteerde datasets (bijv. LMDG, CICAPT-IIoT) laten browsertelemetrie weg; en het dichtstbijzijnde eerdere werk, ATLAS, bevat wel alle drie de bronnen maar mist fijnmazige MITRE ATT&CK techniek-labels, waarbij gebeurtenissen enkel als kwaadaardig of onschadelijk worden gecategoriseerd. Gevolgelijk kunnen onderzoekers geen modellen trainen of evalueren die redeneren over alle drie de bronnen op het niveau van de techniek.

Methodologie
Om dit gat te dichten, hebben de auteurs een nieuwe dataset geconstrueerd en de leerbaarheid van Small Language Models (SLMs) op deze dataset geëvalueerd via de volgende methodologie:

1. Dataset Constructie:

   • Omvang: De dataset bestaat uit 870 sessies (70 aanvalssimulaties en 800 onschadelijke gebruikerssessies) opgenomen over een periode van 13 maanden (januari 2025 – februari 2026), wat neerkomt op ongeveer 2,3 miljoen gebeurtenissen.
   • Bronnen: Systeem-, netwerk- en browserlogs werden simultaan vastgelegd op Windows-endpoints (fysiek en virtueel) in intervallen van 20 minuten per sessie.
   • Aanvalssimulatie: Aanvallen werden gegenereerd met echte tools (bijv. Revenge-RAT, BD2 .NET Injector, Playit.gg voor C2) in plaats van synthetische verkeersgeneratoren. Scenario's dekten 12 ATT&CK-tactieken en 53 technieken, inclus[ief] Initial Access, Execution, Persistence, Privilege Escalation, Defense Evasion, Credential Access, Discovery, Lateral Movement, Collection, Exfiltration, Command and Control, en Impact.
   • Onschadelijke Data: 800 sessies legden routinematige gebruikersactiviteiten vast (webbrowsen, productiviteit, softwareontwikkeling, systeemadministratie, entertainment) om de robuustheid van het model tegen fout-positieven te waarborgen.
   • Labeling: Kwaadaardige gebeurtenissen werden getagd met specifieke ATT&CK-techniek-ID's. De data werd gestructureerd in "chunks" (sequenties van zeven tijdgestempelde gebeurtenissen) die dienen als de input-eenheid voor SLM's.

2. Model Evaluatie:

   • Modellen: Drie instructie-getunede SLM's werden geselecteerd: Qwen2.5-1.5B, Llama-3.2-3B, en Phi-4-Mini (3.8B parameters).
   • Fine-Tuning: Alle modellen werden gefinetuned met behulp van Low-Rank Adaptation (LoRA) met een rank van 16 en een schalingfactor van 32.
   • Taken: De modellen werden geëvalueerd op twee taken:
     1. Chunk Classificatie: Bepalen of een chunk "normaal" of "verdacht" is.
     2. ATT&CK Techniek Identificatie: Het genereren van de specifieke techniek-ID's en de redenering voor verdachte gebeurtenissen.
   • Metrieken: Tien metrieken werden gebruikt, waaronder accuratesse, precisie, recall, F1-scores (macro en gewogen), exact-match accuratesse, gemiddelde partiële match en word-level F1.

Belangrijkste Bijdragen

1. Een Nieuwe Multi-Source Dataset: Het artikel brengt een dataset uit die simultane systeem-, netwerk- en browserlogs combineert met per-entry ATT&CK techniek-labels afgeleid van echte aanvalstools. Het dekt 12 tactieken en 53 technieken.
2. Benchmarking van SLM's: De studie biedt een gecontroleerde evaluatie van drie SLM's in zowel hun basisvorm als in hun LoRA-gefinetunde vorm op multi-source beveiligingsdata.
3. Empirisch Bewijs van Leerbaarheid: De auteurs demonstreren dat de dataset een leerbaar signaal bevat, aangezien fine-tuning de prestaties van de modellen over alle metrieken aanzienlijk heeft verbeterd.

Resultaten

• Prestatiewinst: Fine-tuning resulteerde in consistente verbeteringen over alle drie de modellen en alle tien de metrieken.
  • Chunk Classificatie: De accuratesse van de basismodellen schommelde rond de 7–8%. Na fine-tuning steeg de accuratesse naar tussen de 89,9% en 97,0%.
  • Correctie van Over-Alerting: Basismodellen vertoonden ernstige over-alerting, waarbij bijna al het normale verkeer als verdacht werd gelabeld (bijv. het correct identificeren van slechts 0,1% tot 0,7% van de normale sessies). Fine-tuning loste dit op, waarbij de recall voor normale sessies verbeterde naar 89,6%–98,0%.
  • Model Variatie: Phi-4-Mini (3.8B) presteerde het best, met een accuratesse van 97,0% in chunk classificatie en het identificeren van 97,0% van de verdachte sessies. Llama-3.2-3B had moeite met zeldzame aanvallen en identificeerde slechts 39,5% van de verdachte sessies.
• Techniek Identificatie: Deze taak bleef uitdagend. Basismodellen behaalden 0% exact-match accuratesse. Gefinetunede modellen verbeterden, waarbij Phi-4-Mini een exact-match accuratesse van 41,6% bereikte. Echter, hoge partiële match-scores (0,857–0,931) en word-level F1-scores (0,819–0,930) wijzen erop dat de modellen de meeste onderliggende redeneringen vastlegden, zelfs wanneer ze er niet in slaagden de exacte output-strings te reproduceren.

Betekenis en Claims
Het artikel beweert dat gecontroleerde simulaties hoogwaardige, multi-source logdatasets kunnen produceren die geschikt zijn voor het trainen van SLM's. De primaire betekenis ligt in het aantonen dat:

1. Data-schaarste wordt geadresseerd: De nieuwe dataset vult het gat in de publieke, multi-source data met fijnmazige ATT&CK-labeling.
2. SLM's levensvatbaar zijn voor triage: Hoewel basis-SLM's operationeel onbruikbaar zijn vanwege fout-positieven, bereiken gefinetunede SLM's voldoende betrouwbaarheid om Security Operations Center (SOC) analisten te ondersteunen bij de initiële triage.
3. Redeneervermogen: De hoge partiële match-scores suggereren dat gefinetunede SLM's menselijke analisten kunnen assisteren door relevante technieken en redeneringen voor te stellen, zelfs als de exacte techniek-identificatie nog niet perfect is.

De auteurs blijven bescheiden over hun conclusies en merken op dat de resultaten trends aangeven in plaats van bewezen rangordes, vanwege de beperkte steekproefomvang van de geteste modellen. Zij erkennen dat hoewel de sprong in prestaties echt is, de specifieke superioriteit van het ene model boven het andere verdere validatie op productie-logs en herhaalde proeven vereist.