Technische Samenvatting: Benchmarking en het verkennen van de capaciteiten van LLM's voor onderzoek naar aanvallen

Probleemstelling

Securityteams worden geconfronteerd met een overweldigend volume aan valse alarmen en een tekort aan gespecialiseerde expertise die vereist is voor het analyseren van systeemauditlogs tijdens onderzoek naar aanvallen. Hoewel Large Language Models (LLM's) veelbelovend zijn gebleken in forensisch beveiligingsonderzoek, is er een aanzienlijke kloof in gepubliceerd werk dat hun specifieke capaciteiten voor het analyseren van beveiligingsauditlogs en het uitvoeren van onderzoeken naar aanvallen evalueert. Deze kloof komt voort uit een gebrek aan diverse, goed gelabelde datasets en de complexe, amorfe aard van echte onderzoeken, die het overbruggen van de semantische kloof tussen laag-niveau systeemoproepen en hoog-niveau aanvallersgedrag vereisen.

Methodologie

De AuditBench Benchmark

Om deze beperkingen aan te pakken, introduceren de auteurs AuditBench, een nieuwe evaluatiebenchmark ontworpen om de mogelijkheden van LLM's in beveiligingsloganalyse te beoordelen. De benchmark omvat:

• Reikwijdte: Vier veelvoorkomende beveiligingsonderzoekstaken:
  1. Classificatie (Alert Triaging): Bepalen of een alert overeenkomt met een echte aanval of een vals alarm.
  2. Persistence Investigation (Onderzoek naar persistentie): Het identificeren van mechanismen waarmee aanvallers toegang tot het systeem behouden.
  3. Lateral Movement Investigation (Onderzoek naar laterale verplaatsing): Het identificeren van uitgaande verbindingen die externe toegang en controle mogelijk maken.
  4. Data Exfiltration Investigation (Onderzoek naar data-exfiltratie): Het identificeren van gebeurtenissen waarbij gevoelige gegevens extern worden verplaatst.
• Samenstelling van de dataset: De benchmark bevat 51 verschillende scenario's (25 nieuw gegenereerde "Lab"-data en 26 gecureerde gegevens uit de publieke DARPA OpTC-dataset).
  • Lab Data: Gegenereerd op Linux- en Windows-VM's met behulp van het MITRE ATT&CK-framework en Atomic Red Team (ART) om specifieke aanvalstechnieken en legitieme activiteiten te simuleren.
  • OpTC Data: Gecureerd uit de DARPA OpTC-dataset, de grootste publieke systeemauditlog-dataset, met handmatige verificatie van de grondwaarheid-labels (ground truth labels).
• Datarepresentaties: De benchmark evalueert twee verschillende log-representaties:
  1. Raw (Rauw): Directe output van native OS-logcollectors (bijv. auditd, procmon).
  2. Edge (Rand): Een voorbewerkte, graafgebaseerde representatie (provenance graph) waarbij logregels worden omgezet in randen die subject-actie-object relaties vertegenwoordigen. Deze representatie vermindert redundantie en volume, met name voor Windows-logs.
• Evaluatieframework: Een geautomatiseerde pipeline die de True Positive Rate (TPR), False Positive Rate (FPR) en F1-scores berekent. Het evalueert ook de kwaliteit van door LLM gegenereerde verklaringen met behulp van een Natural Language Inference (NLI)-aanpak, waarbij een LLM fungeert als rechter om te verifiëren of de verklaring semantisch wordt ondersteund door de grondwaarheid.

Experimentele Opstelling

De studie evalueerde vijf frontier LLM's: GPT-5, GPT-5 mini, Gemini 2.5 Pro, Gemini 2.5 Flash en Llama 4 Maverick. De experimenten testten verschillende ontwerpkeuzes, waaronder:

• Modelgrootte: Het vergelijken van grote frontier-modellen met kleinere, hoogpresterende modellen.
• Prompt Engineering: Het vergelijken van twee versies van prompts (een algemeen sjabloon versus een verfijnde versie met specifieke domeinbeperkingen en persona-instructies).
• Datarepresentatie: Het evalueren van prestaties op rauwe versus edge-representaties.
• Chunking: Het analyseren van de impact van verschillende log-chunk groottes op de prestaties.

Belangrijkste Resultaten

1. Gemengde Prestaties en Valse Positieven

Geen enkel model bereikte strikt superieure prestaties over alle taken heen. Een dominante trend die werd waargenomen, was een overdreven verdachte interpretatie van auditlogs, wat leidde tot hoge false positive rates (FPR) bij veel taken.

• Exfiltratie: Modellen presteerden over het algemeen het best op taken met betrekking tot data-exfiltratie, waarbij sommigen een hoge TPR en een lage FPR bereikten.
• Laterale Verplaatsing: Deze taak leverde de laagste mediane F1-scores op, waarbij modellen regelmatig legitieme activiteiten classificeerden als aanvallen.
• Classificatie: Hoewel sommige modellen een perfecte TPR bereikten, leden ze vaak onder hoge FPR's, waarbij ze legitieme systeemactiviteiten als kwaadaardig markeerden.

2. Modelgrootte versus Prestaties

In tegen tegen de verwachting dat grotere modellen altijd beter presteren, stelde de studie vast dat kleinere modellen vaak de prestaties van grotere modellen evenaarden of zelfs overtroffen.

• Bij verschillende taken (bijv. persistentie en laterale verplaatsing op edge-data) behaalden kleinere modellen zoals GPT-5 mini en Llama 4 Maverick hogere of gelijkwaardige F1-scores vergeleken met GPT-5 en Gemini 2.5 Pro.
• Dit suggereert dat praktijkgebruikers voor beveiligingsonderzoeken mogelijk niet de duurste, grootste modellen nodig hebben om optimale resultaten te behalen.

3. Impact van Datarepresentatie

De keuze van de datarepresentatie had een significante impact op de prestaties, maar het effect was modelafhankelijk.

• Voor sommige modellen (bijv. Llama 4) leidde de compacte edge-representatie tot strikt betere prestaties over alle taken vergeleken met rauwe logs.
• Voor anderen (bijv. Gemini 2.5 Pro) leverden rauwe logs soms betere resultaten op.
• Dit geeft aan dat gegevensbewerking en transformatie cruciale knoppen zijn voor het optimaliseren van zowel kosten als prestaties.

4. Effecten van Prompt Engineering

Variaties in prompts hadden modelafhankelijke effecten. Hoewel een verfijnde prompt (Prompt v2) de prestaties voor veel modellen verbeterde door het aantal valse positieven te verminderen via specifieke domeinbeperkingen, verslechterde het de prestaties voor anderen (bijv. Gemini 2.5 Flash bij classificatie). Dit waarschuwt tegen "one-size-fits-all" promptstrategieën bij het vergelijken van modellen.

5. Kwaliteit van Verklaringen en Foutanalyse

• Kwaliteit van de Verklaring: Wanneer modellen aanvallen correct identificeerden (True Positives), waren de gegenereerde verklaringen van hoge kwaliteit (gemiddelde entailment scores > 4.0/5.0), waarbij de belangrijkste aanvalspatronen accuraat werden gevangen zonder spookdetails.
• Kenmerken van Fouten: Valse positieven werden zelden gedeeld tussen modellen (lage foutoverlap). De primaire drijfveren voor valse positieven waren:
  1. Systeem Objectnamen: Modellen markeerden activiteiten op basis van "niet-standaard" of verdacht klinkende bestand/procesnamen (bijv. clear_logs, invis.vbs).
  2. Gebeurtenissequenties en Volume: Modellen interpreteerden processen met een hoog volume of specifieke executieketens (bijv. svchost die cmd.exe start) als kwaadaardig zonder voldoende context.

Betekenis en Bijdragen

Het artikel beweert een fundamentele bron te bieden voor de beveiligings- en AI-gemeenschappen:

1. Nieuwe Benchmark: Het draagt bij met AuditBench, een open-source dataset en evaluatieframework dat diverse aanvalsscenario's, legitieme activiteiten en meerdere log-representaties dekt. Dit maakt een systematische studie van LLM's in beveiligingsloganalyse mogelijk.
2. Empirische Inzichten: De studie biedt praktisch advies voor professionals, waarbij wordt gesuggereerd dat kleinere modellen en specifieke datatransformaties (zoals edge-representaties) kosteneffectiever en krachtiger kunnen zijn dan simpelweg het opschalen van de modelgrootte.
3. Ontwerprichtlijnen: Het benadrukt dat ontwerpkeuzes (prompts, datarepresentatie) zeer modelspecifiek zijn, wat ontwikkelaars en beveiligingsteams aanspoort om directe vergelijkingen tussen modellen te vermijden zonder de ontwerpplek te verkennen voor hun specifieke context.
4. Toekomstige Richtingen: Het werk identificeert de noodzaak om de hoge percentages valse positieven te verminderen die worden veroorzaakt door gevoeligheid voor objectnamen en activiteitsvolume, en stelt voor om modelensembles te verkennen om gebruik te maken van de lage overlap in fouten voor verbeterde robuustheid.

De auteurs benadrukken dat hun werk een eerste stap is, die de noodzakelijke data en tools biedt voor toekomstig onderzoek om de robuustheid en bruikbaarheid van LLM's in security operations te verbeteren.