DiagChain: A Diagnostic Benchmark for Evaluating LLM Agents on Evidence-Grounded Attack Chain Reconstruction
Het artikel introduceert DiagChain, een diagnostische benchmark met 69 diverse scenario's en het ECRAG-framework om LLM-agenten te evalueren op bewijsvoeringsgebaseerde reconstructie van aanvalsketens, waarbij wordt onthuld dat terwijl grotere modellen moeite hebben met de ordening van bewijsmateriaal, kleinere modellen falen bij de basisincorporatie van bewijsmateriaal, wat daarmee de noodzaak voor fasegewijze evaluatie boven geaggregeerde nauwkeurigheid benadrukt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar in plaats van een plaats delict, kijk je naar een digitale plaats delict. De "aanwijzingen" liggen overal verspreid: miljoenen regels computrologboeken, beveiligingsmeldingen en systeemrecords. In de wereld van cybersecurity gebruiken experts Large Language Models (LLM's)—superintelligente AI-chatbots die zijn getraind op enorme hoeveelheden tekst—om als digitale detectives te fungeren. Deze AI-agenten zijn bedoeld om de rommelige aanwijzingen te lezen, te achterhalen wat er is gebeurd en het verhaal van de aanval in de juiste volgorde op te schrijven. Dit proces wordt attack chain reconstruction genoemd. Het is alsof je een film probeert te bekijken die in duizenden willekeurige frames is gehakt, en dan iemand vraagt om de frames in de juiste volgorde te zetten om het verhaal te vertellen.
Maar hier is het probleem: de meeste tests voor deze AI-detectives kijken alleen naar het uiteindelijke verhaal dat ze schrijven. Als het verhaal fout is, zegt de test "falen", maar het vertelt je niet waarom. Heeft de detective een aanwijzing gemist? Heeft hij de aanwijzingen gevonden maar vergat hij ze op te schrijven? Of heeft hij de juiste aanwijzingen gevonden maar ze in de verkeerde volgorde gezet? We hebben een manier nodig om in het brein van de detective te gluren terwijl hij aan het werk is om te zien waar hij precies de draad kwijtraakt. Hier komt de nieuwe paper, DiagChain, in beeld. Het introduceert een speciale testomgeving die niet alleen is ontworpen om het eindresultaat te beoordelen, maar om de specifieheid stappen te diagnosticeren waar de AI-detective het spoor verliest.
De auteurs van deze paper, onderzoekers van Tsinghua University en CRRC Corporation, hebben een nieuwe benchmark gebouwd genaamd DiagChain om dit blinde vlek te verhelpen. Ze hebben een dataset genaamd MAIN-69 gemaakt, die bestaat uit 69 verschillende "plaatsen delict" (scenario's) variërend van eenvoudig tot zeer complex. Deze scènes komen uit real-world data zoals Linux-logs, Windows-events en cloud-alerts. Om de test realistisch te maken, voegden ze verschillende niveaus van "ruis" toe—zoals het toevoegen van onschadelijke achtergrondruis aan de aanwijzingen om te zien of de AI wordt afgeleid. Ze varieerden ook de lengte van de aanvalsketens, van korte uitbarstingen van activiteit tot langdurige intrusies.
Om de AI te testen, gebruikten ze een speciale workflow genaamd ECRAG (Evidence-Centric Retrieval-Augmented Generation). Denk aan dit als het geven van een vergrootglas en een notitieblok aan de AI-detective dat zichzelf bijwerkt. De AI moet zoeken naar aanwijzingen, ze groeperen, de tijdlijn bepalen en vervolgens het verhaal schrijven, terwijl hij constant zijn eigen werk controleert. De onderzoekers hebben de prestaties van de AI gemeten met behulp van vijf specifieke "gezondheidscontroles" in plaats van slechts één eindcijfer:
- Retrieval (Ophalen): Heeft de AI de aanwijzingen gevonden?
- Grouping (Groeperen): Heeft het de gerelateerde aanwijzingen in de juiste bakjes geplaatst?
- Ordering (Ordenen): Heeft het de gebeurtenissen in de juiste chronologische volgorde geplaatst?
- Grounding (Verankering): Heeft het daadwerkelijk de gevonden aanwijzingen gebruikt om het verhaal te ondersteunen?
- Attribution Gap (Toeschrijvingsgat): Heeft het een aanwijzing gevonden, ernaar gekeken, en vervolgens vergeten om het in het definitieve rapport te vermelden?
De resultaten waren oogopenend. Zelfs de slimste AI-configuraties kregen slechts 39,6% van de 849 referentiestappen in de MAIN-69 dataset volledig goed zonder een eerdere fout te maken. De paper suggereert dat het type AI-model veel uitmaakt voor waar het faalt. Kleinere modellen worstelen vaak met de basis: ze vinden een aanwijzing maar falen erin om deze in hun uiteindelijke verhaal te verwerken, wat in feite betekent dat ze het bewijs laten vallen. Grotere, krachtigere modellen zijn beter in het vinden en behouden van de aanwijzingen, maar ze struikelen vaak wanneer ze proberen de gebeurtenissen in de juiste volgorde te zetten. Het is als een kleine detective die het pistool vindt maar vergeet het op te schrijven, versus een grote detective die het pistool, de vingerafdrukken en de kaart vindt, maar de tijdlijn van de overval volledig door elkaar haalt.
De onderzoekers testten ook wat er gebeurt als je de AI meer tijd of een groter "zoekbudget" geeft (waardoor de AI naar meer aanwijzingen kan zoeken). Ze ontdekten dat het simpelweg geven van meer middelen het probleem niet automatisch oplost. Hoewel het bekijken van meer aanwijzingen de AI helpt om meer bewijs te vinden, garandeert dit niet dat de AI dat bewijs ook correct organiseert of stopt met het maken van fouten tijdens de uiteindelijke assemblage. Sterker nog, voor sommige modellen maakte het bekijken van te veel aanwijzingen zonder een betere strategie de taak juist moeilijker.
Uiteindelijk betoogt het paper dat we moeten stoppen met alleen naar de eindscore te kijken en moeten beginnen met het diagnosticeren van het proces. De bevindingen suggereren dat het groter maken van AI-modellen het probleem van "ketenassemblage" niet oplost; het verschuift de flessenhals slechts van "het vinden van aanwijzingen" naar "het organiseren van aanwijzingen". Om echt betrouwbare cybersecurity-agenten te bouwen, moeten we systemen ontwerpen die specifiek goed zijn in het nemen van het gevonden bewijs en het samenweven ervan tot een samenhangend, geordend en onderbouwd verhaal, in plaats van er simpelweg vanuit te gaan dat grotere modellen dit zelf wel uitzoeken. De auteurs stellen hun code en data beschikbaar zodat anderen deze digitale detectives kunnen blijven testen en verbeteren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.