Multi-LLM Consensus Framework for Evaluating Banking-Sector NIDS Dataset Coverage of MITRE ATT&CK Techniques

Stel je het internet voor als een enorme, bruisende stad waar banken de belangrijkste kluizen zijn. Om deze kluizen veilig te houden, patrouilleren beveiligingsbeambten genaamd Network Intrusion Detection Systems (NIDS) door de digitale straten om te letten op iedereen die probeert in te breken. Deze bewakers worden getraind met behulp van "oefenopdrachten"—enorme collecties van nep-aanvaldata die datasets worden genoemd. Het probleem is dat de meeste van deze oefeningen generiek zijn. Ze leren de bewakers hoe ze een gewone zakkenroller of een autodief moeten stoppen, maar ze laten hen zelden zien hoe ze een meesterbrein moeten stoppen dat precies weet hoe hij het speciale geldtransfersysteem van een bank kan hacken of een geldautomaat kan misleiden. Het is alsof je een brandweerman traint op keukenbranden en hem vervolgens naar een chemische fabriek stuurt om een explosie te blussen; hij weet misschien hoe hij een slang moet gebruiken, maar hij zal niet weten wat hij moet doen wanneer de chemicaliën beginnen te reageren. Dit artikel stelt een eenvoudige maar cruciale vraag: bereiden onze huidige trainingsopdrachten deze digitale bewakers daadwerkelijk voor op de specifieke, sluwe aanvallen die gericht zijn op banken, of geven ze de bewakers alleen maar een vals gevoel van zelfvertrouwen terwijl ze ze kwetsbaar laten?

De auteurs van dit artikel besloten deze kloof te onderzoeken door een nieuwe, slimmere manier te bouwen om deze trainingsdatasets te testen. In plaats van alleen te tellen hoeveel "slechteriken" er in een dataset zitten, gebruikten ze een methode die nabootst hoe echte wereld beveiligingssensoren daadwerkelijk werken. Ze begonnen met een enorme lijst van 210 verschillende manieren waarop hackers een bank zouden kunnen aanvallen, afkomstig uit een beroemde gids genaamd MITRE ATT&CK. Echter, ze wisten dat echte beveiligingssensoren beperkingen hebben: ze kunnen niet in versleutelde berichten kijken (zoals een verzegelde brief), ze kunnen niet zien wat er gebeurt in het brein van een computer (zoals het verwijderen van een bestand), en ze kunnen alleen passief verkeer observeren, zoals een camera aan een paal, zonder het te kunnen stoppen.

Om te bepalen welke van die 210 aanvallen een sensor daadwerkelijk zou kunnen zien, vroegen de onderzoekers niet zomaar één expert. Ze gebruikten een "consensus engine" bestaande uit vier krachtige kunstmatige intelligentiemodellen. Denk aan een panel van vier superintelligente detectives die allemaal moeten instemmen met de vraag of een specifieke aanval een zichtbaar spoor achterlaat. Als drie van de vier detectives zeiden: "Ja, dat kunnen we zien," dan telde dat als detecteerbaar. Als ze van mening verschilden, ging het team voorzichtig te werk en nam aan dat de aanval onzichtbaar was voor de sensor. Deze strikte regel filterde de lijst terug naar slechts 68 aanvallen die een echte banksensor realistisch gezien zou kunnen opmerken.

Vervolgens namen ze deze 68 "detecteerbare" bankaanvallen en controleerden ze vijf populaire trainingsdatasets om te zien hoe goed ze deze specifieke dreigingen dekten. De resultaten waren oogopenend. Ze ontdekten dat de dataset genaamd UNSW-NB15 de beste van de hele groep was, met een dekking van ongeveer 82,2% van de belangrijke bankaanvallen. Er zat echter een addertje onder het gras: slechts 18,4% van die dekking was een directe match. De rest was slechts een vage hint, zoals het zien van rook zonder te weten of het van een vuur of van een barbecue komt. Aan de andere kant was een dataset genaamd CIC-DDoS2019, die vaak wordt gebruikt voor testen, een ramp voor bankbeveiliging. Het miste 89,9% van de kernprocessen van banken, wat een enorme blinde vlek achterliet. Het blijkt dat deze dataset geweldig is voor het opsporen van grote, luidruchtige denial-of-service aanvallen, maar volkomen nutteloos is voor de subtiele, meerstaps trucjes die hackers gebruiken om geld te stelen.

Het artikel suggereert dat het vertrouwen op deze oude, generieke datasets banken een "vals gevoel van veiligheid" geeft. Alleen omdat een beveiligingssysteem hoog scoort op een generieke test, betekent dat niet dat het zal werken wanneer een echte hacker probeert een SWIFT-geldtransfersysteem te manipuleren of een geldautomaat te hacken. De auteurs concluderen dat we dringend behoefte hebben aan nieuwe trainingsdata die specifiek voor banken zijn gebouwd, inclusief de unieke talen en protocollen die zij gebruiken. Tot die tijd zullen de digitale bewakers misschien erg goed zijn in het opsporen van gewone dieven, maar zullen ze waarschijnlijk overrompeld worden door de geavanceerde overvallen die daadwerkelijk het wereldwijde financiële systeem bedreigen.