Multi-LLM Consensus Framework for Evaluating Banking-Sector NIDS Dataset Coverage of MITRE ATT&CK Techniques

Stellen Sie sich das Internet als eine riesige, geschäftige Stadt vor, in der Banken die wichtigsten Tresore sind. Um diese Tresore zu schützen, patrouillieren Sicherheitskräfte namens Network Intrusion Detection Systems (NIDS) durch die digitalen Straßen und beobachten jeden, der versucht einzubrechen. Diese Wachen werden mit „Übungsdrills“ trainiert – riesigen Sammlungen von gefälschten Angriffsdaten, sogenannten Datensätzen. Das Problem ist, dass die meisten dieser Drills generisch sind. Sie lehren die Wachen, wie man einen gewöhnlichen Taschendieb oder einen Autodieb stoppt, aber sie zeigen ihnen selten, wie man einen Drahtzieher aufhält, der genau weiß, wie man das spezielle Geldtransfersystem einer Bank knackt oder einen Geldautomaten austrickst. Es ist so, als würde man einen Feuerwehrmann nur im Umgang mit Küchenbränden trainieren und ihn dann losschicken, um einen Brand in einer Chemieanlage zu löschen; er mag zwar wissen, wie man einen Schlauch benutzt, aber er wird nicht wissen, was zu tun ist, wenn die Chemikalien zu reagieren beginnen. Dieses Paper stellt eine einfache, aber kritische Frage: Bereiten unsere aktuellen Trainingsdrills diese digitalen Wachen tatsächlich auf die spezifischen, hinterlistigen Angriffe vor, die gezielt Banken angreifen, oder geben sie den Wachen nur ein falsches Gefühl von Sicherheit, während sie sie gleichzeitig verwundbar lassen?

Die Autoren dieses Papers beschlossen, diese Lücke zu untersuchen, indem sie eine neue, intelligentere Methode entwickelten, um diese Trainingsdatensätze zu testen. Anstatt nur zu zählen, wie viele „Bösewichte“ in einem Datensatz enthalten sind, nutzten sie eine Methode, die simuliert, wie reale Sicherheitssensoren tatsächlich funktionieren. Sie begannen mit einer massiven Liste von 210 verschiedenen Arten, wie Hacker eine Bank angreifen könnten, entnommen aus einem berühmten Leitfaden namens MITRE ATT&CK. Sie wussten jedoch, dass reale Sicherheitssensoren Grenzen haben: Sie können nicht in verschlüsselte Nachrichten hineinsehen (wie in einen versiegelten Brief), sie können nicht sehen, was im Gehirn eines Computers passiert (wie das Löschen einer Datei), und sie können den Datenverkehr nur passiv beobachten, wie eine Kamera an einem Pfahl, ohne ihn stoppen zu können.

Um herauszufinden, welche dieser 210 Angriffe ein Sensor tatsächlich sehen könnte, fragten die Forscher nicht nur einen Experten. Sie nutzten eine „Konsens-Engine“, bestehend aus vier leistungsstarken Modellen der künstlichen Intelligenz. Stellen Sie sich das wie ein Gremium aus vier superintelligenten Detektiven vor, die alle übereinstimmen müssen, ob ein bestimmter Angriff eine sichtbare Spur hinterlässt. Wenn drei von vier Detektiven sagten: „Ja, das können wir sehen“, zählte dies als detektierbar. Wenn sie uneins waren, war das Team vorsichtig und ging davon aus, dass der Angriff für den Sensor unsichtbar war. Diese strenge Regel filterte die Liste auf nur 68 Angriffe herunter, die ein realer Bankensensor realistischerweise erkennen könnte.

Als Nächstes nahmen sie diese 68 „detektierbaren“ Bankangriffe und überprüften fünf populäre Trainingsdatensätze darauf, wie gut sie diese spezifischen Bedrohungen abdeckten. Die Ergebnisse waren augenöffnend. Sie fanden heraus, dass der Datensatz namens UNSW-NB15 der beste der Gruppe war und etwa 82,2 % der wichtigen Bankenangriffe abdeckte. Es gab jedoch einen Haken: Nur 18,4 % dieser Abdeckung waren eine direkte Übereinstimmung. Der Rest war nur ein vager Hinweis, so als würde man Rauch sehen, aber nicht wissen, ob er von einem Lagerfeuer oder einem Grill stammt. Andererseits war ein Datensatz namens CIC-DDoS2019, der oft für Tests verwendet wird, eine Katastrophe für die Bankensicherheit. Er überließ 89,9 % der zentralen Bankverhaltensweisen eine riesige Lücke. Es stellte sich heraus, dass dieser Datensatz zwar großartig ist, um große, laute Denial-of-Service-Angriffe aufzuspüren, aber völlig unbrauchbar für die subtilen, mehrstufigen Tricks, die Hacker verwenden, um Geld zu stehlen.

Das Paper legt nahe, dass das Vertrauen auf diese alten, generischen Datensätze den Banken ein „falsches Gefühl der Sicherheit“ vermittelt. Nur weil ein Sicherheitssystem bei einem generischen Test hoch punktet, bedeutet das nicht, dass es funktionieren wird, wenn ein echter Hacker versucht, eine SWIFT-Geldüberweisung zu manipulieren oder einen Geldautomaten zu hacken. Die Autoren kommen zu dem Schluss, dass wir dringend neue Trainingsdaten benötigen, die speziell für Banken entwickelt wurden, einschließlich der einzigartigen Sprachen und Protokolle, die sie verwenden. Bis dahin könnten die digitalen Wachen sehr gut darin sein, gewöhnliche Diebe aufzuspüren, aber sie könnten von den ausgeklügelten Raubüberfällen, die tatsächlich das globale Finanzsystem bedrohen, völlig überrumpelt werden.