CTIConnect: A Benchmark for Retrieval-Augmented LLMs over Heterogeneous Cyber Threat Intelligence
Dieses Paper führt CTIConnect ein, einen umfassenden Benchmark und eine Evaluierungsharnisch, der darauf ausgelegt ist, retrieval-gestützte LLMs systematisch über neun heterogene Cyber Threat Intelligence-Aufgaben hinweg zu bewerten, wobei aufgezeigt wird, dass effektive Leistung domänenspezifische strukturelle Interventionen statt generischer Retrieval-Verbesserungen erfordert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Cybersicherheits-Detektiv, der versucht, ein komplexes Verbrechen aufzuklären. Sie besitzen eine riesige Bibliothek an Hinweisen, aber diese sind in fünf völlig unterschiedlichen Sprachen und Formaten geschrieben: Einige sind starre, technische Tabellenkalkulationen (wie eine Datenbank mit Softwarefehlern), andere sind lange, unordentliche Nachrichtenartikel, die von verschiedenen Reportern verfasst wurden und die Slang sowie Spitznamen für dieselben Kriminellen verwenden.
Dies ist die Welt der Cyber Threat Intelligence (CTI). Das Problem ist, dass es zu viele Informationen gibt, als dass ein Mensch sie manuell lesen und die Verbindungen herstellen könnte.
Hier kommen Large Language Models (LLMs) ins Spiel. Betrachten Sie diese KI-Modelle als brillante, superschnelle Detektive, die fast alles lesen und verstehen können. Aber es gibt einen Haken: Diese KIs haben ein „Gedächtnislimit“. Sie können nicht jeden neuen Bedrohungsbericht, der täglich erscheint, auswendig lernen. Wenn Sie sie nach einem brandneuen Virus fragen, könnten sie falsch liegen, weil sie den neuesten Bericht noch nicht „gelesen“ haben.
Um dies zu beheben, nutzen wir Retrielement-Augmented Generation (RAG). Das ist so, als würde man dem KI-Detektiv einen magischen Bibliotheksausweis geben. Wenn er eine Frage gestellt bekommt, rennt die KI zuerst in die Bibliothek, schnappt sich die relevantesten Dokumente und antwortet dann basierend auf dem, was sie gerade gelesen hat.
Das Problem: Die „Lost in Translation“-Lücke
Die Autoren dieser Arbeit, CTIConnect, haben entdeckt, dass es nicht ausreicht, der KI einfach nur einen Bibliotheksausweis zu geben. Die Bibliothek ist ein Chaos.
- Die Vokabular-Diskrepanz: Ein Dokument bezeichnet eine Hackergruppe vielleicht als „APT29“, ein anderes nennt sie „Cozy Bear“ und ein drittes „Nobelium“. Wenn Sie die KI bitten, alle Berichte über „APT29“ zu finden, könnte eine Standard-Suche die Berichte übersehen, die nur die anderen Namen verwenden.
- Die Format-Diskrepanz: Ein Dokument besagt vielleicht: „Der Angreifer hat Passwörter aus dem Speicher gestohlen“, während eine technische Datenbank dies als „T1003.001 – LSASS Memory“ auflistet. Die KI wird möglicherweise nicht erkennen, dass dies dasselbe ist.
Die Arbeit argumentiert, dass Standard-Suchwerkzeuge (die nur nach ähnlichen Wörtern suchen) hier versagen, weil sie diese Lücken nicht schließen können. Sie sind wie ein Übersetzer, der nur eine wörtliche Wort-für-Wort-Übersetzung beherrscht, aber nicht die Bedeutung oder die Spitznamen versteht.
Die Lösung: CTIConnect
Das Team entwickelte ein neues Benchmark (einen standardisierten Test) namens CTIConnect, um zu sehen, wie gut KI-Detektive performen, wenn sie in dieser chaotischen, mehrsprachigen Bibliothek suchen müssen.
Sie erstellten 1.860 Experten-verifizierte Fragen, die drei Haupttypen von Detektivarbeit abdecken:
Entity Linking (Verbindungen herstellen):
- Die Aufgabe: „Welcher spezifischen Schwachstelle (CWE) ist dieser Softwarefehler (CVE) zuzuschreiben?“
- Die Analogie: Das Zuordnen eines spezifischen Automodells zu einem Motortyp. Die KI muss zwischen zwei verschiedenen technischen Katalogen übersetzen.
- Die Lösung: Die KI muss die Frage in die exakten technischen Begriffe übersetzen, die die Datenbank verwendet, bevor sie die Suche startet.
Entity Attribution (Den Täter benennen):
- Die Aufgabe: „Ein Bericht besagt: ‚Die Bösen haben Dateien mit einer .cuba-Erweiterung verschlüsselt.‘ Welche spezifische Hacking-Technik beschreibt dies?“
- Die Analogie: Eine Zeugenbeschreibung lesen („Er trug einen roten Hut und rannte schnell“) und dies mit einer Polizeiakte abgleichen („Verdächtiger: John Doe, bekannt für schnelles Laufen“).
- Die Lösung: Die KI muss den Satz in kleine, atomare Handlungen zerlegen und jede einzelne in den offiziellen Polizeicode übersetzen.
Multi-Document Synthesis (Die Geschichte rekonstruieren):
- Die Aufgabe: „Kombinieren Sie Berichte von fünf verschiedenen Nachrichtenagenturen, um ein Profil der Hackergruppe ‚APT29‘ zu erstellen.“
- Die Analogie: Sie haben fünf verschiedene Zeugen, die dieselbe Party beschreiben. Einer nennt den Gastgeber „Bob“, ein anderer „Bobby“ und ein dritter „Den Boss“. Die KI muss erkennen, dass alle dieselbe Person meinen, und ihre Geschichten zu einem Zeitstrahl zusammenführen.
- Die Lösung: Die KI muss intelligent genug sein, um zu erkennen, dass „Bob“ = „Bobby“ = „Der Boss“ ist, bevor sie mit dem Lesen beginnt.
Was sie herausgefunden haben
Die Forscher testeten 10 verschiedene KI-Modelle (sowohl kostenlose/Open-Source- als auch teure/proprietäre Modelle) mit diesem neuen Test. Hier sind ihre wichtigsten Erkenntnisse:
- Einheitslösungen funktionieren nicht: Eine „Einheitsstrategie“ für die Suche scheiterte kläglich. Der beste Weg, nach einem technischen Fehler (Entity Linking) zu suchen, ist völlig anders als der beste Weg, nach einem Spitznamen eines Hackers zu suchen (Multi-Document Synthesis).
- Spezialisierte Werkzeuge gewinnen: Als sie der KI spezialisierte Strategien gaben (wie „übersetze die Frage zuerst“ oder „zerlege den Satz in Teile“), stieg die Leistung der KI dramatisch an – manchmal um 35 %. Standard-Suchwerkzeuge verbesserten die Leistung nur minimal (1–5 %).
- Der Engpass verschiebt sich:
- Bei technischen Verknüpfungsaufgaben war das Problem das Suchwerkzeug. Sobald die KI das richtige Dokument gefunden hatte, konnte selbst eine „kleinere“ KI die Frage korrekt beantworten.
- Bei Aufgaben zur Identifizierung und zum Aufbau von Geschichten war das Problem das Gehirn der KI. Selbst mit den richtigen Dokumenten benötigte die KI viel Intelligenz, um den Kontext zu verstehen und die Aliasnamen zu verknüpfen.
- Intelligente Suche > Größere Gehirne: Für einige Aufgaben funktionierte eine „kleinere“ KI mit einem spezialisierten Suchwerkzeug besser als eine „massive, teure“ KI mit einem Basis-Suchwerkzeug. Das bedeutet, dass man nicht immer die teuerste KI braucht; man braucht nur den richtigen Weg, um Informationen zu finden.
Das Fazit
Die Arbeit kommt zu dem Schluss, dass wir, um effektive KI-Sicherheitstools zu bauen, uns nicht nur auf größere KI-Modelle oder generische Suchmaschinen verlassen können. Wir müssen spezialisierte Retrieval-Systeme entwickeln, die die einzigartigen „Dialekte“ und „Spitznamen“ der Cybersicherheitswelt verstehen.
Man kann es so sehen: Sie brauchen keine größere Bibliothek, um ein Verbrechen aufzuklären; Sie brauchen einen Bibliothekar, der genau weiß, wie er das richtige Buch findet, selbst wenn der Titel in einem Code geschrieben ist, den Sie nicht sprechen. CTIConnect liefert die Karte und den Test, um diesen Bibliothekar aufzubauen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.