Proactively Detecting Threats: A Novel Approach Using LLMs

Technische Zusammenfassung: Proaktive Bedrohungserkennung mittels Large Language Models

Problemstellung
Die Unternehmenssicherheit steht zunehmend vor der Herausforderung durch hochentwickelte Malware und eine expandierende digitale Angriffsfläche, die durch Remote Work und Cloud-Adoption verschärft wird. Aktuelle Cybersicherheits-Paradigmen sind überwiegend reaktiv und verlassen sich auf bekannte Signaturen oder die Erkennung nach einem Kompromiss, was Organisationen anfällig für Zero-Day-Angriffe und polymorphe Malware-Familien macht. Darüber hinaus ist die Akzeptanz strukturierter Threat-Intelligence-Standards (wie STIX 2.0) fragmentiert. Infolgedessen verlassen sich 69 % der Sicherheitsteams auf unstrukturierte, freiformbasierte Bedrohungsberichte aus diversen Webquellen. Diese Berichte enthalten Indicators of Compromise (IOCs) in inkonsistenten Formaten (z. B. Bilder, Hashes, Text), was eine automatisierte Extraktion und Klassifizierung erschwert. Es besteht eine kritische Lücke bei proaktiven Systemen, die in der Lage sind, unstrukturierte, webbasierte Intelligenz zu parsen, um IOCs zu identifizieren, bevor sie in traditionellen Datenbanken katalogisiert werden.

Methodik
Die Autoren entwickelten ein automatisiertes System, um die Wirksamkeit von Large Language Models (LLMs) bei der proaktiven Identifizierung von IOCs aus unstrukturierten Webquellen zu bewerten. Die Methodologie umfasste drei primäre Phasen:

1. Datenerfassung und Parsing: Ein automatisierter Web-Crawler sammelte Rohdaten aus 15 renommierten Threat-Intelligence-Quellen (darunter Sophos, SentinelOne und Abuse.ch) über RSS/Atom-Feeds. Ein Parser, der reguläre Ausdrücke nutzt, extrahierte spezifische Muster, die den IOCs entsprachen: IPv4/IPv6-Adressen, Domains, URLs und Datei-Hashes (SHA1, MD5, SHA256). Das System ordnete die extrahierten Begriffe zudem dem MITRE ATT&CK-Framework zu, um den Kontext anzureichern.
2. Datensatz-Konstruktion: Die Studie analysierte 479 Webseiten mit 2.658 IOCs (711 IPv4, 502 IPv6, 1.445 Domains). Ein spezifischer Test-Subset von 303 Webseiten wurde kuratiert, der 251 bestätigte bösartige Indikatoren (verifiziert via Kontext und VirusTotal) sowie gutartige Indikatoren enthielt.
3. LLM-Evaluierung: Sechs vortrainierte LLM-Varianten (Gemini 2.0 Flash-Lite, Gemini 1.5 Pro, Qwen3 30B, Qwen3 32B, Llama 8B und Llama 70B) wurden ohne Fine-Tuning evaluiert. Die Modelle wurden angewiesen, als Experten für Cybersicherheit zu agieren, indem sie den vollständigen Text einer Webseite (Kontext) analysierten, um zu bestimmen, ob eine spezifische extrahierte Entität ein Indicator of Compromise war. Die Evaluierung konzentrierte sich auf Klassifizierungsmetriken: Präzision (Precision), Recall, Spezifität (Specificity) und F1-Score.

Wesentliche Beiträge

• Systematische Evaluierung von LLMs für die proaktive Detektion: Diese Arbeit präsentiert die erste systematische Evaluierung von LLMs zur Extraktion von IOCs aus unstrukturierten, webbasierten Threat Intelligence und unterscheidet diesen Ansatz von der reaktiven Malware-Erkennung.
• Automatisierte Pipeline für unstrukturierte Daten: Die Autoren entwickelten eine Pipeline, die diverse, nicht standardisierte Bedrohungsberichte in strukturierte Daten umwandelt und damit das Fehlen vereinheitlichter Ansätze für Multi-Source-Threat-Intelligence adressiert.
• Umfassendes Benchmarking: Die Studie liefert eine vergleichende Analyse von sechs unterschiedlichen LLM-Architekturen anhand eines Real-World-Datensatzes von fast 2.700 IOCs und bietet empirische Daten über die Trade-offs zwischen Recall und Präzision in Sicherheitskontexten.

Ergebnisse
Die Evaluierung zeigte signifikante Leistungsunterschiede zwischen den Modellen:

• Gemini 1.5 Pro: Erreichte die höchste Leistungsbalance mit einer Präzision von 0,958 und einer Spezifität von 0,788 bei der Identifizierung bösartiger IOCs. Bemerkenswerterweise demonstrierte es einen perfekten Recall (1,0) für tatsächliche Bedrohungen, was bedeutet, dass es alle bösartigen Indikatoren im Testset erfolgreich identifizierte.
• Qwen3 32B: Zeigte die geringste Leistung, charakterisiert durch eine hohe Anzahl an False Negatives (51) bei der Klassifizierung nicht-bösartiger Daten, was zu einem niedrigen F1-Score führte.
• Llama 70B: Identifizierte erfolgreich alle bösartigen Indikatoren (TP=251), litt jedoch im Vergleich zu den Gemini-Modellen unter einer höheren Anzahl an False Negatives, was zu einem niedrigeren Recall für die bösartige Klasse führte.
• Allgemeine Trends: Modelle zeichneten sich im Allgemeinen durch einen hohen Recall (Erkennung von Bedrohungen) aus, hatten jedoch Schwierigkeiten mit der Spezifität (korrekte Identifizierung gutartiger Daten). Die Studie stellte fest, dass Modelle oft gutartige Kontexte, wie etwa Domain-Registrare oder Forschungs-Repositories, aufgrund der Präsenz von Schlüsselwörtern wie „abuse“ oder „killer“ im Text fälschlicherweise als bösartig identifizierten.

Bedeutung und Behauptungen
Das Paper behauptet, dass LLMs einen praktikablen Mechanismus bieten, um die Cybersicherheit durch die Automatisierung der Extraktion von IOCs aus dem enormen Volumen unstrukturierter Web-Berichte von reaktiven zu proaktiven Maßnahmen zu verschieben. Die Autoren betonen, dass während ein hoher Recall für die Bedrohungserkennung entscheidend ist, der beobachtete Trade-off mit der Präzision (False Positives) die Notwendigkeit einer verbesserten Modellverfeinerung und kontextsensitiven Klassifizierung unterstreicht.

Die Autoren schließen bescheiden, dass LLMs zwar eine Spitzenleistung bei der Identifizierung bösartiger Indikatoren durch kontextuelles Verständnis zeigen, derzeit jedoch vor Herausforderungen bei der präzisen Unterscheidung zwischen bösartigen Indikatoren und gutartigen Entitäten stehen, die ähnliche linguistische Merkmale aufweisen (z. B. Domainnamen, die „abuse“ oder „dark“ enthalten). Die Arbeit legt ein Fundament für die zukünftige Automatisierung in Enterprise-Sicherheitssystemen, räumt jedoch ein, dass weitere Forschung erforderlich ist, um komplexe Indikatortypen zu handhaben und Halluzinationen beim Parsing unstrukturierter Daten zu reduzieren.