💬 NLP

TTPrint: Evidence-Grounded TTP Extraction via Diverge-then-Converge Verification

TTPrint ist ein neuartiges Framework, das die Extraktion von MITRE ATT&CK-Techniken aus Cyber-Bedrohungsintelligenzberichten verbessert, indem es eine „Divergenz-anschließend-Konvergenz"-Strategie anwendet, um zunächst breit angelegte Kandidatenverhalten zu identifizieren, die an spezifische Beweise angelehnt sind, und diese anschließend rigoros gegen autoritative Definitionen zu verifizieren, wodurch es bestehende Methoden sowohl in Bezug auf Recall als auch Precision erheblich übertrifft.

Ursprüngliche Autoren: Yutong Cheng, Changze Li, Raihan Sultan Pasha Basuki, Qian Cui, Wei Ding, Peng Gao

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yutong Cheng, Changze Li, Raihan Sultan Pasha Basuki, Qian Cui, Wei Ding, Peng Gao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Ermittler, der versucht, einen massiven, chaotischen Bericht über einen Tatort zu lösen. Der Bericht ist hunderte Seiten lang und geschrieben in einer Mischung aus technischem Fachjargon und vagen Beschreibungen. Ihre Aufgabe besteht darin, spezifische „Modus Operandi" (wie die Täter es getan haben) zu finden und sie mit einem riesigen, offiziellen Regelwerk namens MITRE ATT&CK abzugleichen.

Das Problem ist tückisch:

Verpassen Sie nichts: Wenn Sie eine Technik übersehen, kommen die Täter mit einem neuen Trick davon.
Erfinden Sie nichts: Wenn Sie eine Technik erraten, die tatsächlich nicht vorhanden ist, verschwenden Sie die Zeit aller, indem Sie Geisterjagden unternehmen.

Bestehende Methoden (wie alte Regelwerke oder KI mit einmaligem Durchlauf) haben Schwierigkeiten, beides zu leisten. Sie verpassen entweder zu viele Hinweise oder erraten zu viele falsche.

Dann kommt TTPRINT ins Spiel, ein neues System, das dieses Problem löst, indem es wie ein menschliches Ermittlerteam mit einer „Divergieren-dann-Konvergieren"-Strategie agiert. Stellen Sie es sich als einen Zwei-Schritte-Prozess vor: Zuerst Weit Streuen, dann Eingrenzen.

Der TTPRINT-Ermittlungsworkflow

Phase 1: Das „Divergieren" (Weit Streuen)

Anstatt sofort zu versuchen, die Antwort zu erraten, zerlegt TTPRINT den massiven Tatbericht in winzige, handliche Stücke, die „atomare Verhaltensweisen" genannt werden.

Die Analogie: Stellen Sie sich vor, Sie nehmen einen 50-seitigen Roman und schneiden ihn in einzelne Sätze.
Was es tut: Für jeden winzigen Satz fragt die KI: „Was könnte das sein?" Sie generiert eine lange Liste von möglichen Übereinstimmungen aus dem Regelwerk. Sie wirft absichtlich ein weites Netz, selbst wenn dies bedeutet, einige unwahrscheinliche Optionen vorzuschlagen. Das Ziel hier ist der Rückruf (Recall): Stellen Sie sicher, dass kein echter Hinweis zurückgelassen wird.

Phase 2: Das „Ankern" (Finden der Beweise)

Bevor die KI eine Vermutung bestätigen kann, muss sie beweisen, woher im Text der Hinweis stammt.

Die Analogie: Wenn Sie sagen: „Der Täter benutzte ein Brecheisen", müssen Sie auf den exakten Satz im Bericht zeigen, der sagt: „Der Täter benutzte ein Brecheisen." Sie können nicht einfach sagen: „Ich denke, sie haben ein Brecheisen benutzt, weil sie ein Fenster eingeschlagen haben."
Was es tut: TTPRINT verwendet einen strengen, nicht-KI-Algorithmus, um das spezifische „Fenster" des Textes zu finden, das das Verhalten unterstützt. Dies verankert jede Vermutung an einem spezifischen Beweisstück und verhindert, dass die KI halluziniert (etwas erfindet), basierend auf der allgemeinen Stimmung des gesamten Dokuments.

Phase 3: Das „Konvergieren" (Eingrenzen)

Jetzt kommt die strenge Überprüfung. Die KI nimmt die Liste der „möglichen" Übereinstimmungen und das spezifische „Beweisfenster".

Die Analogie: Ein leitender Ermittler überprüft die Liste des Junior-Ermittlers. Er betrachtet den spezifischen Satz (den Beweis) und die offizielle Regelwerksdefinition nebeneinander. Er fragt: „Passt dieser Satz tatsächlich zur Regelwerksdefinition, oder ist es nur eine lose Vermutung?"
Was es tut: Die KI weist einen Konfidenzwert zu. Wenn die Übereinstimmung schwach ist, wird sie verworfen. Wenn sie stark ist, wird sie behalten. Dieser Schritt gewährleistet Präzision: Nur die Fakten, die tatsächlich durch den Text gestützt werden, bleiben übrig.

Warum dies besser funktioniert

Die Studie behauptet, dass frühere Methoden versuchten, all diese Schritte auf einmal zu erledigen (wie ein Ermittler, der die ganze Geschichte auf einen Atemzug errät). Dies führt zu Fehlern:

Zu vorsichtig: Sie verpassen subtile Hinweise, um nicht falsch zu raten.
Zu selbstbewusst: Sie raten falsch, weil die Formulierung im Bericht nicht perfekt mit dem Regelwerk übereinstimmt.

TTPRINT trennt das „Raten" vom „Überprüfen". Indem es die Arbeit aufteilt, kann es beim Raten mutig sein (alles erfassen) und beim Überprüfen streng sein (nur die Wahrheit behalten).

Die Ergebnisse

Die Forscher testeten TTPRINT an zwei Datensätzen:

TRAM-Clean: Eine bereinigte Version eines bestehenden Datensatzes (sie korrigierten Fehler in den ursprünglichen Labels).
TTPRINT-Bench: Ein brandneuer Datensatz von 150 vollständigen Berichten, die sie von Grund auf neu erstellten.

Der Punktestand:

Auf dem neuen Datensatz erreichte TTPRINT eine Erfolgsrate von 87,39 % (Macro-F1).
Die beste vorherige Methode (eine Standard-KI mit „Chain of Thought") erreichte nur 58,02 %.
TTPRINT verbesserte den Score um fast 30 %, was bedeutet, dass es signifikant mehr echte Techniken fand und dabei deutlich weniger Fehler machte.

Der „Regler" für die Kontrolle

Ein cooles Merkmal ist ein „Schwellenwert-Regler" (genannt $\tau$ ).

Drehen Sie ihn hoch: Sie erhalten weniger Ergebnisse, aber Sie sind zu 100 % sicher, dass sie richtig sind (Hohe Präzision). Gut für automatisierte Systeme, die es sich nicht leisten können, einen Fehler zu machen.
Drehen Sie ihn runter: Sie erhalten mehr Ergebnisse, erfassen fast alles, auch wenn einige vielleicht wackelig sind (Hoher Rückruf). Gut für Sicherheitsteams, die jede mögliche Bedrohung aufspüren und später untersuchen wollen.

Zusammenfassung

TTPRINT ist wie ein Ermittler, der zuerst jede mögliche Theorie basierend auf jedem Satz in einem Bericht aufschreibt und dann jede Theorie streng gegen den spezifischen Beweis überprüft, bevor er die endgültige Fallakte schreibt. Dieser Ansatz ermöglicht es ihm, mehr echte Bedrohungen aufzuspüren und weniger Fehlalarme auszulösen als jede vorherige Methode.

Hinweis: Die Studie konzentriert sich streng auf die Extraktion dieser Techniken aus englischsprachigen Berichten. Sie behauptet nicht, zukünftige Angriffe vorherzusagen, Hacker in Echtzeit zu stoppen oder als medizinisches oder rechtliches Diagnosewerkzeug zu fungieren.

Technischer Überblick: TTPRINT

Problemstellung
Das automatische Extrahieren von MITRE ATT&CK-Techniken aus unstrukturierten Cyber Threat Intelligence (CTI)-Berichten ist ein Open-Set-Problem mit mehreren Labels, das die gleichzeitige Optimierung einer hohen Recall-Rate (Erfassung aller tatsächlich beschriebenen Techniken) und einer hohen Präzision (Vermeidung von Halluzinationen nicht unterstützter Techniken) erfordert. Bestehende Ansätze stoßen auf erhebliche Grenzen:

Regelbasierte und überwachte Methoden: Systeme wie TTPDrill oder feinabgestimmte Transformer (z. B. LADDER, MITREtrieval) haben Schwierigkeiten mit der Generalisierbarkeit über diverse Berichtsstile und sich entwickelnde Angriffsbeschreibungen hinweg. Sie verlassen sich häufig auf explizite Schlüsselwörter oder feste Ontologien und scheitern daran, implizite oder umformulierte Verhaltensweisen zu erfassen.
Ein-Pass-LLM-Ansätze: Zwar zeigen Large Language Models (LLMs) vielversprechende Ergebnisse, doch ihre Anwendung in einem einzigen Inferenzschritt koppelt die Ziele der Hypothesengenerierung und -verifikation. Diese Kopplung führt zu zwei sich verstärkenden Fehlermodi: (1) Modelle opfern die Abdeckung zugunsten der Zuversicht und lassen weniger auffällige Verhaltensweisen aus, und (2) oberflächliche lexikalische Diskrepanzen zwischen der Sprache operativer Berichte und den kanonischen MITRE-Definitionen führen zu einer falschen Zuordnung von Techniken.

Methodik: TTPRINT
Die Autoren schlagen TTPRINT vor, eine vierstufige Pipeline, die von Arbeitsabläufen menschlicher Analysten inspiriert ist und ein „Divergieren-und-dann-Konvergieren"-Design nutzt, um die recall-orientierte Generierung von der präzisionsorientierten Verifikation zu entkoppeln.

Divergente Phase (Maximierung der Abdeckung):
- Verhaltensextraktion: Der rohe CTI-Bericht wird in eine Menge atomarer, in sich geschlossener Angriffsverhaltensweisen zerlegt. Entscheidend ist, dass diese Stufe spezifische technische Artefakte (Tool-Namen, Befehlsstrings, Registrierungspfade) bewahrt, um einen Kontextverlust zu verhindern und sicherzustellen, dass nachgelagerte Stufen ausreichende Details für eine genaue Identifizierung haben.
- TTP-Vorschlag: Für jedes atomare Verhalten schlägt das LLM eine breite Palette von Kandidaten-MITRE ATT&CK-Techniken vor (bis zu $k$ verschiedene Identifikatoren auf übergeordneter Ebene). Diese Phase priorisiert die Recall-Rate und verschiebt bewusst Urteile, um sicherzustellen, dass keine potenzielle Technik vorzeitig verworfen wird.
Konvergente Phase (Filterung nach Evidenz):
- Span-Lokalisierung: Ein deterministischer Algorithmus verankert jedes vorgeschlagene Verhalten in einem spezifischen, zusammenhängenden Satzfenster (Evidenzspanne) innerhalb des ursprünglichen Berichts. Dies beschränkt alle nachfolgenden Schlussfolgerungen auf verifizierbare textliche Unterstützung anstelle des gesamten Dokumentkontexts, wodurch Rauschen und Halluzinationsrisiken reduziert werden.
- TTP-Verifikation: Das LLM bewertet jede Kandidaten-Technik anhand dreier Eingaben: des Verhaltens-Textes, der lokalisierten Evidenzspanne und der offiziellen MITRE ATT&CK-Definition. Das Modell gibt einen Konfidenzwert ( $c_{ver}$ ) aus, der angibt, ob die Evidenz die Technik explizit unterstützt.
- Schwellenwertbildung: Kandidaten, die einen einstellbaren Konfidenzschwellenwert ( $\tau$ ) überschreiten, werden beibehalten. Dieser Parameter ermöglicht es Praktikern, den Präzisions-Recall-Trade-off explizit zu steuern, ohne das Modell neu zu trainieren oder die Architektur zu ändern.

Hauptbeiträge

Architekturprinzip: Die Arbeit identifiziert die Kopplung von Präzision und Recall bei der Extraktion in einem einzigen Durchgang als strukturelle Einschränkung und schlägt das Prinzip des Divergieren-und-dann-Konvergieren vor, das die Hypothesengenerierung explizit von der evidenzbasierten Verifikation trennt.
TTPRINT-Pipeline: Eine neuartige Implementierung mit deterministischer Span-Lokalisierung, die sicherstellt, dass jede Vorhersage auf einen spezifischen Quellabschnitt zurückführbar ist und somit eine vollständige Überprüfbarkeit ermöglicht.
Evaluierungsressourcen:
- TRAM-Clean: Eine systematisch bereinigte Version des weit verbreiteten TRAM-Benchmarks, die falsche Positive und Negative in den ursprünglichen Annotationen korrigiert, um eine zuverlässige Basislinie zu bieten.
- TTPRINT-Bench: Ein neuer Benchmark auf Dokumentenebene, der 150 vollständige CTI-Berichte (2022–2025) mit doppelt annotierten, adjudizierten Ground-Truth-Daten umfasst und darauf ausgelegt ist, die Extraktion aus unstrukturierten, vollständigen Dokumenten anstelle isolierter Sätze zu bewerten.

Ergebnisse
Auf TRAM-Clean und TTPRINT-Bench evaluiert, zeigt TTPRINT signifikante Verbesserungen gegenüber den State-of-the-Art-Basislinien:

Leistung: TTPRINT erreicht auf TRAM-Clean ein Macro-F1 von 76,48 % und auf TTPRINT-Bench 87,39 %. Dies entspricht einer Verbesserung von 63,5 % bzw. 29,4 % gegenüber der führenden Basislinie (CoT GPT-4o).
Präzision und Recall: Im Gegensatz zu Ein-Pass-Methoden, die Schwierigkeiten haben, beide Metriken in Einklang zu bringen, verbessert TTPRINT sie gleichzeitig. Auf TTPRINT-Bench stieg die Recall-Rate von 50,70 % auf 95,50 % und die Präzision von 69,90 % auf 82,15 %.
Ablationsstudien: Das Entfernen einer beliebigen Stufe (Verhaltensextraktion, Span-Lokalisierung oder Verifikation) führt zu einer signifikanten Leistungsverschlechterung. Bemerkenswerterweise verbessert die Span-Lokalisierung sowohl die Präzision als auch die Recall-Rate, indem sie Kontextverdünnung und Halluzinationsrisiken reduziert.
Modellagnostizismus: Die Wirksamkeit der Pipeline bleibt über sechs verschiedene LLM-Backbones hinweg bestehen (einschließlich GPT-4o, Claude Sonnet, Gemini, Qwen und DeepSeek). Kleinere Modelle, die mit der TTPRINT-Pipeline ausgestattet sind, übertreffen oft größere Modelle, die Ein-Pass-Prompts verwenden, was darauf hindeutet, dass das Architekturentwurf der Haupttreiber der Leistung ist.
Schwellenwertempfindlichkeit: Der Verifikationsschwellenwert $\tau$ bietet eine glatte, monotone Steuerung der Präzisions-Recall-Grenze, sodass Benutzer Betriebspunkte für Szenarien mit hoher Recall-Rate (SOC-Triage), ausgewogenen oder hoher Präzision (automatisierte Reaktion) auswählen können.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass TTPRINT eine kritische Lücke im Workflow von CTI-Analysten schließt, indem es eine Methode für die hochpräzise, recall-starke Extraktion von TTPs bereitstellt, die direkt auf Quellenevidenz zurückführbar ist. Durch die Entkopplung von Generierung und Verifikation mildert das System die inhärenten Trade-offs des Ein-Pass-LLM-Promptings ab. Die Autoren betonen, dass der Ansatz modellagnostisch ist und es Organisationen mit Bedenken hinsichtlich der Datenhoheit ermöglicht, lokal gehostete Open-Source-LLMs einzusetzen, ohne Leistungseinbußen in Kauf nehmen zu müssen. Die Veröffentlichung von TRAM-Clean und TTPRINT-Bench zielt darauf ab, das Feld von der Bewertung auf Satzebene hin zu einer realistischen, auf Dokumentenebene erfolgenden Extraktion zu heben und zukünftige Forschung in der automatisierten Bedrohungsintelligenz-Analyse zu erleichtern.

Die Autoren halten einen bescheidenen Umfang ein und stellen fest, dass das System auf englischsprachige Berichte großer Sicherheitsanbieter abzielt und derzeit keine Mehrdeutigkeiten auflöst, die in der MITRE-Taxonomie selbst inherent sind (z. B. semantisch benachbarte Techniken). Sie weisen zudem darauf hin, dass zwar die Extraktionsqualität gegen Expertenannotationen validiert wurde, der Einfluss auf nachgelagerte operative Metriken (z. B. Triage-Zeit) jedoch zukünftiger kontrollierter Einsatzstudien bedarf.