💬 NLP

TTPrint: Evidence-Grounded TTP Extraction via Diverge-then-Converge Verification

TTPrint is een nieuw kader dat de extractie van MITRE ATT&CK-technieken uit rapporten over cyberdreigingsinformatie verbetert door een strategie van "eerst divergeren en dan convergeren" toe te passen om eerst breed kandidaat-gedrag te identificeren dat is verankerd aan specifieke bewijslast en deze vervolgens strikt te verifiëren tegen autoritatieve definities, waardoor het bestaande methoden aanzienlijk overtreft wat betreft zowel recall als precisie.

Oorspronkelijke auteurs: Yutong Cheng, Changze Li, Raihan Sultan Pasha Basuki, Qian Cui, Wei Ding, Peng Gao

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yutong Cheng, Changze Li, Raihan Sultan Pasha Basuki, Qian Cui, Wei Ding, Peng Gao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die probeert een massaal, chaotisch misdrijfverslag op te lossen. Het verslag is honderden pagina's lang, geschreven in een mix van technische jargon en vage beschrijvingen. Je taak is om specifieke "Modus Operandi" (hoe de criminelen het deden) te vinden en deze te koppelen aan een gigantisch, officieel regelboek genaamd MITRE ATT&CK.

Het probleem is lastig:

Mis niets: Als je een techniek mist, komen de criminelen weg met een nieuwe truc.
Maak niets uit: Als je een techniek raadt die er niet echt is, verspil je ieders tijd door geesten te achtervolgen.

Bestaande methoden (zoals oude regelboeken of AI met één doorgang) worstelen om beide te doen. Ze missen ofwel te veel aanwijzingen of raden te veel fouten.

Dan is er TTPRINT, een nieuw systeem dat dit oplost door te fungeren als een team van menselijke detectives die een "Divergeer-then-Convergeer" strategie gebruiken. Denk aan een twee-stappenproces: Verbreed eerst, Verklein daarna.

De TTPRINT Detective Workflow

Fase 1: De "Divergeer" (Verbreken)

In plaats van direct te proberen het antwoord te raden, breekt TTPRINT het enorme misdrijfverslag op in kleine, hapklare stukjes die "atomaire gedragingen" worden genoemd.

De Analogie: Stel je voor dat je een 50 pagina's tellende roman in individuele zinnen snijdt.
Wat het doet: Voor elke kleine zin vraagt de AI: "Wat zou dit kunnen zijn?" Het genereert een lange lijst van mogelijke matches uit het regelboek. Het gooit bewust een breed net, zelfs als dat betekent dat het wat onwaarschijnlijke opties suggereert. Het doel hier is Recall: zorg dat geen enkel echt bewijs achterblijft.

Fase 2: De "Anker" (Het bewijs vinden)

Voordat de AI een gok kan bevestigen, moet het bewijzen waar in de tekst de aanwijzing vandaan kwam.

De Analogie: Als je zegt: "De verdachte gebruikte een breekijzer," moet je wijzen naar de exacte zin in het verslag die zegt: "De verdachte gebruikte een breekijzer." Je kunt niet gewoon zeggen: "Ik denk dat ze een breekijzer gebruikten omdat ze een raam braken."
Wat het doet: TTPRINT gebruikt een strikt, niet-AI algoritme om het specifieke "venster" van tekst te vinden dat het gedrag ondersteunt. Dit verankert elke gok aan een specifiek stuk bewijs, waardoor de AI wordt voorkomen dat het hallucineert (dingen uit het hoofd maakt) op basis van de algemene sfeer van het hele document.

Fase 3: De "Convergeer" (Verkleinen)

Nu komt de strenge verificatie. De AI neemt de lijst van "mogelijke" matches en het specifieke "bewijsvenster".

De Analogie: Een senior detective bekijkt de lijst van de junior. Ze kijken naar de specifieke zin (het bewijs) en de definitie uit het officiële regelboek naast elkaar. Ze vragen: "Past deze zin echt bij de definitie uit het regelboek, of is het slechts een losse gok?"
Wat het doet: De AI kiest een betrouwbaarheidsscore. Als de match zwak is, wordt deze weggegooid. Als hij sterk is, wordt hij behouden. Deze stap zorgt voor Precisie: alleen de feiten die echt door de tekst worden ondersteund, blijven over.

Waarom dit beter werkt

Het paper beweert dat eerdere methoden probeerden al deze stappen in één keer te doen (zoals een detective die het hele verhaal in één adem raadt). Dit leidt tot fouten:

Te voorzichtig: Ze missen subtiele aanwijzingen om niet verkeerd te raden.
Te zelfverzekerd: Ze raden verkeerd omdat de formulering in het verslag niet perfect overeenkomt met het regelboek.

TTPRINT scheidt het "raden" van het "controleren". Door het werk te splitsen, kan het stoutmoedig zijn bij het raden (alles vangen) en streng bij het controleren (alleen de waarheid houden).

De Resultaten

De onderzoekers testten TTPRINT op twee datasets:

TRAM-Clean: Een opgeschoonde versie van een bestaande dataset (ze corrigeerden fouten in de originele labels).
TTPRINT-Bench: Een gloednieuwe dataset van 150 volledige rapporten die ze van scratch maakten.

Het Scorebord:

Op de nieuwe dataset behaalde TTPRINT een 87,39% succesrate (Macro-F1).
De beste vorige methode (een standaard AI die "Chain of Thought" gebruikt) haalde slechts 58,02%.
TTPRINT verbeterde de score met bijna 30%, wat betekent dat het aanzienlijk meer echte technieken vond terwijl het veel minder fouten maakte.

De "Knop" voor Controle

Een cool kenmerk is een "drempelknop" (genaamd $\tau$ ).

Draai het op: Je krijgt minder resultaten, maar je bent 100% zeker dat ze goed zijn (Hoge Precisie). Goed voor geautomatiseerde systemen die het zich niet kunnen permitteren om een fout te maken.
Draai het af: Je krijgt meer resultaten, waardoor je bijna alles vangt, zelfs als sommige misschien wankel zijn (Hoge Recall). Goed voor beveiligingsteams die elke mogelijke bedreiging willen vangen en later willen onderzoeken.

Samenvatting

TTPRINT is als een detective die eerst elk mogelijk scenario opschrijft op basis van elke zin in een verslag, en vervolgens elke theorie streng controleert tegen het specifieke bewijs voordat het het definitieve dossier schrijft. Deze aanpak stelt het in staat om meer echte bedreigingen te vangen en minder vals alarm te slaan dan eerdere methoden.

Opmerking: Het paper richt zich strikt op het extraheren van deze technieken uit Engelstalige rapporten. Het claimt niet om toekomstige aanvallen te voorspellen, hackers in real-time te stoppen, of te fungeren als een medisch of juridisch diagnostisch hulpmiddel.

Technische Samenvatting: TTPRINT

Probleemstelling
Het automatisch extraheren van MITRE ATT&CK-technieken uit ongestructureerde Cyber Threat Intelligence (CTI)-rapporten is een open-set, multi-label-probleem dat gelijktijdige optimalisatie vereist van hoge recall (het vastleggen van alle werkelijk beschreven technieken) en hoge precisie (het vermijden van hallucinaties van niet-ondersteunde technieken). Bestaande benaderingen ondervinden aanzienlijke beperkingen:

Regelgebaseerde en Supervised Methoden: Systemen zoals TTPDrill of fijngefineerde transformers (bijv. LADDER, MITREtrieval) kampen met generaliseerbaarheid over diverse rapportstijlen en evoluerende aanvalsbeschrijvingen. Ze vertrouwen vaak op expliciete trefwoorden of vaste ontologieën, waardoor ze impliciete of parafraserende gedragingen niet kunnen vastleggen.
Single-Pass LLM-benaderingen: Hoewel Large Language Models (LLM's) veelbelovend zijn, koppelt het toepassen ervan in één inferentiestap de doelen van hypothese-generatie en verificatie. Deze koppeling leidt tot twee cumulatieve faalmodi: (1) modellen offeren dekking op voor vertrouwen, waardoor minder opvallende gedragingen worden weggelaten, en (2) oppervlakkige lexicale mismatches tussen operationele rapporttaal en canonieke MITRE-definities leiden tot onjuiste techniek-mapping.

Methodologie: TTPRINT
De auteurs stellen TTPRINT voor, een vierstaps-pipeline geïnspireerd op workflows van menselijke analisten, die gebruikmaakt van een "divergeer-then-convergeer"-ontwerp om recall-gerichte generatie te ontkoppelen van precisie-gerichte verificatie.

Divergente Fase (Dekking maximaliseren):
- Gedragsextractie: Het ruwe CTI-rapport wordt ontleed in een set atomaire, zelfstandige aanvalsgedragingen. Cruciaal is dat deze fase specifieke technische artefacten (toolnamen, commandostrings, registerpaden) behoudt om contextinstorting te voorkomen, zodat downstream-fases voldoende detail hebben voor accurate identificatie.
- TTP-voorstel: Voor elke atomaire gedraging stelt de LLM een brede set kandidaat-MITRE ATT&CK-technieken voor (tot $k$ verschillende identificatoren op ouder-niveau). Deze fase prioriteert recall en stelt oordeel bewust uit om te waarborgen dat geen enkele potentiële techniek voortijdig wordt verworpen.
Convergente Fase (Filteren op bewijs):
- Span-localisatie: Een deterministisch algoritme verankert elke voorgestelde gedraging aan een specifiek, aaneengesloten zinsvenster (bewijs-span) binnen het oorspronkelijke rapport. Dit beperkt alle daaropvolgende redenering tot verifieerbare tekstuele ondersteuning in plaats van de volledige documentcontext, waardoor ruis en hallucinatie-risico's worden verminderd.
- TTP-verificatie: De LLM evalueert elke kandidaat-techniek tegen drie inputs: de gedragingstekst, de gelokaliseerde bewijs-span en de officiële MITRE ATT&CK-definitie. Het model geeft een vertrouwensscore ( $c_{ver}$ ) uit die aangeeft of het bewijs de techniek expliciet ondersteunt.
- Drempelwaarde: Kandidaten die een instelbare vertrouwensdrempel ( $\tau$ ) overschrijden, worden behouden. Deze parameter stelt praktici in staat om expliciet de afweging tussen precisie en recall te controleren zonder hertraining of architecturale wijzigingen.

Belangrijkste Bijdragen

Architecturaal Principe: Het artikel identificeert de koppeling van precisie en recall in single-past-extractie als een structurele beperking en stelt het divergeer-then-convergeer-principe voor, waarbij hypothese-generatie expliciet wordt gescheiden van bewijs-gegronde verificatie.
TTPRINT-pipeline: Een innovatieve implementatie met deterministische span-localisatie die garandeert dat elke voorspelling traceerbaar is naar een specifieke bronpassage, waardoor volledige auditbaarheid mogelijk wordt.
Evaluatiemiddelen:
- TRAM-Clean: Een systematisch opgeschoonde versie van de veelgebruikte TRAM-benchmark, waarbij fouten in de oorspronkelijke annotaties (false positives en negatives) zijn gecorrigeerd om een betrouwbare baseline te bieden.
- TTPRINT-Bench: Een nieuwe benchmark op documentniveau bestaande uit 150 volledige CTI-rapporten (2022–2025) met dubbel geannoteerde, beoordeelde ground truth, ontworpen om extractie uit ongestructureerde, volledige documenten te evalueren in plaats van geïsoleerde zinnen.

Resultaten
Geëvalueerd op TRAM-Clean en TTPRINT-Bench toont TTPRINT aanzienlijke verbeteringen ten opzichte van state-of-the-art baselines:

Prestaties: TTPRINT bereikt een Macro-F1 van 76,48% op TRAM-Clean en 87,39% op TTPRINT-Bench. Dit vertegenwoordigt een verbetering van respectievelijk 63,5% en 29,4% ten opzichte van de leidende baseline (CoT GPT-4o).
Precisie en Recall: In tegenstelling tot single-pass-methoden die moeite hebben om beide metrieken in evenwicht te brengen, verbetert TTPRINT ze gelijktijdig. Op TTPRINT-Bench steeg de recall van 50,70% naar 95,50% en de precisie van 69,90% naar 82,15%.
Ablatiestudies: Het verwijderen van een fase (Gedragsextractie, Span-localisatie of Verificatie) leidt tot significante prestatiedegradatie. Opmerkelijk is dat span-localisatie zowel precisie als recall verbetert door contextverdunning en hallucinatie-risico's te verminderen.
Model-onafhankelijkheid: De effectiviteit van de pipeline geldt voor zes verschillende LLM-backbones (waaronder GPT-4o, Claude Sonnet, Gemini, Qwen en DeepSeek). Kleinere modellen uitgerust met de TTPRINT-pipeline presteren vaak beter dan grotere modellen die single-pass prompting gebruiken, wat suggereert dat het architecturale ontwerp de primaire drijfveer van prestaties is.
Drempelgevoeligheid: De verificatiedrempel $\tau$ biedt een soepele, monotoon controle over de precisie-recall-grens, waardoor gebruikers operationele punten kunnen selecteren voor scenario's met hoge recall (SOC-triage), gebalanceerde scenario's, of scenario's met hoge precisie (geautomatiseerde respons).

Betekenis en Claims
Het artikel claimt dat TTPRINT een kritieke kloof in de CTI-analistworkflow aanpakt door een methode te bieden voor hoge-recall, precieze TTP-extractie die direct traceerbaar is naar bronbewijs. Door generatie en verificatie te ontkoppelen, mitigeert het systeem de inherente afwegingen van single-pass LLM-prompting. De auteurs benadrukken dat de aanpak model-onafhankelijk is, waardoor organisaties met zorgen over data-soevereiniteit lokaal gehoste open-source LLM's kunnen inzetten zonder prestaties op te offeren. De release van TRAM-Clean en TTPRINT-Bench heeft als doel het veld te tillen van evaluatie op zinsniveau naar realistische extractie op documentniveau, waardoor toekomstig onderzoek in geautomatiseerde threat intelligence-analyse wordt vergemakkelijkt.

De auteurs houden een bescheiden scope aan en merken op dat het systeem zich richt op Engelstalige rapporten van grote beveiligingsleveranciers en momenteel geen ambiguïteiten oplost die inherent zijn aan de MITRE-taxonomie zelf (bijv. semantisch aangrenzende technieken). Ze merken ook op dat, hoewel de extractiekwaliteit is gevalideerd tegen expertannotaties, de impact op downstream operationele metrieken (bijv. triagetijd) toekomstige gecontroleerde implementatiestudies vereist.