What Are Adversaries Doing? Automating Tactics, Techniques, and Procedures Extraction: A Systematic Review

Deze systematische review analyseert tachtig studies om de staat van de kunst te schetsen van het automatisch extraheren van tactieken, technieken en procedures (TTPs) uit ongestructureerde tekst, waarbij wordt vastgesteld dat hoewel transformer- en LLM-gebaseerde modellen de overhand hebben, het veld nog steeds worstelt met beperkte generalisatie, gebrek aan reproduceerbaarheid en een tekort aan onderzoek naar tactiekclassificatie en zoekopdrachten.

De kern

Titel: De Digitale Diefstal: Hoe Computers de Plannen van Hackers Lezen

Stel je voor dat de wereld vol zit met duizenden kranten, blogs en rapporten over diefstal, brandstichting en inbraak. Maar in plaats van echte inbraken, gaat het hier over hackers die computersystemen binnendringen. Deze rapporten worden "Cyber Threat Intelligence" (CTI) genoemd. Ze zijn vaak geschreven in een heel moeilijke, technische taal en zitten vol met details over hoe de hackers het deden.

Deze paper is als een grote detective die al die 80 verschillende onderzoeken heeft samengevat om te begrijpen hoe computers die rapporten kunnen lezen en vertalen naar een begrijpelijke lijst met "diefstal-technieken".

Hier is de uitleg, stap voor stap, met een paar leuke vergelijkingen:

1. Het Probleem: De Overvloed aan Papiwerk

Hackers worden slimmer en sneller. Ze veranderen hun plannen (wat ze doen, hoe ze het doen, en welke tools ze gebruiken) voortdurend. Dit noemen we TTP's (Tactics, Techniques, and Procedures).

• Tactics (Tactieken): Waarom doen ze het? (Bijvoorbeeld: "Ik wil je geld stelen").
• Techniques (Technieken): Hoe doen ze het? (Bijvoorbeeld: "Ik gebruik een nep-e-mail om je wachtwoord te krijgen").
• Procedures (Procedures): De exacte stappen die ze nemen.

Het probleem is dat er zoveel rapporten zijn dat menselijke experts het niet meer bij kunnen houden. Het is alsof je probeert een heel boek te lezen terwijl iemand er 100 andere boeken tegelijk op je neer gooit. We hebben computers nodig die dit voor ons doen.

2. Wat hebben de onderzoekers gedaan?

De auteurs van dit artikel hebben 80 wetenschappelijke studies onder de loep genomen. Ze hebben gekeken naar:

• Wat proberen deze computers eigenlijk te vinden?
• Waar halen ze de informatie vandaan?
• Hoe leren ze de computer dit te doen?
• Hoe goed werken ze eigenlijk?

3. De Grote Drie Sporen (Wat zoeken ze?)

De onderzoekers ontdekten dat de meeste studies zich richten op drie dingen, maar niet allemaal even vaak:

• De "Wat"-jagers (Technieken): Dit is de populairste taak. Computers proberen te raden welke specifieke hack-techniek er in een tekst staat. Dit is als een detective die probeert te zeggen: "Aha, deze dief heeft een breekijzer gebruikt!" (in plaats van een sleutel).
• De "Waarom"-jagers (Tactieken): Minder vaak. Hier proberen ze te begrijpen wat het doel was. "Deze dief wilde inbreken in het huis."
• De "Zoekers" (Zoeken): Soms willen ze niet alles automatisch labelen, maar gewoon snel een specifiek woord vinden in een berg papier.

4. De Gereedschapskist: Hoe leren ze de computers?

Vroeger waren de computers "dom". Ze keken alleen naar woorden die vaak terugkwamen (zoals "virus" of "hack").

• De Oude Methode: Een lijstje met regels. "Als je het woord 'virus' ziet, dan is het een hack." Dit werkt niet goed als de hacker slimme taal gebruikt.
• De Nieuwe Methode (Transformers): Vandaag de dag gebruiken ze slimme modellen (zoals BERT of SecureBERT). Stel je voor dat dit computers zijn die een universitair diploma in cybersecurity hebben gehaald. Ze begrijpen de context. Ze weten dat "ik heb de deur opengebroken" iets anders betekent dan "ik heb de deur opengebroken in een spelletje".
• De Super-Slimme Methode (LLM's): De allernieuwste studies gebruiken Grote Taalmodellen (zoals ChatGPT). Deze kunnen zelfs redeneren en nieuwe plannen bedenken, maar ze zijn nog niet helemaal op de hoogte van alle geheimen van de hackerswereld.

5. De Grote Moeilijkheid: De "Geheime Recepten"

Een groot probleem dat de auteurs ontdekken, is dat veel onderzoekers hun "recepten" niet delen.

• Stel je voor dat een kok een heerlijke soep maakt en zegt: "Mijn soep is de lekkerste!" Maar als je vraagt om het recept, zegt hij: "Nee, dat is geheim."
• In de wereld van hack-onderzoek betekent dit dat veel studies hun gegevens (de krantenartikelen) en hun code (het recept) niet publiek maken. Soms zijn ze zelfs geheim (proprietary).
• Hierdoor kunnen andere onderzoekers de resultaten niet controleren. Het is alsof je een wetenschappelijk experiment doet, maar niemand mag naar je laboratorium komen om te zien of je het echt goed hebt gedaan.

6. Wat moet er in de toekomst gebeuren?

De auteurs geven een aantal adviezen om de zaak te verbeteren:

1. Deel je recepten: Maak de datasets en code openbaar, zodat iedereen het kan testen.
2. Meer dan één antwoord: Een hack-rapport bevat vaak meerdere technieken. Computers moeten leren dat er niet maar één antwoord is, maar een hele lijst.
3. Lees het hele verhaal: Computers moeten niet alleen naar één zin kijken, maar het hele verhaal lezen om te begrijpen wat er gebeurt.
4. Test in het echt: Veel tests gebeuren in een veilige, schone omgeving. We moeten testen of de computers ook werken in de chaotische, rommelige echte wereld.

Samenvatting in één zin

Dit artikel is een reisgids die ons vertelt hoe we computers kunnen leren om de complexe, cryptische verhalen van hackers te vertalen naar een duidelijke lijst met waarschuwingen, zodat we onze digitale huizen beter kunnen beveiligen, maar we moeten wel stoppen met het geheimhouden van onze recepten zodat we allemaal samen sterker worden.

Technische samenvatting

Probleemstelling

Cyberaanvallen nemen in omvang en complexiteit toe, wat defensieve organisaties dwingt om Cyber Threat Intelligence (CTI) effectief te benutten. De kern van CTI ligt in het begrijpen van de Tactieken, Technieken en Procedures (TTPs) van tegenstanders. Hoewel er veel ongestructureerde CTI-rapporten beschikbaar zijn (van leveranciers en onderzoeksgemeenschappen), is het handmatig analyseren en extraheren van TTPs uit deze teksten arbeidsintensief, foutgevoelig en niet schaalbaar.

Hoewel er eerder onderzoek is gedaan naar geautomatiseerde extractie van TTPs en het mappen ervan naar gestructureerde kennisbanken zoals MITRE ATT&CK, is het onderzoekslandschap versnipperd. Bestaande werken variëren sterk in:

• Doelstellingen van extractie.
• Gebruikte datasets (vaak proprietair of niet-openbaar).
• Modelleringbenaderingen (van regels tot deep learning).
• Evaluatiemethoden.

Dit maakt het moeilijk om de staat van de kunst te begrijpen, methoden met elkaar te vergelijken of de generaliseerbaarheid van oplossingen te beoordelen. Er ontbreekt een systematische synthese die specifiek focust op TTP-extractie als een distinct onderzoeksprobleem.

Methodologie

De auteurs hebben een systematische literatuuroverzicht (SLR) uitgevoerd volgens de richtlijnen van Kitchenham et al. voor software-engineering.

1. Zoekstrategie: Er zijn vijf academische databases geselecteerd (IEEE Xplore, ACM Digital Library, ScienceDirect, SpringerLink, ACL). Er zijn zoekstrings gebruikt die specifiek gericht waren op "MITRE ATT&CK" en "Tactics AND Techniques AND Procedures".
2. Selectiecriteria:
   • Inclusie: Peer-reviewed publicaties (2015–juni 2025), in het Engels, die een nieuwe methode voor TTP-extractie voorstellen.
   • Exclusie: Niet-peer-reviewed werken (blogs, whitepapers), duplicaten, en studies die niet direct gericht zijn op TTP-extractie.
3. Proces: Uit een initiële set van 3.219 publicaties bleven na filtering en "snowballing" (voorwaartse en achterwaartse verwijzingen) 80 relevante studies over.
4. Analyse: De auteurs hebben een kwalitatieve analyse uitgevoerd met "open coding". Ze hebben de studies gecategoriseerd langs zeven onderzoeksvragen (RQs) die de volgende dimensies bestrijken:
   • Doelstellingen van extractie.
   • Bronnen van data.
   • Dataverzameling en preprocessing.
   • Dataset annotatie en constructie.
   • Methodologische benaderingen.
   • Evaluatiemetrics.
   • Reproduceerbaarheid en beschikbaarheid van artefacten.

Belangrijkste Bijdragen

De studie levert de volgende bijdragen aan het veld:

1. Systematische Categorisatie: Een gestructureerde indeling van TTP-extractiedoelen, methoden, databronnen en evaluatiestrategieën.
2. Overzicht van Artefacten: Een compilatie van de beschikbaarheid van datasets, code en documentatie in bestaand onderzoek.
3. Identificatie van Trends en Gaten: Een analyse van de evolutie van methoden (van rule-based naar LLMs) en de identificatie van kritieke beperkingen in huidige research.
4. Aanbevelingen: Een set van richtlijnen voor toekomstig onderzoek om robuustere en operationeel relevante systemen te ontwikkelen.

Resultaten en Kernbevindingen

1. Doelstellingen van Extractie (RQ1)
De studies zijn ingedeeld in vijf categorieën:

• Techniek-classificatie (39 studies): De dominante taak. Het mappen van tekst naar specifieke MITRE ATT&CK-technieken. De meeste studies gebruiken ongestructureerde CTI-rapporten als input.
• Tactiek-classificatie (6 studies): Minder frequent; focust op het hogere niveau van aanvalsdoelen.
• Techniek-zoeken (5 studies): Het zoeken naar relevante technieken in grote tekstmassa's (vaak via semantische zoekopdrachten in plaats van classificatie).
• IoC-extractie & TTP (6 studies): Het extraheren van Indicators of Compromise (IPs, hashes) gekoppeld aan TTPs.
• Kennisgraf (KG) constructie (24 studies): Het bouwen van gestructureerde grafen van entiteiten en relaties uit CTI-tekst.

2. Data Bronnen (RQ2)

• De meeste studies vertrouwen op Benchmark Datasets (zoals MITRE ATT&CK, CAPEC) en CTI-rapporten van leveranciers (FireEye, Kaspersky, etc.).
• Minder gebruikte bronnen zijn systeemlogs, netwerklogs, en malware-repositories. Dit suggereert een tekortkoming in het bestuderen van operationele data voor real-time detectie.

3. Methodologische Evolutie (RQ5)

• Van Rule-based naar Deep Learning: Er is een duidelijke verschuiving van traditionele ML (SVM, Naive Bayes) en regelgebaseerde systemen naar Transformer-architecturen (BERT, RoBERTa, SecureBERT).
• Domain Adaptatie: Specifiek voor cybersecurity getrainde modellen (zoals SecureBERT, CyBERT) presteren beter dan generieke modellen vanwege het specifieke jargon.
• LLM-integratie: Recentere studies beginnen Large Language Models (LLMs) te gebruiken voor prompting, Retrieval-Augmented Generation (RAG) en fine-tuning. Hoewel veelbelovend, is de adoptie nog emergent.

4. Evaluatie en Reproduceerbaarheid (RQ6 & RQ7)

• Evaluatie: De meeste studies gebruiken enkelvoudige datasets en rapporteren geaggregeerde metrics (Precision, Recall, F1). Er is een gebrek aan multi-label evaluatie en cross-dataset validatie.
• Reproduceerbaarheid: Dit is een groot probleem. Slechts 12,5% van de studies biedt zowel code als data publiek beschikbaar. De helft (50%) vermeldt de beschikbaarheid niet duidelijk of gebruikt proprietair data, wat onafhankelijke validatie en benchmarking ernstig belemmert.

Significantie en Toekomstperspectief

Deze studie is cruciaal omdat het voor het eerst een holistisch beeld schetst van het veld van TTP-extractie, in plaats van CTI in het algemeen te behandelen. Het identificeert dat hoewel de technische prestaties zijn verbeterd door transformers en LLMs, de operationele relevantie beperkt blijft door:

• Gebrek aan realistische, ruwe datasets.
• Vereenvoudigde evaluatiescenario's (single-label vs. multi-label).
• Een reproduceerbaarheidscrisis door gebrek aan open data en code.

Aanbevelingen voor toekomstig onderzoek:

• Het creëren van hoogwaardige, open datasets afkomstig uit operationele CTI-rapporten.
• Het adopteren van multi-label evaluatieparadigma's om de complexiteit van aanvalsscenario's beter te modelleren.
• Het ontwikkelen van context-bewuste modellen die document-level relaties en temporele afhankelijkheden begrijpen, in plaats van alleen zin-voor-zin extractie.
• Het verbeteren van transparantie door code en data standaard te publiceren.

Kortom, de studie fungeert als een blauwdruk voor onderzoekers om TTP-extractiesystemen te ontwikkelen die niet alleen academisch accuraat zijn, maar ook direct toepasbaar en schaalbaar in echte cybersecurity-omgevingen.