🤖 machine learning

Constructing Multi-label Hierarchical Classification Models for MITRE ATT&CK Text Tagging

Dit artikel introduceert een raamwerk voor multi-label hiërarchische classificatie voor het automatiseren van MITRE ATT&CK-teksttagging dat een hoge nauwkeurigheid bereikt (94% op tactiekgehalte en 82% op techniekgehalte) met behulp van klassieke machine learning-methoden, waarbij GPT-4o aanzienlijk wordt overtroffen en de noodzaak voor complexe LLM-gebaseerde architecturen wordt geëlimineerd.

Oorspronkelijke auteurs: Andrew Crossman, Jonah Dodd, Viralam Ramamurthy Chaithanya Kumar, Riyaz Mohammed, Andrew R. Plummer, Chandra Sekharudu, Deepak Warrier, Mohammad Yekrangian

Gepubliceerd 2026-01-22

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Andrew Crossman, Jonah Dodd, Viralam Ramamurthy Chaithanya Kumar, Riyaz Mohammed, Andrew R. Plummer, Chandra Sekharudu, Deepak Warrier, Mohammad Yekrangian

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een bibliothecaris bent die een enorme, chaotische bibliotheek probeert te organiseren vol verhalen over cyberaanvallen. Elke keer als er een nieuw verhaal (een "dreigingsrapport") binnenkomt, moet je het onder specifieke categorieën indelen zodat andere bibliothecarissen het later kunnen vinden.

In de wereld van cybersecurity wordt dit systeem voor het archiveren MITRE ATT&CK genoemd. Het is als een gigantische, twee-laagse archiefkast:

De bovenste lade (Tactics/Tactieken): Dit beantwoordt de vraag: "Waarom deed de boef dit?" (bijv. "Ze wilden wachtwoorden stelen" of "Ze wilden hun sporen wissen").
De onderste lade (Techniques/Technieken): Dit beantwoordt de vraag: "Hoe deden ze het?" (bijv. "Ze gebruikten een specif kind type phishing-e-mail" of "Ze gebruikten een specifieke softwarefout").

Jarenlang moesten beveiligingsexperts deze rapporten lezen en ze handmatig in de juiste laden archiveren. Dat is traag, saai en foutgevoelig door menselijke fouten. Dit artikel gaat over het bouwen van een robotassistent die dit archiveren voor hen kan doen.

De "Bottom-Up" Constructie

In plaats van te proberen een gigantische, complexe robot vanaf nul op te bouwen (een "top-down" aanpak), bouwden de auteurs hun systeem stap voor stap, zoals het stapelen van blokken. Ze begonnen klein en voegden pas complexiteit toe wanneer ze wisten dat de vorige blok stevig stond.

Stap 1: De Simpele Classificatie (De "Eén-Label" Robot)
Eerst leerden ze een simpel machine learning-model om naar een zin te kijken en één "Waarom" (Tactic) te raden. Ze testten dit tegen GPT-4o, de beroemde AI-chatbot.
- Het resultaat: De simpele robot won. Hij had ongeveer 82% van de antwoorden goed, terwijl GPT-4o slechts 59% goed had. De auteurs ontdekten dat voor deze specifieke, gestructureerde taak een simpel, klassiek hulpmiddel eigenlijk beter was dan de hippe, complexe AI.
Stap 2: De Multi-Label Classificatie (De "Meerdere-Labels" Robot)
Het echte leven is niet simpel; een enkele zin heeft vaak meerdere redenen voor een aanval. Dus upgradeden ze de robot zodat hij de top 3 "Waarommen" kon raden in plaats van slechts één.
- Het resultaat: Dit verhoogde hun nauwkeurigheid naar 94%.
Stap 3: De Hiërarchische Classificatie (De "Volledige Archivering" Robot)
Ten slotte leerden ze de robot om de "Waarom" én de "Hoe" samen te raden. Als de robot raadt dat de "Waarom" "Wachtwoorden stelen" is, kijkt hij vervolgens naar de specifieke "Hoe" (bijv. "Keylogging").
- Het resultaat: Dit systeem bereikte een nauwkeurigheid van 82% voor de volledige "Waarom + Hoe" combinatie.

Het "Geheime Recept" (Waarom het werkt)

De auteurs gebruikten niet de nieuwste, duurste "Generatieve AI" of complexe neurale netwerken. In plaats daarvan gebruikten ze klassieke machine learning (specifiek iets dat "Stochastic Gradient Descent" met "TF-IDF" wordt genoemd).

Denk er zo over na: in plaats van een supercomplexe, dure Ferrari te bouwen om naar de supermarkt te rijden, bouwden ze een zeer betrouwbare, efficiënte fiets. Deze doet het werk sneller, kost minder en is makkelijker te repareren.

Ze voegden ook een privacyvergrendeling toe (hashing). Stel je voor dat ze hun robot met de wereld wilden delen, maar bezorgd waren over het delen van de geheime recepten (de data) die werden gebruikt om hem te trainen. Ze bedachten een manier om de data te versleutelen, zodat de robot ervan kon leren zonder dat iemand de originele ingrediënten kon zien. Dit maakte het mogelijk om de robot veilig met het publiek te delen.

De "Nieuwe Bibliotheek" Test

Om te zien of hun robot echt slim was, testten ze hem niet alleen op de verhalen waar hij van had geleerd. Ze gaven hem een compleet nieuwe set verhalen over financiële dreigingen (specifiek voor de banksector) die hij nog nooit had gezien.

Het resultaat: In het begin was de robot in de war (omdat de nieuwe verhalen anders waren). Maar toen ze hem slechts een heel klein beetje training gaven op deze nieuwe verhalen, leerde hij snel om ze correct te archiveren. Dit bewijst dat de robot flexibel is en kan aanpassen aan nieuwe situaties zonder dat er een enorme hoeveelheid nieuwe data nodig is.

De Belangrijkste Conclusie

De paper concludeert dat je niet altijd de meest dure, complexe AI nodig hebt om een probleem op te lossen. Door de taak op te splitsen in kleine, beheersbare stappen en betrouwbare, klassieke tools te gebruiken, bouwden zij een systeem dat:

Nauwkeuriger is dan een top-tier AI-chatbot (GPT-4o) voor deze specifieke taak.
Sneller en goedkoper is in gebruik.
Veilig te delen is met het publiek.
Kan aanpassen aan nieuwe soorten data met zeer weinig extra training.

Ze hebben deze "robotbibliothecaris" gratis beschikbaar gesteld op GitHub, zodat andere beveiligingsteams hem kunnen gebruiken om hun eigen cyberdreigingsrapporten te organiseren.

Technische Samenvatting: Constructie van Multi-Label Hiërarchische Classificatiemodellen voor MITRE ATT&CK Tekst-tagging

Probleemstelling

Het MITRE ATT&CK-framework dient als een cruciale kennisbank voor cybersecurity en organiseert de gedragingen van dreigingsactoren in een hiërarchie van tactieken (het "waarom" of de doelen van een aanval) en technieken (het "hoe" of de gebruikte methoden). Een primaire toepassing van dit framework is de handmatige annotatie van cyberdreigingsrapporten, kwetsbaarheidsbeschrijvingen en dreigingsscenario's om downstream-analyse te faciliteren. Momenteel blijft dit proces van tagging grotendeels handmatig, wat een bottleneck vormt voor security analisten. Hoewel diverse computationele methoden zijn ontstaan om deze taak te automatiseren of semi-automatiseren, ontbreekt het aan een verenigd framework om deze inspanningen te categoriseren en is er behoefte aan robuuste, toegankelijke modellen die niet afhankelijk zijn van complexe Large Language Models (LLM's) of resource-intensieve architecturen.

Methodologie

De auteurs stellen een "bottom-up" stapsgewijze constructie voor van een multi-label hiërarchisch classificatiesysteem, wat afwijkt van canonieke "top-down" AI/ML architecturale selecties. Deze benadering wordt geleid door een gestratificeerde "taakruimte"-formulering (Tabel 1) die tagging-taken categoriseert op basis van complexiteit, variërend van single-label multiclass classificatie tot complexe multi-label hiërarchische mapping.

De methodologie verloopt via drie experimentele stadia met klassieke machine learning (specifiek Stochastic Gradient Descent (SGD) classifiers met TF-IDF vectorisatie):

Experimentele Fase 1 (Multiclass Tactic Classificatie):
- Taak: Breng een zin ( $D$ ) in kaart naar een enkele tactiek ( $T$ ).
- Benadering: Een baseline multiclass SGD-model werd getraind op 14.405 algemene cyberintelligence-zinnen.
- Vergelijking: Het model werd gebenchmarkt tegen GPT-4o met behulp van een Text-to-Text prompt engineering benadering.
- Resultaat: Het klassieke SGD-model presteerde significant beter dan GPT-4o (81,95% vs. 59% nauwkeurigheid).
Experimentele Fase 2 (Multi-Label Hiërarchische Constructie):
- Taak: Breid het systeem uit om meerdere tactieken en de bijbehorende technieken te voorspellen (Taak ID 7 in de taakruimte).
- Benadering:
  - Top-N Voorspelling: Het multiclass model werd aangepast om de top $n=3$ voorspelde tactieken te produceren in plaats van een enkel label.
  - Hiërarchische Conditionering: Voor elke voorspelde tactiek werd een aparte, tactiek-specifieke multiclass SGD-model getraind om de top $m=3$ geassocieerde technieken te voorspellen.
  - Beveiliging: Een hashing-mechanisme (MurmurHash3) werd geïntegreerd in het vectorisatieproces om gevoelige trainingsdata te versleutelen zonder de modelprestaties aan te tasten, wat publieke release faciliteert.
- Resultaat: Het systeem bereikte ongeveer 94% nauwkeurigheid op tactiek-niveau en 82% nauwkeurigheid op techniek-niveau (wanneer behandeld als multiclass transformaties).
Experimentele Fase 3 (Generalisatie naar Nieuwe Domeinen):
- Taak: Evalueer het baseline model op een schaarse dataset van 552 financiële dreigingsscenario's geproduceerd door JPMorgan Chase subject matter experts.
- Benadering: Het model getraind op algemene cyberintelligence data werd getest op dit nieuwe domein, en vervolgens werd een nieuw model vanaf nul getraind op een kleine subset van de dreigingsscenario-data.
- Resultaat: Het baseline model vertoonde beperkte generalisatie (41% nauwkeurigheid), maar de architectuur bleek adaptief, waarbij de nauwkeurigheid verbeterde naar 66% met minimale hertraining op de nieuwe domeindata.

Belangrijkste Bijdragen

Gestratificeerde Taakruimte Formulering: Het paper biedt een gestructureerde taxonomie (Tabel 1) voor de MITRE ATT&CK tekst-tagging taak, waarbij bestaande AIML-benaderingen worden georganiseerd en paden voor toekomstige ontwikkeling worden verduidelijkt.
Bottom-Up Modelconstructie: De auteurs demonstreren een methodologie voor het bouwen van hiërarchische modellen die organisch de CISA "Best Practices voor MITRE ATT&CK Mapping" inkapselen door middel van experimentatie in plaats van vooraf gedefinieerde complexe architecturen.
Prestaties vs. Complexiteit: De studie stelt vast dat klassieke machine learning methoden (SGD + TF-IDF) de state-of-the-art prestaties (inclusief GPT-4o) kunnen evenaren of overtreffen voor deze specifieke taak, waardoor de afhankelijkheid van LLM's, RAG, agents of complexe DAG-gebaseerde methoden wordt weggenomen.
Publieke Release en Beveiliging: De auteurs hebben een deelbare, beveiligde versie van hun tagging-systeem vrijgegeven (via GitHub) die data-hashing bevat om trainingsdata te beschermen terwijl de hoge prestaties behouden blijven.
Voorbeeld van Domeinadaptatie: Het paper illustreert hoe het baseline model kan worden opgezet voor nieuwe, schaarse datasets (financiële dreigingsscenario's), wat het potentieel voor low-resource modelbouw benadrukt.

Resultaten

Nauwkeurigheid op Tactiek-niveau: De multi-label hiërarchische benadering bereikte ongeveer 94% nauwkeurigheid op tactiek-niveau.
Nauwkeurigheid op Techniek-niveau: De benadering bereikte ongeveer 82% nauwkeurigheid op techniek-niveau.
GPT-4o Vergelijking: GPT-4o behaalde slechts ~60% nauwkeurigheid op tactiek-niveau, wat aanzienlijk lager is dan de klassieke SGD-benadering.
Hiërarchisch Verdien: De resultaten bevestigden dat de hiërarchische benadering effectief is; technieken werden nooit correct voorspeld wanneer ze gekoppeld waren aan een onjuiste tactiek, wat de conditionele modelleringsstrategie valideert.
Data Beveiliging: De integratie van hashing voor data-encryptie had geen significante impact op de systeemprestaties, wat veilige publieke distributie mogelijk maakte.

Betekenis en Claims

Het paper claimt dat de cybersecurity gemeenschap een kloof ervaart tussen gespecialiseerde beveiligingsactiviteiten en de rijke mathematische/technische literatuur in AIML. Door een rigoureuze taakformulering en een hoogpresterend, toegankelijk en veilig baseline model te bieden, beogen de auteurs deze kloof te overbruggen.

De auteurs benadrukken dat hoewel er veel benaderingen bestaan, brede adoptie door security specialisten zeldzaam is, vaak vanwege bruikbaarheidsproblemen in low-resource of schaarse data-omgevingen. Bijgevolg ligt de betekenis van dit werk niet alleen in de prestatie-indicatoren, maar in de bruikbaarheid, deelbaarheid en uitbreidbaarheid van het voorgestelde systeem. Het paper stelt dat een eenvoudige, klassieke machine learning benadering die respect heeft voor dataprivacy en minimale middelen vereist, een voorwaarde is voor de werkelijke adoptie van geautomatiseerde tagging-tools door security professionals. De auteurs verklaren expliciet dat hun doel is om verdere ontwikkelingen te faciliteren en een fundament te leggen voor toekomstig werk, in plaats van te claimen een definitieve, perfecte oplossing te hebben.