🤖 machine learning

TACTIC-KG: Toward Small Agent Teams for Cyber Threat Intelligence Knowledge Graph Construction

TACTIC-KG is een kosteneffectief agentisch framework dat Cybersecurity Knowledge Graphs construeert uit ongestructureerde dreigingsrapporten door de taak te deconstrueren in gespecialiseerde rollen voor lichtgewicht LLM's, waardoor het monolithische grote modellen overtreft in nauwkeurigheid, stabiliteit en efficiëntie.

Oorspronkelijke auteurs: Mouhamed Amine Bouchiha, Gregory Blanc

Gepubliceerd 2026-07-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mouhamed Amine Bouchiha, Gregory Blanc

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een enorme, gedetailleerde kaart van een stad te bouwen, maar in plaats van blauwdrukken heb je alleen duizenden slordige, handgeschreven dagboekfragmenten van verschillende mensen. Sommige fragmenten zijn duidelijk, sommige zijn gekrabbeld, sommige zijn tegenstrijdigig en sommige zijn gewoon verzonnen. Dit is wat cybersecurity-experts ervaren wanneer ze proberen Cyber Threat Intelligence (CTI)-rapporten om te zetten in Knowledge Graphs. Deze rapporten beschrijven hackers, hun tools en hun aanvallen, maar ze zijn geschreven in ongestructureerde, slordige tekst.

Het paper introduceert een nieuw systeem genaamd TACTIC-KG om dit probleem op te lossen. Zo werkt het, met behulp van eenvoudige analogieën:

De Oude Manier: De "Super-Geniale" Solo-Artiest

Voorheen probeerden onderzoekers één gigantisch, superkrachtig AI-model (een "monolithisch" model) te gebruiken om het slordige dagboek te lezen, het verhaal te begrijpen, de namen van hackers en tools te vinden, te ontdekken hoe ze verbonden zijn en de kaart te tekenen, alles tegelijkertijd.

Denk hierbij aan het inhuren van één Super-Geniale Artiest om de hele klus alleen te klaren.

Het Probleem: Zelfs genieën worden moe. Wanneer het verhaal te lang of te complex is, begint de Super-Geniale Artiest te hallucineren. Ze verzinnen misschien een connectie tussen twee personen die nooit heeft bestaan, of ze vergeten een belangrijk detail omdat ze te veel dingen tegelijk probeerden te doen.
De Kosten: Deze Super-Geniale Artiest is ook ongelooflijk duur om in te huren en traag in het werk.

De Nieuwe Manier: Het "Gespecialiseerde Team" (TACTIC-KG)

De auteurs van dit paper zeggen: "Waarom vertrouwen op één overwerkte genie? Laten we een klein team van gespecialiseerde werkers inhuren."

TACTIC-KG breekt de taak op in vier afzonderlijke rollen, die elk worden afgehandeld door een kleinere, goedkopere en meer gefocuste AI-agent. Ze werken in een lijn en geven het werk door de keten naar beneden:

De Extractor (De Scharrelaar):
- Taak: Deze agent kijkt alleen naar de tekst en haalt ruwe stukjes informatie eruit (zoals "Pegasus", "iOS", "NSO Group"). Hij maakt zich nog geen zorgen over wat ze betekenen; hij pakt gewoon de feiten.
- Analogie: Als een aasvogel die glimmende objecten van de grond raapt. Hij pakt alles wat er interessant uitziet zonder te oordelen of het een diamant of een stuk glas is.
De Typer (De Labelaar):
- Taak: Deze agent neemt de glimmende objecten die de scharrelaar heeft gevonden en plaatst ze in de juiste dozen. Is "Pegasus" een Malware? Is "NSO Group" een Organisatie?
- Analogie: Als een bibliothecaris die de boeken die de scharrelaar heeft meegebracht, op de juiste planken zet (Fictie, Geschiedenis, Wetenschap).
De Verifier (De Feitencontroleur):
- Taak: Dit is de belangrijkste nieuwe stap. Deze agent kijkt naar de gelabelde items en vraagt: "Zei het originele dagboek dit daadwerkelijk?" Als de scharrelaar en de labelaar een gok hebben gedaan die niet door de tekst wordt ondersteund, gooit de Verifier het eruit.
- Analogie: Als een strenge redacteur die een nieuwsbericht controleert. Als de verslaggever beweert "De verdachte was in Parijs", maar de brontekst zegt alleen "De verdachte was in Europa", dan snijdt de redacteur de specifieke bewering eruit. Dit voorkomt dat het systeem dingen verzint (hallucinaties).
De Curator (De Kaartmaker):
- Taak: Deze agent neemt de geverifieerde feiten en verbindt ze tot een definitieve, schone kaart. Hij herstelt kleine fouten, voegt dubbele namen samen (zoals "TrickBot" en "Trick Bot") en zorgt ervoor dat de kaart logisch is zonder valse bruggen toe te voegen.
- Analogie: Als een cartograaf die de definitieve kaart tekent, waarbij hij ervoor zorgt dat de wegen logisch verbonden zijn en verwijdert eventuele bruggen die nergens toe leiden.

Waarom dit Team Beter is

Het paper stelt dat deze teambenadering superieur is aan de "Super-Geniale" aanpak om drie belangrijke redenen:

Minder Hallucinatie: Omdat de Verifier fungeert als een strikte poortwachter, verzint het team niet per ongeluk valse connecties. De "Super-Geniale Artiest" probeert vaak te behulpzaam te zijn en vult de gaten in met gokken; dit team vult gaten alleen in als de tekst dat expliciet ondersteunt.
Betere Recall (Meer Vinden): De "Scharrelaar" krijgt de ruimte om alles te pakken wat hij ziet, zelfs als hij het niet zeker weet. Daarna sorteert de "Feitencontroleur" de goede van de slechte. Dit betekent dat ze minder echte dreigingen missen dan het enkele model, dat overweldigd kan raken en details kan overslaan.
Goedkoper en Sneller: In plaats van één massief, duur computerbrein, gebruikt het team verschillende kleinere, lichte breinen (3 miljard tot 8 miljard parameters). Het is alsof je een team van efficiënte stagiairs gebruikt in plaats van één hoogbetaalde, trage executive.

De Resultaten

Wanneer de auteurs dit systeem testten op echte cybersecurity-rapporten, ontdekten ze dat:

Het team van kleine agenten nauwkeuriger was in het vinden en labelen van dreigingen dan de gigantische enkele modellen.
De kaarten (Knowledge Graphs) die ze bouwden, consistenter waren en minder valse connecties bevatten.
Ze deze resultaten behaalden met veel kleinere, goedkopere computermodellen.

Kortom, TACTIC-KG bewijst dat voor complexe taken zoals het in kaart brengen van cyberdreigingen, een goed georganiseerd team van specialisten beter is dan één overwerkte superster.

Technische Samenvatting: TACTIC-KG

Probleemdefinitie

De constructie van Cybersecurity Knowledge Graphs (CSKGs) uit Cyber Threat Intelligence (CTI) rapporten staat voor aanzienlijke uitdagingen vanwege de ongestructureerde, heterogene en ruisgevoelige aard van de brontekst. Hoewel Large Language Models (LLMs) zijn toegepast om dit extractieproces te automatiseren, lijden monolithische benaderingen die vertrouwen op enkele, grote modellen vaak aan hoge implementatiekosten, beperkte controleerbaarheid en instabiele prestaties. Specifiek worstelen deze systemen met:

Hallucinatie en Getrouwheid (Faithfulness): Het genereren van plausibele maar niet onderbouwde triples (bijv. het afleiden van aanvallersrollen of temporele links die niet expliciet worden vermeld).
Over-volledigheid (Over-Completion): Het kunstmatig afdwingen van graaf-connectiviteit om volledige aanvalsketens te creëren, zelfs wanneer bewijs gedeeltelijk of losgekoppeld is.
Contextgrootte-afruil (Context-Size Trade-offs): Grote contextvensters kunnen de aandacht in lichtgewicht modellen verwateren, terwijl kleine vensters leiden tot weglatingfouten.

Bestaande state-of-the-art systemen (bijv. CTINEXUS) vertrouwen vaak op In-Context Learning (ICL) met massieve modellen (bijv. 671B parameters) of complexe retrieval-augmented generation (RAG) pipelines, die fragiel, duur en gevoelig kunnen zijn voor de kwaliteit van de retrieval.

Methodologie: TACTIC-KG Framework

Het artikel introduceert TACTIC-KG, een agentic framework dat de constructie van CSKG herformuleert als een gecontroleerd, meerfasig redeneerproces. In plaats van een enkele monolithische inferentie-taak, deelt het framework de workflow op in gespecialiseerde, lichtgewicht LLM-agents (3B–8B parameters) met behulp van Low-Rank Adaptation (LoRA). Het kernontwerpprincipe is "getrouwheid vóór connectiviteit" (faithfulness before connectivity).

Workflow Architectuur

De pipeline verwerkt ruwe CTI-rapporten via de volgende fasen:

Semantische Chunking: Lange rapporten worden gesegmenteerd op basis van zin- of discoursgrenzen met gecontroleerde overlap om de lokale semantische coherentie te bewaren en contextverwatering te voorkomen.
Extractor Agent: Genereert kandidaat-triples $(h, r, t)$ die strikt gebaseerd zijn op de tekst-chunks. Deze voert geen typering of globale redenering uit, wat voortijdige abstractie voorkomt.
Typer Agent: Wint ontologie-conforme semantische types toe (bijv. MALOnt, STIX 2.1) aan entiteiten op basis van lokale context en relatiesemantiek. Deze opereert binnen een gesloten labelruimte om ontologie-drift te voorkomen.
Verifier Agent: Fungeert als een filterfase die een binaire classificatie uitvoert om te bepalen of een getypeerd triplet SUPPORTED (onderbouwd) of NOT_SUPPORTED (niet onderbouwd) is door expliciete of impliciete tekstuele bewijslast. Het handhaaft een closed-world assumption, waarbij plausibele maar niet gestelde relaties worden afgewezen.
Curator Agent: Voert de finale sanering uit, inclus�_als deduplicatie, entiteitsnormalisatie (alias-resolutie) en minimale structurele reparatie. Deze introduceert nieuwe randen alleen wanneer dit logisch noodzakelijk is en ondersteund wordt door bewijs, en fungeert als een structureel firewall tegen hallucinaties.

Technische Implementatie

Model Specialisatie: Het framework maakt gebruik van lichtgewicht modellen (bijv. Ministral-3B, Ministral-8B, Qwen3-8B) die zijn gefinetuned met LoRA. Dit maakt modulaire, agent-specifieke adapters mogelijk die de GPU-geheugenvoetafdruk verkleinen en onafhankelijke upgrades mogelijk maken.
Trainingsstrategie:
- Extractors worden getraind op gechunkte rapporten met strikte JSON-outputformaten.
- Typers worden getraind onder een closed label space die in de prompts is ingebed.
- Verifiers worden getraind als triplet-niveau binaire classificators op geannoteerde corpora om onderscheid te maken tussen ondersteunde en niet-ondersteunde relaties.
- Curators worden getraind om minimale sets van verbindende triplets te voorspellen om graafcomponenten te verbinden zonder ongefundeerde randen te hallucineren.

Belangrijkste Bijdragen

Agentic Decompositie: Het artikel stelt een verschuiving voor van monolithische generatie naar een multi-agent systeem waarbij extractie, typering, verificatie en curatie worden afgehandeld door gespecialiseerde agents. Dit vermindert de taak-entropie en lokaliseert de risico's op hallucinatie.
Handhaving van Getrouwheid: Door generatie expliciet te scheiden van verificatie en een closed-world assumption af te dwingen op triplet-niveau, vermindert TACTIC-KG aanzienlijk de gehallucineerde relaties en over-volledigheid.
Kostenefficiënte Prestaties: Het framework demonstreert dat lichtgewicht modellen (3B–8B), wanneer ze gespecialiseerd zijn via LoRA en georkestreerd worden in een multi-agent pipeline, de prestaties van veel grotere monolithische modellen (bijv. DeepSeek-V3.1 671B) kunnen evenaren of overtreffen op het gebied van extractiekwaliteit en graafconsistentie.
Ontologie Gronding: Het systeem integreert ontologie-restricties (MALOnt) direct in de typering- en verificatiefases, wat ervoor zorgt dat de resulterende grafen structureel consistent en actiegericht zijn.

Experimentele Resultaten

Het framework werd geëvalueerd op menselijk geannoteerde CTI-rapporten (CTI-HAL en CTINEXUS benchmarks) tegenover state-of-the-art baselines, inclusief CTINEXUS met diverse grote modellen (DeepSeek-V3.1, Kimi-K2, Devstral-2).

Extractiekwaliteit: TACTIC-KG behaalde hogere F1-scores en een significant verbeterde recall vergeleken met monolithische baselines. Bijvoorbeeld, op TEST2 behaalde de Ministral-3-8B variant een F1 van 78 en een Graph Similarity van 63, waarmee het DeepSeek-V3.1 (F1: 66, Graph: 52) overtrof.
Recall vs. Precisie: De agent-specialisatie maakte expliciete controle over de precisie-recall afruil mogelijk. Extractors behaalden een hoge recall (tot 90%), terwijl verifiers en curators een stabiele precisie behielden door hallucinaties te filteren zonder de dekking op te offeren.
Typering en Gronding: TACTIC-KG demonstreerde een superieure typering nauwkeurigheid (Partial Typing Accuracy tot 72% vs. 69% voor DeepSeek) en betere semantische gronding, toegeschreven aan de verminderde cognitieve belasting per individuele agent en de ontologie-bewuste verificatie.
Data-efficiëntie: Het framework vereiste slechts een matige hoeveelheid trainingsdata (ongeveer 200 chunks) om sterke prestaties te bereiken, waarbij datadiversiteit belangrijker bleek dan louter volume.
Hybride Ontwerp: Experimenten toonden aan dat het gebruik van een gedeeld, sterker redeneermodel voor verificatie en curatie (terwijl de extractie gespecialiseerd blijft) de stabiliteit en consistentie verder verbeterde.

Betekenis en Claims

Het artikel claimt dat TACTIC-KG een robuust, kostenefficiënt alternatief biedt voor monolithische LLM-benaderingen voor de constructie van CSKG's. Door het probleem te behandelen als een gecontroleerd multi-agent redeneerproces, biedt het framework:

Minimaliseert Hallucinatie: Expliciete verificatie- en curatiefases voorkomen de propagatie van niet-onderbouwde feiten.
Verbetert Stabiliteit: Modulaire agents verminderen de variantie in prestaties die vaak bij grote, single-pass modellen wordt gezien.
Maakt Implementatie Mogelijk: Het gebruik van lichtgewicht modellen maakt het systeem haalbaar voor organisaties met beperkte computationele middelen, inclusief potentiële enterprise-toepassingen waar dataprivacy lokale implementatie vereist.

De auteurs concluderen dat hoewel volledige typering-nauwkeurigheid een uitdaging blijft voor alle systemen, de decompositie van taken in gespecialiseerde agents een superieur evenwicht biedt tussen nauwkeurigheid, stabiliteit en kostenefficiëntie voor het construeren van actiegerichte Cyber Threat Intelligence Knowledge Graphs.