Technische Samenvatting: GRID – Grafische Representatie van Intelligence Data voor de Constructie van Kennisgrafieken voor Veiligheidstekst

1. Probleemstelling

Het artikel adresseert de kritieke noodzaak om Cyber Threat Intelligence (CTI) te structureren in berekenbare, traceerbare kennisgrafieken (KG's) om beveiligingsagenten en Large Language Models (LLM's) te ondersteunen bij het redeneren over verbonden bewijsmateriaal. Hoewel ongestructureerde CTI-artikelen (blogs, rapporten) rijke details bevatten over aanvalsgedrag en de evolutie van malware, staan bestaande benaderingen voor vier hoofduitdagingen:

1. Gebrek aan Domeinintegratie: Algemeen doelgerichte LLM's missen vaak specifieke kennis van het beveiligingsdomein, vooral bij kleinere modelgroottes, wat dwingt tot afhankelijkheid van dure commerciële API's.
2. Data-Schaarste: Er is een gebrek aan hoogwaardige, publiek beschikbare datasets die uitgelijnde paren van CTI-tekst en hun overeenkomstige ground-truth kennisgrafieken bieden voor end-to-end training.
3. Duurzame Beloningssignalen: End-to-end extractie van document naar grafiek is een open-eind generatietask. Het ontwerpen van beloningen voor versterkt leren (RL) is moeilijk; het gebruik van een LLM als rechter om volledige grafiekoutput bij elke trainingsstap te scoren, leidt tot onbetaalbare kosten.
4. Oppervlakkig Leren: LLM's neigen te vertrouwen op oppervlakkige lexische overlappingen in plaats van diep semantisch begrip van entiteitsaliassen, hiërarchieën en relatiebeperkingen binnen CTI-narratieven.

2. Methodologie

De auteurs stellen GRID (Graph Representation of Intelligence Data) voor, een end-to-end framework ontworpen om beveiligingskennisgrafieken te construeren uit langere teksten met behulp van een 4B-parameter LLM (Qwen3-4B-Instruct-2507). Het framework bestaat uit vier kerncomponenten:

A. Automatische Annotatie van Artikel-Grafiek Uitlijning

Om het probleem van dataschaarste op te lossen zonder massale handmatige labeling, introduceert GRID een tweestaps annoteren-en-herschrijven lus:

1. Traceerbare Extractie: Een LLM extrahert een kennisgrafiek uit een ruw CTI-artikel onder strikte "tekst-beweisbare" beperkingen, waarbij woordelijke bewijsankers (brontekstspanningen) behouden blijven.
2. KG-Geconditioneerde Herziening: Het originele artikel wordt herschreven door een LLM om beveiligingsinhoud niet vastgelegd in de geëxtraheerde grafiek te verwijderen, terwijl niet-beveiligingscontext en de beschermde ankers behouden blijven.
   Dit proces levert hoogwaardige $(a', G')$-paren op waarbij het herziene artikel $a'$ expliciet uitgelijnd is met de grafiek $G'$.

B. Herformulering van Taakbank voor RL-training

In plaats van volledige grafiekgeneratie direct te belonen, reformuleert GRID het leerdoel in een gescripte taakbank om kosten te verlagen en beloningen te stabiliseren:

• Meerkeuzevragen: Genereert vragen met vier opties waarbij de ground truth een subset van de juiste opties is. Distractoren zijn ontworpen als "near-miss" of "hallucinatie"-gevallen (bijv. juiste entiteiten maar verkeerde relaties).
• Regex-doelen: Converteert elke ground-truth grafiekedge naar een triple-niveau regex-doel.
• Beloningsmechanisme: Beloningen worden berekend op basis van exacte matches voor keuzetaken en genormaliseerde matchingsratio's voor regex-taken. Dit vervangt dure hele-grafiek scoring door goedkopere, lokale taakniveau-controles.

C. Modellering van Artikelcomplexiteit

Het framework wijst een scalair complexiteitsscore toe aan elk artikel op basis van lengte, aantallen entiteiten/relaties en grafiekconnectiviteitsstatistieken. Dit maakt training gesorteerd op artikelcomplexiteit mogelijk, waardoor de RL-agent kan doorgaan van makkelijkere naar moeilijkere voorbeelden.

D. Ontologie-Gestuurde Inferentie

GRID maakt gebruik van een CTI-specifieke ontologie (geïnspireerd op STIX maar verfijnd voor praktische extractie) die entiteitstypes (bijv. threat-actor, malware, vulnerability) en relatiefamilies definieert. Deze ontologie leidt de LLM om:

• Impliciete relaties af te leiden op basis van getypeerde categorieën en hiërarchie.
• Tekst-beweisbare waarheid af te dwingen door externe voltooiing of subjectverheffing te verbieden.
• Aliassen en relaties te normaliseren om structurele consistentie te waarborgen.

E. Evaluatieprotocol

Het systeem gebruikt een LLM als rechter-evaluator voor automatische beoordeling. De rechter scoort precisie en recall op basis van "tekst-beweisbare" regels, waarbij het model ondersteunende tekstevidence moet citeren voor elke voorspelde edge. Deze evaluator is gekalibreerd tegen drie menselijke beoordelaars, met een overeenstemming van 86,0%.

3. Belangrijkste Bijdragen

1. Automatische Data-pijplijn: Een nieuw algoritme om traceerbare artikel-grafiek uitlijningen te genereren zonder grootschalige handmatige annotatie, effectief een supervised dataset creërend vanuit ruwe CTI-artikelen.
2. RL-strategie met Lage Kosten: Een "Taakbank"-benadering die open-eind grafiekextractie herformuleert naar meerkeuzevragen en regex-matchen, wat de rekenkosten van RL-training aanzienlijk verlaagt in vergelijking met online LLM als rechter scoring.
3. Ontologie-Gestuurde Extractie: Een framework dat een beveiligings-specifieke ontologie integreert om de LLM te leiden, wat het semantisch begrip verbetert en hallucinaties vermindert zonder te vertrouwen op gesloten-label classificatie.
4. Unificerend Benchmark: Het creëren van een benchmark bestaande uit 249 CTI-artikelen uit vijf verschillende bronnen (GRID, CASIE, CTINexus, MalKG, SecureNLP) met een betrouwbare automatische evaluatieprotocol.

4. Experimentele Resultaten

De auteurs evalueerden GRID op de unificerende benchmark met een 4B-parameter model.

• Prestaties vs. Baselines: Het primaire Task-bank Beloningsmodel behaalde:
  • 84,62% bron-gemiddelde precisie.
  • 64,91% bron-gemiddelde recall.
  • 68,53% Gemiddelde F1.
  • Het behaalde de beste recall onder alle baselines en een bijna gelijkstaande top F1-score vergeleken met de sterkste concurrent (CTINexus), terwijl het ongeveer 40% van de inferentie-tokens gebruikte.
• Ablatiestudies (RQ2 & RQ3):
  • De Task-bank Beloningsbenadering presteerde beter dan een End2End Beloningsmodel (getraind met online LLM als rechter scoring) met 11,06 recall punten en 10,47 F1 punten, terwijl het aanzienlijk goedkoper was ($60 versus $942 in trainingskosten).
  • Het verwijderen van de regex-tak (alleen Keuze) liet recall met 31 punten dalen, wat de noodzaak van triple-niveau matching bewijst.
  • Artikel herschrijven en training gesorteerd op complexiteit bleken beide noodzakelijk voor optimale prestaties; het verwijderen van een van beide resulteerde in lagere trainingsbeloningen en testscores.

5. Betekenis en Claims

Het artikel beweert dat GRID een oplossing met lage kosten en schaalbaar biedt voor het toerusten van kleinere, open-source LLM's met kennis van het beveiligingsdomein. De betekenis ligt in:

• Kostenefficiëntie: Door supervisieconstructie (offline, eenmalige kosten) te ontkoppelen van training (herbruikbare taakbank), vermijdt GRID de onbetaalbare kosten van online RL met volledige grafiekbeoordeling.
• Prestaties: Het toont aan dat een 4B model, wanneer correct gesuperviseerd via dit framework, grotere of complexere pijplijnen (zoals CTINexus) kan overtreffen of evenaren in recall en F1, terwijl het efficiënter is.
• Betrouwbaarheid: Het framework benadrukt "tekst-beweisbare" extractie en evaluatie, waardoor wordt gegarandeerd dat de gegenereerde kennisgrafieken geworteld zijn in de brontekst in plaats van gehallucineerd vanuit externe kennis.

De auteurs concluderen dat hun benadering succesvol de kloof overbrugt tussen ongestructureerde beveiligingstekst en gestructureerde kennisgrafieken, en een praktische pijplijn biedt voor beveiligingsagenten en threat intelligence systemen.