Technische Samenvatting: CATBridge – Verbeteren van de CVE-ATT&CK Alignement in Omgevingen met Beperkte Middelen

1. Probleemstelling

De afstemming van Common Vulnerabilities and Exposures (CVE) met het MITRE ATT&CK-framework is cruciaal voor actieve defensie, maar kent aanzienlijke uitdagingen in omgevingen met beperkte middelen die worden gekenmerkt door beperkte rekenkracht en een tekort aan hoogwaardige gelabelde monsters.

Bestaande benaderingen vallen uiteen in drie categorieën, die elk met specifieke beperkingen gepaard gaan:

• Machine Learning (ML) en Deep Learning (DL): Hoewel deze methoden een hoge detectienauwkeurigheid bieden, worstelen ze met het vastleggen van diepe semantische associaties tussen specifieke kwetsbaarheidsbeschrijvingen (bijv. "buffer overflow") en macro-niveau aanvalstactieken (bijv. "privilege escalation"). Ze vertrouwen vaak op oppervlakkige tekstkenmerken of vereisen enorme gelabelde datasets en computationele middelen.
• Prompt-gebaseerde Large Language Models (LLM's): Modellen zoals GPT-5 of DeepSeek-R1 beschikken over een sterk semantisch begrip, maar lijden onder hoge computationele kosten, lage inferentie-efficiëntie en zorgen over gegevensprivacy, wat ze onpraktisch maakt voor implementatie in settings met beperkte middelen.
• Fine-tuned Kleine Schaal LLM's: Hoewel computationeel efficiënt en inzetbaar, missen kleine modellen (bijv. 7B parameters) voldoende kennis op het gebied van cybersecurity. Ze hebben moeite met het begrijpen van complexe aanvalspatronen, wat leidt tot matige prestaties op long-tail data en moeilijkheden bij het onderscheiden van vergelijkbare technieken.

Het artikel identificeert drie specifieke uitdagingen bij het gebruik van LLM's voor deze taak in omgevingen met beperkte middelen:

1. Long-tail Distributie: CVE-data is ongebalanceerd, waarbij zeldzame ATT&CK-technieken een tekort aan trainingsmonsters hebben. Kennis geëxtraheerd uit grote modellen heeft de neiging te bevooroordeeld te zijn naar head-class monsters.
2. Semantische Kloof: Er bestaat een disconnect tussen de technische details van CVE's en de tactische doelstellingen van ATT&CK. Kleine modellen slagen er niet in de impliciete redenering te begrijpen die nodig is om de brug te slaan van "exploitatie van kwetsbaarheid" naar "intentie van de aanvaller".
3. Technische Gelijkenis: Veel ATT&CK-technieken delen oppervlakkige functionele semantiek (bijv. code-executie), maar verschillen fundamenteel in tactische intentie. Grote modellen kunnen gedeelde functies overschatten, waardoor ze niet de discriminatieve logica kunnen bieden die nodig is voor kleine modellen om duidelijke beslissingsgrenzen te leren.

2. Methodologie: Het CATBridge Framework

De auteurs stellen CATBridge voor, een multi-stage kennisverrijkingsframework dat een "teacher-student" samenwerkingsmechanisme vestigt. Een grootschalig LLM (Teacher) fungeert als domeinexpert om een lichtgewicht kleinschalig LLM (Student) te begeleiden via drie progressieve stadia.

Fase 1: Gerichte Dataverrijking

Om het probleem van de long-tail distributie aan te pakken (C1), gebruikt het framework verfijnde prompt engineering om de Teacher-modellen te begeleiden bij het synthetiseren van hoogwaardige CVE-monsters voor schaarse ATT&CK-techniekcategorieën.

• Mechanisme: De Teacher krijgt een rol toegewezen als "Cybersecurity Vulnerability Modeling Expert". Het ontvangt een doel-techniek ID en seed CVE-monsters, en genereert vervolgens logisch coherente, semantisch gestandaardiseerde CVE-beschrijvingen specifiek voor ondervertegenwoordigde techniekcategorieën.
• Doel: Om de schaarste aan monsters te verlichten zonder de kern-gedragssemantiek te vervormen, waardoor de trainingsdata voor long-tail klassen effectief wordt uitgebreid.

Fase 2: Domeinkennisverrijking

Om de semantische kloof te overbruggen (C2), construeert het framework een Vulnerability Knowledge Graph om een logische keten van CVE naar ATT&CK te creëren.

• Constructie van de Knowledge Graph: De Teacher extraheert gestructureerde domeinkennis (CWE voor zwakheden, CAPEC voor aanvalspatronen) uit de verrijkte CVE-monsters. Entiteiten (Vulnerability, Weakness, Attack Pattern, Tactic/Technique) en relaties (hasWeakness, exploitedBy, mapsToTechnique) worden in een graaf georganiseerd.
• Extractie van de Knowledge Chain: Een algoritme doorloopt de graaf om volledige ketens te extraheren: CVE → CWE → CAPEC → ATT&CK.
• Student Training: Deze ketens worden geserialiseerd in expliciete tekstuele contexten en opgenomen in de trainingsdata van het Student-model via Supervised Fine-Tuning (SFT). Dit stelt de Student in staat om de cross-source logische relaties direct te leren, in plaats van te vertrouwen op ondoorzichtige redeneerpaden.

Fase 3: Redeneerkennisverrijking

Om technische gelijkenis aan te pakken en discriminatie te verbeteren (C3), maakt het framework gebruik van Chain-of-Thought (CoT) technieken.

• Discriminatieve Abstractie Generatie: Voor paren van vergelijkbare ATT&CK-technieken waar de Student moeite mee heeft bij het onderscheid, genereert de Teacher gestructureerde samenvattingen die drie dimensies analyseren op basis van de Cyber Kill Chain:
  1. Precondition: Vereiste systeemstatus of toegangsrechten.
  2. Core Actions: Fundamentele atomaire operaties die worden uitgevoerd.
  3. Achieved Outcomes: Tactische resultaten en impact.
• Student Training: De Student ondergaat een tweede SFT-fase waarbij trainingsinstanties CVE-monsters koppelen aan deze door de Teacher gegenereerde discriminatieve abstracten. Dit draagt de expliciete redeneerlogica over, waardoor de Student in staat is om duidelijke beslissingsgrenzen te leren tussen verwarrende technieken.

3. Belangrijkste Bijdragen

• LLM-gestuurde Kennisverwerving: Het artikel introduceert een "teacher-student" pijplijn die professionele kennis extraheert uit grootschalige LLM's om kleinschalige LLM's te finetunen. Dit adresseert de trade-off tussen de hoge overhead van grote modellen en de kennisbeperking van kleine modellen in omgevingen met beperkte middelen.
• Multi-stage Kennisverrijking: Het framework stelt een nieuw driestadia-proces voor (Targeted Data, Domain Knowledge, en Reasoning Knowledge) dat standaard fine-tuning complementeert en de alignementnauwkeurigheid aanzienlijk verbetert.
• Prestaties in Omgevingen met Beperkte Middelen: De studie toont aan dat een lichtgewicht 7B-model, verrijkt door dit framework, zowel traditionele SOTA-methoden als zero-shot algemene grote modellen (bijv. GPT-5, DeepSeek-R1 671B) kan overtreffen in settings met beperkte middelen.

4. Experimentele Resultaten

Het framework werd geëvalueerd op de ChatGPT-VDMEval testset (7.013 monsters) met behulp van een Qwen2.5-7B-instruct student-model.

• Algemene Prestaties: CATBridge bereikte een nauwkeurigheid (accuracy) van 83,50%, een precisie van 90,98%, een recall van 93,01% en een F1-score van 85,55%.
• Vergelijkende Winsten:
  • vs. SOTA: Een absolute verbetering van 33,29 procentpunt ten opzichte van de beste baseline (GuardLink, 50,21%).
  • vs. Zero-shot Grote Modellen: Een gemiddelde verbetering van 46,24 procentpunt ten opzichte van zero-shot algemene grote modellen (GPT-5, DeepSeek-R1, Qwen3).
  • vs. Baseline Fine-tuning: Een verbetering van 41,15 procentpunt ten opzichte van hetzelfde student-model getraind met standaard SFT zonder de verrijkingspijplijn (42,35% vs. 83,50%).
• Ablatieonderzoek: De resultaten bevestigden dat elke fase een duidelijke bijdrage leverde. Domain Knowledge Enhancement zorgde voor de grootste enkele-fase sprong (+16,28 pp nauwkeurigheid), terwijl Reasoning Knowledge Enhancement de prestaties verder verfijnde (+11,04 pp).
• Few-Shot en Zero-Shot Scenario's:
  • In few-shot settings (14 long-tail technieken) verbeterde het framework de nauwkeurigheid van 25,33% naar 90,94%.
  • In zero-shot settings (8 onbekende technieken) verbeterde de nauwkeurigheid van 0,96% naar 75,73%, wat een sterke generalisatiecapaciteit aantoont.
• Model Compatibiliteit: Het framework vertoonde een robuuste prestatie over verschillende student-modellen (Mistral-7B, Llama3-8B, Gemma2-9B, Qwen2.5-7B), wat aangeeft dat het niet afhankelijk is van een specifieke modelarchitectuur.

5. Betekenis en Claims

Het artikel claimt dat CATBridge een van de eerste werken is die een multi-stage teacher-student kennisverrijkingspijplijn introduceert, specifiek voor CVE-ATT&CK alignment, waarmee het verder gaat dan eerdere single-stage fine-tuning of chained-template benaderingen.

De primaire betekenis ligt in:

1. Efficiëntie van Middelen: Het vermindert de afhankelijkheid van grootschalige gelabelde data en enorme computationele middelen aanzienlijk, wat betrouwbare dreigiskenniscorrelatie mogelijk maakt in omgevingen met beperkte middelen.
2. Praktische Implementatie: Het maakt de inzet van lichtgewicht modellen (7B) mogelijk die prestatieniveaus bereiken die vergelijkbaar zijn met of de zero-shot prestaties van veel grotere modellen overtreffen, waardoor geautomatiseerd kwetsbaarheidsbeheer haalbaar wordt voor organisaties met beperkte infrastructuur.
3. Methodologische Vooruitgang: Door expliciet redeneerlogica en domeinkennisketens over te dragen in plaats van alleen eindlabels, adresseert het framework de "black box"-natuur van LLM-redenering en biedt het een gestructureerd pad voor kleine modellen om complexe semantische mapping te leren.

De auteurs erkennen beperkingen en merken op dat de pre-training data van het teacher-model mogelijk enkele CVE-records bevat (potentieel datacontaminatie), hoewel zij betogen dat de winsten voortkomen uit de gestructureerde kennisoverdracht in plaats van memorisatie. Ze merken ook de huidige beperkingen in output-interpreteerbaarheid op en stellen toekomstig werk voor op het gebied van aandacht-visualisatie om security-analisten te helpen.