Operationalising Cyber Risk Management Using AI: Connecting Cyber Incidents to MITRE ATT&CK Techniques, Security Controls, and Metrics

Dit onderzoek presenteert een nieuw AI-gedreven raamwerk dat natuurlijke taalverwerking gebruikt om cyberincidenten automatisch te koppelen aan MITRE ATT&CK-technieken en CIS-beveiligingscontroles, waardoor organisaties met beperkte middelen hun cyberrisicobeheer kunnen stroomlijnen en kwantificeren.

De kern

Stel je voor dat je een klein bedrijf runt en je wordt aangevallen door digitale inbrekers. In het verleden was het zo dat je als eigenaar of IT-beheerder zelf de hele nacht moest doorwaken om te lezen wat er precies gebeurd is, te raden hoe de inbreker het heeft gedaan, en vervolgens te zoeken naar de juiste sloten en alarmsystemen om het te voorkomen. Dat is niet alleen heel tijdrovend, maar voor kleine bedrijven vaak ook onmogelijk omdat ze geen dure specialisten in huis hebben.

Dit artikel beschrijft een slimme nieuwe oplossing die dit proces volledig automatiseert met kunstmatige intelligentie (AI). Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Vertaalprobleem"

Stel je voor dat er drie verschillende talen worden gesproken in de wereld van cyberveiligheid:

• Taal A (De Inbrekers): Hoe de hackers precies te werk zijn gegaan (bijvoorbeeld: "ze hebben een sleutel gevonden en een raam opengebroken").
• Taal B (De Verdediging): Welke sloten en systemen je moet kopen om dat te voorkomen (bijvoorbeeld: "sluit het raam en verander het slot").
• Taal C (De Bewijslast): Hoe je kunt meten of je sloten echt werken (bijvoorbeeld: "het raam is 99% van de tijd dicht").

Tot nu toe moesten mensen deze drie talen zelf met de hand aan elkaar koppelen. Dat is als proberen een boek te vertalen zonder woordenboek, terwijl je tegelijkertijd moet rekenen. Het gaat vaak fout en duurt eeuwen.

2. De Oplossing: De "Cyber Catalogus" (Het Grote Woordenboek)

De onderzoekers hebben een nieuw, digitaal woordenboek gemaakt dat ze de 'Cyber Catalog' noemen.

• Dit is een enorme database die alles met elkaar verbindt.
• Het koppelt de aanval (de hacker-techniek) direct aan de oplossing (de beveiligingsmaatregel) en aan een cijfer (een meetbaar resultaat).
• Het is alsof je een magische telefoon hebt die, zodra je zegt "Er is een raam opengebroken", direct zegt: "Koop dit specifieke slot (CIS Control) en meet of het slot 100% dicht zit (SMART-metriek)."

3. De Motor: De Slimme AI (De "Taalmeester")

Om dit woordenboek echt bruikbaar te maken, hebben ze een AI-model getraind.

• Het probleem: Er waren niet genoeg voorbeelden van cyberaanvallen om de AI slim te maken. Het was alsof je een kind wilt leren een taal, maar je hebt maar 700 zinnen in plaats van duizenden boeken.
• De truc: Ze hebben een super-slimme AI (zoals de nieuwste versies van ChatGPT) gebruikt om 76.000 nieuwe, nep-aanvallen te bedenken die er echt uitzien, maar net anders zijn geschreven. Dit is als het maken van duizenden oefenopgaven voor een examen, zodat de student (de AI) alles perfect leert.
• De training: Ze hebben de AI getraind om te begrijpen dat "iemand die een raam openbreekt" en "iemand die een sleutel steelt" eigenlijk hetzelfde probleem zijn. Ze hebben de AI zelfs geleerd om de moeilijkste vragen te beantwoorden (bijvoorbeeld: "Wat is het verschil tussen een raam openen en een raam openen met een pook?"), zodat de AI heel precies wordt.

4. Het Resultaat: Van Gokken naar Zekerheid

Vroeger was de AI als een amateur die maar ongeveer 60% van de tijd het juiste antwoord gaf. Na de training met hun nieuwe methode is de AI een meester geworden:

• De AI geeft nu in 79% tot 88% van de gevallen het perfecte antwoord.
• Het maakt veel minder fouten dan de oude systemen.
• Het is alsof je van een amateuristische tolk overstapt op een professionele vertaler die geen woord mist.

5. Waarom is dit belangrijk? (De "Rust voor de Koning")

Voor kleine bedrijven is dit een game-changer:

• Snelheid: In plaats van uren te zoeken, weet de AI in seconden welke beveiliging je nodig hebt.
• Kosten: Je hoeft geen dure specialisten in te huren; de AI doet het werk voor je.
• Zekerheid: Je kunt nu echt meten of je veilig bent, in plaats van alleen maar te hopen.

Kortom:
De onderzoekers hebben een automatische vertaler gebouwd die cyberaanvallen omzet in concrete, meetbare beveiligingsacties. Ze hebben dit gedaan door een slimme AI te trainen met een gigantisch aantal voorbeelden en een handboek (de Cyber Catalog) te maken dat alles met elkaar verbindt. Hierdoor kunnen zelfs kleine bedrijven zich verdedigen alsof ze een groot beveiligingsteam in huis hebben.

Technische samenvatting

Probleemstelling

Organisaties, en met name kleine en middelgrote ondernemingen (KMO's), staan voor een toenemende uitdaging door de frequentie en complexiteit van cyberaanvallen. Traditionele methoden voor het analyseren van cyberincidenten zijn handmatig, tijdrovend en vatbaar voor menselijke fouten. De belangrijkste knelpunten zijn:

1. Manuele mapping: Het vertalen van ongestructureerde incidentbeschrijvingen naar gestructureerde techniekclassificaties (zoals MITRE ATT&CK) en vervolgens naar relevante beveiligingscontroles (zoals CIS Critical Security Controls) vereist specialistische kennis en kost veel tijd.
2. Gebrek aan objectiviteit: De beoordeling van de effectiviteit van beveiligingscontroles berust vaak op subjectieve oordelen in plaats van op meetbare, objectieve data.
3. Schalingsproblemen: Handmatige processen kunnen niet meegroeien met het volume aan incidenten, wat leidt tot vertragingen en gaten in de beveiligingsdekking.

Er is een dringende behoefte aan een geautomatiseerd, schaalbaar framework dat dreigingsinformatie koppelt aan actieerbare controles en meetbare uitkomsten.

Methodologie

De auteurs presenteren een end-to-end framework dat bestaat uit vijf fasen, waarbij Natural Language Processing (NLP) en deep learning centraal staan.

1. Ontwikkeling van de 'Cyber Catalog'

Er is een nieuwe kennisbank, de 'Cyber Catalog', ontwikkeld die drie lagen integreert:

• CIS Critical Security Controls (v8): De defensieve maatregelen (18 controls, 153 safeguards).
• MITRE ATT&CK: De technieken van de aanvallers.
• SMART-metrics: Kwantificeerbare indicatoren om de implementatie en effectiviteit van controles te meten.
  De catalogus koppelt deze lagen bidirectioneel, zodat organisaties kunnen zien welke controles welke aanvalstechnieken mitigeren en hoe dit gemeten kan worden.

2. Datapreparatie en Augmentatie

• Basisdataset: Gebruik gemaakt van het European Repository of Cyber Incidents (EuRepoC), waarbij experts 762 incident-techniekparen hebben gelabeld.
• Synthetische Augmentatie: Om de dataset te vergroten (van 762 naar 76.200 voorbeelden), werd een Large Language Model (GPT-5) ingezet om semantisch vergelijkbare maar lexicaal verschillende incidentbeschrijvingen te genereren.
• Kwaliteitsborging: De gegenereerde data werd gefilterd met BERTScore (F1-score > 0,75) om semantische nauwkeurigheid te garanderen. Na filtering bleef er een dataset over van 74.986 hoogwaardige paren.
• Hard Negative Mining: Om het probleem van "one-to-many" relaties (meerdere incidenten voor één techniek) op te lossen, werden "harde negatieven" (zeer vergelijkbare maar incorrecte techniektoewijzingen) gegenereerd. Dit dwingt het model om fijne nuances te leren.

3. Modelarchitectuur en Training

• Basismodel: De auteurs kozen voor all-mpnet-base-v2, een sentence-transformer model dat bekend staat om zijn sterke prestaties in semantische zoekopdrachten.
• Verliesfunctie: Er werd gebruik gemaakt van MultipleNegativesRankingLoss (MNRL), aangepast met een duplicate-aware mechanisme (NoDuplicatesDataLoader). Dit voorkomt dat het model dezelfde positieve techniek in één batch als een negatief voorbeeld behandelt, wat fouten zou veroorzaken.
• Training: Het model werd getraind op een NVIDIA Quadro RTX 5000 GPU gedurende 10 epochs met een leerfrequentie van $2 \times 10^{-5}$.

Belangrijkste Bijdragen

1. De Cyber Catalog: Een unificatie van CIS Controls, MITRE ATT&CK en SMART-metrics in één gestructureerde kennisbank, beschikbaar gesteld als CSV.
2. Geavanceerde Datapreparatie: Een robuuste methode voor het creëren van synthetische trainingsdata met strikte kwaliteitscontrole (BERTScore) en hard negative mining om discriminatievermogen te verhogen.
3. Gefinetuned Model: Een specifiek voor cyberveiligheid getraind model (ft_mpnet_v6) dat aanzienlijk beter presteert dan algemene taalmodellen.
4. Open Source: Het framework, de dataset, het getrainde model en de code zijn publiek beschikbaar gesteld om implementatie in resource-beperkte omgevingen te faciliteren.

Resultaten

Het gefinetunde model (ft_mpnet_v6) presteerde significant beter dan de beste baseline-modellen (zoals all-mpnet-base-v2, all-distilroberta-v1 en all-MiniLM-L12-v2).

• Correlatie:
  • Spearman-correlatie (ρ): 0,7894 (vs. 0,5852 voor de beste baseline). Dit is een verbetering van $\Delta\rho \approx 0,21$.
  • Pearson-correlatie (r): 0,8756.
  • Een Spearman-waarde > 0,7 wordt beschouwd als een "zeer sterke" correlatie, wat aangeeft dat het model incidenten en technieken zeer betrouwbaar rangschikt.
• Foutmetingen:
  • MAE (Mean Absolute Error): 0,1352 (vs. ~0,53 voor baselines). Dit is een reductie van ongeveer 67%.
  • MSE (Mean Squared Error): 0,0272 (vs. ~0,29 voor baselines).
• Verdeling: De foutverdeling van het model is smal en geconcentreerd rond nul, wat aangeeft dat het model consistent nauwkeurig is en zelden grote uitschieters maakt, in tegenstelling tot de baselines.

Betekenis en Impact

Deze research sluit de kloof tussen dreigingsinformatie en operationeel veiligheidsbeheer:

• Versnelling van Incidentrespons: Organisaties kunnen incidenten automatisch en snel koppelen aan relevante ATT&CK-technieken en CIS-controles, wat de triage-tijd drastisch verkort.
• Data-gedreven Besluitvorming: Door de koppeling aan SMART-metrics kunnen organisaties objectief meten of hun beveiligingsmaatregelen werken, in plaats van te vertrouwen op subjectieve inschattingen.
• Toegankelijkheid voor KMO's: Het framework biedt een praktische oplossing voor organisaties met beperkte expertise, waardoor ze hun cyberweerbaarheid kunnen versterken op basis van bewijs.
• Toekomstperspectief: De auteurs plannen de integratie van dit model in open-source host-intrusion detection systemen (HIDS) en de uitbreiding van de catalogus met NIST SP 800-53 controles om de compliance-kloof verder te dichten.

Samenvattend biedt dit werk een operationeel, bewezen framework dat AI gebruikt om cyberrisico's kwantificeerbaar en beheersbaar te maken.