Technische Samenvatting: AegisShield – Democratisering van Cyber Threat Modeling met Generatieve AI

Probleemstelling

Traditionele methodologieën voor threat modeling (bijv. STRIDE, PASTA, OCTAVE) kampen met aanzienlijke barrières voor adoptie, met name bij kleine en onderbediende organisaties. Deze barrières omvatten hoge complexiteit, substantiële tijdsvereisten, de afhankelijkheid van gespecialiseerde expertise en het onvermogen om effectief te schalen met moderne, dynamische systemen zoals cloudomgevingen, IoT en Cyber-Fysieke Systemen (CPS). Hoewel frameworks zoals MITRE ATT&CK en STRIDE gestructureerde benaderingen bieden, resulteert hun handmatige implementatie vaak in onvolledige beoordelingen, inconsistente outputs en een "skills gap" waarbij slechts een fractie van de organisaties zich zelfverzekerd voelt over hun threat coverage. Bovendien leunen bestaande AI-georiënteerde frameworks vaak op onrealistische aannames over de capaciteiten van aanvallers of falen ze in het integreren van realtime threat intelligence, wat hun praktische bruikbaarheid in diverse, real-world scenario's beperkt.

Methodologie

Dit onderzoek maakte gebruik van een Design Science Research Methodology (DSRM) om AegisShield te ontwikkelen en te evalueren, een op Python gebaseerde, door generatieve AI verbeterde threat modeling tool die wordt ingezet via het Streamlit-framework.

Toolontwikkeling

• Architectuur: AegisShield integreert het GPT-4o-model van OpenAI met gevestigde cybersecurity-frameworks (STRIDE, MITRE ATT&CK, DREAD) en threat intelligence-bronnen (National Vulnerability Database [NVD], AlienVault Open Threat Exchange [OTX]). Om de prestaties te optimaliseren en de afhankelijkheid van API's te minimaliseren, maakt de tool gebruik van een lokaal opgeslagen STIX JSON-bestand voor MITRE ATT&CK-data.
• Prompt Engineering: Het systeem maakt gebruik van een gestructureerde prompt-architectuur die is ontworpen om deskundige besluitvorming te simuleren. Prompts zijn ontworpen om JSON-gestructureerde outputs af te dwingen, wat consistentie waarborgt en hallucinaties vermindert. De prompts dekken vijf kerncomponenten:
  1. MITRE ATT&CK Mapping: Het selecteren van relevante Tactics, Techniques, and Procedures (TTP's) uit de lokaal opgeslagen STIX-dataset.
  2. Threat Identificatie: Het genereren van threats over STRIDE-categorieën (Spoofing, Tampering, Repudiation, Information Disclosure, Denial of Service, Elevation of Privilege) op basis van systeembeschrijvingen en externe context (inclusclusief bekende kwetsbaarheden uit NVD en OTX).
  3. Risicobeoordeling: Het toepassen van het DREAD-model (Damage, Reproducibility, Exploitability, Affected Users, Discoverability) voor kwantitatieve risicoscore.
  4. Mitigatiestrategieën: Het genereren van actiegerichte tegenmaatregelen.
  5. Testgevallen: Het creëren van Gherkin-syntax testgevallen voor Behavior-Driven Development (BDD).
• Dataverzameling: De evaluatie maakte gebruik van 15 diverse casestudy's uit de academische literatuur, variërend van domeinen zoals de gezondheidszorg, financiën, IoT en 5G. Deze studies leverden door experts ontwikkelde STRIDE threat modellen.
• Experimenteel Ontwerp:
  • Dataset: De tool genereerde 8.100 threats (30 batches × 15 casestudy's × 18 threats per batch) vergeleken met 243 door experts geëxtraheerde threats.
  • Metrieken:
    • Complexiteit (H1): Gemeten via Flesch-Kincaid leesbaarheidsscores.
    • Semantische Gelijkenis (H2): Gemeten met behulp van Cosine Similarity met het stsb-roberta-large Sentence-BERT-model.
    • Framework Alignment (H3): Gemeten door het percentage threats dat succesvol is gemapt naar MITRE ATT&CK TTP's.
  • Statistische Analyse: Niet-parametrische testen (Mann-Whitney U) werden gebruikt voor leesbaarheid vanwege de niet-normale datadistributies. Eén-proportie testen en betrouwbaarheidsintervallen werden gebruikt voor de succespercentages van de mapping.

Belangrijkste Bijdragen

1. Democratisering van Threat Modeling: Het onderzoek toont aan dat generatieve AI de drempel voor threat modeling kan verlagen, waardoor het toegankelijk wordt voor organisaties die geen toegewijde cybersecurity-architecten hebben.
2. Standaardisatie en Automatisering: AegisShield automatiseert de generatie van gestructureerde, gestandaardiseerde threat-artefacten (STRIDE threats, DREAD-scores, mitigaties en testgevallen) binnen minuten, een proces dat traditioneel dagen of weken in beslag neemt.
3. Integratie van Threat Intelligence: De tool incorporeert data van NVD en OTX om contextuele threat intelligence binnen de prompts te bieden, waardoor threat modellen reflecties zijn van bekende kwetsbaarheden en opkomende dreigingen die relevant zijn voor de specifieke systeemcontext.
4. Validatieframework: De studie vestigt een kwantitatief framework voor het evalueren van AI-gegenereerde threat modellen tegen expert-benchmarks met behulp van semantische gelijkenis en framework-mapping metrieken.

Resultaten

De evaluatie van AegisShield over 15 casestudy's leverde statistisch significante resultaten op die drie primaire hypothesen ondersteunen:

• H1: Verminderde Complexiteit: Door AegisShield gegenereerde threats waren significant leesbaarder dan door experts gegenereerde threats.
  • Mediaan Flesch-Kincaid Score: Door de tool gegenereerd (12,7) versus door experts gegenereerd (13,5).
  • Statistische Significantie: De Mann-Whitney U-test bevestigde een significant verschil (p < 0,001), wat aangeeft dat de tool toegankelijkere beschrijvingen produceert zonder de dekking op te offeren.
• H2: Semantische Gelijkenis: De tool genereerde outputs die semantisch overeenkwamen met expert-modellen.
  • Succespercentage: In 14 van de 15 casestudy's bereikte ten minste één threat per batch een cosine similarity score ≥ 0,7 in meer dan 50% van de runs (statistisch significant, p < 0,05).
  • High-Performance Cases: Specifieke gevallen (bijv. spraakgestuurde applicaties, sociale media) behaalden own hoog scores van wel 0,94, wat het vermogen van het model demonstreert om expert-niveau inzichten te repliceren.
• H3: MITRE ATT&CK Mapping: De tool heeft de threats succesvol gemapt aan gevestigde frameworks.
  • Algemeen Succespercentage: 85,4% van de 8.100 gegenereerde threats werd succesvol gemapt aan MITRE ATT&CK TTP's.
  • Statistische Significantie: Dit percentage overtrof de benchmark van 80% met statistische significantie (p < 0,001).
  • Prestaties per Categorie: De mapping was het hoogst voor Spoofing (94,0%) en Elevation of Privilege (91,6%), terwijl Repudiation (73,5%) een lagere score liet zien, vaak vanwege de conceptuele aard van repudiation threats versus de technische specificiteit die vereist is door het framework.

Betekenis en Claims

Het artikel claimt dat AegisShield een levensvatbare oplossing vertegenwoordigt voor de "democratisering" van cybersecurity. Door de initiële fasen van threat modeling te automatiseren, stelt de tool organisaties in staat om secure-by-design principes te adopteren zonder de prohibitieve kosten van het inhuren van senior architecten of het aangaan van arbeidsintensieve handmatige processen.

Het onderzoek stelt dat, hoewel traditionele methoden vaak te complex en traag zijn voor moderne, agile development lifecycles, AegisShield een schaalbaar en kosteneffectief alternatief biedt. De studie benadrukt dat de tool niet alleen de identificatie van threats versnelt (door de tijd te verkorten van dagen naar minuten), maar ook outputs produceert die statistisch vergelijkbaar zijn met expert-modellen in termen van semantische betekenis en framework alignment.

De auteur behoudt echter een bescheiden toon met betrekking tot beperkingen:

• Domein Variabiliteit: De prestaties varieerden per domein, met name in opkomende technologieën (bijv. IoT, 5G) waar MITRE ATT&CK mappings minder gedefinieerd zijn.
• AI Beperkingen: De tool is afhankelijk van de onderliggende capaciteiten van het generatieve AI-model (GPT-4o), en problemen zoals "hallucinaties" (hoewel zeldzaam, ~1,15% van de niet-gemapte threats) en potentiële biases in trainingsdata blijven zorgen.
• Scope: De studie richtte zich op preventieve threat modeling en heeft geen incident response of post-breach analyse getest.

Uiteindelijk concludeert het artikel dat het integreren van generatieve AI met gestructureerde frameworks en threat intelligence de toegankelijkheid en effectiviteit van threat modeling aanzienlijk kan verbeteren, waardoor het algemene cybersecurity-ecosysteem wordt versterkt.