Technische Samenvatting: SynAT

Probleemstelling

Cyberaanvallen vormen een aanzienlijke bedreiging voor softwaresystemen, wat de noodzaak voor robuuste kennisbanken voor beveiliging (bijv. CVE, CAPEC en bedrijfsdatabases zoals die van Huawei) onderstreept om kwetsbaarheden te identificeren en dreigingen te modelleren. Echter, deze officiële repositories lijden onder tijdverloop bij de release van informatie, waardoor systemen kwetsbaar blijven voor opkomende risico's zoals zero-day aanvallen. Daartegenover staan online platforms voor kennisdeling, zoals Stack Overflow, die rijke, realtime crowd-sourced discussies over beveiliging bevatten die vaak voorafgaan aan officiële openbaarmakingen. De uitdaging ligt in de moeilijkheid om direct gestructureerde attack trees (aanvalsbomen) te synthetiseren uit ongestructureerde tekstuele discussies. Aanvalsbomen zijn hoogst abstracte conceptuele diagrammen die de afleiding vereisen van complexe relaties tussen meerdere aanvalsevenementen, een taak die niet triviaal te automatiseren is vanwege de ruis en diversiteit van crowd-sourced tekst.

Methodologie: SynAT

Het artikel stelt SynAT voor, een automatische benadering voor het synthetiseren van aanvalsbomen uit crowd security-posts. De methodologie volgt een driefasige pijplijn:

1. Het beperken van de reikwijdte van zinnen

Om de ruis die inherent is aan volledige beveiligingsberichten te beperken, verkleint SynAT eerst de input tot zinnen die waarschijnlijk aanvalsinformatie bevatten.

• Techniek: Het maakt gebruik van een Large Language Model (LLM) gecombineerd met Prompt Learning.
• Implementatie: Een "Cloze-Testing" prompt-template is ontworpen waarbij de LLM specifieke zinnen ($K$) uit de vraag en het geaccepteerde antwoord van de post voorspelt die mogelijk aanvalsbomen bevatten.
• Modelselectie: Experimenten vergeleken Albert, T5, GPT-3 en ChatGPT. GPT-3 (specifiek text-davinci-003) met Fix-prompt Tuning behaalde de hoogste prestaties (97,24% Precisie, 99,36% Recall) bij het identificeren van relevante zinnen.

2. Gezamenlijke extractie van gebeurtenissen en relaties

Zodra de reikwijdte is beperkt, extraheert SynAT aanvalsevenementen en hun logische relaties gelijktijdig met behulp van een transitie-gebaseerd framework.

• Definities:
  • Aanvalsevenement (Attack Event): Bestaat uit een Trigger (hoofdwerkwoord), een Target (object) en een Instrument (instrument/middel).
  • Relaties: Gedefinieerd als And (beide vereist), Or (ofwel voldoende) en AchievedBy (ouder-kind afhankelijkheid).
• Architectuur: Het model maakt gebruik van een state machine met 12 transitie-acties (bijv. GEN-TRG, RIGHT-SHIFT, O-DELETE) om de beperkte zin één keer te doorlopen.
  • Toestand (State, $S$): Omvat stacks voor triggers ($\xi$), argumenten ($\tau$) en een buffer ($\beta$), samen met sets voor evenementen ($E$) en relaties ($R$).
  • Mechanisme: Een StackLSTM embedt de huidige toestand, en een multi-label classifier voorspelt de volgende actie. Dit maakt een tijdcomplexiteit van $O(n)$ mogelijk.
• Verfijning: Na extractie past het systeem transitieve en asymmetrische regels toe om impliciete relaties te identificeren en circulaire afhankelijkheden in de boom te voorkomen.
• Training: Het model wordt gefinetuned met behulp van een gecombineerde verliesfunctie die de balans houdt tussen de event/relatie-extractieverlies (SSVM) en de actievoorspellingsverlies (Cross-Entropy).

3. Synthetiseren van aanvalsbomen

De geëxtraheerde evenementen en relaties worden omgezet in een formele aanvalsboomstructuur met behulp van drie heuristische regels, ontworpen in samenwerking met beveiligingsexperts:

1. Identificeren van het aanvalsdoel: Het evenement dat het uiteindelijke doel vertegenwoordigt (bijv. "Steal session") wordt de wortelknoop (root node).
2. Identificeren van aanvallingsmethoden: Tussenliggende evenementen worden methodeknopen, geformatteerd als "attacker uses [instrument] to attack [target]".
3. Construeren van poorten en lagen: AchievedBy-relaties definiëren de boomlagen, terwijl And en Or relaties de logische poorten definiëren tussen knopen op dezelfde laag.

Belangrijkste Bijdragen

• Techniek: SynAT wordt gepresenteerd als het eerste werk dat automatisch aanvalsbomen synthetiseert uit crowd security-posts door een combinatie van LLM-gebaseerde reikwijdtebeperking en transitie-gebaseerde gezamenlijke extractie.
• Evaluatie: Een uitgebreide evaluatie op 5.070 Stack Overflow beveiligingsberichten en 2.350 GitHub issue-rapporten.
• Toepassing: Praktische implementatie om de interne beveiligingskennisbank van Huawei en publieke databases (CVE, CAPEC) te verbeteren.
• Data: Publieke release van een dataset met 1.354 gelabelde aanvalsbomen en broncode.

Experimentele Resultaten

De studie evalueerde SynAT tegen state-of-the-art baselines (Structured-Joint+, Albert, T5, GPT-3, ED3C, MLBiNet, etc.) over vier onderzoeksvragen:

1. Synthese van aanvalsbomen: SynAT behaalde de hoogste gelijkenis met de grondwaarheid (ground truth), met een gemiddelde Hamming-afstand (AHD) van 10,24% en een Tree-edit Distance Similarity (TEDS) van 7,93%, waarmee het de beste baseline respectievelijk met 8,20% en 7,13% versloeg.
2. Extractie van gebeurtenissen: SynAT behaalde een gemiddelde F1-score van 80,93%, waarmee het de beste baseline met 8,50% versloeg.
3. Extractie van relaties: SynAT behaalde een gemiddelde F1-score van 87,81%, waarmee het de beste baseline met 13,59% versloeg.
4. Verbetering van de kennisbank:
   • Publieke databases: Van de 121 gesynthetiseerde bomen werd er 40,50% eerder voorgesteld op Stack Overflow dan de CVE-openbaarmaking, en 16,53% werd geïdentificeerd als potentieel nieuwe aanvallen die nog niet in de CVE voorkwamen.
   • Privé database: In de database van Huawei werden 84,30% van de gesynthetiseerde bomen geaccepteerd door experts, wat resulteerde in een toename van 42,32% van hun bestaande aanvalsbombase.
   • Menselijke evaluatie: Experts beoordeelden de bomen van SynAT significant hoger (gemiddelde score 3,8/5) dan de baselines (2,4–3,5) op het gebied van accuratesse en adequaatheid ($p < 0,01$).
   • Patch-ontwerp: Het integreren van de bomen van SynAT verbeterde de kwetsbaarheidsoplossingsgraad ($Fix@10$) met 35,14% voor handmatige patching en met 25,14% voor automatische patching (CodeT5).

Betekenis en Claims

Het artikel claimt dat SynAT effectief de kloof overbrugt tussen ongestructureerde crowd-discussies en gestructureerde beveiligingskennis. Door de extractie van aanvalsbomen te automatiseren, adresseert SynAT het kritieke tijdsverloop in officiële beveiligingsdatabases, waardoor organisaties in staat zijn om opkomende dreigingen (zoals zero-days) sneller te identificeren en te mitigeren. De succesvolle toepassing in zowel publieke (CVE/CAPEC) als private (Huawei) contexten demonstreert de praktische bruikbaarheid van de aanpak voor het versterken van de softwarebeveiligingspositie. De auteurs benadrukken dat hoewel de methode steunt op heuristische regels en LLM's, de transitie-gebaseerde extractie zorgt voor efficiëntie en hoge nauwkeurigheid, wat het een levensvatbare tool maakt voor het continu onderhouden van beveiligingskennisbanken.