Quantitative Evaluation of APT Attack and Defense Effectiveness based on Variable Fuzzy Sets

Technische Samenvatting: Kwantitatieve Evaluatie van de Effectiviteit van APT-Aanval en -Verdediging op basis van Variabele Fuzzy Sets

Probleemstelling
Advanced Persistent Threats (APT) worden gekenmerkt door relevantie, complexiteit en verborgenheid, wat ze een aanzienlijk groter risico maakt dan gewone netwerkaanvallen. Traditionele modellerings- en analysemethoden slagen er vaak niet in om de effectiviteit van APT-aanval- en verdedigingsacties nauwkeurig te beschrijven en te evalueren. Bestaande benaderingen kampen met verschillende beperkingen:

• Gebrek aan Holistische Evaluatie: Veel modellen evalueren de effectiviteit van aanvallen en verdediging afzonderlijk, zonder een uniform kader dat beide als één geheel beschouwt binnen een aanval-verdedigingsspel.
• Scenario-insensitiviteit: Bestaande modellen houden vaak geen rekening met veranderingen in de efficiëntie van dezelfde acties onder verschillende scenario's.
• Omgaan met Onzekerheid: APT-evaluatie brengt aanzienlijke onzekerheid met zich mee in zowel evaluatiemetrieken als data. Deterministische methoden en klassieke fuzzy comprehensive evaluatiemethoden worstelen met het objectief afhandelen van deze onzekerheid, omdat ze vaak vertrouwen op subjectieve menselijke oordelen of er niet in slagen om intervalgebaseerde standaarden effectief te benutten.

Methodologie
Het artikel stelt een nieuw framework voor genaamd APT-VFSEA (APT-Variable Fuzzy Sets Efficiency Assessment) om de effectiviteit van APT-aanval- en verdedigingsacties kwantitatief te evalueren. De methodologie bestaat uit drie hoofdonderdelen:

1. Uniforme Evaluatiecriteria en Weging:

   • Er is een flexibele methode voor metriekselectie ontworpen die toepasbaar is op zowel aanvals- als verdedigingsscenario's.
   • Wegingsberekening: Het artikel maakt gebruik van een lineaire combinatie van subjectieve en objectieve wegingsmethoden.
     • Analytic Hierarchy Process (AHP): Wordt gebruikt om subjectieve gewichten te berekenen op basis van deskundige oordelen en de hiërarchische structuur van indicatoren (kenmerken, subkenmerken, metrieken).
     • Entropy Weight Method (EWM): Wordt gebruikt om objectieve gewichten te berekenen op basis van de informatie-entropie van de data, wat de hoeveelheid informatie reflecteert die door elke indicator wordt geleverd.
     • De uiteindelijke wegingsfactor is een lineaire combinatie: $w_i = \alpha \cdot w_A(i) + \beta \cdot w_E(i)$, waarbij $\alpha$ en $\beta$ coëfficiënten zijn die samen 1 vormen.

2. Constructie van het Variable Fuzzy Set (VFS) Model:

   • De kern van het model is de Variable Fuzzy Set, een uitbreiding van klassieke fuzzy sets die onzekerheid afhandelt door modelparameters te laten variëren.
   • Inputs: Het model neemt een steekproefmatrix ($X$) van evaluatiedata, een gewichtsvector ($W$) en een evaluatiestandaard intervalmatrix ($S_{ab}$) verdeeld in $c$ niveaus.
   • Mechanisme: In plaats van vaste clustercentra gebruikt het model intervalgebaseerde clustercentra en variabele bereikintervallen ($S_{a'b'}$). Het berekent de relatieve lidmaatschapsgraad van monsters tot verschillende categorieën met behulp van gegeneraliseerde metriek-gewicht afstanden.
   • Optimalisatie: Het model lost een objectieve functie op om optimale lidmaatschapsgraden, clustercentra en gewichten te bepalen. Het maakt gebruik van variabele parameters ($\alpha$ en $p$) voor het optimalisatiecriterium en de afstandmetriek (bijv. kleinste kwadraten, Manhattan, Euclidische afstand), waardoor meerdere modelcombinaties mogelijk zijn om de betrouwbaarheid te vergroten.

3. Evaluatiealgoritme:

   • Het algoritme normaliseert de data, berekent relatieve lidmaatschapsvectoren voor verschillende modelparametercombinaties en leidt uitgebreide relatieve lidmaatschapsgraden af.
   • Het berekent een eigenwaarde voor elke steekproef op basis van het gewogen gemiddelde van de lidmaatschapsgraden over de verschillende niveaus.
   • De uiteindelijke effectiviteitsscore is het gemiddelde van de resultaten verkregen uit verschillende parametercombinaties, wat zorgt voor stabiliteit en de impact van specifieke parameterkeuzes vermindert.

Belangrijkste Bijdragen

• Uniform Kader: Het artikel stelt een methode voor die geschikt is voor het evalueren van zowel aanvals- als verdedigingsacties binnen hetzelfde scenario, waarmee het gebrek aan vergelijkbaarheid in bestaande modellen wordt geadresseerd.
• Toepassing van Variable Fuzzy Sets: Het introduceert Variable Fuzzy Sets in de APT-effectiviteitsevaluatie om onzekerheid in zowel metrieken als data te beheersen. Deze aanpak overwint de beperkingen van deterministische methoden en klassieke fuzzy comprehensive evaluatie, met name wanneer metriekstandaarden intervallen zijn.
• Flexibele Weging: De integratie van AHP en EWM biedt een gebalanceerde aanpak voor gewichtsberekening, waarbij deskundige kennis wordt gecombineerd met datagestuurde objectiviteit.
• Robuustheid: Door de resultaten van vier verschillende modelparameterconfiguraties te combineren ($\alpha \in \{1,2\}, p \in \{1,2\}$), verbetert de methode de betrouwbaarheid, consistentie en stabiliteit van de evaluatieresultaten.

Experimentele Resultaten
De auteurs hebben het APT-VFSEA-model gevalideerd met behulp van een gesimuleerd APT-aanvalsscenario waarbij de APT32 (OceanLotus) organisatie de CVE-2017-11882 kwetsbaarheid exploiteert in een universitaire netwerkomgeving.

• Scenario: Het experiment simuleerde zes specifieke acties: drie aanvalsacties (kwetsbaarheidsexploitatie, Trojan deployment) en drie verdedigingsacties (IDS, Sysmon logverzameling, firewall blokkade, antivirus scanning).
• Bevindingen:
  • Het model kende effectiviteitsscores toe variërend van 1 tot 5.
  • Aanvalseffectiviteit: Kwetsbaarheidsexploitatie scoorde ~3,68, en Trojan deployment scoorde ~3,31.
  • Verdedingseffectiviteit: IDS en Sysmon scoorden lager (2,79 en ~3,50 respectievelijk) bij het voorkomen van de initiële indringing, wat consistent is met de simulatie waarbij de aanvaller aanvankelijk slaagde. Echter, de firewall- en antivirusacties scoorden hoger (3,62 en ~3,93), wat hun succes weerspiegelt in het onderscheppen van communicatie en het verwijderen van kwaadaardige bestanden.
  • Validatie: De kwantitatieve resultaten kwamen overeen met de daadwerkelijk waargenomen uitkomsten van de simulatie (bijv. het falen van initiële detectietools versus het succes van containments- en verwijderingsinstrumenten).
  • Fluctuatie: De evaluatieresultaten vertoonden kleine fluctuatiebereiken (bijv. 3,59–3,74 voor de kwetsbaarheidsexploitatie), wat de stabiliteit van het model aantoont.

Betekenis en Claims
Het artikel beweert dat het APT-VFSEA-model een betrouwbare en nauwkeurige methode biedt voor het kwantitatief evalueren van de effectiviteit van APT-aanval en -verdediging. De betekenis ligt in:

• Objectieve Omgang met Onzekerheid: Het beheert effectief de onzekerheid die inherent is aan APT-scenario's zonder uitsluitend op subjectieve oordelen te vertrouwen.
• Datastructuur voor Strategie: De evaluatieresultaten kunnen datastructuur bieden voor het beoordelen van eerdere APT-gebeurtenissen, het bepalen van de gevolgen van aanvallen en het formuleren van toekomstige verdedigingsstrategieën.
• Toepasbaarheid: De methode wordt gepresenteerd als een methode met een betere uitvoerbaarheid, betrouwbaarheid en consistentie vergeleken met bestaande deterministische of klassieke fuzzy methoden.

Beperkingen
De auteurs erkennen dat het huidige onderzoek beperkt is tot:

• Het simuleren van een specifieke documentkwetsbaarheid aanvalsketen (CVE-2017-11882) door APT32, zonder verificatie van multi-type APT-groepen met zero-day kwetsbaarheden, supply chain aanvallen of andere intrusiemethoden.
• Een klein- tot middelgroot campus virtuele netwerkomgeving, die een gebrek aan verificatie heeft op grootschalige industriële controlesystemen of overheidsintranetten.

Deze beperkingen worden aangemerkt als gebieden voor toekomstig onderzoek.