GRASP -- Graph-Based Anomaly Detection Through Self-Supervised Classification

Technische Samenvatting: GRASP - Anomaliedetectie op Basis van Grafen via Zelftoezichthoudende Classificatie

Probleemstelling

Geavanceerde aanhoudende bedreigingen (APT's) worden steeds moeilijker te detecteren vanwege hun sluipend karakter, aanpassingsvermogen en afhankelijkheid van "living-off-the-land" (LOTL)-technieken, waarbij aanvallers gebruikmaken van legitieme systeemcomponenten. Hoewel Provenance-based Intrusion Detection Systems (PIDS) een veelbelovende verdediging bieden door fijnmazige relaties tussen systeemcomponenten vast te leggen, lopen huidige oplossingen tegen aanzienlijke beperkingen aan:

1. Afhankelijkheid van Drempelwaarden: Bestaande systemen vertrouwen op vooraf gedefinieerde of op subsets gebaseerde drempelwaarden om anomalieën te markeren. Deze aanpak beperkt de detectiestabiliteit, vereist handmatige afstemming en loopt het risico op data-snooping.
2. Verwaarlozing van Uitvoerbare Bestanden: Veel gerelateerde werken negeren de rol van proces-executables, die de primaire drijvers zijn van systeemgedrag omdat ze interactie hebben met bestanden, netwerken en andere processen.
3. Instabiliteit en Reproduceerbaarheid: Recent state-of-the-art systemen (zoals ORTHRUS en VELOX) vertonen een hoge variabiliteit tussen verschillende runs en slagen er vaak niet in om resultaten consistent te reproduceren over verschillende runs of splits van de dataset.
4. Beperkte Dekking van Anomalieën: Huidige methoden filteren vaak "false positives" eruit die eigenlijk ongedocumenteerde aanvallen of veranderingen in normaal gedrag kunnen vertegenwoordigen, wat leidt tot een onvolledige detectiedekking.

Methodologie: GRASP

De auteurs stellen GRASP (GRaph-based Anomaly detection through Self-suPervised classification) voor, een PIDS dat gebruikmaakt van gemaskeerde zelftoezichthoudende classificatie op provenance-grafen.

• Constructie van de Graaf: Het systeem transformeert provenance-gegevens (auditlogs) in grafen waarbij knopen onderwerpen (processen), bestanden en netwerkstromen vertegenwoordigen, en randen interacties voorstellen (lezen, schrijven, uitvoeren, enz.). Het systeem maakt gebruik van een twee-hop-buurschap om zowel directe als indirecte afhankelijkheden vast te leggen, waarbij contextuele informatie wordt gebalanceerd met rekenkundige efficiëntie.
• Zelftoezichthoudende Leertaak: In plaats van randtypes of knopenlabels te voorspellen op basis van aanvalspatronen, maskeert GRASP de informatie over uitvoerbare bestanden van een doelknooppunt. Het model (een Graph Attention Network-encoder gecombineerd met een Multi-Layer Perceptron-decoder) wordt getraind om het gemaskeerde uitvoerbare bestand af te leiden uitsluitend op basis van de context van het twee-hop-buurschap van de knoop.
• Mechanisme voor Anomaliedetectie:
  • Training: Het model leert de normale gedragspatronen van uitvoerbare bestanden binnen hun specifieke buurschapscontexten.
  • Inferentie: Tijdens inferentie wordt een proces gemarkeerd als een anomalie als het waargenomen gedrag aanzienlijk afwijkt van het geleerde patroon van het bijbehorende uitvoerbare bestand (wat resulteert in een verkeerde classificatie).
  • Clustering: Om ononderscheidbaar gedrag te verwerken (bijvoorbeeld vergelijkbare uitvoerbare bestanden of zeldzame gebeurtenissen), clusterd het systeem de verkeerde classificaties die tijdens de laatste trainingsepoch worden waargenomen. Deze clusters vertegenwoordigen onschadelijke permutaties, waardoor ze tijdens inferentie niet als anomalieën worden gemarkeerd.
• Feature Engineering: Om data-snooping te voorkomen en om te gaan met paden/IP's van variabele lengte, maakt het systeem gebruik van een transformer-gebaseerde autoencoder voor locatiecodering en one-hot-codering voor knoop- en randtypes. Onbekende uitvoerbare bestanden in het buurschap worden weergegeven als nulvectoren.
• Rapportage op Tijdsbasis: Het systeem verwerkt gegevens met behulp van schuifvensters, waardoor tijdsgebonden alarmen worden gegenereerd in plaats van statische waarschuwingen op knoopniveau, wat het volgen van de evolutie van anomalieën faciliteert.

Belangrijkste Bijdragen

1. Classificatie op Basis van Uitvoerbare Bestanden: Een nieuwe aanpak die het voorspellen van proces-executables behandelt als de primaire zelftoezichthoudende taak, waarbij het gedrag van processen direct wordt gemodelleerd als de kern van systeemactiviteit.
2. Drempelvrije Detectie: Het systeem elimineert de noodzaak voor afstemming van drempelwaarden of drempelwaarden afhankelijk van validatiesets, en vertrouwt in plaats daarvan op de door het model geleerde verdeling en clustering van verkeerde classificaties.
3. Robuustheid en Reproduceerbaarheid: De auteurs tonen aan dat GRASP consistente resultaten oplevert over meerdere runs, waarmee het de instabiliteitsproblemen die veel voorkomen in recent gerelateerd werk, aanpakt.
4. Verbeterde Dekking van Anomalieën: Door afwijkingen die niet overeenkomen met bekende aanvalspatronen niet te filteren, identificeert GRASP potentieel kwaadaardig gedrag dat niet is gedocumenteerd in grondwahrheid (GT)-gegevens, inclusief veranderingen in normaal gedrag.

Resultaten en Evaluatie

De auteurs hebben GRASP geëvalueerd op de DARPA Transparent Computing (TC) en Operationally Transparent Cyber (OpTC) datasets, waarbij ze het vergeleken met state-of-the-art systemen ORTHRUS en VELOX.

• Aanvalsdetectie: GRASP detecteerde consistent alle gedocumenteerde aanvallen in datasets waar het gedrag van uitvoerbare bestanden leerbaar was (bijvoorbeeld Cadets, OpTC), en bereikte in de meeste gevallen een Attack Recall (Arecall) van 1,00.
• Vergelijking met SOTA: Waar ORTHRUS en VELOX vaak een hoge precisie bereikten door alarmen te onderdrukken (soms aanvallen volledig missend of leunend op enkele true positives), rapporteerde GRASP aanzienlijk meer alarmen. Deze extra alarmen kwamen echter overeen met echte afwijkingen, waaronder ongedocumenteerd abnormaal gedrag.
• Analyse van False Positives: Het systeem identificeerde dat een significant deel van de "false positives" in gerelateerd werk eigenlijk ongedocumenteerde anomalieën waren. In de Theia E3-dataset bijvoorbeeld, werden 39% van de alarmen van GRASP toegeschreven aan nieuwe uitvoerbare bestanden.
• LOTL-aanvalstudie: In een gewijzigd scenario waarbij onbekende uitvoerbare bestanden werden verwijderd om een pure LOTL-aanval te simuleren, behield GRASP zijn detectiecapaciteiten, hoewel de prestaties varieerden afhankelijk van de inherente leerbaarheid van de dataset.
• Beperkingen: Het systeem had moeite met de Clearscope-dataset (Android-gebaseerd) vanwege de dominantie van enkele uitvoerbare bestanden in batches en de lage onderscheidbaarheid van buurschappen, wat resulteerde in lage Macro-F1-scores tijdens de training.

Betekenis en Claims

Het artikel beweert dat GRASP een verschuiving in PIDS-ontwerp vertegenwoordigt door weg te bewegen van drempelafhankelijke modellen voor het voorspellen van randtypes, naar op uitvoerbare bestanden gerichte, zelftoezichthoudende leermodellen. De auteurs stellen het volgende:

• Drempelvrije werking maakt het systeem robuuster tegen interferentie en aanpasbaar aan onbekende activiteiten zonder handmatige afstemming.
• Voorspelling van uitvoerbare bestanden vangt systeemgedrag effectiever op dan het voorspellen van randtypes, omdat processen de primaire agenten van interactie zijn.
• Reproduceerbaarheid is een kritieke bijdrage, aangezien het systeem stabiele resultaten levert over meerdere runs, in tegenstelling tot eerdere werken die "lucky" runs of dataset-specifieke hyperparameterafstemming vereisten.
• Praktische Bruikbaarheid: Hoewel het systeem meer alarmen genereert dan concurrenten op basis van drempelwaarden, vermindert het de werklast voor de analist van honderdduizenden ruwe gebeurtenissen tot een beheersbaar aantal hoogwaardige afwijkingen, waarvan veel ongedocumenteerde systeemwijzigingen of potentiële bedreigingen onthullen.

De auteurs concluderen dat, hoewel de methode geen wondermiddel is (met name voor datasets met een slechte onderscheidbaarheid van uitvoerbare bestanden), het een meer omvattende en stabiele aanpak biedt voor het detecteren van APT's en abnormaal systeemgedrag.