DEFENGRAPH: Knowledge Graph-Enhanced LLMs for Blue Team Cyber Defense

Technische Samenvatting: DEFENGRAPH

Probleemstelling
Large Language Models (LLM's) tonen veelbelovende resultaten voor besluitvorming in de cybersecurity, maar kampen met kritieke beperkingen in hoogwaardige, tijdevolende omgevingen. Specifiek zijn ze gevoelig voor hallucinaties, hebben ze moeite met temporeel redeneren en missen ze verankering in specifieke systeemcontexten. Traditionele Retrieval-Augmented Generation (RAG)-benaderingen, die vertrouwen op oppervlakkige of op embeddings gebaseerde gelijkenis, halen vaak irrelevante documenten op (bijv. het ophalen van een Windows-incidentticket voor een Linux-alert) die het redeneervermogen van de LLM verwarren. Bovendien wordt cybersecurity-data gekenmerkt door een lage signaal-ruisverhouding, bestaande uit enorme hoeveelheden onschuldige of misleidende logs (bijv. typefouten in wachtwoorden), die standaard Knowledge Graph (KG) retrieval-methoden niet effectief kunnen filteren. De kernuitdaging is het creëren van een systeem dat de output van de LLM kan verankeren in zowel langetermijn domeinkennis als real-time, evoluerende event-contexten om getrouwe, temporeel bewuste defensieve strategieën te bieden.

Methodologie: Het DEFENGRAPH-framework
De auteurs stellen DEFENGRAPH voor, een dual-layer Knowledge Graph-enhanced RAG-framework ontworpen om Blue Team defenders te ondersteunen. Het systeem integreert gestructureerde kennisrepresentaties met LLM-gebaseerde generatie via de volgende pijplijn:

1. Dual-Layer Knowledge Graph Constructie:

   • Static Knowledge Graph (SKG): Codeert langetermijn infrastructuurkennis, systeemarchitectuur, typisch aanvallersgedrag en historische defensieve playbooks afgeleid van cyber range blauwdrukken en documentatie.
   • Dynamic Knowledge Graph (DKG): Legt tijdsevoluerende beveiligingsgebeurtenissen, aanvallerssporen en defender ticket-acties vast die tijdens live oefeningen worden geregistreerd. Nodes bevatten alerts, tickets, IP's en bestanden, waarbij edges temporele en semantische relaties coderen.

2. Graph-Based Retrieval Proces (GRP):
   Bij ontvangst van een SIEM (Wazuh) alert, construeert het systeem een query-graaf en haalt relevante subgrafen op uit de SKG en DKG met behulp van:

   • Semantic-based Triple Matching (STM): Gebruikt pre-trained taalmodellen om triples (entiteit, relatie, entiteit) te encoderen en te matchen tussen de query en de kennisbank.
   • Path Propagation Score (PMC): Aggregeert kenmerken van naburige triples om pad-matching scores te berekenen, waardoor de meest waarschijnlijke relevante paden worden geïdentificeerd.
   • Subgraph Composition: Voegt top-matchende paden samen tot subgrafen, waarbij 2-hop buren worden gesampled om de omliggende context te vangen.

3. LLM-gebaseerde Contextuele Filtering en Re-ranking:
   Om de ruis aan te pakken die inherent is aan de opgehaalde subgrafen, gebruikt DEFENGRAPH twee door LLM gedreven modules:

   • Contextual Filter (CF): Evalueert de opgehaalde paden tegen de specifieke alert-context om de meest relevante entiteiten en paden te scoren en te selecteren, waarbij irrelevante "grijze" nodes worden weggefilterd.
   • Reasoning Re-ranker: Herordent de gefilterde paden op basis van hun relevantie voor de alert en historische kennis, waarbij Temporal Weight Assignment wordt toegepast. Dit wijst hogere gewichten toe aan entiteiten die qua tijd dichter bij de query liggen, wat ervoor zorgt dat het systeem recente, evoluerende dreigingen prioriteert.

4. Defense Activity Generation:
   De uiteindelijke, gerankte redeneerpaden worden ingebed in de LLM-prompt om actiegerichte, contextbewuste mitigatiestrategieën te genereren die aansluiten bij menselijke defensieve praktijken.

Belangrijkste Bijdragen

• DEFENGRAPH Framework: Een nieuw temporal KG-RAG framework dat statische domeinkennis combineert met dynamische, real-time event-data om contextbewuste defensieve strategieën te genereren.
• ACDC Cyber Range Dataset: De constructie en release van een uitgebreide cybersecurity dataset afgeleid van live Red vs. Blue team oefeningen in een gesimuleerde maritieme havenomgeving. Deze bevat meer dan 8,2 miljoen firewall logs, 6,1 miljoen Wazuh alerts, 326 incident response tickets en Red Team traces, wat een realistische, ruisgevoelige en heterogene databron vertegenwoordigt.
• Prestatiewinsten: Demonstratie dat DEFENGRAPH de getrouwheid en interpreteerbaarheid van LLM-outputs aanzienlijk verbetert over meerdere modellen (GPT-4o, LLaMA-3, DeepSeek-R1, QWen-3), waarbij defensie-aanbevelingen worden geproduceerd die nauwer aansluiten bij menselijk geschreven ground truth.

Experimentele Resultaten
Het framework werd geëvalueerd op de ACDC dataset met behulp van vier leidende LLM's en vergeleken met baselines inclusief LLM-only, Hybrid RAG en GraphRAG. Belangrijkste bevindingen zijn:

• Reasoning Recall (RAR): Op GPT-4o verbeterde DEFENGRAPH de reasoning recall van 61,45% (SKG-only) naar 73,49% (Full). Vergelijkbare winsten werden waargenomen bij andere modellen (bijv. LLaMA-3: 46,99% → 61,45%).
• Ticket-Action Recall (TAR): Het systeem herstelde een significant hoger aandeel van de ground-truth defensieve acties. Op GPT-4o steeg de TAR van 52,17% naar 72,46%.
• Precisie en Foutpercentages: Hoewel de precisie (TAP) gematigde winsten zag (24,49% → 29,24% op GPT-4o), behield het systeem een laag fout-actiepercentage (onder de 4%), waarbij fouten voornamelijk bestonden uit overreacties of false positives die gemakkelijk identificeerbaar zijn door menselijke defenders.
• Cold-Start Robuustheid: In scenario's zonder voorafgaande ticketgeschiedenis (reset DKG) behield het systeem sterke redeneerkracht, hoewel de action recall daalde, wat het belang van dynamische context voor precieze actie-alignering benadrukt.
• Ablatie-studies: De resultaten bevestigden dat zowel de Statische als de Dynamische KG's essentieel zijn; het verwijderen van de DKG verminderde de TAR met ~20%, terwijl het verwijderen van de SKG een daling van ~25% veroorzaakte, wat de noodzaak van zowel historische structuur als real-time context aantoont.

Betekenis
Dit artikel positioneert DEFENGRAPH als een state-of-the-art oplossing voor gegronde, temporeel bewuste ondersteuning van besluitvorming in de cybersecurity. In tegen tegenstelling tot eerdere KG-gebaseerde systemen die zich richten op intrusiedetectie, attack tracing of de structurering van threat intelligence, richt DEFENGRAPH zich direct op de generatie van actiegerichte, ticket-gealigneerde mitigatiestappen. Door een dual-layer graaf te integreren met LLM-gebaseerde filtering en re-ranking, adresseert het framework de broosheid van traditionele RAG in ruisgevoelige, gestructureerde domeinen, waardoor LLM's getrouwe redeneringen kunnen bieden die zowel de statische systeemtopologie als de dynamische evolutie van een aanval weerspiegelen. De auteurs stellen dat deze aanpak de kloof overbrugt tussen KG-gefaciliteerd begrip en operationeel bruikbare responsbegeleiding voor Blue Teams.