OntoLogX: Ontology-Guided Knowledge Graph Extraction from Cybersecurity Logs with Large Language Models

1. Probleemstelling

Cybersecurity-systeemlogs zijn een kritieke bron van Cyber Threat Intelligence (CTI) en bevatten bewijs van aanvalsgedrag, kwetsbaarheden en kwaadaardige sporen. Het echter extraheren van bruikbare intelligence uit deze logs wordt gehinderd door verschillende uitdagingen:

• Ogestructureerde en heterogene data: Logs variëren aanzienlijk in formaat, syntaxis en semantiek tussen verschillende apparaten en sessies.
• Fragmentatie: Aanvalsscenario's zijn vaak verspreid over meerdere logboekvermeldingen, waardoor het moeilijk is om het volledige verhaal te reconstrueren.
• Beperkingen van traditionele methoden: Op regels gebaseerde parsers en heuristieken missen de aanpassingsvermogen om te generaliseren over evoluerende bedreigingsgedragingen en diverse logformaten.
• Beperkingen van LLM's: Hoewel Large Language Models (LLM's) uitstekend presteren in natuurlijke taalverwerking, missen ze vaak feitelijke consistentie, domeinspecifieke onderbouwing en het vermogen om structureel geldige outputs te produceren zonder zware gebruikersinterventie of voorverwerking.

Het kernprobleem is de behoefte aan een autonoom systeem dat ruisachtige, ruwe logdata kan omzetten in samenhangende, semantisch consistente en interoperabele Kennisgrafieken (KG's) zonder handmatige tussenkomst, terwijl ervoor wordt gezorgd dat de output voldoet aan strikte domeinontologieën.

2. Methodologie: Het OntoLogX Framework

OntoLogX is een autonoom AI-agent dat is ontworpen om loggebeurtenissen sequentieel en incrementeel te verwerken. Het maakt gebruik van LLM's, Retrieval-Augmented Generation (RAG) en iteratieve validatie om ontologie-gebaseerde KG's te construeren. De workflow bestaat uit vier hoofdfasen:

A. Ontologieontwerp

Het systeem gebruikt een lichtgewicht, aangepaste log-ontologie die is toegespitst op cybersecurity.

• Structuur: Het definieert kernklassen zoals Event, Source (apparaat/toepassing), Parameter (bijv. tijdstempels, netwerkadressen, gebruikers) en UserCredential.
• Alignering: Het koppelt aan standaard provenance-ontologieën (bijv. prov-o) en W3C-tijdontologieën om interoperabiliteit te waarborgen.
• Validatie: Een begeleidende SHACL (Shapes Constraint Language)-schema dwingt beperkingen af op eigendoms-kardinaliteiten, datatypes en vereiste velden om syntactische en semantische geldigheid te garanderen.

B. Hybride Retrieval (RAG)

Voordat een KG voor een nieuwe loggebeurtenis wordt gegenereerd, haalt OntoLogX semantisch vergelijkbare eerdere voorbeelden op om te dienen als few-shot prompts.

• Hybride Zoekopdracht: Het combineert vectorzoekopdrachten (voor semantische gelijkenis) en volledige tekstzoekopdrachten (voor exacte trefwoordmatching) tegen een grafische database van eerder gegenereerde KG's.
• Her-ranking: Het systeem gebruikt Maximal Marginal Relevance (MMR) om relevantie in evenwicht te brengen met diversiteit, zodat de opgehaalde voorbeelden een breed scala aan patronen dekken in plaats van te clusteren rond één interpretatie.

C. Ontologie-geleide Generatie

De LLM genereert een kandidaat-KG op basis van de ruwe log, optionele context (bijv. apparaattype) en de opgehaalde voorbeelden.

• Gestructureerde Output: Het model is beperkt tot output in een vooraf gedefinieerd schema (bijv. JSON of Turtle-formaat) zoals gedefinieerd door de ontologie, waardoor generatie van vrije tekst wordt voorkomen.
• Modelonafhankelijkheid: Het promptontwerp is generiek, waardoor compatibiliteit met verschillende LLM-backends mogelijk is.

D. Iteratieve Validatie en Correctie

Om hallucinaties en structurele fouten van LLM's te mitigeren, hanteert OntoLogX een zelfcorrectielus:

1. Syntactische Check: Verifieert het outputformaat.
2. Ontologie-Compliance: Voert de output uit op SHACL-regels.
3. Semantische Validatie: Controleert op logische inconsistenties (bijv. ontbrekende Event-nodes, niet-gedefinieerde relaties).
4. Correctie-prompt: Als overtredingen worden gevonden, genereert het systeem een gerichte prompt naar de LLM om specifieke fouten te herstellen. Deze lus herhaalt zich (tot 3 keer) totdat een geldige KG is geproduceerd of het systeem terugvalt op een lege grafiek.

E. Downstream Toepassing: Tactieken Voorspelling

Zodra KG's zijn gegenereerd en gegroepeerd in sessies (op basis van temporele of logische nabijheid), analyseert een laatste LLM-aanroep de geaggregeerde grafiek om MITRE ATT&CK-tactieken te voorspellen. Dit overbrugt laag-niveau logbewijs met hoog-niveau adversarische doelen.

3. Belangrijkste Bijdragen

1. Lichtgewicht Log-ontologie & SHACL-schema: Een domeinspecifiek schema dat is ontworpen om expressiviteit in evenwicht te brengen met de eenvoud die vereist is voor geautomatiseerde extractie uit ruwe logs.
2. OntoLogX-agent: Een retrieval-versterkte, op LLM gebaseerde agent die ruwe logs autonoom omzet in ontologie-compliance KG's zonder menselijke tussenkomst.
3. Iteratief Correctiemechanisme: Een innovatieve feedbacklus die SHACL-validatie gebruikt om LLM-outputs iteratief te verfijnen, waardoor de structurele nauwkeurigheid aanzienlijk verbetert.
4. Empirische Evaluatie: Een uitgebreide studie die het systeem evalueert op zowel publieke benchmarkdatasets als een real-world honeypot-dataset, inclusief een ablatiestudie van systeemcomponenten en een vergelijking tussen acht verschillende LLM's.

4. Experimentele Resultaten

De auteurs evalueerden OntoLogX met acht LLM's (waaronder Llama 3.3, Claude 3.5, Mistral en Qwen3 Coder) op twee datasets: de AIT log-dataset (heterogeen, niet-aanval-gericht) en een Cowrie honeypot-dataset (real-world adversarische activiteit).

• Kwaliteit van KG-construktie:

  • Prestaties: De volledige pipeline (Retrieval + Gestructureerde Output + Correctie) behaalde de hoogste Precisie, Recall en F1-scores.
  • Modelvergelijking: Claude Sonnet 4 en Qwen3 Coder (32B) presteerden het beste. Opvallend was dat code-specialistische modellen (Qwen) en redeneringsmodellen wisselend succes lieten zien; redeneringsmodellen (bijv. gpt-oss) hadden moeite met gestructureerde outputtools en faalden vaak om de functie correct aan te roepen.
  • Ablatie: Retrieval en correctiemechanismen waren cruciaal. Retrieval alleen verbeterde de consistentie, terwijl correctie SHACL-overtredingen aanzienlijk verminderde.
  • Trade-off: Er is een afweging tussen G-Eval-scores (semantische rijkdom) en F1-scores (structurele precisie). De auteurs betogen dat een gebalanceerde aanpak (G-Eval ~0,7–0,8) optimaal is om ruisachtige maar semantisch "rijke" grafieken te vermijden.

• MITRE ATT&CK Tactieken Voorspelling:

  • OntoLogX presteerde beter dan een baseline (LLM die tactieken direct voorspelde vanuit ruwe logs).
  • Sterke punten: Het toonde een superieure Recall voor complexe, context-afhankelijke tactieken zoals Discovery, Credential Access en Defense Evasion, die multi-stap redenering over gestructureerde entiteiten vereisen.
  • Beperkingen: De prestaties waren lager voor tactieken die langdurige correlatie vereisen (bijv. Persistence), aangezien deze vaak afhankelijk zijn van omgevingscontext die niet volledig wordt vastgelegd in korte logsessies.

5. Betekenis en Toekomstig Werk

Betekenis:

• Automatisering: OntoLogX demonstreert dat autonome agenten effectief de kloof kunnen overbruggen tussen ongestructureerde logs en gestructureerde CTI, waardoor de behoefte aan handmatige parsing en regelengineering afneemt.
• Interoperabiliteit: Door outputs te verankeren in een standaardontologie, maakt het systeem semantische query's en integratie met bestaande CTI-frameworks mogelijk.
• Bruikbare Intelligence: Het vermogen om laag-niveau gebeurtenissen te koppelen aan MITRE ATT&CK-tactieken biedt beveiligingsanalisten directe, hoog-niveau bedreigingscontext.

Beperkingen & Toekomstige Richtingen:

• Rekenkosten: De afhankelijkheid van LLM's introduceert latentie en kosten, wat uitdagend kan zijn voor omgevingen met een hoge doorvoer en real-time eisen.
• Hallucinaties: Hoewel RAG en validatie risico's verminderen, kunnen hallucinaties niet volledig worden geëlimineerd.
• Schaalbaarheid: Toekomstig werk richt zich op het optimaliseren van resource-orkestratie, het verkennen van incrementeel leren en het uitbreiden van de ontologie om diverse enterprise- en industriële logbronnen te dekken.

Concluderend vertegenwoordigt OntoLogX een significante stap voorwaarts in geautomatiseerde Cyber Threat Intelligence, en bewijst dat het combineren van ontologie-geleide beperkingen met het generatieve vermogen van LLM's robuuste, interpreteerbare en bruikbare beveiligingsinzichten kan opleveren.