OntoLogX: Ontology-Guided Knowledge Graph Extraction from Cybersecurity Logs with Large Language Models

1. Enunciato del Problema

I log dei sistemi di cybersecurity sono una fonte critica di Cyber Threat Intelligence (CTI), contenenti prove di comportamenti degli attaccanti, vulnerabilità e tracce malevole. Tuttavia, l'estrazione di intelligence azionabile da questi log è ostacolata da diverse sfide:

• Dati non strutturati ed eterogenei: I log variano significativamente per formato, sintassi e semantica tra diversi dispositivi e sessioni.
• Frammentazione: Gli scenari di attacco sono spesso suddivisi tra più voci di log, rendendo difficile ricostruire l'intera narrazione.
• Limitazioni dei metodi tradizionali: I parser basati su regole ed euristiche mancano della capacità di adattarsi per generalizzare su comportamenti delle minacce in evoluzione e formati di log diversi.
• Limitazioni degli LLM: Sebbene i Large Language Models (LLM) eccellano nell'elaborazione del linguaggio naturale, spesso mancano di coerenza fattuale, di fondamento specifico del dominio e della capacità di produrre output strutturalmente validi senza un pesante intervento dell'utente o pre-elaborazione.

Il problema centrale è la necessità di un sistema autonomo in grado di trasformare dati di log grezzi e rumorosi in Knowledge Graph (KG) coerenti, semanticamente consistenti e interoperabili senza intervento manuale, garantendo al contempo che l'output aderisca a ontologie di dominio rigorose.

2. Metodologia: Il Framework OntoLogX

OntoLogX è un agente AI autonomo progettato per elaborare eventi di log in modo sequenziale e incrementale. Sfrutta LLM, Retrieval-Augmented Generation (RAG) e validazione iterativa per costruire KG fondati su ontologie. Il flusso di lavoro consta di quattro fasi principali:

A. Progettazione dell'Ontologia

Il sistema utilizza un'ontologia di log personalizzata e leggera, adattata per la cybersecurity.

• Struttura: Definisce classi fondamentali come Event, Source (dispositivo/applicazione), Parameter (es. timestamp, indirizzi di rete, utenti) e UserCredential.
• Allineamento: Mappa su ontologie standard di provenienza (es. prov-o) e ontologie temporali W3C per garantire l'interoperabilità.
• Validazione: Uno schema SHACL (Shapes Constraint Language) companion impone vincoli su cardinalità delle proprietà, tipi di dati e campi obbligatori per garantire validità sintattica e semantica.

B. Recupero Ibrido (RAG)

Prima di generare un KG per un nuovo evento di log, OntoLogX recupera esempi passati semanticamente simili da utilizzare come prompt few-shot.

• Ricerca Ibrida: Combina ricerca vettoriale (per similarità semantica) e ricerca full-text (per corrispondenza esatta di parole chiave) contro un database di grafi contenente KG precedentemente generati.
• Riordinamento: Il sistema utilizza la Massima Rilevanza Marginale (MMR) per bilanciare rilevanza e diversità, assicurando che gli esempi recuperati coprano un'ampia gamma di pattern anziché raggrupparsi attorno a un'unica interpretazione.

C. Generazione Guidata dall'Ontologia

L'LLM genera un KG candidato basato sul log grezzo, su un contesto opzionale (es. tipo di dispositivo) e sugli esempi recuperati.

• Output Strutturato: Il modello è vincolato a produrre output in uno schema predefinito (es. formato JSON o Turtle) definito dall'ontologia, prevenendo la generazione di testo libero.
• Agnosticismo del Modello: La progettazione del prompt è generica, permettendo la compatibilità con vari backend LLM.

D. Validazione e Correzione Iterativa

Per mitigare allucinazioni e errori strutturali degli LLM, OntoLogX impiega un ciclo di auto-correzione:

1. Controllo Sintattico: Verifica il formato dell'output.
2. Conformità all'Ontologia: Esegue l'output contro le regole SHACL.
3. Validazione Semantica: Controlla incoerenze logiche (es. nodi Event mancanti, relazioni non definite).
4. Prompt di Correzione: Se vengono rilevate violazioni, il sistema genera un prompt mirato all'LLM per correggere errori specifici. Questo ciclo si ripete (fino a 3 volte) fino a quando non viene prodotto un KG valido o il sistema torna a un grafo vuoto.

E. Applicazione a valle: Predizione delle Tattiche

Una volta generati i KG e raggruppati in sessioni (basate su prossimità temporale o logica), una chiamata finale all'LLM analizza il grafo aggregato per predire le tattiche MITRE ATT&CK. Questo colma il divario tra prove di log a basso livello e obiettivi avversari di alto livello.

3. Contributi Chiave

1. Ontologia di Log Leggera e Schema SHACL: Uno schema specifico del dominio progettato per bilanciare l'espressività con la semplicità richiesta per l'estrazione automatizzata da log grezzi.
2. Agente OntoLogX: Un agente basato su LLM e potenziato dal recupero che trasforma autonomamente log grezzi in KG conformi all'ontologia senza intervento umano.
3. Meccanismo di Correzione Iterativa: Un nuovo ciclo di feedback che utilizza la validazione SHACL per rifinire iterativamente gli output degli LLM, migliorando significativamente l'accuratezza strutturale.
4. Valutazione Empirica: Uno studio completo che valuta il sistema su dataset di benchmark pubblici e su un dataset reale di honeypot, includendo uno studio di ablazione dei componenti del sistema e un confronto tra otto diversi LLM.

4. Risultati Sperimentali

Gli autori hanno valutato OntoLogX utilizzando otto LLM (tra cui Llama 3.3, Claude 3.5, Mistral e Qwen3 Coder) su due dataset: il dataset di log AIT (eterogeneo, non focalizzato su attacchi) e un dataset honeypot Cowrie (attività avversaria reale).

• Qualità della Costruzione del KG:

  • Prestazioni: La pipeline completa (Recupero + Output Strutturato + Correzione) ha ottenuto i punteggi di Precisione, Recall e F1 più alti.
  • Confronto tra Modelli: Claude Sonnet 4 e Qwen3 Coder (32B) hanno ottenuto i migliori risultati. Notevolmente, i modelli specializzati in codice (Qwen) e i modelli di ragionamento hanno mostrato risultati variabili; i modelli di ragionamento (es. gpt-oss) hanno faticato con gli strumenti di output strutturato, spesso fallendo nell'invocare correttamente la funzione.
  • Ablazione: I meccanismi di recupero e correzione sono stati cruciali. Il recupero da solo ha migliorato la coerenza, mentre la correzione ha ridotto significativamente le violazioni SHACL.
  • Compromesso: Esiste un compromesso tra i punteggi G-Eval (ricchezza semantica) e i punteggi F1 (precisione strutturale). Gli autori sostengono che un approccio equilibrato (G-Eval ~0,7–0,8) sia ottimale per evitare grafi rumorosi ma semanticamente "ricchi".

• Predizione delle Tattiche MITRE ATT&CK:

  • OntoLogX ha superato una linea di base (LLM che predice le tattiche direttamente dai log grezzi).
  • Punti di forza: Ha mostrato una Recall superiore per tattiche complesse e dipendenti dal contesto come Discovery, Credential Access e Defense Evasion, che richiedono ragionamento multi-step su entità strutturate.
  • Limitazioni: Le prestazioni sono state inferiori per tattiche che richiedono correlazione a lungo termine (es. Persistence), poiché queste spesso dipendono da un contesto ambientale non completamente catturato nelle brevi sessioni di log.

5. Significato e Lavori Futuri

Significato:

• Automazione: OntoLogX dimostra che gli agenti autonomi possono colmare efficacemente il divario tra log non strutturati e CTI strutturata, riducendo la necessità di parsing manuale e ingegneria delle regole.
• Interoperabilità: Fondando gli output su un'ontologia standard, il sistema abilita interrogazioni semantiche e integrazione con framework CTI esistenti.
• Intelligence Azionabile: La capacità di mappare eventi a basso livello su tattiche MITRE ATT&CK fornisce agli analisti di sicurezza un contesto di minaccia immediato e di alto livello.

Limitazioni e Direzioni Future:

• Costo Computazionale: La dipendenza dagli LLM introduce latenza e costi, che possono essere una sfida per ambienti in tempo reale ad alto throughput.
• Allucinazioni: Sebbene RAG e validazione riducano i rischi, le allucinazioni non possono essere eliminate completamente.
• Scalabilità: I lavori futuri mirano a ottimizzare l'orchestrazione delle risorse, esplorare l'apprendimento incrementale ed estendere l'ontologia per coprire diverse fonti di log aziendali e industriali.

In conclusione, OntoLogX rappresenta un passo significativo avanti nell'automazione della Cyber Threat Intelligence, dimostrando che combinare vincoli guidati da ontologie con il potere generativo degli LLM può produrre approfondimenti di sicurezza robusti, interpretabili e azionabili.