Riepilogo Tecnico: Interrogazione dei Log di Sicurezza Senza Parser

Enunciato del Problema

Gli analisti di sicurezza interrogano regolarmente i log di sistema per rilevare minacce e investigare incidenti, ma la diversità dei formati dei log crea un collo di bottiglia significativo. Sebbene i log siano economici da produrre, sono costosi da utilizzare perché ogni sorgente (firewall, servizi di autenticazione, agenti endpoint) utilizza il proprio formato semi-strutturato.

L'approccio standard del settore prevede la creazione di parser specifici per ogni sorgente per normalizzare i log in schemi strutturati (ad esempio OCSF) prima dell'analisi. Sebbene potente, questo richiede uno sforzo ingegneristico continuo per mantenere i parser man mano che i formati evolvono; ad esempio, Google SecOps mantiene circa 1.000 parser attivi con oltre 200 aggiornamenti mensili. Al contrario, saltare il parsing e cercare direttamente nei file grezzi con strumenti come grep o script ad hoc evita i costi di manutenzione ma sposta l'onere sull'analista. Questo approccio manuale richiede una profonda conoscenza delle varianti specifiche dei messaggi e fatica a esprimere query temporali complesse su più righe (ad esempio, "trova gli utenti che hanno effettuato l'accesso da due IP diversi entro 60 secondi"), che richiedono stato, raggruppamento e aggregazione.

Entrambi gli approcci falliscono per la stessa ragione: richiedono una conoscenza preliminare della sintassi e della semantica del log sorgente. Le pipeline strutturate codificano questo nei parser, mentre i flussi di lavoro su testo grezzo richiedono all'analista di ricostruirlo manualmente.

Metodologia: Il Sistema Sieve

Gli autori presentano Sieve, un sistema che genera codice di query eseguibile da domande di sicurezza in linguaggio naturale senza richiedere parser pre-costruiti o schemi normalizzati. Sieve opera ancorando un Modello Linguistico di grandi dimensioni (LLM) a un contesto di formato log leggero, estratto automaticamente.

Panoramica della Pipeline

Sieve opera in quattro fasi:

1. Costruzione del Prompt: Il sistema assembla un prompt contenente la query in linguaggio naturale, il percorso del file di log e una "strategia di contesto" (esempi di template di log o righe grezze). Include anche vincoli (ad esempio, il codice deve essere Python o Bash, nessuna scrittura di rete/file) e una specifica di output.
2. Generazione del Codice: Un LLM (principalmente Gemini 3.1 Pro Preview o OpenAI GPT-5.4) viene invocato una volta per query per emettere uno script Python o Bash autonomo. Al modello viene ordinato di restituire il codice in un wrapper JSON per garantire un'estrazione affidabile.
3. Esecuzione in Sandbox: Il codice generato viene eseguito in un sottoprocesso senza accesso alla rete e con permessi del filesystem ristretti. È soggetto a controlli di sicurezza (rifiuto di eval, exec, rm, ecc.) e convalida del formato di output.
4. Meccanismo di Riprova: Se l'esecuzione fallisce, lo script lancia un'eccezione o il formato di output viene violato, il messaggio di errore viene reimmesso all'LLM per un nuovo tentativo. Sono consentiti fino a quattro tentativi.

Strategie di Contesto

Per ancorare l'LLM al formato log specifico, Sieve valuta cinque strategie per fornire contesto:

• Template Matryoshka: Utilizza una pipeline LLM offline per generare template semantici di alta qualità con segnaposto per campi denominati.
• Drain3: Un parser in streaming che estrae template con wildcards generici in un singolo passaggio.
• Templater basato sulla Frequenza: Un algoritmo leggero ed euristico (ispirato a IPLoM) che normalizza i token, raggruppa per lunghezza e identifica le posizioni variabili per produrre template in meno di dieci secondi senza chiamate all'LLM.
• Campionamento Casuale: Fornisce 100 righe di log campionate casualmente senza template espliciti.
• Nessun Contesto: Fornisce solo una singola riga di esempio, affidandosi alla conoscenza pre-addestrata del modello.

Il sistema tratta l'LLM come un compilatore: genera la logica di estrazione una volta sola, e lo script risultante viene eseguito in modo deterministico alla velocità normale del programma su tutto il log.

Contributi Chiave

1. Pipeline Sieve: Un sistema open-source per l'interrogazione assistita da LLM di log di sicurezza grezzi che genera codice eseguibile dal linguaggio naturale, richiedendo una sola chiamata all'LLM per query seguita da un'esecuzione deterministica.
2. Benchmark: Un nuovo benchmark composto da 133 query di sicurezza su 5 tipi di log (Audit Linux, SSH, cron, Puppet, DHCP). Le query vanno da filtri semplici (Classe 1–2) a correlazioni complesse su più righe che coinvolgono finestre temporali e aggregazione con stato (Classe 3–4). Sono fornite risposte di verità fondamentale per tutte le query.
3. Esplorazione dello Spazio di Progettazione: Una valutazione delle strategie di contesto, dei linguaggi di esecuzione (Python vs Bash) e delle famiglie di modelli per determinare la configurazione ottimale per l'interrogazione dei log.
4. Confronti con le Linee di Base: Un confronto rispetto a una linea di base umana (analisti che scrivono script grep/Python ingenui in meno di 10 minuti) e a una pipeline automatizzata di parsing strutturato (Matryoshka).

Risultati Sperimentali

La valutazione è stata condotta su 133 query su 5 tipi di log.

• Prestazioni vs Linea di Base Umana: Sieve corrisponde alle prestazioni umane su query di filtro semplici ma supera significativamente la scripting manuale su query complesse. Su carichi di lavoro complessi (rilevamento brute-force, identificazione di anomalie di sessione, correlazione tra eventi), Sieve riduce il tasso di errore medio da 0,34 (umano) a 0,10, una riduzione di circa 3,6×. I guadagni più grandi sono stati osservati su attività che richiedono l'analisi dei timestamp, l'unione di eventi tramite identificatori condivisi e il mantenimento dello stato della finestra scorrevole.
• Prestazioni vs Parsing Strutturato: Su carichi di lavoro di filtraggio semplici, Sieve (utilizzando il contesto leggero Drain3) ottiene un punteggio F1 macro di 0,981, che è entro il rumore della pipeline di parsing strutturato Matryoshka (0,999). Questo dimostra che il codice generato dall'LLM può avvicinarsi all'accuratezza delle rappresentazioni completamente parse senza la fase di generazione del parser offline.
• Strategia di Contesto: La scelta della fonte del template conta meno del previsto. Un semplice templater basato sulla frequenza (eseguito in secondi senza chiamate all'LLM) ha prodotto risultati statisticamente indistinguibili dai template Matryoshka ad alto sforzo. Il fattore critico è la copertura delle varianti di messaggio piuttosto che la sofisticazione della rappresentazione del template.
• Scelta del Linguaggio: Python è il default superiore per query complesse. Sebbene Bash si comporti in modo comparabile su filtri semplici, fallisce significativamente su query temporali con stato (ad esempio, le query complesse DHCP hanno visto un calo da 0,815 F1 in Python a 0,446 in Bash) a causa delle limitazioni nella gestione delle strutture dati e dell'aritmetica dei timestamp.
• Robustezza del Modello: La pipeline si trasferisce tra famiglie di modelli (Gemini 3.1 Pro e GPT-5.4), sebbene GPT-5.4 abbia mostrato prestazioni inferiori su compiti con stato complessi in questa configurazione specifica.

Significato e Affermazioni

Il documento afferma che Sieve colma il divario tra l'espressività dell'interrogazione di log strutturati e l'immediatezza del lavoro diretto con file grezzi. Il suo significato principale risiede nel dimostrare che il codice generato dall'LLM può servire come piano di query just-in-time che elimina la necessità di manutenzione continua dei parser preservando al contempo l'accuratezza dell'analisi strutturata.

Gli autori sostengono che Sieve sia particolarmente prezioso per la "coda lunga" delle query degli analisti che esulano dallo schema normalizzato di un SIEM o per investigazioni ad hoc dove la pressione temporale preclude la costruzione di un parser. Spostando il costo dalla manutenzione ingegneristica continua (mantenimento dei parser) a un costo per-query limitato (una chiamata all'LLM + esecuzione deterministica), Sieve offre un'alternativa scalabile all'architettura "normalizza prima, interroga dopo". I risultati suggeriscono che per investigazioni di sicurezza complesse, la generazione automatica di codice non è solo fattibile ma superiore alla scripting manuale, a condizione che il sistema sia ancorato a un contesto di formato log sufficiente.