SCOPE: Tree-based Self-Correcting Online Log Parsing via Syntactic-Semantic Collaboration

1. Il Problema

L'analisi automatica dei log è fondamentale per il monitoraggio, il rilevamento di anomalie e la diagnosi dei sistemi complessi. Tuttavia, i metodi esistenti presentano limiti significativi:

• Metodi euristici tradizionali: Offrono alta efficienza ma scarsa accuratezza perché ignorano il contesto semantico e dipendono da regole manuali o pattern strutturati rigidi, rendendoli poco adattabili a formati di log diversi.
• Metodi basati su LLM (Large Language Models): Migliorano l'accuratezza grazie alla comprensione semantica, ma soffrono di alta latenza e costi elevati a causa delle frequenti chiamate alle API. Inoltre, spesso richiedono dati di addestramento etichettati o un uso eccessivo di esempi nel prompt (in-context learning).

Esiste quindi un bisogno urgente di un approccio che integri l'efficienza dei metodi euristici con la precisione semantica degli LLM, riducendo al contempo i costi computazionali e le chiamate all'API.

2. Metodologia: Il Framework SCOPE

SCOPE è un framework di parsing online auto-correttivo che utilizza una collaborazione sinergica tra analisi sintattica e semantica. L'architettura si compone di quattro moduli principali:

A. Preprocessing

I messaggi di log grezzi vengono suddivisi in token (inclusi simboli di punteggiatura come token separati) e le variabili comuni (indirizzi IP, timestamp, ID) vengono filtrate e sostituite con segnaposto tramite espressioni regolari.

B. BDPT (Bi-Directional Parse Tree)

È una struttura ad albero innovativa progettata per migliorare il matching dei template:

• Doppia direzione: A differenza degli alberi unidirezionali (come in Drain), il BDPT cerca i template sia in avanti che in retro (reverse). Questo è cruciale perché le variabili nei log possono apparire all'inizio o alla fine del messaggio.
• Profondità dinamica: La profondità dei rami dell'albero è calcolata dinamicamente in base alla lunghezza del token del messaggio, garantendo una copertura ottimale.
• Auto-correzione: Se un messaggio non corrisponde, l'albero può essere aggiornato. Se un ramo precedente era errato, viene marcato come obsoleto e sostituito da un nuovo ramo con un nodo "wildcard", evitando fusioni indesiderate e mantenendo la struttura efficiente.

C. PTMP (Priority-based Template Match Pool)

Quando il BDPT non riesce a trovare una corrispondenza (ad esempio, quando le variabili appaiono contemporaneamente in entrambe le metà del messaggio), viene attivato il PTMP.

• Matching globale: Cerca nel pool di tutti i template conosciuti.
• Priorità dinamica: I template sono ordinati in base alla loro "incertezza". I template mai aggiornati o con poche corrispondenze hanno priorità più alta, permettendo al sistema di verificare prima le possibilità più incerte e correggere eventuali errori di classificazione precedenti.

D. NLPE (NLP-based Template Extractor)

Questo è il cuore della collaborazione sintattico-semantica, utilizzato sia dal BDPT che dal PTMP per distinguere tra costanti e variabili:

• Fase 1 (Sintattica - Leggera): Utilizza un modello NLP leggero (es. spaCy) per l'etichettatura POS (Part-of-Speech). Se i token differenti in una posizione sono identificati come costanti fisse (es. verbi, preposizioni), il sistema decide immediatamente che si tratta di template diversi, evitando chiamate all'LLM.
• Fase 2 (Semantica - LLM): Solo se l'analisi sintattica è ambigua (es. token con lo stesso POS ma significato diverso), viene invocato un LLM.
• Prompting Strategico: Per massimizzare l'efficienza dell'LLM, SCOPE utilizza una strategia di Chain-of-Thought (CoT). Invece di confrontare direttamente i log, l'LLM estrae prima i template da ciascun input separatamente e poi confronta i risultati, riducendo i bias e migliorando l'accuratezza.

3. Contributi Chiave

1. Primo framework unificato: SCOPE è il primo metodo che integra efficacemente tecniche euristiche tradizionali e analisi semantica basata su LLM in un unico flusso di lavoro online.
2. Albero di Parsing Bidirezionale (BDPT): Introduce una struttura ad albero con profondità dinamica e ricerca bidirezionale, aumentando significativamente il tasso di matching rispetto agli approcci unidirezionali.
3. Collaborazione Sintattico-Semantica a Due Stadi: Riduce drasticamente il numero di chiamate all'LLM utilizzando l'analisi POS come filtro preliminare, mantenendo alta l'accuratezza solo quando necessario.
4. Meccanismo di Auto-Correzione: Il sistema è in grado di correggere i template errati precedentemente estratti aggiornando la struttura dell'albero e il pool di template.

4. Risultati Sperimentali

Il framework è stato valutato su 14 dataset di grandi dimensioni (Loghub-2.0) confrontandolo con i metodi più avanzati (SOTA), inclusi Drain, Brain, LILAC, LogBatcher e LUNAR.

• Accuratezza: SCOPE supera tutti i baseline. Rispetto ai parser euristici (Drain, Brain), migliora la Group Accuracy (GA) del 16,1% e la Parsing Accuracy (PA) del 49,5%. Rispetto ai parser basati su LLM, ottiene miglioramenti medi del 3,8% in GA e del 13,5% in PA.
• Efficienza: SCOPE è il metodo più veloce, superando anche Drain (il più veloce tra i non-LLM) con un tempo di parsing medio inferiore.
• Riduzione dei Costi LLM: SCOPE riduce le chiamate all'LLM di circa 6 volte rispetto ad altri metodi basati su LLM (richiedendo solo il 15% delle chiamate necessarie agli altri), mantenendo un costo finanziario competitivo e un uso dei token ottimizzato.
• Robustezza: I risultati sono consistenti indipendentemente dal modello LLM utilizzato (da Qwen3-8B a GPT-4o), dimostrando l'adattabilità del framework.

5. Significato e Impatto

SCOPE rappresenta un avanzamento significativo nel campo dell'analisi dei log per diversi motivi:

• Bilanciamento Ottimale: Risolve il compromesso storico tra velocità e accuratezza, offrendo prestazioni di livello SOTA senza i costi proibitivi dell'uso massivo di LLM.
• Applicabilità Industriale: Essendo un metodo online e unsupervised (senza bisogno di dati etichettati), è immediatamente deployabile in ambienti di produzione reali dove i log sono dinamici e i dati etichettati scarsi.
• Riduzione dei Costi Operativi: La drastica riduzione delle chiamate API rende l'uso di modelli linguistici avanzati economicamente sostenibile per sistemi di logging su larga scala.

In sintesi, SCOPE dimostra che una progettazione architetturale intelligente, che combina strutture dati efficienti (alberi bidirezionali) con l'uso strategico e mirato dell'intelligenza artificiale, può superare i limiti degli approcci attuali, rendendo l'analisi dei log più precisa, veloce ed economica.