VarParser: Unleashing the Neglected Power of Variables for LLM-based Log Parsing

1. Il Problema

I log sono fondamentali per il monitoraggio e la diagnosi dei guasti nei sistemi di servizio su larga scala. Il log parsing (l'estrazione di eventi strutturati da dati di log non strutturati) è il primo passo critico per compiti successivi come il rilevamento di anomalie e la diagnosi dei guasti.

Sebbene i recenti Large Language Models (LLM) abbiano dimostrato eccellenti capacità di comprensione del testo per il parsing dei log, gli approcci esistenti basati su LLM soffrono di un difetto fondamentale: adottano una strategia "centrata sulle costanti" (constant-centric). Questi metodi si concentrano quasi esclusivamente sulla parte statica del messaggio di log, ignorando il potenziale contributo della parte variabile (i dati dinamici come IP, ID, timestamp, ecc.).

Questa strategia centrata sulle costanti genera quattro problemi principali:

1. Campionamento inefficiente: Il raggruppamento dei log si basa sulle costanti, portando a un numero eccessivo di gruppi e a un'inefficienza nel campionamento.
2. Bassa efficienza e alta frequenza di chiamate LLM: A causa di una cache basata solo sulle costanti, si verificano frequenti fallimenti nel matching, costringendo a invocazioni ridondanti dell'LLM.
3. Alti costi: L'uso eccessivo di token nelle costanti nei prompt aumenta significativamente i costi di invocazione dell'LLM.
4. Perdita di visibilità del sistema: I metodi attuali mantengono solo segnaposto (es. <*>) nei risultati, scartando le informazioni variabili reali che potrebbero fornire dettagli critici sullo stato del sistema.

2. Metodologia: VarParser

Gli autori propongono VarParser, il primo parser di log basato su LLM che adotta una strategia "centrata sulle variabili" (variable-centric). L'obiettivo è sfruttare attivamente le parti variabili dei log per migliorare l'intero processo di parsing. Il framework si compone di tre moduli principali:

A. Campionamento basato sul contributo delle variabili (Variable Contribution Sampling)

Invece di raggruppare i log in base alle costanti, VarParser:

• Raggruppamento: Maschera i contenuti dinamici comuni e utilizza token "non comuni" (rari) per raggruppare i log storici. Log con le stesse variabili, anche se appartenenti a template diversi, forniscono conoscenze simili all'LLM.
• Calcolo del contributo: Clusterizza i token non comuni per identificare tipi di variabili simili (usando la similarità di Jaccard) e calcola il "contributo" di ogni cluster in base alla sua frequenza e posizione nei log.
• Campionamento Greedy Diversificato: Seleziona iterativamente i log con il contributo più alto, aggiornando dinamicamente le priorità per garantire un set di esempi diversificato e informativo.

B. Cache di Parsing Centrata sulle Variabili (Variable-Centric Parsing Cache)

VarParser migliora la struttura di cache (albero dei prefissi) introducendo unità variabili (variable units) che memorizzano non solo il template, ma anche le istanze specifiche delle variabili e le loro posizioni.

• Tabella di Matching Fuzzy delle Variabili: Maschera i contenuti dinamici comuni (es. numeri, IP) per creare una versione "fuzzy" del log, permettendo un matching rapido e riducendo le chiamate all'LLM.
• Matching con Mascheramento (Mask Matching): Se il matching token-per-token fallisce, il sistema utilizza le informazioni sulle posizioni delle variabili salvate nella cache per mascherare le parti variabili del nuovo log e confrontare solo le parti costanti con i template rilevanti. Questo riduce i falsi negativi dovuti a variazioni nei dati dinamici.
• Correzione della Cache: Un modulo di validazione corregge le "allucinazioni" dell'LLM (es. quando l'LLM identifica erroneamente una costante come variabile) basandosi sul contenuto dell'etichetta assegnata alla variabile.

C. Apprendimento Contestuale Adattivo Consapevole delle Variabili (Adaptive Variable-aware ICL)

Quando un log non può essere matched con la cache, viene inviato all'LLM con un prompt ottimizzato:

• Selezione degli Esempi a Livello di Token: Invece di fornire interi log come esempi, VarParser seleziona dinamicamente solo le informazioni variabili (token non comuni) dai log storici più simili.
• Formato del Prompt: Il prompt include istruzioni, esempi di variabili (formato variabile -> {etichetta}) e il log da analizzare. Questo riduce drasticamente il consumo di token mantenendo alta la pertinenza delle informazioni fornite all'LLM.

3. Contributi Chiave

1. Nuova Strategia: Introduzione della prima strategia di parsing "centrata sulle variabili" per i log, che ribalta l'approccio tradizionale basato sulle costanti.
2. VarParser: Sviluppo del primo parser basato su LLM che integra campionamento, cache e apprendimento contestuale focalizzati sulle variabili.
3. Integrità del Risultato: Grazie alla memorizzazione delle "unità variabili", VarParser preserva le istanze reali delle variabili (es. indirizzi IP specifici, nomi file) nei risultati, migliorando la visibilità del sistema per gli ingegneri, a differenza dei metodi che restituiscono solo template generici.
4. Efficienza e Costi: Riduzione significativa delle invocazioni LLM e del consumo di token attraverso meccanismi di matching fuzzy e mascheramento.

4. Risultati Sperimentali

Gli autori hanno valutato VarParser sul dataset pubblico su larga scala Loghub-2.0 (14 dataset, circa 3,69 milioni di log in totale), confrontandolo con 8 baseline (parser basati su sintassi, semantica e LLM).

• Accuratezza: VarParser ha raggiunto la migliore accuratezza media su tutte le metriche (GA, PA, FGA, FTA). In particolare, ha superato i baseline migliori del 3,9% in GA, 8,5% in PA e 5,8% in FTA (F1-score di accuratezza del template).
• Efficienza:
  • Nel campionamento, è 2,3 volte più veloce rispetto a LILAC.
  • Nel parsing online, riduce i tempi di elaborazione del 51,2% rispetto a LILAC e del 14,8% rispetto a LogBatcher, avvicinandosi alle prestazioni dei parser basati su sintassi (come Drain).
• Costi LLM:
  • Riduzione del 56,1% nel consumo totale di token rispetto a LILAC.
  • Riduzione del 13,0% nel consumo totale di token rispetto a LogBatcher (che comunque richiede un batch offline).
• Robustezza: Le prestazioni rimangono stabili e superiori a diverse LLM (GPT-3.5-turbo, Llama3-70b, Qwen-Plus).
• Integrità: L'analisi delle unità variabili estratte ha dimostrato la capacità del sistema di fornire statistiche utili (es. frequenza di percorsi file, stati hardware) che altrimenti andrebbero perse.

5. Significato e Impatto

VarParser rappresenta un cambiamento di paradigma nel campo del parsing dei log basato su LLM. Dimostra che le variabili, spesso considerate "rumore" o semplicemente sostituite da segnaposto, contengono in realtà informazioni strutturali cruciali che possono guidare il modello in modo più efficiente.

L'approccio risolve il compromesso tra accuratezza, efficienza e costo, rendendo l'uso degli LLM per l'analisi dei log praticamente ed economicamente sostenibile anche per volumi di dati industriali massicci. Inoltre, restituendo le informazioni variabili reali, VarParser offre agli ingegneri una visibilità del sistema superiore, facilitando non solo il parsing, ma anche il monitoraggio e il debugging in tempo reale.