LogSemFuse: Semantic Evidence Fusion for Explainable Log Anomaly Detection

Riepilogo Tecnico: LogSemFuse

Definizione del Problema

Il rilevamento delle anomalie nei log è essenziale per il monitoraggio dei moderni sistemi software, eppure gli esistenti rilevatori basati su modelli affrontano due limitazioni primarie. In primo luogo, pur raggiungendo elevate prestazioni di rilevamento, tipicamente restituiscono solo punteggi di anomalia o etichette binarie senza fornire la semantica operativa alla base della decisione. Questa mancanza di evidenza costringe gli operatori a ispezionare manualmente i log per comprendere il motivo per cui una sessione sia stata segnalata, ostacolando un'efficace diagnosi e la risposta agli incidenti. In secondo luogo, sebbene i Large Language Models (LLM) possano recuperare una ricca semantica dei log, utilizzarli come rilevatori autonomi è spesso costoso, incline alla variabilità dell'inferenza e può non fondare le spiegazioni sull'evidenza specifica sottostante una decisione. Inoltre, interrogare direttamente gli LLM per ogni sessione è computazionalmente dispendioso e difficile da scalare.

La sfida centrale affrontata è come potenziare gli esistenti rilevatori di base ad alte prestazioni con evidenze semantiche interpretabili senza sostituire le loro pipeline di addestramento o incorrere in costi di runtime proibitivi.

Metodologia: Framework LogSemFuse

LogSemFuse è proposto come un framework di aumento semantico plug-in. Non sostituisce il rilevatore di base né altera il suo obiettivo di addestramento. Inveve, opera nella fase di inferenza per fondere la predizione del backbone con evidenze semantiche strutturate derivate da tre moduli distinti. Il framework mantiene un Knowledge Bank ($K$) costruito durante l'addestramento, che memorizza artefatti riutilizzabili per minimizzare l'uso di LLM durante l'inferenza.

1. Costruzione delle Evidenze durante l'Addestramento

Prima dell'inferenza, LogSemFuse elabora i dati di addestramento per costruire due tipi di evidenze riutilizzabili:

• Local Event-Pattern Bank ($K_{ngram}$): Il sistema estrae pattern discriminanti di unigrammi, bigrammi e trigrammi dalle sequenze di EventId nelle sessioni anomale etichettate. I pattern sono classificati per "lift" (supporto anomalo rispetto al supporto normale) e validati per garantire che non si attivino eccessivamente sulle sessioni normali. Questi pattern forniscono evidenze deterministiche e interpretabili di comportamenti anomali brevi e contigui (ad esempio, ripetizioni di tentativi o sequenze di eccezioni).
• Cluster-Derived Rule Bank ($K_{rule}$): Le sessioni anomale di addestramento vengono raggruppate tramite HDBSCAN in base alle loro distribuzioni di eventi. Per ogni cluster, un LLM viene istruito per riassumere il comportamento operativo condiviso e indurre regole strutturate ed eseguibili. Queste regole utilizzano primitive come contains_ngram, ordered_subset, min_count e absent_within. Le regole risultanti catturano pattern operativi più ampi e non contigui e vengono memorizzate per il matching deterministico durante l'inferenza.

2. Aumento Semantico durante l'Inferenza

Per una sessione di log in entrata $x$, LogSemFuse aggrega quattro segnali binari per produrre una decisione finale e una spiegazione:

1. Segnale del Backbone ($s_b$): L'originale punteggio di anomalia o l'etichetta dal rilevatore di base (ad esempio, DeepLog, LogBERT).
2. Segnale del Pattern Locale ($s_n$): Determinato dal matching della sequenza di EventId della sessione contro $K_{ngram}$.
3. Segnale delle Regole ($s_r$): Determinato dall'esecuzione delle regole in $K_{rule}$ contro la sessione.
4. Segnale di Ragionamento Semantico LLM ($s_\ell$): Un LLM analizza la sessione per fornire una predizione ad alto rischio, un punteggio di confidenza e una razionale (comportamento atteso vs osservato). Per controllare i costi, l'LLM viene invocato solo per nuove sessioni; i risultati sono memorizzati nella cache tramite identificatore di sessione per il riutilizzo.

Fusione e Spiegazione:
Un operatore di fusione (selezionato tra policy OR, AND o vote-$k$ in base ai dati di validazione) combina questi quattro segnali per determinare l'etichetta di anomalia finale. Il sistema genera quindi una spiegazione basata sulle evidenze tracciando i segnali contribuenti: pattern locali corrispondenti, regole derivate dai cluster attivate (con le relative spiegazioni a livello di cluster) e la razionale dell'LLM.

Contributi Chiave

Il documento presenta i seguenti contributi specifici:

• Framework Plug-in: Un metodo per potenziare gli esistenti rilevatori di log con evidenze semantiche eseguibili senza modificare le loro pipeline originali di addestramento o inferenza.
• Design del Knowledge Bank: Un meccanismo per memorizzare pattern di eventi locali riutilizzabili e regole derivate dai cluster, insieme al ragionamento LLM memorizzato per sessione, consentendo un riutilizzo efficiente e a basso costo.
• Spiegazione Basata su Evidenze: Un approccio che spiega le decisioni di anomalia utilizzando i pattern attivati, le regole scatenate e le razionali dell'LLM, piuttosto che attribuzioni di caratteristiche post-hoc.
• Validazione Empirica: Valutazione completa su tre dataset (HDFS, BGL, Liberty) e quattro rilevatori di base, dimostrando un miglioramento delle prestazioni di rilevamento e della qualità della spiegazione con un overhead modesto.

Risultati della Valutazione

Il framework è stato valutato sui dataset HDFS, BGL e Liberty utilizzando DeepLog, LogAnomaly, LogBERT e NeuralLog come backbone.

• Prestazioni di Rilevamento: LogSemFuse ha migliorato l'F1-score per ogni baseline non perfetta. Ha recuperato il 98,8% dei falsi negativi del backbone attraverso i set di test. Notevolmente, ha preservato le prestazioni perfette nei casi in cui il backbone era già ottimale (ad esempio, LogAnomaly su Liberty).
• Efficienza: Il framework aggiunge un overhead di inferenza modesto e stabile (che varia da circa 2,3 a 5,8 secondi a seconda del dataset) facendo affidamento sul matching di pattern locali e l'esecuzione di regole piuttosto che su ripetute chiamate all'LLM. L'uso di token dell'LLM è ammortizzato attraverso il riutilizzo dei risultati memorizzati nella cache e del knowledge bank.
• Valutazione Umana: Uno studio con utenti condotto su 14 partecipanti (inclusi sviluppatori e ricercatori) ha mostrato che le spiegazioni di LogSemFuse sono state valutate significativamente più in alto rispetto alle spiegazioni dirette dell'LLM in tutte le metriche (Coerenza Logica, Solidità Tecnica, Chiarezza, ecc.). LogSemFuse ha ottenuto un punteggio medio di qualità complessiva di 4,13 rispetto a 3,06 del baseline LLM.
• Studi di Ablazione: La rimozione dei pattern di eventi locali ha causato il degrado più significativo delle prestazioni, indicando il loro ruolo critico nel rilevare specifici indicatori di anomalia. Il bank di regole derivate dai cluster ha fornito evidenze riutilizzabili per le spiegazioni, mentre il ragionamento dell'LLM ha offerto guadagni mirati nelle configurazioni difficili.

Significato e Rivendicazioni

Il documento sostiene che LogSemFuse dimostra che l'aumento semantico è una strategia pratica per rafforzare i rilevatori di log esistenti. Trattando gli LLM e l'induzione di regole come fonti di evidenza riutilizzabile piuttosto che come rilevatori autonomi, il framework raggiunge:

1. Efficacia Migliorata: Recupero delle anomalie mancate che i modelli basati su sequenze trascurano a causa di segnali sparsi o diluiti.
2. Interpretabilità: Fornire agli operatori spiegazioni concrete basate su evidenze (pattern, regole e razionali) piuttosto che punteggi opachi.
3. Scalabilità: Mantenimento di costi di runtime bassi e stabili grazie alla memorizzazione degli artefatti semantici e all'evitare l'inferenza LLM per ogni singola richiesta.

Gli autori posizionano LogSemFuse non come un sostituto dei rilevatori tradizionali o un nuovo paradigma centrato sugli LLM, ma come un metodo unificato per colmare il divario tra l'elevata prestazione di rilevamento e la comprensione semantica azionabile nell'ingegneria dell'affidabilità del software.