Detect, Localize, and Explain: Interactive Hierarchical Log Anomaly Analytics with LLM Augmentation

Riepilogo Tecnico: Krone-viz – Analisi Interattiva delle Anomalie nei Log Gerarchici con Potenziamento tramite LLM

Enunciato del Problema
Le infrastrutture moderne ad alta intensità di dati fanno affidamento sui log per il monitoraggio di sistema e la diagnosi delle anomalie. Tuttavia, i metodi esistenti per il rilevamento delle anomalie nei log presentano limitazioni significative. La maggior parte degli approcci tradizionali opera su sequenze di log piatte, producendo un singolo punteggio di anomalia per l'intera sequenza senza la capacità di interpretare i risultati o localizzare segmenti anomali specifici. Sebbene i recenti approcci basati su Large Language Model (LLM) migliorino l'interpretabilità attraverso spiegazioni in linguaggio naturale, operano ancora su sequenze piatte. Inoltre, questi metodi basati su LLM soffrono di limitazioni nella finestra di contesto e di costi computazionali proibitivi quando applicati a dataset di log massivi. Manca un sistema in grado di decomporre efficacemente i log in unità semantiche per abilitare una localizzazione e una spiegazione precise, gestendo al contempo i costi degli LLM.

Metodologia: Il Framework Krone
Il documento introduce Krone, un framework progettato per trasformare sequenze di log piatte in unità gerarchiche semanticamente coerenti. Krone-viz è il sistema di visualizzazione interattiva costruito su questo framework per rendere queste capacità attuabili per gli ingegneri. La metodologia si fonda su tre innovazioni fondamentali:

1. Modello di Astrazione dei Log Krone (Krone-Tree):
   Krone introduce un'astrazione gerarchica che ricostruisce la semantica di esecuzione direttamente dai log. Definisce una gerarchia semantica a tre livelli:

   • Entità: Corrispondono ai componenti del sistema.
   • Azioni: Catturano le operazioni eseguite.
   • Stati: Riflettono l'esito di ciascuna azione.
     Utilizzando il Riconoscimento delle Entità Nominate (NER) basato su LLM sui template dei log, Krone costruisce un Krone-Tree. Questo albero permette la decomposizione di lunghe sequenze di log piatte in Krone Seq—segmenti contigui e semanticamente coerenti rappresentati come sequenze di nodi attraverso i livelli di entità, azione e stato.

2. Rilevamento delle Anomalie Gerarchico e Modulare:
   Il rilevamento delle anomalie è formulato come attività modulari sulle Krone Seq decomposte. Il sistema impiega una strategia di orchestrazione dal basso verso l'alto:

   • Filtraggio Leggero: Un rilevatore basato sulla corrispondenza di pattern (PM) valuta inizialmente le Krone Seq per filtrare in modo efficiente i pattern normali noti.
   • Invocazione Selettiva dell'LLM: Solo le Krone Seq incerte o sconosciute attivano il ragionamento basato su LLM.
   • Arresto Anticipato: Il sistema esamina prima i segmenti di livello inferiore (Stati). Se viene rilevata un'anomalia a un livello inferiore, il processo si interrompe immediatamente per evitare calcoli non necessari sulle composizioni di livello superiore, poiché le anomalie si propagano verso l'alto.
   • Verifica Contestuale: La gerarchia fornisce un ambito semantico ben definito, permettendo all'LLM di ancorare il proprio ragionamento a pattern comportamentali normali (ad esempio, transizioni di azioni tipiche all'interno di un'entità) utilizzando esempi nel contesto.

3. Base di Conoscenze per il Rilevamento Ammortizzato:
   Riconoscendo che le Krone Seq sono unità di esecuzione atomiche che ricorrono frequentemente attraverso diverse sequenze di log, Krone mantiene una Base di Conoscenze gerarchica.

   • Riutilizzo: Una volta valutata una Krone Seq (sia dal PM che dall'LLM), il risultato e la spiegazione vengono archiviati.
   • Riduzione dei Costi: Durante il rilevamento, il sistema interroga prima questa base di conoscenze, invocando l'LLM solo se non esiste una voce corrispondente. Ciò riduce significativamente le chiamate ridondanti all'LLM.
   • Raffinamento Continuo: La base di conoscenze supporta correzioni con intervento umano, permettendo agli utenti di rivedere le conoscenze archiviate per migliorare la qualità del rilevamento e della spiegazione futura.

Dimostrazione di Krone-viz
Il documento presenta Krone-viz, una piattaforma interattiva dimostrata sul diffusamente utilizzato dataset di benchmark HDFS. Il sistema visualizza le quattro fasi del flusso di lavoro Krone:

1. Estrazione della Gerarchia: Gli utenti caricano i template dei log e il sistema costruisce il Krone-Tree, visualizzando le relazioni semantiche tra entità, azioni e stati.
2. Elaborazione dei Dati di Addestramento: Gli utenti osservano come le sequenze di log normali vengono decomposte in Krone Seq gerarchiche e archiviate come unità di esecuzione di verità fondamentale.
3. Rilevamento delle Anomalie: Gli utenti attivano il rilevamento su sequenze di test. L'interfaccia visualizza il processo modulare dal basso verso l'alto, evidenziando i segmenti segnalati dal rilevatore di pattern e fornendo spiegazioni generate dall'LLM per le anomalie confermate.
4. Gestione della Conoscenza: Gli utenti possono esplorare la base di conoscenze accumulata, visualizzare le statistiche per nodi specifici, ispezionare i risultati dettagliati del rilevamento e sovrascrivere o rivedere le conoscenze archiviate per guidare le analisi future.

Risultati Chiave
Il documento riporta miglioramenti completi del framework Krone rispetto ai metodi precedenti basati su benchmark pubblici reali:

• Accuratezza: Il punteggio F1 è migliorato dall'82,76% (metodi precedenti) al 92,83%.
• Efficienza dei Dati: L'approccio ha ridotto lo spazio dati richiesto di un fattore di 117,3×.
• Efficienza delle Risorse LLM: Il sistema ha ridotto l'utilizzo dell'LLM all'1,1%–3,3% della dimensione dei dati di test sfruttando la base di conoscenze e l'invocazione selettiva.

Significato
Il documento afferma che Krone-viz colma il divario critico nell'analisi dei log rendendo la decomposizione gerarchica, la localizzazione delle anomalie e la spiegazione interpretabili e attuabili per ingegneri del software e operatori di sistema. Integrando un uso efficiente degli LLM con un framework modulare e gerarchico, Krone abilita:

• Localizzazione Precisa: Identificazione di segmenti anomali specifici all'interno dei contesti di esecuzione anziché l'etichettatura di intere sequenze.
• Scalabilità Economicamente Efficiente: Riduzione drastica dei costi computazionali e dei requisiti di dati rispetto agli approcci LLM su sequenze piatte.
• Analisi con Intervento Umano: Capacitazione degli utenti a rivedere, correggere e rifinire le intuizioni generate dall'IA, mitigando così i rischi di allucinazione e costruendo una base di conoscenze riutilizzabile per il miglioramento continuo del sistema.

Il lavoro è presentato come una dimostrazione di come realizzare un'analisi dei log scalabile e interpretabile attraverso un'integrazione efficiente e consapevole dei costi degli LLM.