Sintesi Tecnica: Generazione di Dati Sintetici Multi-Relazionali Guidata da Macchine a Stati dai Log per il Rilevamento di Anomalie

Formulazione del Problema

I moderni sistemi software generano volumi massicci di log di esecuzione non strutturati che registrano comportamenti, guasti e interazioni tra componenti. Sebbene questi log siano centrali per il rilevamento delle anomalie, i metodi esistenti li trattano prevalentemente come sequenze piatte di template di eventi. Questo approccio trascura la struttura relazionale di esecuzione latente — il flusso di controllo, le transizioni di stato e le dipendenze tra parametri, risorse e componenti — che governa l'evoluzione delle esecuzioni.

Le attuali tecniche di sintesi e aumento dei log operano spesso a livello di template o di sequenza, fallendo nel rispettare la semantica di esecuzione sottostante. Di conseguenza, producono frequentemente tracce irrealistiche o strutturalmente non valide che non generalizzano ai complessi modi di guasto. Inoltre, sebbene i Large Language Models (LLM) mostrino promesse nella comprensione del testo non strutturato, l'applicazione di un approccio "single-pass" per la sintesi dei log è insufficiente a causa dei limiti della finestra di contesto, della mancanza di garanzie strutturali e della suscettibilità alle allucinazioni durante la generazione di complesse tracce di esecuzione. La sfida principale affrontata è la scoperta congiunta della struttura di esecuzione latente dai log grezzi e l'uso di tale struttura per guidare la generazione rigorosa di dati sintetici multi-relazionali.

Metodologia: LogSynthFSM

Gli autori propongono LogSynthFSM, un framework coordinato di LLM multi-agente progettato per scoprire strutture di esecuzione latenti e generare dati sintetici multi-relazionali. Il sistema decompone il compito di sintesi in agenti specializzati che operano in una pipeline a ciclo chiuso:

1. Agente di Parsing dell'Esecuzione: Converte i log grezzi e non strutturati in rappresentazioni di eventi strutturate ($e_i = (t_i, \theta_i, \tau_i)$), estraendo template, parametri e timestamp. Questo funge da operatore di compressione per ridurre il rumore lessicale e mitigare i limiti di contesto degli LLM.
2. Agente di Scoperta dello Stato: Inferisce una Macchina a Stati Finiti (FSM) latente ($F = (S, A, \delta)$) dalle sequenze di eventi strutturate. Raggruppa gli eventi in stati tali che la sequenza risultante soddisfi la proprietà di Markov, bilanciando espressività e identificabilità per recuperare il flusso di controllo che governa il sistema.
3. Agente di Induzione dello Schema: Trasforma la FSM inferita in uno schema relazionale multi-tabella esplicito ($R$). Questo schema include tabelle per tracce, eventi, stati, transizioni e parametri, collegati da vincoli di chiave primaria e chiave esterna. Questa fattorizzazione separa il flusso di controllo dagli attributi condizionati dallo stato, garantendo la fedeltà strutturale.
4. Agente di Sintesi Relazionale: Genera dati relazionali sintetici campionando percorsi di stato validi dalla FSM inferita e sintetizzando record di eventi/parametri condizionati su distribuzioni specifiche per stato. Questo agente amplifica i comportamenti di esecuzione rari ma validi, aderendo rigorosamente ai vincoli strutturali e temporali della FSM.
5. Agente di Valutazione della Coerenza: Valuta i dati generati lungo tre dimensioni:
   • Coerenza Strutturale: Verifica i vincoli dello schema (chiavi, ordinamento, transizioni valide).
   • Coerenza del Processo: Assicura che le esecuzioni corrispondano a traversamenti legali della FSM.
   • Coerenza Distributiva: Confronta le distribuzioni degli attributi con i dati reali per rilevare il drift.
     Questo agente fornisce feedback per guidare il raffinamento iterativo, filtrando gli output non validi o allucinati.

Il framework opera come un ciclo iterativo in cui l'Agente di Valutazione della Coerenza valida i batch di dati sintetici rispetto alla FSM e allo schema inferiti, assicurando che solo i dati strutturalmente validi e distribuzionalmente realistici siano conservati per l'uso a valle.

Contributi Chiave

• Scoperta della Struttura Latente: Il documento dimostra che i log di esecuzione codificano implicitamente un database relazionale governato da una macchina a stati latente, che può essere recuperata direttamente dai log grezzi senza una conoscenza preventiva dell'architettura del sistema.
• Framework Multi-Agente: Introduce un'architettura multi-agente innovativa che decompone il complesso compito della sintesi dei log in fasi verificabili (parsing, scoperta dello stato, induzione dello schema, sintesi e valutazione), superando i limiti della generazione LLM single-pass.
• Dati Sintetici Relazionali: A differenza dell'aumento basato su sequenze, LogSynthFSM genera dati relazionali multi-tabella che preservano la semantica globale del processo, l'ordinamento temporale e le dipendenze tra entità.
• Generazione Consapevole dei Vincoli: Utilizzando la FSM recuperata come prior generativo, il framework assicura che i dati sintetici aderiscano a rigorosi vincoli di esecuzione, prevenendo la creazione di tracce semanticamente incoerenti.

Risultati Sperimentali

Il framework è stato valutato su quattro dataset di log di sistema reali (BGL, Thunderbird, Hadoop, OpenStack) utilizzando una Rete Neurale a Grafo (GNN) per il rilevamento delle anomalie a valle.

• Performance di Rilevamento Anomalie: LogSynthFSM ha raggiunto un PR-AUC di 0,742, superando il più forte baseline basato su LLM (GraphMaster a 0,701) e i metodi di aumento classici.
• Rilevamento di Eventi Rari: Il metodo ha migliorato significativamente il rilevamento dei comportamenti rari, aumentando il Rare PR-AUC da 0,438 (GraphMaster) a 0,511.
• Fedeltà Strutturale:
  • Tasso di Validità delle Transizioni (TVR): 0,985, indicando che il 98,5% delle transizioni sintetiche era valido secondo la FSM inferita.
  • Similarità Distributiva: La divergenza di Jensen–Shannon dei percorsi $k$-gram è stata ridotta a 0,091 (rispetto a 0,137 per GraphMaster), mostrando un maggiore allineamento con le dinamiche di esecuzione reali.
  • Distinguibilità: L'AUC del Classifier Two-Sample Test (C2ST) è 0,503 (vicino all'ideale 0,50), suggerendo che le tracce sintetiche sono difficili da distinguere da quelle reali.
• Studi di Ablazione: La rimozione dell'Agente di Scoperta dello Stato ha causato la degradazione più severa (il Rare PR-AUC è sceso a 0,341), confermando che la modellazione esplicita dello stato è essenziale. Anche la rimozione dell'Agente di Valutazione della Coerenza ha ridotto il PR-AUC (a 0,703) e aumentato l'AUC C2ST (a 0,567), evidenziando la necessità della validazione a ciclo chiuso.
• Efficienza: Il sistema funziona efficacemente su hardware di consumo (singola RTX 4080 SUPER) con tempi di esecuzione di 41–52 minuti, dimostrando che non è richiesta un'infrastruttura specializzata.

Significato e Rivendicazioni

Il documento sostiene che i log di esecuzione codificano implicitamente un database relazionale governato da una macchina a stati latente. Il recupero di questa struttura consente una generazione di dati sintetici basata su principi che è sia robusta che interpretabile.

Gli autori sottolineano che i guadagni di performance non sono dovuti meramente all'uso di modelli linguistici più grandi o all'aumento del volume dei dati. Al contrario, i miglioramenti derivano dall'integrazione architettonica di parsing dell'esecuzione, scoperta dello stato, induzione dello schema e sintesi relazionale consapevole dei vincoli all'interno di un framework multi-agente a ciclo chiuso. Questo approccio assicura la correttezza strutturale e il realismo distributivo, affrontando il limite fondamentale dei metodi esistenti che ignorano la struttura relazionale e a livello di processo delle esecuzioni software. Il lavoro suggerisce una direzione promettente per la generazione di dati sintetici consapevoli dell'esecuzione per migliorare il rilevamento delle anomalie in sistemi software complessi e distribuiti.