Promoting Simple Agents: Ensemble Methods for Event-Log Prediction

1. Il Problema

Il lavoro si concentra sulla predizione della prossima attività in flussi di log di eventi (event-log prediction) in tempo reale. In molti sistemi informativi moderni (es. sanità, gestione dei ticket, infrastrutture IT), gli eventi vengono generati continuamente come sequenze temporali associate a casi specifici (es. il percorso di un paziente o una sessione utente).

L'obiettivo è prevedere l'attività successiva di un caso dato il suo storico, includendo un simbolo di fine sequenza (stop). Le sfide principali identificate sono:

• Complessità computazionale: I modelli di linguaggio monolitici basati su Deep Learning (come LSTM e Transformer) offrono alta accuratezza ma richiedono risorse significative, latenze elevate e faticano a gestire contesti illimitati in streaming senza degradare le prestazioni.
• Instabilità dei modelli neurali: I modelli basati su finestre (windowed) mostrano pattern di prestazioni instabili; le prestazioni possono crollare improvvisamente al variare della dimensione della finestra di contesto.
• Sovraccarico degli ensemble classici: I metodi di ensemble tradizionali (es. votazione maggioritaria) migliorano la robustezza ma richiedono l'esecuzione parallela di molti agenti, aumentando drasticamente il consumo di memoria e la latenza.

2. Metodologia

Gli autori confrontano modelli basati su automi semplici (n-grammi) con architetture neurali (LSTM e Transformer), valutando l'impatto della dimensione della finestra di contesto e proponendo nuove strategie di ensemble.

Modelli di Base

• N-grammi: Modelli leggeri che definiscono la probabilità di un'attività basandosi solo sull'ultimo $n-1$ eventi. Sono implementati come Automi Finiti Deterministici Probabilistici (PDFA), permettendo transizioni di stato efficienti e aggiornamenti incrementali.
• LSTM e Transformer: Architetture neurali standard. I Transformer, nativamente progettati per l'elaborazione in batch, richiedono l'uso di finestre scorrevoli per lo streaming, il che introduce sfide legate alla scelta della dimensione della finestra e all'incorporamento posizionale.

Analisi della Dimensione della Finestra

Gli autori hanno condotto esperimenti su dataset sintetici (pattern periodici deterministici e randomizzati) e reali per analizzare come la dimensione della finestra influenzi l'accuratezza.

• Risultato chiave: Gli n-grammi mostrano una robustezza superiore rispetto alle architetture neurali. Mentre LSTM e Transformer subiscono crolli di prestazioni a dimensioni di finestra specifiche, gli n-grammi mantengono un'accuratezza stabile su un ampio "plateau" prima di degradare a finestre molto grandi (dovuto alla sparsità dei dati).

Metodi di Ensemble Proposti

Per superare la necessità di scegliere manualmente la finestra ottimale e migliorare la robustezza, sono stati valutati tre approcci di ensemble:

1. Soft Voting: Media delle distribuzioni di probabilità di più n-grammi con diverse dimensioni di finestra. Richiede l'esecuzione parallela di tutti gli agenti.
2. Adaptive Voting: Monitora l'accuratezza di ciascun modello durante l'inferenza e seleziona dinamicamente il modello più performante. Richiede comunque molti agenti attivi.
3. Algoritmo di Promozione (Promotion Algorithm): Una proposta innovativa che riduce drasticamente l'overhead.
   • Meccanismo: Utilizza solo due agenti attivi in parallelo: un modello base $M_i$ (finestra più piccola) e un modello candidato $M_{i+1}$ (finestra più grande).
   • Logica: Si inizia con il modello più piccolo. Se il modello più grande supera l'accuratezza del modello corrente per $\tau$ predizioni consecutive (soglia di promozione), il modello più grande viene "promosso" a essere il nuovo attivo.
   • Vantaggio: Elimina la necessità di eseguire in parallelo un gran numero di modelli, riducendo latenza e consumo di memoria mantenendo la capacità di adattarsi alla complessità del processo.

3. Contributi Chiave

• Dimostrazione dell'efficacia degli n-grammi: Gli n-grammi, spesso considerati obsoleti rispetto al Deep Learning, raggiungono accuratezze comparabili o superiori ai modelli neurali su dataset reali, con un costo computazionale drasticamente inferiore.
• Analisi della stabilità delle finestre: Il lavoro evidenzia che i modelli neurali sono sensibili alla scelta della dimensione della finestra, mentre gli n-grammi offrono una stabilità superiore in ambienti di streaming.
• Proposta dell'Algoritmo di Promozione: Un nuovo metodo di ensemble che bilancia accuratezza ed efficienza, utilizzando solo due modelli attivi contemporaneamente invece di un'intera flotta di agenti.
• Framework Sperimentale: Validazione estesa su 5 dataset reali (Sepsis, BPI 2012/2013/2017/2018) e dataset sintetici, utilizzando il framework logicsponge.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset sintetici e reali, confrontando accuratezza, tempo di predizione ($\Delta t_{pred}$) e tempo di training ($\Delta t_{train}$).

• Dataset Sintetici:

  • Gli n-grammi (es. 5-gram) raggiungono l'accuratezza teorica massima (fino al 99.95%) su pattern deterministici.
  • Gli ensemble (incluso il Promotion Algorithm) superano o eguagliano le prestazioni di LSTM e Transformer, specialmente su pattern complessi.
  • I modelli neurali non-windowed mostrano crolli di accuratezza (es. LSTM scende al ~50% su alcuni pattern casuali).

• Dataset Reali:

  • Gli LSTM raggiungono l'accuratezza più alta assoluta, ma gli ensemble di n-grammi (in particolare Soft Voting e Promotion) si avvicinano molto o superano le prestazioni neurali.
  • Efficienza: L'Algoritmo di Promozione offre un compromesso eccellente:
    • Accuratezza: Paragonabile ai migliori ensemble complessi.
    • Latenza: Significativamente inferiore rispetto a Soft/Adaptive Voting (che richiedono più agenti attivi) e molto più veloce dei modelli neurali.
    • Training: Tempi di training estremamente ridotti rispetto alle reti neurali.

• Tabella dei Risultati (Sintesi):

  • Su dataset reali come BPI 2018, il 5-gram ha un tempo di predizione di ~72 µs, mentre LSTM e Transformer richiedono >60 µs ma con costi di training enormi (migliaia di µs).
  • L'ensemble "Promotion" mantiene tempi di predizione bassi (~62-75 µs) con accuratezza competitiva, senza la necessità di iperparametri complessi come la scelta della finestra.

5. Significato e Implicazioni

Questo studio ribalta la percezione comune secondo cui solo i modelli neurali complessi sono adatti per la predizione di processi complessi.

1. Efficienza Operativa: Dimostra che per l'analisi in tempo reale di log di eventi, modelli semplici e leggeri (n-grammi) combinati con strategie di ensemble intelligenti sono preferibili ai modelli "monolitici" pesanti.
2. Scalabilità: L'Algoritmo di Promozione rende fattibile l'uso di ensemble su larga scala in ambienti con risorse limitate, riducendo la latenza e il consumo di memoria.
3. Robustezza: Offre una soluzione stabile che non richiede una fine sintonizzazione della dimensione della finestra, un problema critico nei sistemi di streaming dove i dati possono variare nel tempo.

In conclusione, il paper suggerisce che per la predizione di attività in streaming, la combinazione di agenti semplici (n-grammi) e metodi di selezione dinamica (Promotion Algorithm) rappresenta lo stato dell'arte in termini di rapporto tra accuratezza, latenza e consumo di risorse.