Revisiting Predictive Process Monitoring in the Age of Foundation Models: A Comparative Study of Sequence, Tabular, and LLM Approaches
Questo articolo presenta un benchmark comparativo di approcci basati su sequenze, dati tabulari e LLM per il monitoraggio predittivo dei processi, rivelando che mentre i modelli di sequenza eccellono nella previsione della successiva attività e i modelli fondativi tabulari sono competitivi per i compiti temporali, gli LLM generalmente ottengono prestazioni inferiori nonostante i loro costi computazionali più elevati.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di osservare una cucina frenetica. Gli ordini arrivano, gli chef tagliano, friggono e impiattano, e a volte un piatto rimane bloccato in attesa di una salsa o di un ingrediente mancante. Se potessi sbirciare nel futuro e sapere esattamente quale sarà il prossimo passo, quanto tempo durerà il pasto o se l'ordine arriverà in ritardo, potresti risolvere i problemi prima che accadano. Questo è il cuore del Monitoraggio Predittivo dei Processi (Pima - Predictive Process Monitoring). È un ramo dell'informatica che esamina le "ricevute" digitali di come avvengono le cose — come una fabbrica che produce auto o una banca che approva prestiti — per indovinare cosa accadrà dopo. Per anni, il modo migliore per farlo è stato addestrare un cervello informatico specializzato da zero, insegnandogli le regole specifiche di quella singola cucina. Ma recentemente, è arrivata una nuova ondata di computer generalisti super intelligenti, i Large Language Models (LLM). Questi sono i modelli che possono scrivere poesie, programmare e chattare con te, e la gente si è chiesta: "Possiamo semplicemente chiedere a questi geni generalisti di predire il futuro della nostra cucina?". Allo stesso tempo, è apparsa una terza opzione: i Modelli Foundation Tabulari, che sono come esperti statistici che guardano i dati in file e colonne ordinate piuttosto che in storie. La grande domanda è: abbiamo ancora bisogno degli esperti di cucina specializzati, o i geni generalisti e gli statistici di righe e colonne hanno preso il sopravvento?
Questo articolo è una massiccia prova di assaggio per vedere quale di questi tre "chef" cucina effettivamente il pasto migliore. I ricercatori hanno allestito una competizione controllata utilizzando cinque diverse "cucine" del mondo reale (dataset di processi aziendali) e hanno chiesto ai modelli di predire tre cose: qual è l'attività successiva, quanto tempo durerà il passo successivo e quanto tempo manca alla fine dell'intero lavoro. Hanno messo ai comodi i Modelli di Sequenza "vecchia scuola" (addestrati da zero proprio per questo compito) contro gli LLM (adattati usando una tecnica chiamata LoRA per imparare il processo) e i Modelli Tabulari (che utilizzano l'apprendimento in-context, il che significa che imparano guardando gli esempi direttamente davanti a loro senza riaddestramento).
I risultati sono stati un po' una sorpresa e un po' un sollievo per i sostenitori della vecchia scuola. Quando si è trattato di indovinare l'attività successiva (come predire che lo chef taglierà le cipolle dopo), i Modelli di Sequenza specializzati sono stati i vincitori indiscussi. Hanno ottenuto costantemente l'accuratezza più alta, battendo gli LLM e i modelli tabulari. L'articolo suggerisce che ciò sia dovuto al fatto che questi modelli sono bravi a comprendere l'ordine specifico e il flusso degli eventi, specialmente quando il processo diventa complicato con molti possibili percorsi (ramificazioni). I modelli tabulari sono stati in realtà piuttosto bravi nei compiti legati al tempo, spesso performando bene quanto gli specialisti nel predire quanto tempo ci vorrebbe. Tuttavia, gli LLM, nonostante siano i più famosi e costosi da gestire, generalmente sono rimasti indietro. Hanno impiegato molto più tempo per l'elaborazione (a volte superando i 200 minuti per un singolo dataset rispetto a meno di un minuto per gli altri) e non sempre davano le risposte corrette. Infatti, su un dataset, gli LLM hanno frequentemente predetto che il processo fosse terminato quando invece non lo era, commettendo molti errori prematuri.
Pertanto, l'articolo conclude che, sebbene i vistosi LLM generalisti siano interessanti, non hanno ancora spodestato i modelli specializzati nel predire cosa accadrà dopo in un processo. I modelli specializzati sono ancora gli chef più affidabili per il compito, mentre i modelli tabulari sono un'alternativa forte e veloce per le domande sulla tempistica. Gli autori suggeriscono che gli LLM potrebbero aver bisogno di essere ancora più grandi o addestrati diversamente per recuperare terreno e che, per ora, se vuoi sapere cosa succederà dopo in un processo complesso, l'approccio tradizionale e specializzato è ancora la scommessa più accurata.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.