🤖 machine learning

David vs. Goliath in Next Activity Prediction: Argmax vs. LSTM, Transformer, and LLM

Questo articolo presenta un benchmark sistematico su sette log di eventi reali che dimostra come un semplice baseline basato sull'argmax del conteggio spesso eguagli o si avvicini alle prestazioni di complessi modelli di deep learning e di LLM da miliardi di parametri nella previsione della successiva attività, sfidando l'assunto che l'aumento della complessità del modello e del pretraining produca costantemente risultati superiori.

Autori originali: Hans Weytjens, Ingo Weber

Pubblicato 2026-06-16

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Hans Weytjens, Ingo Weber

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

La Grande Domanda: Abbiamo bisogno di un Supercomputer per prevedere il prossimo passo?

Immaginate di guardare un film. Avete visto la prima metà e volete indovinare cosa succederà dopo.

L'approccio "Golia": Assumete un team di 1.000 esperti critici cinematografici che hanno visto ogni film mai realizzato. Usano la loro enorme conoscenza della storia, della cultura e della narrazione per indovinare il finale.
L'approccio "Davide": Vi limitate a guardare l'ultima scena. Se l'eroe ha appena preso una spada, ipotizzate che la scena successiva riguardi un combattimento. Se l'eroe si è appena seduto a cena, ipotizzate che la scena successiva riguardi il mangiare.

Questo articolo si chiede: Abbiamo davvero bisogno dei 1.000 esperti (Golia), o basta guardare l'ultima scena (Davide)?

L'Ambientazione: Prevedere i Processi Aziendali

I ricercatori lavorano in un campo chiamato Monitoraggio Predittivo dei Processi (Predictive Process Monitoring). Pensate a un processo aziendale come a una ricetta o a una linea di assemblaggio in una fabbrica.

L'Obiettivo: Dato un elenco di passaggi già compiuti (ad es. "Ordine ricevuto", "Pagamento verificato", "Articolo imballato"), prevedere il prossimo passaggio (ad es. "Spedire l'articolo").
I Concorrenti:
1. Argmax (Davide): Una regola semplicissima. Conta solo quante volte un passaggio specifico segue un altro nel passato. Se "Spedizione" è seguita da "Imballaggio" il 90% delle volte, ipotizza "Spedizione".
2. LSTM: Computer più vecchi e intelligenti che ricordano bene le sequenze.
3. Transformer & LLM (Golia): I massicci modelli di IA con miliardi di parametri (come quelli che alimentano i chatbot) che sono stati "pre-addestrati" su tutto internet. L'idea è che, poiché conoscono così tanto sulla lingua e sui pattern, dovrebbero essere eccezionali nel prevedere i passaggi aziendali.

L'Esperimento: Il Probleo del "Vocabolario"

I ricercatori hanno provato a usare questi giganti dell'IA (LLM) per compiti aziendali. Ma i dati aziendali non sono linguaggio naturale. Non è "Il gatto si è seduto sul tappeto"; è "ID Evento 405: Fattura Approvata".

Per far sì che l'IA capisse, hanno dovuto tradurre i dati aziendali nella sua lingua. Hanno fatto questo:

Prendendo un enorme modello pre-addestrato (Golia).
Sostituendo il suo dizionario in modo che comprendesse i termini aziendali invece delle parole inglesi.
Insegnandogli le specifiche regole aziendali (Fine-tuning).

Hanno poi confrontato questi giganti "tradotti" contro:

Modelli più piccoli addestrati da zero (imparando solo sui dati aziendali).
Il semplice contatore "Argmax".
Vecchi modelli LSTM.

I Risultati: Il Gigante inciampa

Le scoperte del documento sono sorprendenti e possono essere riassunte come "Davide contro Golia", dove Davide vince o pare.

1. Il Mito del "Pre-addestramento"
I ricercatori hanno scoperto che la "conoscenza" che il gigante dell'IA ha appreso da internet (pre-addestramento) non è stata d'aiuto.

Analogia: Immaginate uno chef che ha cucinato ogni piatto del mondo (l'IA pre-addestrata). Gli chiedete di preparare un sandwich molto specifico e semplice usando solo tre ingredienti. Lo chef prova a usare la sua vasta conoscenza della cucina francese per fare il sandwich, ma si scopre che un commesso di un deli locale che sa fare solo quel tipo di sandwich (il modello addestrato da zero) lo fa meglio. La vasta conoscenza dello chef è stata in realtà una distrazione.

2. Più Grande non è Meglio
Hanno testato modelli che andavano dai minuscoli ai massicci (miliardi di parametri).

Risultato: Rendere il modello 1.000 volte più grande non lo ha reso 1.000 volte più intelligente. Di fatto, i modelli più piccoli e semplici spesso performavano altrettanto bene, o meglio, rispetto ai giganti.

3. Il Semplice Contatore Vince (Per lo più)
Nella maggior parte dei dataset aziendali testati, il semplice contatore "Argmax" (Davide) ha performato altrettanto bene del gigantesco IA da miliardi di parametri (Golia).

Perché? I processi aziendali sono spesso ripetitivi. Se il 90% delle volte il Passaggio B segue il Passaggio A, non serve un supercomputer per capirlo. Serve solo una calcolatrice. La complessa IA era eccessiva.

4. Quando Vince il Gigante?
L'IA gigante (e i modelli addestrati da zero) ha mostrato un chiaro vantaggio solo su due dataset specifici (BPI12 e BPI17). Questi sono stati gli unici casi in cui il processo aziendale era abbastanza complesso, o i dati abbastanza variabili, da richiedere un cervello più sofisticato di un semplice contatore.

Conclusione

L'articolo conclude che il campo della previsione dei processi aziendali ha cercato di risolvere problemi usando "mazzate" (massicci modelli di IA) quando una "fionda" (un semplice contatore o un piccolo modello) sarebbe bastata.

Non portare un gigante a una battaglia dove basta una fionda.
Prima di spendere milioni per addestrare enormi modelli di IA, i professionatori dovrebbero provare prima un semplice contatore di frequenza.
Se è necessario un modello più complesso, è meglio addestrare un piccolo modello da zero sui dati specifici piuttosto che cercare di costringere un gigante pre-addestrato di internet a fare quel lavoro.

In breve: L'IA "intelligente" non si è dimostrata più intelligente di una semplice calcolatrice in questo specifico compito. I ricercatori suggeriscono di smettere di complicare le cose e di iniziare a usare strumenti più semplici ed efficienti.

Sintesi Tecnica: Davide contro Golia nella Predizione della Prossima Attività

Definizione del Problema
La Predizione della Prossima Attività (Next Activity Prediction - NAP) è un compito fondamentale nel Monitoraggio Predittivo dei Processi (Predictive Process Monitoring - PPM), che mira a predire l'attività successiva in una traccia di processo aziendale dato il suo prefisso. Il campo si è evoluto dai modelli classici di machine learning alle architetture di deep learning come LSTM, Transformer e, recentemente, i Large Language Models (LLM). Sebbene la letteratura recente suggerisca che gli LLM adattati al vocabolario e sottoposti a fine-tuning offrano prestazioni superiori, manca un benchmarking sistematico che confronti direttamente questi modelli complessi con baseline più semplici e architetture addestrate da zero. In particolare, rimane da chiarire se l'enorme costo computazionale e la complessità del pre-addestramento e della scalabilità degli LLM portino a miglioramenti costanti delle prestazioni rispetto a modelli più piccoli e specifici per il task o a semplici baseline statistiche nel contesto della modellazione diretta di sequenze per la NAP.

Metodologia
Gli autori hanno condotto un benchmark sistematico su sette log di eventi reali provenienti dalla BPI Challenge (BPI12, BPI15, BPI17, BPI19, BPI20_PTC, BPI20_TPD, BPI20_RFP). Lo studio ha impiegato un approccio di "modellazione diretta di sequenze", in cui gli attributi degli eventi sono rappresentati come embedding appresi senza convertire i dati in testo di linguaggio naturale.

L'assetto sperimentale ha confrontato quattro categorie di modelli:

LLM Pre-addestrati: Versioni adattate al vocabolario di GPT-2 (Small, Medium, Large) e Qwen-3 (0.6B, 1.7B, 4B). Questi prevedevano la sostituzione dei livelli di input/output per corrispondere al vocabolario del dataset mantenendo il backbone fisso o minimamente adattato tramite Parameter-Efficient Fine-Tuning (PEFT).
Transformer Addestrati da Zero: Modelli "nanoGPT" personalizzati di varie dimensioni (con un range da circa 0.1M a circa 85M di parametri) addestrati direttamente sui dataset NAP.
Modelli Distillati: Modelli "studenti" più piccoli addestrati tramite distillazione dei logit (logits-only knowledge distillation) dai modelli "insegnanti" pre-addestrati e sottoposti a fine-tuning.
Baseline:
- LSTM: Quattro modelli LSTM di diverse dimensioni.
- Baseline Argmax: Un semplice modello di transizione empirica del primo ordine che predice la successiva attività basandosi esclusivamente sulle frequenze di transizione relativa dell'attività corrente ( $a_{k+1} = \arg\max_a P(a | a_k)$ ).

L'evaluazione ha utilizzato due metriche: Accuratezza e Macro-F1, calcolate a livello di prefisso. Lo studio ha controllato gli iperparametri, la fuga di dati (data leakage) e il pre-processing (incluso l'augmentation del ciclo di vita e la gestione dei prefissi unici).

Contributi Chiave

Benchmarking Sistematico: Il paper fornisce il primo confronto congiunto tra LLM adattati al vocabolario, Transformer addestrati da zero, modelli distillati, LSTM e una baseline di conteggio argmax attraverso molteplici dataset.
Metodologia di Distillazione: Introduce un metodo per comprimere gli LLM sottoposti a fine-tuning in architetture più piccole per le quali non esistono versioni pre-addestrate, permettendo uno studio controllato del trasferimento di conoscenza.
Inclusione delle Baseline: Reintroducendo una semplice baseline basata sul conteggio argmax (assente in molti recenti articoli di deep learning focalizzati sulla NAP), gli autori forniscono un critico controllo di realtà sulle prestazioni riportate.
Domande di Ricerca: Lo studio affronta esplicitamente cinque domande riguardanti il valore del pre-addestramento, della distillazione, della scalabilità del modello, della modernità architettonica e della necessità di modelli complessi rispetto alle baseline.

Risultati
I risultati sperimentali presentano una narrazione "Davide contro Golia", sfidando l'assunto che modelli più grandi e pre-addestrati siano intrinsecamente superiori:

Pre-addestramento (RQ1): Non vi è alcun valore aggiunto costante dal pre-addestramento generico degli LLM. I modelli GPT-2 e Qwen-3 sottoposti a fine-tuning non hanno superato sistematicamente i loro corrispettivi addestrati da zero (nanoGPT) di dimensioni simili. In alcuni casi, i modelli addestrati da zero hanno ottenuto prestazioni migliori.
Distillazione (RQ de RQ2): La distillazione dei logit da parte di insegnanti fine-tuned non ha migliorato le prestazioni delle architetture studenti più piccole rispetto all'addestramento diretto da zero. Di fatto, i modelli distillati hanno spesso ottenuto prestazioni inferiori.
Capacità e Modernità del Modello (RQ3 & RQ4): L'aumento della dimensione del modello (da milioni a miliardi di parametri) non ha prodotto alcun beneficio costante nelle prestazioni. Allo stesso modo, architetture più recenti (Qwen-3) non hanno superato costantemente quelle più datate (GPT-2).
Complessità vs. Baseline (RQ5):
- LSTM vs. LLM: Le LSTM hanno ottenuto prestazioni comparabili agli LLM, in particolare sulla Macro-F1, dove gli LLM hanno mostrato guadagni significativi solo sul dataset BPI12.
- LLM vs. Argmax: Su la maggior parte dei dataset (BPI15, BPI19, varianti BPI20), la semplice baseline argmax ha eguagliato o si è avvicinata alle prestazioni di LLM da miliardi di parametri. Miglioramenti significativi rispetto alla baseline argmax sono stati osservati solo su BPI12 e BPI17.
- Strategia Ottimale: Per dataset con alta varianza dei prefissi, pochi campioni di addestramento o alto sbilanciamento delle classi, la baseline argmax è stata spesso l'opzione più efficace. Tuttavia, modelli Transformer relativamente piccoli addestrati da zero hanno frequentemente raggiunto le migliori prestazioni predittive complessive, superando sia la baseline che gli LLM sottoposti a fine-tuning.

Significato e Rivendicazioni
Il paper sostiene di fornire un "controllo di realtà sobriante" per la comunità PPM. Gli autori sostengono che la tendenza del settore a confrontare modelli avanzati con altri modelli di deep learning, piuttosto che con baseline semplici, abbia sopravvalutato la rilevanza pratica dei progressi recenti.

Il pre-addestramento non è una soluzione magica: I prior linguistici generici appresi durante il pre-addestramento non si trasferiscono efficacemente alla NAP tramite la modellazione diretta di sequenze adattata al vocabolario. I "prior disallineati" dei grandi modelli possono persino ostacolare le prestazioni su specifiche distribuzioni di processo.
La semplicità è competitiva: Un semplice modello basato sulle frequenze è un'opzione altamente competitiva per molti log di processo.
L'addestramento da zero è preferibile: Quando sono necessari modelli complessi, l'addestramento di piccoli modelli Transformer da zero è più vantaggioso rispetto all'aumento della dimensione del modello o all'uso di architetture pre-addestrate o distillate.
Direzione Futura: I risultati suggeriscono che la ricerca futura debba andare oltre la scalabilità architettonica e concentrarsi su rappresentazioni più ricche e consapevoli del processo, sul transfer learning e su obiettivi multi-task, utilizzando i benchmark stabiliti e le baseline semplici come punto di partenza chiaro per misurare il progresso reale.

Gli autori concludono che i professionisti dovrebbero "non portare un gigante a una battaglia dove una fionda basterebbe", enfatizzando che la complessità dei modelli da miliardi di parametri è spesso ingiustificata per i compiti standard di NAP.