David vs. Goliath in Next Activity Prediction: Argmax vs. LSTM, Transformer, and LLM

Résumé Technique : David contre Goliath dans la prédiction de l'activité suivante

Énoncé du problème
La prédiction de l'activité suivante (Next Activity Prediction - NAP) est une tâche fondamentale de la surveillance de processus prédictive (Predictive Process Monitoring - PPM), visant à prédire l'activité subséquente dans une trace de processus métier compte tenu de son préfixe. Le domaine a évolué des apprentissages automatiques classiques vers des architectures d'apprentissage profond telles que les LSTM, les Transformers et, plus récemment, les grands modèles de langage (LLM). Bien que la littérature récente suggère que les LLM adaptés au vocabulaire et affinés offrent des performances supérieures, il manque des benchmarks systématiques qui comparent directement ces modèles complexes à des modèles de base plus simples et à des architectures entraînées à partir de zéro. Il reste notamment incertain si le coût computationnel massif et la complexité du pré-entraînement et de la mise à l'échelle des LLM génèrent des gains de performance constants par rapport à des modèles plus petits et spécifiques à la tâche ou à des bases statistiques simples dans le contexte de la modélisation directe de séquences pour la NAP.

Méthodologie
Les auteurs ont mené un benchmark systématique sur sept journaux d'événements réels issus du BPI Challenge (BPI12, BPI15, BPI17, BPI19, BPI20_PTC, BPI20_TPD, BPI20_RFP). L'étude a employé une approche de « modélisation directe de séquence », où les attributs d'événements sont représentés par des plongements (embeddings) appris sans convertir les données en texte de langage naturel.

Le dispositif expérimental a comparé quatre catégories de modèles :

1. LLM pré-entraînés : Versions adaptées au vocabulaire de GPT-2 (Small, Medium, Large) et Qwen-3 (0.6B, 1.7B, 4B). Cela impliquait de remplacer les couches d'entrée/sortie pour correspondre au vocabulaire du jeu de données tout en gardant l'ossature fixe ou minimamente adaptée via le fine-tuning efficace en paramètres (PEFT).
2. Transformers entraînés à partir de zéro : Modèles « nanoGPT » personnalisés de tailles variables (allant de ~0.1M à ~85M de paramètres) entraînés directement sur les jeux de données NAP.
3. Modèles distillés : Petits modèles « étudiants » entraînés via une distillation de connaissances basée uniquement sur les logits à partir des modèles « enseignants » pré-entraînés et affinés.
4. Baselines (Modèles de référence) :
   • LSTMs : Quatre modèles LSTM de tailles variables.
   • Baseline Argmax : Un modèle de transition empirique du premier ordre simple prédisant l'activité suivante sur la seule base des fréquences de transition relatives de l'activité actuelle ($a_{k+1} = \arg\max_a P(a | a_k)$).

L'évaluation a utilisé deux métriques : l'Exactitude (Accuracy) et le Macro-F1, calculées au niveau du préfixe. L'étude a contrôlé les hyperparamètres, la fuite de données et le prétraitement (incluant l'augmentation du cycle de vie et la gestion des préfixes uniques).

Contributions clés

• Benchmarking systématique : Le papier fournit la première comparaison conjointe de LLM adaptés au vocabulaire, de Transformers entraînés à partir de zéro, de modèles distillés, de LSTMs et d'une baseline argmax basée sur le comptage à travers plusieurs jeux de données.
• Méthodologie de distillation : Il introduit une méthode pour compresser des LLM affinés en architectures plus petites pour lesquelles aucune version pré-entraînée n'existe, permettant une étude contrôlée du transfert de connaissances.
• Inclusion de baselines : En réintroduisant une simple baseline argmax basée sur le comptage (absente de nombreuses publications récentes axées sur le deep learning pour la NAP), les auteurs fournissent un examen critique des gains de performance rapportés.
• Questions de recherche : L'étude répond explicitement à cinq questions concernant la valeur du pré-entraînement, de la distillation, de la mise à l'échelle des modèles, de la modernité architecturale et de la nécessité de modèles complexes par rapport aux baselines.

Résultats
Les résultats expérimentaux présentent un récit de « David contre Goliath », remettant en question l'hypothèse selon laquelle les modèles pré-entraînés plus larges sont intrinsèquement supérieurs :

• Pré-entraînement (RQ1) : Il n'y a pas de valeur ajoutée constante provenant du pré-entraînement générique de LLM. Les modèles GPT-2 et Qwen-3 affinés n'ont pas systématiquement surpassé leurs homologues entraînés à partir de zéro (nanoGPT) de taille similaire. Dans certains cas, les modèles entraînés à partir de zéro ont été plus performants.
• Distillation (RQ2) : La distillation de logits uniquement à partir d'enseignants affinés n'a pas amélioré la performance des architectures étudiantes plus petites par rapport à un entraînement direct à partir de zéro. En fait, les modèles distillés ont souvent été moins performants.
• Capacité et modernité des modèles (RQ3 & RQ4) : L'augmentation de la taille du modèle (de millions à des milliards de paramètres) n'a apporté aucun bénéfice de performance constant. De même, les architectures plus récentes (Qwen-3) n'ont pas systématiquement surpassé les plus anciennes (GPT-2).
• Complexité vs Baseline (RQ5) :
  • LSTMs vs LLMs : Les LSTMs ont performé de manière comparable aux LLMs, particulièrement sur le Macro-F1, où les LLM n'ont montré des gains significatifs que sur le jeu de données BPI12.
  • LLMs vs Argmax : Sur la plupart des jeux de données (BPI15, BPI19, variantes de BPI20), la simple baseline argmax égalait ou approchait la performance des LLM de plusieurs milliards de paramètres. Des améliorations significatives par rapport à la baseline argmax n'ont été observées que sur BPI12 et BPI17.
  • Stratégie optimale : Pour les jeux de données présentant une forte variance de préfixe, peu d'échantillons d'entraînement ou un déséquilibre de classes élevé, la baseline argmax était souvent l'option la plus efficace. Cependant, de petits modèles Transformer entraînés à partir de zéro ont fréquemment atteint la meilleure performance prédictive globale, surpassant à la fois la baseline et les LLM affinés.

Signification et affirmations
Le papier revendique un « rappel à la réalité salutaire » pour la communauté PPM. Les auteurs soutiennent que la tendance du domaine à comparer des modèles avancés à d'autres modèles de deep learning, plutôt qu'à des baselines simples, a surestimé la pertinence pratique des progrès récents.

• Le pré-entraînement n'est pas une solution miracle : Les priors linguistiques génériques appris lors du pré-entraînement ne se transfèrent pas efficacement à la NAP via la modélisation directe de séquence adaptée au vocabulaire. Les « priors discordants » des grands modèles peuvent même entraver la performance sur des distributions de processus spécifiques.
• La simplicité est compétitive : Un modèle simple basé sur les fréquences est une option très compétitive pour de nombreux journaux de processus.
• L'entraînement à partir de zéro est préférable : Lorsque des modèles complexes sont nécessaires, l'entraînement de petits modèles Transformer à partir de zéro est plus bénéfique que l'augmentation de la taille du modèle ou le recours à des architectures pré-entraînées ou distillées.
• Direction future : Les conclusions suggèrent que la recherche future devrait dépasser la mise à l'échelle architecturale pour se concentrer sur des représentations plus riches axées sur le processus, le transfert d'apprentissage et les objectifs multi-tâches, en utilisant les benchmarks établis et les baselines simples comme point de départ clair pour mesurer le progrès réel.

Les auteurs concluent que les praticiens devraient « ne pas apporter un géant à un combat où une fronde suffirait », soulignant que la complexité des modèles de plusieurs milliards de paramètres est souvent injustifiée pour les tâches standards de la NAP.