🤖 AI

Learning optimal policies from event logs through reinforcement learning: a comparison of deep and MDP-based approaches

Cet article propose un cadre d'apprentissage par renforcement pour la surveillance prescriptive de processus qui apprend des politiques comportementales optimales directement à partir de journaux d'événements historiques afin de recommander des actions pour optimiser les indicateurs clés de performance, en comparant une approche de processus de décision markovien basée sur un modèle avec une méthode d'apprentissage par renforcement profond sans modèle et en démontrant que les deux améliorent efficacement les indicateurs clés de performance alors que l'approche basée sur un modèle offre une efficacité computationnelle supérieure.

Auteurs originaux : Stefano Branchi, Andrei Buliga, Chiara Di Francescomarino, Chiara Ghidini, Riccardo Graziosi, Francesca Meneghello, Massimiliano Ronzani

Publié 2026-06-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Stefano Branchi, Andrei Buliga, Chiara Di Francescomarino, Chiara Ghidini, Riccardo Graziosi, Francesca Meneghello, Massimiliano Ronzani

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez le directeur d'une banque très occupée. Chaque jour, des clients demandent des prêts. Parfois, le prêt est approuvé, parfois il est refusé, et parfois le client abandonne simplement. Votre objectif est simple : faire en sorte que le plus grand nombre de clients possible dise « Oui » à votre offre de prêt.

Cependant, vous ne contrôlez pas tout. Vous contrôlez les actions de la banque (comme envoyer une offre ou demander des informations complémentaires), mais vous ne contrôlez pas les actions du client (comme décider d'accepter, de refuser ou d'abandonner). C'est comme jouer une partie d'échecs où vous ne pouvez déplacer que vos propres pièces, mais où votre adversaire (le client) déplace les siennes de manière aléatoire selon son humeur.

Ce document traite de l'apprentissage d'un ordinateur pour devenir le meilleur directeur de banque possible en examinant les archives passées de la façon dont la banque a joué au jeu par le passé. L'objectif est de trouver la stratégie parfaite pour gagner plus souvent.

Les deux « Entraîneurs »

Les chercheurs ont testé deux méthodes différentes (ou « entraîneurs ») pour enseigner cette stratégie à l'ordinateur en utilisant l'Apprentissage par Renforcement (un type d'IA qui apprend par essais et erreurs, mais qui, dans ce cas, apprend à partir d'un livre d'histoire plutôt qu'en jouant en direct).

1. Le « Cartographe » (Approche basée sur les MDP)

Cet entraîneur examine les milliers de demandes de prêt passées et tente de construire une carte détaillée du jeu.

Comment cela fonctionne : Il regroupe les situations similaires (comme « Le client a demandé 10 000 $ et nous avons envoyé une offre ») et calcule les probabilités de ce qui se passera ensuite. Il crée un manuel de règles clair : « Si vous êtes dans la Situation A, faites l'Action B ».
L'analogie : Imaginez un GPS qui a cartographié chaque route d'une ville. Il sait exactement quel virage mène aux embouteillages et lequel mène à un raccourci. Il construit un modèle complet de la ville avant de vous dire où aller.
Le bémol : Construire cette carte demande du travail, et si la carte est trop détaillée, elle peut être confuse par des événements rares et étranges. Pour correr cela, les chercheurs ont ajouté un « filtre » pour ignorer les chemins rares et peu fiables dans le livre d'histoire.

2. Le « Apprenant Profond » (RL Profond Hors-Ligne)

Cet entraîneur ne cherche pas à construire une carte. À la place, il utilise un réseau de neurones super intelligent (comme un cerveau avec de nombreuses couches) pour examiner le livre d'histoire et deviner directement le meilleur coup.

Comment cela fonctionne : Il lit les archives passées et tente de trouver des motifs cachés qu'un humain ou une carte simple pourrait manquer. Il apprend en examinant les données encore et encore.
L'analogie : Imaginez un grand maître d'échecs qui a regardé des millions de parties. Il n'a pas besoin de dessiner une carte du plateau ; il « ressent » simplement le bon coup grâce à l'intuition construite par l'expérience.
Le bémol : Ce « cerveau » est très lourd. Il prend beaucoup de temps pour être entraîné et nécessite beaucoup de puissance de calcul, comme essayer de résoudre un puzzle géant avec un supercalculateur.

L'Expérience : L'Arène de Simulation

Puisque vous ne pouvez pas commencer à donner de mauvais conseils à de vrais clients pour voir ce qui se passe (cela coûterait de l'argent à la banque), les chercheurs ont construit une simulation virtuelle.

Ils ont créé une version « jeu vidéo » du processus de prêt.
Ils ont laissé l'ordinateur jouer au jeu des milliers de fois en utilisant les stratégies apprises.
Ils ont mesuré le score : Quel profit la banque a-t-elle réalisé ? (Profit = Intérêts gagnés moins le temps passé à travailler sur le prêt).

Ce qu'ils ont découvert

Les résultats sont intéressants :

Les deux entraîneurs ont gagné : Le « Cartographe » et l'« Apprenant Profond » ont tous deux trouvé des stratégies bien meilleures que l'ancienne méthode standard de la banque. Ils ont tous deux aidé la banque à obtenir plus de réponses « Oui » de la part des clients.
Le Cartographe était légèrement meilleur : Le « Cartographe » (MDP) a systématiquement trouvé de meilleures stratégies, surtout dans les situations rares et délicates. Il était plus fiable pour savoir exactement quoi faire.
Le Cartographe était beaucoup plus rapide : C'était la différence majeure. Le « Cartographe » a appris sa stratégie en quelques minutes. L'« Apprenant Profond » a pris des heures (voire des jours, selon la taille des données) pour s'entraîner.
- Analogie : Le Cartographe était comme un étudiant qui a étudié un manuel et a réussi l'examen en 10 minutes. L'Apprenant Profond était comme un étudiant qui a dû relire toute l'encyclopédie 100 fois pour obtenir la même note.

Conclusion

Le document conclut que si vous voulez apprendre à un ordinateur comment gérer un processus métier (comme les approbations de prêts) en utilisant des données passées :

Vous n'avez pas toujours besoin de l'IA la plus complexe et la plus lourde (Deep Learning).
Une approche plus simple qui construit un modèle clair du processus (MDP) fonctionne tout aussi bien, sinon mieux, et est beaucoup plus rapide et moins coûteuse à exploiter.

C'est un rappel que, parfois, une bonne carte claire est préférable à un cerveau super complexe, surtout quand on veut simplement accomplir une tâche efficacement.

Résumé Technique : Apprentissage de Politiques Optimales à partir de Journaux d'Événements par l'Apprentissage par Renforcement

Définition du Problème

Le document traite du défi de la Surveillance de Processus Prescriptive (PPM), en se concentre spécifiquement sur l'apprentissage de politiques comportementales optimales directement à partir de journaux d'événements historiques. Contra�à les approches de PPM existantes qui recommandent des interventions prédéfinies ou des activités suivantes spécifiques basées sur des règles d'experts, ce travail vise à découvrir des stratégies générales qui déterminent la meilleure séquence d'actions pour maximiser un Indicateur Clé de Performance (KPI) spécifique.

Une contrainte critique du problème est l'environnement multi-acteurs. Dans de nombreux processus réels (par exemple, les demandes de prêt), le propriétaire du processus (l'agent) ne contrôle qu'un sous-ensemble d'activités, tandis que d'autres sont pilotées par des acteurs externes (par exemple, les clients) ou des facteurs exogènes. L'objectif est d'apprendre une politique pour l'agent qui optimise le KPI malgré son contrôle partiel sur l'exécution du processus.

Les auteurs identifient deux défis principaux lors de l'application de l'Apprentissage par Renforcement (RL) à ce domaine :

Apprentissage Piloté par les Données : Éviter de dépendre de connaissances approfondies du domaine pour définir manuellement les espaces d'états ou les ensembles d'interventions.
Sécurité de l'Évaluation : L'impraticabilité de tester des politiques sur des systèmes en direct en raison du risque de perturbation. Par conséquent, un mécanisme d'évaluation robuste est nécessaire avant le déploiement.

Méthodologie

Le document propose et compare deux approches distinctes basées sur l'IA pour apprendre des politiques optimales à partir de données d'événements, toutes deux opérant dans un cadre multi-acteurs où l'agent contrôle des activités spécifiques.

1. Approche Basée sur un Modèle (RL basé sur MDP)

Cette approche construit un Processus de Décision Markovien (MDP) explicite à partir du journal d'événements et le résout à l'aide de la Programmation Dynamique (DP).

Construction du MDP :
- Actions : Définies comme les activités contrôlées par l'agent.
- États : Construits en encodant l'historique des traces. Les auteurs utilisent le regroupement k-means sur les préfixes encodés (fréquences d'activités, positions et récompenses de préfixes normalisées) pour gérer la dimensionnalité de l'espace d'états et éviter l'explosion. Un état est défini comme la paire de la dernière activité effectuée et du cluster assigné.
- Transitions et Récompenses : Construites en rejouant les traces pour estimer les probabilités de transition et les récompenses moyennes.
Apprentissage de la Politique : La politique optimale est dérivée par Itération de Valeur.
Gestion de la Rareté des Données : Pour empêcher l'agent d'exploiter des transitions rares à haute récompense (surapprentissage), les auteurs introduisent une fonction de mise à l'échelle $h(s, a)$ appliquée à la valeur Q. Ils testent des fonctions de type échelon et sigmoïde paramétrées par la fréquence des paires état-action (en utilisant les quartiles des comptes d'occurrence) pour pénaliser les transitions de faible fréquence.

2. Approche Sans Modèle (Deep RL Hors-Ligne)

Cette approche utilise le Conservative Q-Learning (CQL), une technique de pointe de l'Apprentissage Profond par Renforcement Hors-Ligne (Offline Deep RL), qui apprend directement à partir de données historiques sans interaction avec l'environnement.

Architecture : Un Réseau de Neurones Récurrents (RNN) avec des cellules Long Short-Term Memory (LSTM) est utilisé pour approximer la fonction de valeur état-action, gérant la nature séquentielle des journaux d'événements.
Préparation des Données : Les transitions sont extraites des traces. Crucialement, les transitions impliquant des actions contrôlées par l'environnement sont supprimées, et leurs récompenses sont transférées à la transition précédente valide de l'agent pour aligner le jeu de données avec la perspective de l'agent.
Entraînement : Le modèle est entraîné hors ligne en utilisant l'algorithme CQL pour minimiser le biais de surestimation commun dans le RL hors ligne.

Cadre d'Évaluation

Pour évaluer les politiques apprises sans risquer la performance des systèmes en direct, les auteurs utilisent la Simulation de Processus Métier (BPS).

Journaux Synthétiques : Générés à partir d'un modèle BPMN pour tester la robustesse à travers différentes tailles de journaux et taux de succès.
Journaux du Monde Réel : Les jeux de données BPIC2012 et BPIC2017 sont utilisés.
Modèles de Simulation : Deux types de modèles de simulation sont employés :
1. Probabilité Fixe ( $M_\pi$ ) : Utilise des probabilités standards pour les points de décision.
2. Arbre de Décision ( $M^\pi_{DT}$ ) : Utilise des arbres de décision entraînés sur des données historiques pour modéliser les réponses de l'environnement de manière plus sensible à l'historique du processus.
Lignes de Base (Baselines) : Des comparaisons sont faites avec la politique coutumière (le comportement inhérent aux journaux originaux) et une heuristique informée (une ligne de base forte utilisant des connaissances privilégiées de la logique de simulation, disponible uniquement pour les journaux synthétiques).

Principales Contributions

Apprentissage Direct de la Politique : Le document démontre une méthode pour apprendre des politiques comportementales générales directement à partir de journaux d'événements avec un minimum de connaissances du domaine, en distinguant les activités contrôlables des activités incontrôlables.
Construction de MDP à partir de Journaux : Il propose un pipeline spécifique pour construire un MDP à partir de journaux d'événements en utilisant le regroupement (clustering) pour gérer l'abstraction d'état, surmontant la difficulté de définir manuellement les états de MDP pour le processus mining.
Fonction de Mise à l'Échelle pour la Robustesse : L'introduction de fonctions de mise à l'échelle basées sur la fréquence ( $h$ ) pour la valeur Q dans l'approche MDP atténue efficacement le surapprentissage des transitions rares, améliorant considérablement la stabilité de la politique.
Comparaison Exhaustive : Il fournit une comparaison systématique entre une approche classique de DP basée sur un modèle et l'apprentissage profond hors ligne moderne (CQL) dans le contexte du processus mining.
Évaluation Basée sur la Simulation : Le travail adapte la BPS pour évaluer les politiques de sélection de la prochaine activité dans des environnements multi-acteurs, offrant un environnement contrôlé pour les tests A/B des stratégies apprises.

Résultats

L'évaluation a été menée sur huit journaux synthétiques (variant en taille et en taux de succès) et deux journaux du monde réel (BPIC2012 et BPIC2017).

Performance : Les deux méthodes ont appris avec succès des politiques qui améliorent systématiquement le KPI cible (profit) par rapport à la politique coutumière.
- Dans les journaux synthétiques, l'approche basée sur le MDP (spécifiquement avec des fonctions de mise à l'échelle comme $h_{sig}^{Q1}$ et $h_{step}^{Q1}$ ) a généralement surpassé l'approche de Deep RL hors ligne, atteignant des KPI comparables à l'heuristique informée dans la plupart des cas.
- Dans les journaux du monde réel, les deux méthodes ont montré des performances solides, l'approche basée sur le MDP montrant un léger avantage ou un résultat comparable à celui de CQL.
Robustesse : L'approche basée sur le MDP a démontré une plus grande stabilité à travers les différentes caractéristiques des journaux. L'approche MDP naïve (sans mise à l'échelle) était instable, tandis que l'approche CQL n'est jamais apparue parmi les politiques les plus performantes lors de l'évaluation synthétique.
Efficacité Computationnelle : L'approche basée sur le MDP était significativement plus efficace. Les temps d'entraînement pour les méthodes basées sur le MDP allaient de quelques secondes à quelques minutes, tandis que le Deep RL hors ligne nécessitait environ 30 minutes par époque (totalisant des heures pour des politiques efficaces). Le temps de l'approche MDP évoluait avec la taille du journal en raison du regroupement, tandis que le temps par époque du Deep RL restait constant mais élevé.

Signification et Revendications

Le document affirme qu'apprendre des politiques comportementales optimales directement à partir de données d'événements est faisable et efficace, même dans des scénarios multi-acteurs complexes où l'agent possède un contrôle partiel.

Praticité : Les résultats suggèrent que l'approche basée sur le MDP offre un équilibre favorable entre simplicité, interprétabilité, efficacité computationnelle et performance. Les auteurs soutiennent que pour les scénarios de processus mining, où les données sont structurées et les points de décision sont bien définis, des modèles de deep learning complexes peuvent ne pas être strictement nécessaires pour obtenir des politiques de haute qualité.
Découverte Pilotée par les Données : Le travail valide qu'il est possible de découvrir des interventions et des stratégies efficaces uniquement à partir de données historiques, sans pré-définir l'ensemble des actions possibles ou compter sur une connaissance experte étendue de la dynamique du domaine.
Potentiel Futur : Les auteurs positionnent ces politiques apprises comme des initialisations solides pour des cadres d'optimisation plus larges qui pourraient plus tard incorporer l'interaction en ligne ou le feedback. Ils reconnaissent les limites concernant la dépendance aux informations de flux de contrôle et le besoin de représentations d'états plus riches (par exemple, les attributs de données) pour les travaux futurs.

Le document conclut que bien que les deux paradigmes soient viables, l'approche classique basée sur un modèle, lorsqu'elle est augmentée d'une abstraction d'état appropriée pilotée par les données et d'une régularisation, constitue actuellement une solution plus efficace et plus robuste pour la surveillance de processus prescriptive dans les contextes étudiés.