Combining Abstract Argumentation and Machine Learning for Efficiently Analyzing Low-Level Process Event Streams

Ce papier propose une approche neuro-symbolique économe en données qui combine un étiqueteur de séquences par apprentissage automatique avec un cadre d'argumentation abstraite pour interpréter avec précision des flux d'événements de processus de bas niveau et affiner les interprétations candidates en utilisant des connaissances préalables, surmontant ainsi les limites de la rareté des données et de la complexité computationnelle.

L'essentiel

Imaginez que vous essayez de comprendre une histoire, mais que vous n'avez qu'une liste d'actions brutes et de bas niveau au lieu du véritable scénario.

Le Problème : Le fossé de la « traduction »
Pensez au parcours d'un patient à l'hôpital. Un journal informatique pourrait enregistrer une séquence d'actions minuscules et spécifiques : « Patient touché », « Prélèvement de sang », « Vérification de la pression », « Insertion d'aiguille ». Ce sont les événements de bas niveau.

Cependant, un médecin ou un gestionnaire ne veut pas voir une liste de petites actions ; il veut connaître l'histoire de haut niveau : « Préparation », « Hospitalisation » et « Pré-opératoire ».

Le problème est qu'une petite action (comme « Prélèvement de sang ») pourrait se produire pendant n'importe lequel de ces trois grands stades. C'est comme voir un personnage dans un film ramasser une tasse. Boit-il du café avant une réunion ? Verse-t-il du thé pour un invité ? Ou fait-il simplement le ménage ? Sans contexte, c'est un jeu de devinettes. Si vous faites une mauvaise hypothèse, toute l'histoire des soins du patient est faussée.

Les Anciennes Méthodes de Résolution
L'article décrit deux façons antérieures de résoudre ce problème, qui présentaient toutes deux des défauts :

1. L'Approche « Livre de Règles Strict » (Argumentation Abstraite) :
   Imaginez un détective très strict et logique qui connaît toutes les règles de l'hôpital.

   • Règle : « Le pré-opératoire doit avoir lieu après l'hospitalisation. »
   • Règle : « Vous ne pouvez pas commencer le pré-opératoire si vous n'avez pas terminé la préparation. »
     Ce détective vérifie chaque histoire possible par rapport aux règles. Si une histoire enfreint une règle, elle est éliminée.
   • Le Défaut : Parfois, les règles sont trop lâches. Le détective pourrait dire : « Eh bien, techniquement, cela pourrait être une hospitalisation, ou cela pourrait être du pré-opératoire, ou cela pourrait être une préparation. » Le détective vous donne une liste massive de 50 possibilités. C'est précis, mais cela écrase et le calcul est lent.

2. L'Approche « Reconnaissance de Motifs » (Apprentissage Automatique) :
   Imaginez un étudiant qui a lu des milliers d'histoires de patients passées.

   • Fonctionnement : L'étudiant voit « Prélèvement de sang » et se souvient : « Oh, dans 80 % des histoires que j'ai lues, cela s'est produit pendant l'hospitalisation. »
   • Le Défaut : Cet étudiant a besoin d'une immense bibliothèque d'histoires passées pour apprendre. Si l'étudiant n'a pas vu assez d'exemples, il pourrait se tromper. De plus, il ne connaît pas les règles strictes. Il pourrait deviner « Pré-opératoire » pour un événement « Prélèvement de sang » alors même que les règles indiquent que le pré-opératoire ne peut pas encore avoir lieu.

La Nouvelle Solution : Le Travail d'Équipe « Neuro-Symbolique »
Les auteurs proposent une collaboration entre le Détective Strict (Raisonneur) et le Reconnaîtreur de Motifs (Apprentissage Automatique). Ils appellent cela une approche « neuro-symbolique ».

Voici comment ils travaillent ensemble en temps réel :

1. La Première Hypothèse : Le Reconnaîtreur de Motifs (Apprentissage Automatique) examine l'événement actuel et l'historique de ce qui s'est produit auparavant. Il dit : « Je suis sûr à 80 % qu'il s'agit d'une hospitalisation, à 15 % d'une préparation, et à 5 % d'un pré-opératoire. » Il fournit une liste classée des histoires les plus probables.
2. La Vérification de la Réalité : Le Détective Strict (Raisonneur) prend cette courte liste et la vérifie par rapport aux règles rigides.
   • « Attendez », dit le Détective. « Les règles indiquent que le pré-opératoire ne peut pas encore avoir lieu. Donc, cette hypothèse de 5 % est impossible. Je la raye. »
   • « Aussi », ajoute le Détective, « les règles indiquent que vous ne pouvez pas avoir deux hospitalisations de suite en ce moment. Donc, cette hypothèse de 15 % est également invalide. »
3. La Réponse Finale : Le système présente à l'utilisateur uniquement les options valides, classées selon la probabilité estimée par le Reconnaîtreur de Motifs.

Pourquoi C'est Important
L'article affirme que cette collaboration résout les faiblesses des anciennes méthodes :

• C'est Plus Rapide et Plus Clair : Au lieu que le Détective vous donne 50 possibilités confuses, le Reconnaîtreur de Motifs les réduit aux 3 meilleures, et le Détective confirme simplement lesquelles de ces 3 sont légales. Vous obtenez une liste courte et classée des meilleures réponses.
• Cela Fonctionne avec Moins de Données : Le Reconnaîtreur de Motifs a généralement besoin de milliers d'exemples pour bien apprendre. Mais parce que le Détective Strict est là pour corriger les erreurs, le Reconnaîtreur de Motifs n'a pas besoin d'être parfait. Même si l'étudiant n'a pas lu beaucoup de livres, le Détective peut toujours l'empêcher de faire des bêtises. Les expériences de l'article montrent que, même avec très peu d'exemples d'entraînement, cette équipe fonctionne bien mieux que l'étudiant seul.
• Cela Explique le « Pourquoi » : Si le système rejette une idée, le Détective peut expliquer pourquoi (par exemple : « J'ai rejeté le 'Pré-opératoire' parce que les règles indiquent que la 'Préparation' doit avoir lieu en premier »).

En Résumé
L'article présente un système qui combine l'intuition d'un modèle d'apprentissage automatique (qui devine basé sur des motifs) avec la logique d'un système basé sur des règles (qui vérifie par rapport aux faits). Cela crée un outil assez intelligent pour deviner la bonne histoire, assez rapide pour le faire en temps réel, et assez strict pour garantir que l'histoire ait du sens selon les règles. Il est particulièrement utile lorsque vous n'avez pas assez d'exemples passés pour enseigner tout cela à un ordinateur seul.

Résumé technique

Résumé technique : Combinaison de l'argumentation abstraite et de l'apprentissage automatique pour l'analyse efficace de flux d'événements de processus de bas niveau

1. Définition du problème

L'article aborde le défi de l'abstraction des journaux dans l'extraction de processus, spécifiquement l'interprétation de flux d'événements de bas niveau en activités métier de haut niveau. Dans de nombreux scénarios modernes (par exemple, usines intelligentes, santé), les traces de processus sont composées d'actions brutes de bas niveau (événements) qui n'ont pas de correspondance directe, un à un, avec des activités de processus de haut niveau. Au lieu de cela, il existe souvent une relation plusieurs-à-plusieurs entre les types d'événements et les types d'activités, créant un « fossé d'abstraction ».

Ce fossé conduit à un problème d'interprétation : déterminer quelle instance d'activité de haut niveau a généré un événement de bas niveau spécifique. Les solutions existantes font face à deux limitations principales :

1. Les approches basées sur la connaissance (par exemple, les cadres d'argumentation abstraite ou AAF) peuvent gérer des contraintes complexes et fournir des explications, mais peuvent produire trop d'interprétations plausibles lorsque les contraintes sont lâches, entraînant une surcharge d'informations et des coûts de calcul élevés.
2. Les approches basées sur des exemples (par exemple, les étiqueteurs de séquences d'apprentissage automatique supervisés) peuvent classer les interprétations probables, mais échouent souvent lorsque les données d'entraînement sont rares, bruyantes ou insuffisantes pour capturer des comportements de processus complexes, et elles manquent de mécanismes pour imposer des contraintes de domaine strictes ou fournir des explications logiques aux interprétations rejetées.

L'article propose une approche neuro-symbolique pour combiner les forces des deux paradigmes : utiliser l'apprentissage automatique (ML) pour fournir des interprétations candidates probabilistes et conscientes du contexte, et l'argumentation abstraite pour affiner ces candidats sur la base de connaissances de domaine formelles, garantissant ainsi la validité et fournissant des explications.

2. Méthodologie

Le cadre proposé intègre deux composants distincts d'intelligence artificielle : un étiqueteur de traces (ML) et un raisonneur basé sur AAF (symbolique).

2.1 Composants

• L'étiqueteur de traces (M) : Un modèle d'apprentissage automatique sub-symbolique (spécifiquement, un modèle d'étiquetage de séquence) entraîné sur des traces de journaux annotées. Il prédit une distribution de probabilité sur les activités possibles pour un événement actuel $e_{curr}$, en tenant compte du contexte des événements précédents dans la trace. Deux architectures ont été testées :
  • $M_A$ : Une architecture basée sur LSTM capturant les dépendances séquentielles.
  • $M_B$ : Une architecture de réseau de neurones profond (DNN) utilisant des fenêtres de longueur fixe d'incorporations d'événements.
• Le raisonneur basé sur AAF (R) : Un module basé sur la connaissance, fondé sur les cadres d'argumentation abstraite. Il encode :
  • Des mappings au niveau des types : Relations entre les types d'événements et les types d'activités (y compris les étapes du cycle de vie telles que premier, intermédiaire, dernier).
  • Des modèles de processus déclaratifs : Contraintes temporelles (par exemple, doit, pas, précédence) définies sur les instances d'activités.
    Le raisonneur construit un AAF où les arguments représentent des interprétations candidates et les attaques représentent des conflits avec les connaissances de domaine. Les interprétations valides correspondent aux extensions préférées de l'AAF.

2.2 Le flux de travail hybride (Analyse en ligne)

La contribution principale est un algorithme interactif et en ligne (Algorithme 1) qui traite une trace en cours d'exécution de manière incrémentale :

1. Mise à jour initiale : Le raisonneur met à jour son AAF interne avec toutes les interprétations candidates dérivées des mappings globaux au niveau des types.
2. Prédiction ML : L'étiqueteur de traces $M$ prédit une distribution de probabilité $p_d$ pour l'événement actuel $e_{curr}$ basée sur le contexte de la trace.
3. Révision basée sur la connaissance : Le raisonneur $R$ filtre les prédictions ML. Toute activité jugée invalide par les connaissances de domaine (c'est-à-dire non présente dans une interprétation valide de l'AAF) voit sa probabilité définie à zéro.
4. Lissage et normalisation : Pour éviter le scénario où le modèle ML attribue une probabilité nulle à tous les candidats valides, une procédure de lissage de type Laplace est appliquée aux probabilités restantes, qui sont ensuite normalisées.
5. Affinement AAF : Le raisonneur reconstruit l'AAF en utilisant uniquement les activités ayant des probabilités non nulles (les $k$ meilleurs candidats). Cela réduit considérablement l'espace de recherche pour le solveur d'argumentation.
6. Sortie : Le système présente à l'utilisateur une liste classée des interprétations valides les plus probables et permet des requêtes interactives (par exemple, « Cet événement est-il le début de l'activité A ? ») et des explications sur la raison pour laquelle d'autres interprétations ont été rejetées.

3. Contributions clés

L'article revendique deux contributions principales :

1. Interprétation améliorée par le classement : En tirant parti des connaissances basées sur les données, l'approche présente les interprétations d'événements de manière classée et partielle (top-$k$), répondant au problème de surcharge d'informations inhérent aux approches de raisonnement pur lorsque les contraintes sont lâches.
2. Efficacité des données améliorée : En tirant parti des connaissances du modèle de processus (contraintes), l'approche améliore les performances des méthodes d'abstraction basées sur des exemples dans des scénarios où les données d'entraînement annotées sont rares ou insuffisantes pour apprendre une caractérisation stricte du processus.

Les auteurs positionnent cela comme une stratégie neuro-symbolique où le modèle ML agit comme un mécanisme « d'apprentissage pour le raisonnement » pour accélérer l'exploration, tandis que le raisonneur agit comme un mécanisme « de raisonnement pour l'apprentissage » pour corriger et valider les prédictions ML.

4. Résultats expérimentaux

Des expériences ont été menées sur des ensembles de données synthétiques (inspirés d'un processus réel d'une agence régionale italienne) avec des longueurs de traces variables et des niveaux d'incertitude de mapping (relations plusieurs-à-plusieurs).

• Précision et robustesse : L'approche hybride (Étiqueteur + Raisonneur) a constamment surpassé l'étiqueteur seul et le raisonneur seul en termes de précision, de rappel et de scores F1. Notamment, lorsque l'étiqueteur performait mal (par exemple, en raison d'une architecture complexe comme $M_A$ ou de données limitées), le raisonneur a considérablement amélioré les performances.
• Efficacité des données : Dans les expériences où la taille de l'ensemble d'entraînement a été réduite (de 100 % à 20 %), l'approche hybride a maintenu une précision nettement supérieure à celle de l'étiqueteur seul. La courbe de performance de la méthode hybride était beaucoup plus plate, démontrant une robustesse face à la pénurie de données.
• Réduction de la surcharge d'informations : L'approche a considérablement réduit le nombre d'interprétations candidates qu'un analyste doit considérer. Pour des traces de longueur 60, la réduction de la surcharge d'informations (mesurée comme la différence de position de rang de l'activité correcte) était supérieure à 20 alternatives par rapport à l'utilisation du raisonneur seul.
• Temps de calcul : Bien que l'approche hybride soit plus lente que l'étiqueteur seul (en raison de l'étape de raisonnement), le temps moyen de prédiction est resté autour de 1 seconde, ce qui est considéré comme faisable dans les contextes d'analyse de processus métier. La surcharge de calcul de l'étiqueteur lui-même était négligeable par rapport au processus de raisonnement.

5. Signification et nouveauté

L'article affirme que ce travail représente la première tentative d'exploiter une approche neuro-symbolique dans un contexte d'extraction de processus pour l'analyse exploratoire interactive de traces de bas niveau.

Les distinctions clés par rapport aux solutions neuro-symboliques existantes incluent :

• Portée des contraintes : Les contraintes comportementales couvrent à la fois les variables d'entrée (événements passés) et de sortie (événement actuel), alors que de nombreuses approches existantes ne contraignent que la sortie.
• Application au moment de l'exécution : Les contraintes sont appliquées au moment de l'exécution pendant la session d'interprétation, plutôt que pendant l'entraînement du modèle. Cela permet une flexibilité, permettant aux utilisateurs de modifier les contraintes sans réentraîner le modèle ML.
• Capacités de requête : Le cadre prend en charge des requêtes expressives orientées processus et fournit des explications pour les interprétations rejetées, allant au-delà de la simple estimation de probabilité ou de la génération d'échantillons.

Les auteurs concluent que ce cadre fait progresser l'état de l'art en permettant une coopération efficace humain-dans-la-boucle, combinant la vitesse et la conscience du contexte du ML avec la fiabilité et l'explicabilité du raisonnement symbolique, en particulier dans les applications d'ingénierie complexes où les données peuvent être limitées ou les processus faiblement structurés.

6. Limites et travaux futurs

Les auteurs reconnaissent que l'approche dépend de la disponibilité de connaissances de domaine (contraintes). Si les contraintes sont trop rares ou inexistantes, le raisonneur ne peut pas guider efficacement l'étiqueteur. De plus, si les données annotées sont extrêmement rares, même la méthode hybride peut avoir des difficultés.

Les orientations de travaux futurs identifiées incluent :

• Apprentissage semi-supervisé : Utiliser des traces de journaux non étiquetées avec une fonction de perte de régularisation par entropie pour améliorer l'entraînement de l'étiqueteur.
• Apprentissage actif : Développer des stratégies pour sélectionner les traces non étiquetées les plus informatives pour l'annotation par des experts afin d'améliorer le modèle de l'étiqueteur.
• Contraintes probabilistes : Investiguer des mécanismes pour intégrer des connaissances de domaine probabilistes (par exemple, « L'activité A suit B dans 80 % des cas ») directement dans l'AAF, car le cadre actuel ne gère que des contraintes déterministes.