Résumé Technique : LMT – Un cadre bayésien pour la découverte causale à partir de registres d'alarmes textuels

1. Énoncé du problème

Les systèmes de fabrication et d'ingénierie génèrent de plus en plus de données d'événements sous la forme de journaux d'alarmes textuels, de registres de maintenance et d'anomalies de processus. Bien que les ingénieurs puissent identifier des corrélations statistiques ou des motifs récurrents dans ces journaux, comprendre les mécanismes causaux — spécifiquement, quels types d'événements déclenchent ou influencent les autres — reste un défi critique.

Les approches existantes font face à deux limitations principales :

1. Approches uniquement textuelles : Les grands modèles de langage (LLM) peuvent extraire des indices sémantiques sur la causalité à partir des descriptions d'événements. Cependant, les LLM sont entraînés sur des associations statistiques au sein de corpus, et non sur des mécanismes physiques ou temporels. Par conséquent, ils confondent souvent la causalité avec la corrélation ou les motifs séquentiels fréquents (par exemple, des événements décrits dans un ordre narratif fixe) et manquent de la capacité à distinguer la cause de l'effet sur la seule base du texte.
2. Approches uniquement temporelles : Les méthodes traditionnelles de découverte causale utilisant des données temporelles (par exemple, la causalité de Granger, les processus de Hawkes) s'appuient sur des horodatages mais ignorent le riche contexte sémantique contenu dans les descriptions d'événements. Cela peut mener à des ambiguïtés lorsque différents types d'événements présentent des motifs temporels similaires mais des significations physiques distinctes.

Le document traite de la nécessité d'un cadre capable d'exploiter conjointement les descriptions textuelles et les horodatages pour inférer des graphes causaux dans les systèmes d'ingénierie, particulièrement dans les scénarios où les enregistrements d'événements sont limités (environnements à faible échantillonnage), car les systèmes sont souvent arrêtés immédiatement après le déclenchement d'une alarme.

2. Méthodologie : Le cadre LMT

Les auteurs proposent LMT, un cadre de découverte causale bayésienne qui intègre des priors sémantiques dérivés de LLM avec une vraisemblance de processus de Poisson. Le cadre opère en trois étapes :

A. Prétraitement des données et regroupement (Clustering)

Les données brutes d'événements consistent en des horodatages ($t_i$) et des descriptions textuelles ($s_i$).

• Plongement (Embedding) : Les descriptions textuelles sont plongées à l'aide d'un modèle Sentence-Transformer.
• Regroupement : Les événements sont regroupés en $K$ clusters sémantiques basés sur la similitude des plongements. Chaque événement $i$ est représenté par $(t_i, k_i, x_i)$, où $k_i$ est l'étiquette du cluster et $x_i$ est le vecteur de plongement. L'objectif est d'inférer un graphe orienté acyclique (DAG) entre ces $K$ clusters.

B. Prior de DAG informé par le LLM

Pour utiliser l'information textuelle sans s'y appuyer exclusivement, LMT construit une distribution a priori sur les graphes causaux :

1. Score de rôle : Un LLM est sollicité pour évaluer chaque description d'événement indépendamment (sans contexte temporel) afin d'attribuer deux scores continus : un score de type "cause" ($c^{LLM}$) et un score de type "effet" ($r^{LLM}$).
2. Distillation de rôle : Un réseau de neurones léger apprend à projeter les plongements de texte dans des espaces de représentation de cause et d'effet ($h^{(c)}$ et $h^{(e)}$) en minimisant une fonction de perte par rapport aux scores du LLM.
3. Correspondance sémantique : Un score de compatibilité directionnelle $a_{ij}$ est calculé entre l'événement $i$ (en tant que cause) et l'événement $j$ (en tant qu'effet) en utilisant le produit scalaire de leurs plongements de rôles respectifs.
4. Agrégation par cluster : Les scores au niveau de l'événement sont agrégés pour former une croyance a priori au niveau du cluster $q^{LLM}_{ab}$, représentant la probabilité que le cluster $a$ cause le cluster $b$.
5. Définition du Prior : Une densité de probabilité continue $p(G | E^{LLM})$ est définie sur la matrice d'adjacence souple $G$, encourageant les arêtes cohérentes avec les signaux sémantiques du LLM tout en imposant une contrainte d'acyclicité différentiable (en utilisant la trace de l'exponentielle de la matrice) pour garantir que le résultat soit un DAG.

C. Vraisemblance temporelle et inférence a posteriori

Pour affiner le prior sémantique, le cadre incorpore des preuves temporelles à l'aide d'un processus de Hawkes multivarié :

1. Modélisation de l'intensité : La fonction d'intensité conditionnelle $\lambda_b(t)$ pour le cluster $b$ est modélisée comme une intensité de fond plus un terme de déclenchement provenant d'événements passés. La force de déclenchement est régie par les poids d'arêtes souples $G_{ab}$ dans le graphe causal.
2. Construction de la vraisemblance : Une fonction de log-vraisemblance $L_{time}(G, \Theta)$ est dérivée de la séquence d'événements observée, où $\Theta$ inclut les intensités de fond et les taux de décroissance.
3. Intégration Bayésienne : L'objectif final est de trouver l'estimation du maximum a posteriori (MAP) du graphe $G$ et des paramètres $\Theta$ :
   $$(G^*, \Theta^*) = \arg \max_{G, \Theta} \left[ L_{time}(G, \Theta) + \log p(G | E^{LLM}) \right]$$
   Cette optimisation est réalisée par descente de gradient sur des variables non contraintes (logits pour les poids d'arêtes et softplus pour les paramètres positifs), permettant aux données temporelles de corriger ou de renforcer les biais sémantiques initiaux du LLM.

3. Contributions clés

Le document présente trois contributions principales :

1. Cadre Bayésien Hybride : Un cadre novateur qui attribue des rôles probabilistes distincts aux données textuelles et temporelles. Le texte fournit un prior informatif mais imparfait, tandis que les données temporelles fournissent la vraisemblance pour l'affinement. Cette conception améliore la fiabilité des informations dérivées des LLM dans les contextes de fabrication.
2. Graphes Causaux Interprétables : La méthode infère des DAG interprétables parmi les clusters d'événements, facilitant l'analyse des causes racines et la prise de décision dans des systèmes d'ingénierie complexes.
3. Adaptabilité aux faibles échantillons : Le cadre est spécifiquement conçu pour des scénarios avec des enregistrements d'événements limités (fréquents dans les systèmes pilotés par des alarmes où les opérations s'arrêtent après un défaut), démontrant une robustesse là où les méthodes purement basées sur les données échouent généralement.

4. Résultats expérimentaux

Les auteurs ont évalué LMT sur des ensembles de données simulés de fabrication chimique et sur un ensemble de données réel de manipulateur de test de semi-conducteurs.

Études de simulation

• Baselines (Référentiels) : LMT a été comparé à :
  • CASCADE : Une méthode uniquement temporelle (basée sur Poisson).
  • VOC-Emb : Une méthode uniquement textuelle (basée sur les plongements).
  • Prompting LLM : Une approche d'inférence directe par LLM.
• Métriques : Distance de Hamming structurelle (SHD), Taux de vrais positifs (TPR) et Taux de fausses découvertes (FDR).
• Constats :
  • LMT a systématiquement surpassé toutes les baselines pour des nombres de clusters variables ($p=5, 8, 16$) et des tailles d'échantillons ($N=500, 1000$).
  • Dans les contextes à faible échantillonnage ($N=50$), LMT a considérablement réduit le SHD et le FDR par rapport à une variante à prior uniforme, démontant que le prior informé par le texte filtre efficacement les arêtes spécieuses lorsque les preuves temporelles sont rares.
  • Le prompting pur de LLM et les méthodes uniquement textuelles ont montré un FDR élevé et un TPR faible, confirmant que les motifs sémantiques seuls sont insuffisants pour une découverte causale précise.
  • Les méthodes uniquement temporelles ont mieux performé que les méthodes uniquement textuelles, mais restaient en retrait par rapport à LMT, soulignant la valeur des priors sémantiques.

Application au monde réel

• Jeu de données : Registres d'alarmes d'un manipulateur de test de circuits intégrés de type "pick-and-place" (97 événements sur une semaine).
• Regroupement (Clustering) : Les événements ont été regroupés en 5 clusters de modules fonctionnels (ex: Test-site, Transfer PnP, Input-side).
• Résultats : Le DAG appris a identifié que les alarmes de Test-site/contacteur agissent comme des déclencheurs en amont pour les modules Transfer, Input et Output. Cela concorde avec l'intuition de l'ingénieur : un "dispositif bloqué" au site de test provoque des arrêts du système et les actions de récupération consécutives qui se manifestent comme des alarmes dans d'autres modules. Le graphe a fourni des informations exploitables pour prioriser la maintenance sur le module du site de test afin de prévenir les cascades en aval.

5. Signification et Revendications

Le document affirme que LMT offre une solution pratique pour la découverte causale dans des environnements d'ingénierie à faibles données. Sa signification réside dans :

• Le pont entre Sémantique et Temps : Il démontre que les LLM peuvent servir d'"experts imparfaits" pour fournir des hypothèses causales initiales, qui sont ensuite rigoureusement validées et affinées par des données temporelles physiques.
• L'adresse des régimes de faibles données : En exploitant les priors sémantiques, le cadre atteint une précision élevée même lorsqu'un flux court d'événements d'alarme est disponible, une contrainte courante dans les opérations industrielles réelles où les systèmes sont arrêtés pour diagnostic.
• Interprétabilité : Les graphes causaux résultants ne sont pas seulement des artefacts statistiques, mais sont ancrés à la fois dans la signification sémantique des alarmes et dans la séquence temporelle de leur occurrence, ce qui les rend adaptés à la prise de décision en ingénierie et à l'analyse des causes racines.

Les auteurs concluent que cette approche représente une direction prometteuse pour l'intégration des connaissances sémantiques dérivées des modèles de langage dans l'analyse causale des systèmes de fabrication avancés, permettant une meilleure maintenance prédictive et une meilleure gestion des systèmes.