Technische Samenvatting: LMT – Een Bayesiaans Raamwerk voor Causale Ontdekking uit Tekstuele Alarmrecords

1. Probleemstelling

Productie- en techniek-systemen genereren steeds vaker gebeurtenisgegevens in de vorm van tekstuele alarmlogs, onderhoudsverslagen en procesafwijkingen. Hoewel ingenieurs statistische correlaties of terugkerende patronen in deze logs kunnen identificeren, blijft het begrijpen van de causale mechanismen — specifiek welke typen gebeurtenissen anderen triggeren of beïnvloeden — een kritieke uitdaging.

Bestaande benaderingen kampen met twee primaire beperkingen:

1. Alleen-tekst Benaderingen: Large Language Models (LLM's) kunnen semantische aanwijzingen over causaliteit extraheren uit gebeurtenisbeschrijvingen. Echter, LLM's zijn getraind op statistische associaties binnen corpora, niet op fysieke of temporele mechanismen. Bijgevolg verwarren ze vaak causaliteit met correlatie of frequente sequentiële patronen (bijv. gebeurtenissen die in een vaste narratieve volgorde worden beschreven) en missen ze het vermogen om op basis van enkel tekst onderscheid te maken tussen oorzaak en gevolg.
2. Alleen-tijd Benaderingen: Traditionele methoden voor causale ontdekking die gebruikmaken van temporele data (bijv. Granger-causaliteit, Hawkes-processen) vertrouwen op tijdstempels, maar negeren de rijke semantische context die in gebeurtenisbeschrijvingen besloten ligt. Dit kan leiden tot ambiguïteit wanneer verschillende typen gebeurtenissen vergelijkbare temporele patronen hebben maar fundamenteel andere fysieke betekenissen.

Het artikel adresseert de behoefte aan een raamwerk dat zowel tekstuele beschrijvingen als tijdstempels gezamenlijk benut om causale grafen in technische systemen af te leiden, met name in scenario's waar de hoeveelheid gebeurtenisrecords beperkt is (small-sample settings), omdat systemen vaak direct worden stilgelegd nadat een alarm is getriggerd.

2. Methodologie: Het LMT-raamwerk

De auteurs stellen LMT voor, een Bayesiaans causaal ontdekkingsraamwerk dat LLM-afgeleide semantische priors integreert met een op een Poisson-proces gebaseerde temporele likelihood. Het raamwerk werkt in drie fasen:

A. Datapreprocessing en Clustering

Ruwe gebeurtenisgegevens bestaan uit tijdstempels ($t_i$) en tekstuele beschrijvingen ($s_i$).

• Embedding: Tekstbeschrijvingen worden geëmbed via een Sentence-Transformer model.
• Clustering: Gebeurtenissen worden gegroepeerd in $K$ semantische clusters op basis van embedding-gelijkenis. Elke gebeurtenis $i$ wordt gerepresenteerd als $(t_i, k_i, x_i)$, waarbij $k_i$ het clusterlabel is en $x_i$ de embedding-vector is. Het doel is om een Directed Acyclic Graph (DAG) tussen deze $K$ clusters af te leiden.

B. LLM-geïnformeerde DAG Prior

Om tekstuele informatie te benutten zonder er uitsluitend op te vertrouwen, construeert LMT een priorverdeling over causale grafen:

1. Rolscore: Een LLM wordt geprompt om elke gebeurtenisbeschrijving onafhankelijk te evalueren (zonder temporele context) om twee continue scores toe te wijzen: een "oorzaak-achtige" score ($c^{LLM}$) en een "gevolg-achtige" score ($r^{LLM}$).
2. Roldistillatie: Een lichtgewicht neuraal netwerk leert tekst-embeddings te projecteren naar oorzaak- en gevolg-representatieruimtes ($h^{(c)}$ en $h^{(e)}$) door een verliesfunctie te minimaliseren tegen de LLM-scores.
3. Semantische Matching: Een directionele compatibiliteitsscore $a_{ij}$ wordt berekend tussen gebeurtenis $i$ (als oorzaak) en gebeurtenis $j$ (als gevolg) met behulp van het dot product van hun rol-specifieke embeddings.
4. Clusteraggregatie: Gebeurtenis-niveau scores worden geaggregeerd om een cluster-niveau prior-overtuiging te vormen, $q^{LLM}_{ab}$, die de waarschijnlijkheid weergeeft dat cluster $a$ cluster $b$ veroorzaakt.
5. Definitie van de Prior: Een continue prior-dichtheid $p(G | E^{LLM})$ wordt gedefinieerd over de zachte adjacency matrix $G$, waarbij wordt gestuurd op randen die consistent zijn met de semantische signalen van de LLM, terwijl een differentieerbare acycliciteitsrestrictie (gebruikmakend van de trace van de matrixexponent) wordt afgedwongen om een DAG te garanderen.

C. Temporele Likelihood en Posterior Inferentie

Om de semantische prior te verfijnen, incorporeert het raamwerk temporele bewijslast middels een multivariate Hawkes-proces:

1. Intensiteitsmodellering: De conditionele intensiteitsfunctie $\lambda_b(t)$ voor cluster $b$ wordt gemodelleerd als een achtergrondintensiteit plus een triggerterm van eerdere gebeurtenissen. De triggersterkte wordt beheerst door de zachte randgewichten $G_{ab}$ in de causale graaf.
2. Likelihood Constructie: Een log-likelihood functie $L_{time}(G, \Theta)$ wordt afgeleid op basis van de geobserveerde gebeurtenissequentie, waarbij $\Theta$ de achtergrondintensiteiten en vervalratio's bevat.
3. Bayesiaanse Integratie: Het uiteindelijke doel is het vinden van de Maximum A Posteriori (MAP) schatting van de graaf $G$ en de parameters $\Theta$:
   $$(G^*, \Theta^*) = \arg \max_{G, \Theta} \left[ L_{time}(G, \Theta) + \log p(G | E^{LLM}) \right]$$
   Deze optimalisatie wordt uitgevoerd met gradiëntafdaling op onbeperkte variabelen (logits voor randgewichten en softplus voor positieve parameters), waardoor de temporele data de initiële semantische biases van de LLM kan corrigeren of versterken.

3. Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

1. Hybride Bayesiaans Raamwerk: Een nieuw raamwerk dat onderscheidende probabilistische rollen toekent aan tekstuele en temporele data. Tekst biedt een informatieve maar imperfecte prior, terwijl temporele data de likelihood biedt voor verfijning. Dit ontwerp verbetert de betrouwbaarheid van LLM-afgeleide informatie in de context van productie.
2. Interpreteerbare Causale Grafen: De methode leidt interpreteerbare DAG's af tussen gebeurtenisclusters, wat faciliteert bij root-cause analyse en besluitvorming in complexe technische systemen.
3. Geschiktheid voor Kleine Samples: Het raamwerk is specifiek ontworpen voor scenario's met beperkte gebeurtenisrecords (vaak voorkomend in alarm-gestuurde systemen waarbij de operatie stopt na een fout), en demonstreert robuustheid waar louter data-gedreven methoden doorgaans falen.

4. Experimentele Resultaten

De auteurs evalueerden LMT op gesimuleerde chemische productie datasets en een real-world semiconductor test handler dataset.

Simulatiestudies

• Baselines: LMT werd vergeleken met:
  • CASCADE: Een alleen-temporele methode (gebaseerd op Poisson).
  • VOC-Emb: Een alleen-tekst methode (gebaseerd op embeddings).
  • LLM Prompting: Een directe LLM-inferentie benadering.
• Metrieken: Structural Hamming Distance (SHD), True Positive Rate (TPR) en False Discovery Rate (FDR).
• Bevindingen:
  • LMT presteerde consequent beter dan alle baselines bij variërende aantallen clusters ($p=5, 8, 16$) en steekproefgroottes ($N=500, 1000$).
  • In kleine sample-settings ($N=50$) verminderde LMT de SHD en FDR significant vergeleken met een variant met een uniforme prior, wat aantoont dat de tekst-geïnformeerde prior effectief spookranden filtert wanneer de temporele bewijslast schaars is.
  • Pure LLM-prompting en alleen-tekst methoden vertoonden een hoge FDR en lage TPR, wat bevestigt dat semantische patronen alleen onvoldoende zijn voor nauwkeurige causale ontdekking.
  • Alleen-temporele methoden presteerden beter dan alleen-tekst methoden, maar bleven achter bij LMT, wat de waarde van semantische priors onderstreept.

Real-World Applicatie

• Dataset: Alarmrecords van een pick-and-place geïntegreerde IC test handler (97 gebeurtenissen over één week).
• Clustering: Gebeurtenissen werden gegroepeerd in 5 functionele moduleclusters (bijv. Test-site, Transfer PnP, Input-zijde).
• Resultaten: De geleerde DAG identificeerde dat Test-site/contactor alarmen fungeren als upstream triggers voor de Transfer, Input en Output modules. Dit komt overeen met de technische intuïtie: een "stuck device" bij de test-site veroorzaakt systeemstops en daaropvolgende herstelacties die zich manifesteren als alarmen in andere modules. De graaf bood bruikbare inzichten voor het prioriteren van onderhoud op de test-site module om downstream cascades te voorkomen.

5. Betekenis en Claims

Het artikel claimt dat LMT een praktische oplossing biedt voor causale ontdekking in data-arme technische omgevingen. De betekenis ligt in:

• Het overbruggen van Semantiek en Tijd: Het demonstreert dat LLM's kunnen dienen als "imperfecte experts" om initiële causale hypothesen te leveren, die vervolgens rigoureus worden gevalideerd en verfijnd door fysieke temporele data.
• Adresseren van Small-Data Regimes: Door gebruik te maken van semantische priors bereikt het raamwerk een hoge nauwkeurigheid, zelfs wanneer slechts een korte stroom van alarmgebeurtenissen beschikbaar is, een veelvoorkomende beperking in real-world industriële operaties waarbij systemen voor diagnose worden stilgelegd.
• Interpreteerbaarheid: De resulterende causale grafen zijn niet louter statistische artefacten, maar zijn geworteld in zowel de semantische betekenis van de alarmen als de temporele sequentie van hun voorkomen, wat ze geschikt maakt voor technisch besluitvormingsproces en root-cause analyse.

De auteurs concluderen dat deze benadering een veelbelovende richting vormt voor het integreren van door taalmodellen afgeleide semantische kennis in de causale analyse van geavanceerde productiesystemen, wat betere predictieve maintenance en systeembeheer mogelijk maakt.