Technische Samenvatting: PRIM (Prior-fitted Root cause Identification with Meta-learning)

Probleemstelling

Root Cause Analysis (RCA) in complexe multivariate systemen wordt gehinderd door drie primaire uitdagingen: foutpropagatie over variabelen heen, de noodzaak van structurele causale kennis, en de hoge computatiekosten van inferentie op het moment van toepassing. Bij afwezigheid van bekende causale structuren is elke abnormale variabele een potentiële root cause. Bestaande oplossingen staan voor een tweesplitsing:

1. Grafische methoden (bijv. Traversal, CIRCA) vereisen accurate voorkennis van het causale graf van het systeem, wat in de praktijk zelden beschikbaar is.
2. Methoden voor causale ontdekking (bijv. RCD, $\epsilon$-diagnosis) proberen het graf op het moment van toepassing af te leiden. Deze lopen echter tegen computatiekosten op die super-exponentieel toenemen met het aantal variabelen, en kampen met identificeerbaarheidsproblemen waarbij eindige data toelaat dat meerdere grafen even goed passen, wat het risico op verkeerde toewijzing van de root cause met zich meebrengt.

Bovendien brengen traditionele statistische testbenaderingen vaak structurele en mechanisme-onzekerheid samen in punt-schattingen, waardoor ze geen rekening houden met de ambiguïteit die inherent is aan causale ontdekking.

Methodologie

De auteurs introduceren PRIM (Prior-fitted Root cause Identification with Meta-learning), een causale meta-learningbenadering die RCA herformuleert als een Bayesiaanse inferentietak over een prior van causale modellen. In plaats van een tweestapsproces uit te voeren (causale ontdekking gevolgd door RCA), leidt PRIM de set van root causes $T$ direct af uit observationele data ($D_{obs}$), interventie/abnormale data ($D_{int}$) en een symptoommasker $m$.

Kernkader

PRIM is gebaseerd op de Transformer Neural Process (TNP)-architectuur, met name met gebruikmaking van een Model-Averaged Causal Estimation (MACE)-transformator. De methode werkt onder een Bayesiaans Causaal Model (BCM)-formulering:

• Bayesiaanse Modelgemiddelde: In plaats van zich vast te leggen op één geschatte Directed Acyclic Graph (DAG), marginaliseert PRIM over graf- en functionele mechanisme-onzekerheid. Het benadert de posterior $p(T | D_{obs}, D_{int}, m)$ door te middelen over een verdeling van grafen en mechanismen.
• Zachte Interventies: Het kader modelleert root causes als zachte interventies (het wijzigen van het functionele mechanisme $f_i$ of de verdeling van ruis) in plaats van harde interventies (het verwijderen van ouders), waardoor de onderliggende grafstructuur behouden blijft terwijl het data-genererende proces wordt gewijzigd.
• Meta-Learning Paradigma: In navolging van het "Prior-Fitted Network" (PFN)-paradigma wordt PRIM getraind op synthetische data die is bemonsterd uit een priorverdeling van Structural Causal Models (SCM's). Dit stelt het model in staat om een algemene representatie van causale dynamiek te leren zonder expliciete statistische tests of modelaanpassing op real-world data op het moment van inferentie.

Architectuur

De PRIM-architectuur bestaat uit drie hoofdcomponenten:

1. Data-encoder: Encodeert observationele en interventiedata sets in hoog-dimensionale tensoren, met inbegrip van geleerde positionele embeddingen voor knopen en een doel-embedding voor het symptoommasker $m$.
2. MACE Transformer-blokken: Gestapelde lagen verfijnen embeddingen via drie attentiemechanismen:
   • Observational Self-Attention: Steekproeven letten op elkaar binnen de normale periode.
   • Intervention-to-Observational Cross-Attention: Abnormale steekproeven letten op normale steekproeven om verschuivingen te detecteren.
   • Node Self-Attention: Alle steekproeven letten gezamenlijk op knopenposities om structurele afhankelijkheden te vangen.
3. Decoder: Berekent het verschil tussen de gemiddelde gepoolde interventie- en observationele embeddingen ($\Delta = \bar{H}_{int} - \bar{H}_{obs}$). Een Multi-Layer Perceptron (MLP) mapt dit verschil naar logits voor elke knoop, wat de waarschijnlijkheid vertegenwoordigt om een root cause te zijn.

Training en Fine-tuning

• Training: Het model wordt getraind op synthetische SCM's gegenereerd uit diverse priors (Erdős–Rényi, Barabási–Albert, bipartiete grafen) met verschillende mechanisme-families (lineair, tanh, neurale netwerken, Gaussische processen).
• Fine-tuning: Hoewel PRIM zero-shot inferentie ondersteunt, kan het worden gefine-tuned voor specifieke domeinen. De auteurs stellen "decoder-only" fine-tuning voor (het bevriezen van de backbone) wanneer de doelverdeling dicht bij de trainingsprior ligt, en full-model fine-tuning voor sterkere generalisatie buiten de verdeling. Dit proces is lichtgewicht en duurt ongeveer drie minuten op een enkele GPU.

Belangrijkste Bijdragen

1. PRIM-model: Een graf-vrije, niet-parametrische methode die kandidaat-root cause-knopen scant bij zero-shot inferentie met uitsluitend normale en abnormale data en een symptoommasker.
2. Impliciete test op verdelingsverschuiving: PRIM identificeert impliciet veranderingen in het data-genererende mechanisme door te marginaliseren over structurele onzekerheid, waardoor de noodzaak voor expliciete statistische tests op verdelingsverschuiving wordt geëlimineerd.
3. Efficiëntie: De methode bereikt inferentie in 17 ms op een A100 GPU voor systemen met tot 100 variabelen, een aanzienlijke verbetering ten opzichte van methoden die super-exponentieel schalen met het aantal variabelen.
4. Robuustheid: De benadering toont robuuste prestaties over synthetische benchmarks en realistische datasets (PetShop en CausRCA), concurrerend met graf-bewuste methoden terwijl het graf-onbewuste baselines overtreft.

Experimentele Resultaten

De auteurs hebben PRIM geëvalueerd op vier synthetische opstellingen en twee realistische benchmarks:

• Synthetische Benchmarks:

  • Verwarring/Mediator-scenario's: PRIM behaalde de beste prestaties onder graf-niet-gegeven methoden, met correcte toewijzing van root causes in aanwezigheid van indirecte paden en gemeenschappelijke oorzaken.
  • Schaalbaarheid: PRIM behield een hoge Recall@1-prestatie naarmate het aantal knopen toenam van 20 tot 100, en degradeerde langzamer dan baselines zoals RCD en $\epsilon$-diagnosis. Het presteerde zelfs beter dan graf-bewuste methoden (Traversal, CIRCA) wanneer die methoden leunden op causale ontdekking (PC-algoritme) in plaats van grond-waarheid grafen.
  • Meerdere Root Causes: Het model slaagde erin om over te schakelen van single-fault naar multi-fault identificatie, waarbij fine-tuning de prestaties aanzienlijk verbeterde.

• Real-World Benchmarks:

  • PetShop (Cloud Microservices): In een 44-knoopsysteem behaalde de gefine-tunde PRIM (PRIM-FT) de hoogste gemiddelde recall onder graf-niet-gegeven methoden, en kwam overeen met de prestaties van graf-bewuste methoden (Traversal, CIRCA) in scenario's met lage beschikbaarheid.
  • CausRCA (Productie): Op een 100-knoops fabriekssysteem met meerdere gelijktijdige root causes was PRIM-FT de beste graf-niet-gegeven methode, met prestaties die vergelijkbaar waren met CausTR (een domeinspecifieke methode die grond-waarheid grafen gebruikt) op koelvloeistof- en hydraulische subsystemen.

• Inferentietijd: PRIM toonde een constante inferentietijd (~17 ms op GPU, ~280 ms op CPU) ongeacht de grafgrootte, terwijl andere methoden exponentiële schaling vertoonden.

Betekenis en Beweringen

Het artikel beweert dat PRIM succesvol de afweging aanpakt tussen de behoefte aan causale structuur en de computatiekosten van inferentie. Door RCA te kaderen als een Bayesiaans meta-learningprobleem, doet PRIM het volgende:

• Vermijdt de "Tweestaps"-flesnek: Het omzeilt de noodzaak voor expliciete causale ontdekking, wat vaak computatieprohibitief is en statistisch onderkrachtig is bij beperkte data.
• Hanteert Onzekerheid: Door middel van Bayesiaanse modelgemiddelde wordt structurele onzekerheid doorgegeven naar de root cause-posterior, waardoor de valkuilen worden vermeden van het vastleggen op één, mogelijk onjuist, graf.
• Generaliseert: Synthetische priors getraind op diverse causale structuren generaliseren effectief naar real-world domeinen, mits de prior de dynamiek van het doelsysteem vastlegt.
• Praktijktoepasbaarheid: De combinatie van zero-shot capaciteit en lichtgewicht fine-tuning maakt PRIM geschikt voor real-time foutdiagnose in complexe systemen waar grond-waarheid grafen niet beschikbaar zijn.

De auteurs erkennen beperkingen, waarbij zij opmerken dat identificeerbaarheid berust op aannames zoals acyclische SCM's, causale volledigheid en I-faithfulness. Bovendien kunnen de prestaties verslechteren als de prior verkeerd is gespecificeerd (bijv. in scenario's met hoge belasting van PetShop of specifieke CausRCA-subsystemen), en kan het huidige model nog geen bekende grond-waarheid graf benutten als die beschikbaar is.