Do-Calculus Interventions in Predictive Coding Networks: Formal Correspondence, Empirical Validation, and Architectural Prescriptions for Clinical Causal AI

Technische Samenvatting: Do-Calculus Interventies in Predictive Coding Netwerken

Probleemstelling
Systemen voor klinische besluitvormingsondersteuning vereisen steeds vaker AI die in staat is om te redeneren over de consequenties van acties (interventies), in plaats van enkel uitkomsten te voorspellen op basis van historische observationele patronen. Standaard voorspellende modellen, getraind op Elektronische Gezondheids Dossiers (EHR), falen vaak bij prospectieve implementatie wanneer behandelbeleid afwijkt van de trainingsdata, wat een distributieve verschuiving creëert tussen de observationele conditionele $P(Y|X)$ en de interventionele distributie $P(Y|do(T=t))$. Hoewel Pearls do-calculus een formeel kader biedt voor dergelijke redeneringen, behandelen de meeste causale machine learning-methoden interventioneel redeneren als een post-hoc schattingsprobleem dat wordt toegevoegd aan architecturen die geen interne mechanismen bezitten voor het representeren van interventies. Het blijft ongetest of specifieke neurale architecturen, zoals Predictive Coding (PC) netwerken, van nature interventionalistisch redeneren kunnen ondersteunen via hun interne dynamiek.

Methodologie
Het artikel stelt een formele correspondentie voor en valideert deze tussen de dynamiek van Predictive Coding-netwerken en de do-calculus van Pearl.

1. Theoretisch Kader: De auteurs leiden Propositie 1 af, die stelt dat in een lineair-Gaussiaans Structureel Causaal Model (SCM), het "hard clampen" van een PC-node (het vastzetten van de staat op een waarde $c$) gecombineerd met de onderdrukking van de upstream bottom-up voorspellingsfout, informationeel equivalent is aan de $do(T=c)$ operator. Deze onderdrukking verbreekt de informatiepad vanuit de geklemde node naar de voorouders, wat de grafische chirurgie van de do-operator nabootst.
2. Architecturen:
   • PCNetworkV2: Implementeert Propositie 1 met behulp van een gedeelde latente representatie $z$ die decodeert naar covariaten en uitkomsten. Interventionele voorspelling omvat het clampen van de behandelkenmerk en het op nul zetten van de bijbehorende reconstructiefout-kolom voordat de latente gradiënten worden berekend.
   • PCNetworkV3: Een modificatie waarbij de outcome-decoder directe toegang krijgt tot de behandelvariabele naast de latente representatie, ontworpen om klinische grafen te verwerken waarbij de behandeling een directe rand naar de uitkomst heeft.
   • Baseline: Een standaard Multi-Layer Perceptron (MLP) getraind met MSE-loss dient als de associatieve baseline.
3. Benchmarks:
   • Toy SCM: Een drie-node lineair-Gaussiaans SCM (Diagnose $\to$ Symptoom $\to$ Behandeling) om de exacte wiskundige correspondentie te valideren.
   • IHDP (Infant Health and Development Program): Een semi-synthetische benchmark ($n=747$) met een echte covariaatstructuur en gereconstrueerde counterfactual uitkomsten om de "interventionele kloof" (het verschil tussen de observationele en de interventionele Mean Absolute Error) te meten.
   • Synthetische SCMs: Gebruikt voor ablatie-studies over verschillende topologieën (Chain, Mediator, Collider) en confounder-sterktes.
   • MIMIC-IV: Een kleine, semi-synthetische benchmark ($n=140$) met de echte ICU-covariaatstructuur om de Average Treatment Effect (ATE) recovery te testen.

Belangrijkste Bijdragen
Het artikel levert drie primaire bijdragen:

1. Theoretisch: Afleiding en validatie van Propositie 1, waarbij wordt vastgesteld dat PC-clamping met foutonderdrukking exact de do-operator implementeert in lineair-Gaussiaanse SCM's.
2. Empirisch: Demonstratie dat PCNetworkV2 een statistisch significante reductie bereikt in de interventionele prestatiekloof vergeleken met een MLP-baseline op de IHDP-dataset (reductie van de kloof = 0,237 MAE-eenheden, $p < 0,0001$). Dit voordeel generaliseert over Chain, Mediator en Collider topologieën.
3. Prescriptief: Identificatie van de latente dimensie als de primaire architecturale determinant van het interventionele voordeel. Ablatie-studies tonen aan dat kleinere latente dimensies een causale inductieve bias behouden door te voorkomen dat het model spookachtige observationele associaties memoriseert. Daarnaast wordt aangetoond dat PCNetworkV3 de ware ATE herstelt met een fout van 8,3% op MIMIC-IV data door de behandeling expliciet naar de outcome-decoder te routeren.

Resultaten

• Validatie van Propositie 1: Op de toy SCM reproduceerde het clampen van $S=1$ met foutonderdrukking correct de prior distributie $P(D|do(S=1)) = N(0,1)$, terwijl standaard conditionering een incorrecte posterior opleverde ($E[D|S=1] \approx 0,640$).
• Interventionele Kloof: De MLP-baseline vertoonde een grote interventionele kloof (3,215 MAE-eenheden) op IHDP. PCNetworkV2 verminderde deze kloof met 0,237 eenheden. Hoewel PCNetworkV2 een hogere observationele MAE had dan de MLP (0,461 vs. 0,106), bood zijn architecturale causale structuur een meetbaar voordeel in interventionele settings.
• Ablatiebevindingen:
  • Latente Dimensie: Het interventionele voordeel is niet-monotoon met de grootte van de latente ruimte; kleinere dimensies ($d_z=4$) presteerden beter dan grotere dimensies ($d_z=32$) omdat ze het model dwongen een gecomprimeerde causale representatie te coderen in plaats van spookachtige correlaties.
  • Topologie: Het voordeel was het meest uitgesproken in Collider-structuren, waar het causale clamping-mechanisme werkt met minimale interferentie van geconfondeerde paden.
  • Trainingsfractie: Een klein deel van de interventionele trainingsdata (5-10%) verbeterde de prestaties, maar hogere fracties (25%) verstoorden de latente optimalisatie.
• Klinische Toepassing (MIMIC-IV): PCNetworkV3 herstelde de ware ATE (1,0) met een fout van 8,3%, terwijl PCNetworkV2 faalde (100% fout) door degeneratie van de interventie zonder het expliciete behandeling-naar-uitkomst pad. De MLP bereikte een bijna perfecte ATE-schatting (1,5% fout) via associatieve extrapolatie, wat benadrukt dat ATE-schatting en interventionele MAE verschillende metrieken zijn.

Betekenis en Claims
Het artikel beweert dat het biologische mechanisme van predictive coding—specifiek de scheiding tussen top-down voorspellingen en bottom-up foutupdates—een natuurlijk substraat biedt voor causaal redeneren. De belangrijkste bevinding is dat architecturale causale structuur (clamping + foutonderdrukking) een echt, meetbaar interventioneel voordeel biedt ten opzichte van standaard associatieve modellen, zelfs zonder expliciete interventionele trainingsdata.

De auteurs concluderen bescheiden dat hoewel predictive coding-netwerken niet definitief zijn vastgesteld als de enige of beste architectuur voor klinische causale AI, het biologische mechanisme waar zij op gebouwd zijn een "onbedoeld gebruik" heeft als een engine voor causaal redeneren. Het werk suggereert dat voor het generaliseren van interventies, de latente capaciteit moet worden behandeld als een "causale hyperparameter" (vaak de voorkeur gevend aan kleinere dimensies) in plaats van een capaciteitsknop die gemaximaliseerd kan worden. De bevindingen zijn momenteel beperkt tot lineair-Gaussiaanse SCM's theoretisch en bescheiden omvangrijke, tabulaire klinische datasets empirisch, waarbij toekomstig werk nodig is om deze claims te valideren in niet-lineaire, hoog-geconfondeerde en grootschaligere omgevingen.