Technische Samenvatting: Hybrid2 Neural ODE Causal Modeling en een Toepassing op Glykemische Respons

Probleemstelling

In wetenschappelijke en klinische domeinen, zoals het beheer van Type 1 Diabetes (T1D), is er een cruciale behoefte aan modellen die zowel hoogst voorspellend als causaal interpreteerbaar zijn. Puur mechanistische modellen, gespecificeerd via Gewone Differentiaalvergelijkingen (ODE's), bieden causale gronding en interpreteerbaarheid, maar lijden vaak aan broosheid, overparameterisatie en een onvermogen om complexe, tijdvariërende dynamiek te vangen die wordt waargenomen in real-world data (bijv. de effecten van stress, slaap of specifieke soorten lichaamsbeweging). Omgekeerd bereiken flexibele "blackbox"-sequentiële modellen (bijv. LSTM's, Transformers, Neural ODE's) state-of-the-art voorspellende prestaties, maar falen ze vaak in het leren van causaal coherente structuren. Ze zijn gevoelig voor het afleiden van spuriose associaties uit observationele data, wat leidt tot ongeldige contrafactische redeneringen. Bijvoorbeeld, in T1D zou een blackbox-model onterecht kunnen concluderen dat insuline de glucose doet stijgen omdat de toediening van insuline vaak samenvalt met de inname van koolhydraten.

De kernuitdaging die wordt aangepakt, is dat naarmate hybride modellen (die mechanistische ODE's combineren met neurale netwerken) flexibeler worden om de voorspelling te verbeteren, zij het risico lopen de causale validiteit te verliezen die door de onderliggende mechanistische structuur wordt geboden. Bestaande hybride benaderingen missen vaak beperkingen om ervoor te zorgen dat de geleerde dynamica de bekende causale richtingen van behandelingseffecten respecteert, met name wanneer de exacte grootte van de behandelingseffecten onbekend zijn maar hun relatieve rangorde wel bekend is.

Methodologie: Hybrid2 Neural ODE Causal Modeling (H2NCM)

De auteurs stellen Hybrid2 Neural ODE Causal Modeling (H2NCM) voor, een raamwerk dat domeinkennis niet alleen integreert via de modelarchitectuur, maar ook via een gespecialiseerde hybride verliesfunctie.

1. Het Hybride Modellering-spectrum

Het artikel definieert een spectrum van hybride modellen, variërend van zuivere mechanistische whitebox-modellen tot volledig blackbox-benaderingen. Het algemene hybride model wordt geformuleerd als:
$$\frac{ds}{dt} = c_1 m(s(t), x(t); \beta(t)) + c_2 f_1(s(t), x(t), c_3 z(t); \theta)$$
$$\frac{dz}{dt} = f_2(x(t), z(t); \theta)$$
$$\beta(t) = \beta + c_4 f_3(x(t), z(t); \theta)$$
Waarbij $s$ de mechanistische toestanden vertegenwoordigt, $z$ de latente toestanden, $x$ de controles/interventies, en $c_i \in \{0, 1\}$ de schakelaars zijn. De auteurs evalueren specifiek:

• Latent Parameter Dynamics (LP): Tijdvariërende parameters gestuurd door latente dynamiek ($c_1=c_4=1$).
• State Closure (LPSC): Een flexibele correctieterm toegevoegd aan de mechanistische ODE ($c_1=c_2=1$).
• Mechanistic Neural ODE (MNODE): Het neurale netwerk leert de volledige toestand-dynamiek, maar wordt beperkt door de mechanistische afhankelijkheidsgrafiek (adjacency matrices $A_s, A_x$) ($c_2=1$).

2. De Hybride Verliesfunctie

Om het verlies van causale validiteit te voorkomen naarmate de modelflexibiliteit toeneemt, introduceren de auteurs een component voor causaal verlies. Dit verlies maakt gebruik van domeinkennis over de rangorde van behandelingseffecten, in plaats van de exacte effectgrootte.

• Causaal Verlies ($L_{causal}$): Het model wordt getraind om de interventie te identificeren die de maximale score oplevert (bijv. de hoogste gemiddelde glucose) binnen een set van contrafactische simulaties.
  • Gegeven een set van $K$ hypothetische interventies, wordt de ware rangorde bepaald door domeinkennis (bijv. het verhogen van koolhydraten verhoogt de glucose).
  • Het model genereert contrafactische trajecten voor deze interventies.
  • Het verlies wordt berekend als de cross-entropie tussen de voorspelde rangorde van het model (via een softmax over scorefuncties) en de ware ordinale rangorde.
• Hybride Doelfunctie: De totale verliesfunctie is een convexe combinatie van de voorspellende verliesfunctie en de causale verliesfunctie:
  $$L_{hybrid} = (1 - \alpha)L_{pred} + \alpha L_{causal}$$
  waarbij $\alpha \in [0, 1]$ de balans bepaalt tussen voorspellende nauwkeurigheid en causale validiteit.

3. Implementatiedetails

• Discretisatie: De hybride ODE's worden opgelost met behulp van een forward-Euler discretisatieschema (discretize-then-differentiate), waarbij het systeem wordt benaderd met stacks van residual networks.
• Initiële Condities: Initiële toestanden worden geschat met behulp van een blackbox encoder (LSTM) die gezamenlijk met de ODE decoder wordt getraind.
• Databron: De methode wordt toegepast op de T1DEXI dataset, een real-world studie naar de effecten van lichaamsbeweging op 497 volwassenen met T1D. De taak is het voorspellen van de glykemische respons na inspanning (eerste 30 minuten) en het begeleiden van interventiekeuzes (inname van koolhydraten, insulinedosering, hartslag aanpassingen).

Belangrijkste Bijdragen

1. Causale Verliesfunctie voor Hybride Modellen: Het artikel introduceert een nieuwe causale verliesfunctie die ordinale domeinkennis (rangorde van behandelingseffecten) codeert om het leren van hybride modellen te sturen naar causaal valide oplossingen, zelfs wanneer de exacte behandelingseffecten onbekend zijn.
2. H2NCM Raamwerk: De integratie van dit verlies met hybride ODE-architecturen (LP, LPSC, MNODE) creëert een methode die een "win-win" scenario bereikt: het behouden van state-of-the-art voorspellende prestaties terwijl de causale validiteit wordt gewaarborgd.
3. Empirische Validatie in T1D: De auteurs demonstreren de effectiviteit van de methode in een uitdagende klinische setting (post-inspanning glucosebeheer), waarbij zij aantonen dat hybride modellen getraind met causale verlies beter presteren dan zowel pure mechanistische UVA/Padova-simulatoren als blackbox-modellen in taken met betrekking tot de rangorde van contrafactische interventies.

Resultaten

• Synthetische Data: In een synthetische setting met gecorreleerde inputs (die de correlatie tussen koolhydraten/insuline nabootst), faalden modellen getraind met pure voorspellende verlies ($\alpha=0$) in het onderscheiden van de tekens van behandelingseffecten, wat resulteerde in hoge causale foutpercentages (nabij willekeurig gokken). Het introduceren van zelfs een kleine $\alpha > 0$ loste de behandelingseffecten snel op, waardoor de causale validiteit werd hersteld zonder de voorspellende RMSE significant te verslechteren.
• Real-World T1DEXI Data:
  • Voorspellende Prestaties: Hybride modellen (LP, LPSC, MNODE) getraind met de hybride verliesfunctie behaalden een lagere voorspellende RMSE dan de pure mechanistische UVA/Padova simulator en presteerden vergelijkbaar of beter dan blackbox-modellen (LSTM, Transformer, S4D).
  • Causale Validiteit: Naarmate $\alpha$ toenam, daalde de causale classificatiefout van de hybride modellen aanzienlijk, waarbij zij de blackbox-modellen overtroffen die gevoelig bleven voor $\alpha$ en vaak faalden in het leren van correcte rangordes.
  • Robuustheid: De hybride modellen behielden een stabiele voorspellende prestatie over een breed bereik van $\alpha$-waarden, terwijl blackbox-modellen een grotere gevoeligheid vertoonden. De methode toonde ook robuustheid aan tegen matige niveaus van gecorrumpeerde domeinkennis (onjuiste labels voor de hoogst gerangschikte interventies).
  • Generalisatie: De causale verliesfunctie, getraind op specifieke interventierangordes (bijv. koolhydraten vs. insuline), verbeterde het vermogen van het model om andere interventietypes (bijv. insuline-koolhydraatratio's) te rangschikken die niet expliciet in de verliesfunctie waren gecodeerd, wat suggereert dat het model de onderliggende causale richtingelijkheid heeft geleerd.

Betekenis en Claims

Het artikel claimt dat H2NCM een fundamentele beperking in wetenschappelijk machine learning aanpakt: de trade-off tussen flexibiliteit en causale interpreteerbaarheid. Door gebruik te maken van de vaak beschikbare kennis over de relatieve grootte van behandelingseffecten (rangordes) in plaats van de vereiste precieze effectschattingen, stuurt de methode het leren naar modellen die de onderliggende causale structuur respecteren.

De auteurs stellen dat deze aanpak zorgt voor:

• Verbeterde Contrafactische Redenering: Essentieel voor klinische besluitvormingsondersteuning, zoals het adviseren van T1D-patiënten over veilige interventies tijdens lichaamsbeweging.
• Data-efficiëntie: De inductieve bias van de mechanistische structuur en de causale verliesfunctie vermindert de vraag naar grote datasets, wat cruciaal is in medische domeinen.
• Betrouwbaarheid: De resulterende modellen zijn minder waarschijnlijk om gevaarlijke fouten te maken in interventie-aanbevelingen vergeleken met puur voorspellende blackbox-modellen.

Het werk wordt gepresenteerd als een stap naar "causaal gegrond" machine learning in wetenschappelijke domeinen waar gedeeltelijke observaties en verstorende factoren (confounders) standaard blackbox-benaderingen onvoldoende maken voor betrouwbare besluitvorming.