Towards Continuous-time Causal Foundation Models

Dit artikel stelt een causal foundation-model in continue tijd voor dat traject-wet-invariantie ten opzichte van observatieschema's garandeert door middel van integratie op een fijn rooster met ontkoppelde observaties, en toont superieure prestaties aan ten opzichte van naïeve integratiemethoden in uiteenlopende niet-lineaire dynamica en scenario's met onregelmatige data.

De kern

Stel je voor dat je probeert een superintelligente AI te leren hoe ze de toekomst van een systeem dat in de tijd verandert, kan voorspellen, zoals hoe een medicijn door het menselijk lichaam beweegt of hoe een windtunnel reageert op een plotselinge windvlaag.

Meestal kijken AI-modellen naar tijd in "momentopnames" – zoals een flipboek waarbij elke pagina een vast moment is (1 seconde, 2 seconden, 3 seconden). Maar de echte wereld wacht niet op een klok die tikt. Ze stroomt continu.

Dit artikel gaat over het leren aan een AI om die stroming te begrijpen, in plaats van alleen de momentopnames. Hier is de uiteenzetting met eenvoudige analogieën:

1. Het Probleem: De "Stop-Start" Valstrik

De auteurs wijzen op een veelgemaakte fout. Als je een AI probeert te leren over een continu proces (zoals een stromende rivier) door haar alleen momentopnames te tonen die op specifieke tijdstippen zijn genomen, leert de AI het schema van de momentopnames, niet de rivier zelf.

• De Analogie: Stel je voor dat je probeert te leren hoe een auto accelereert.
  • De Slechte Manier (Discreet/Naief): Je kijkt alleen naar de snelheidsmeter elke keer dat je knippert. Als je langzaam knippert, zie je een trage acceleratie. Als je snel knippert, zie je een snelle acceleratie. De AI leert dat "hoe snel ik knipper" de snelheid bepaalt, niet de motor.
  • Het Resultaat: De AI is verward. Als je haar een nieuw schema van knippermomenten toont, faalt ze omdat ze het patroon van je knipperen heeft geleerd, niet de fysica van de auto.

2. De Oplossing: De "Hogesnelheidscamera"

Het artikel stelt een nieuwe manier voor om deze modellen te trainen, genaamd Continuous-Time Causal Foundation Models. In plaats van één momentopname per gat te nemen, gebruiken ze een "hogesnelheidscamera"-benadering.

• De Analogie: Om de auto te begrijpen, neem je de motor op met een supersnelle snelheid (duizenden beelden per seconde), waardoor een perfect, vloeiend filmpje van de acceleratie ontstaat. Vervolgens laat je de AI dit vloeiende filmpje zien.
• De Truc: Zelfs als de AI alleen wordt getest op trage momentopnames (zoals een arts die een patiënt één keer per dag controleert), heeft ze al de vloeiende, continue fysica geleerd uit de hogesnelheidstraining. Ze kent de "wet van de rivier", niet alleen de "wet van de momentopnames".

3. De Drie Niveaus van Training

De auteurs hebben een "tierlijst" gemaakt om te categoriseren hoe goed verschillende modellen met tijd omgaan:

• Tier 1 (Het Flipboek): De oude manier. De AI kent alleen vaste tijdstappen. Ze faalt als het tijdschema verandert.
• Tier 2 (De Luie Cameraman): De AI probeert continu te zijn, maar maakt slechts één foto tussen waarnemingen door. Het is beter, maar ze raakt nog steeds in de war als de tijdsgaten veranderen. Het is alsof je de snelheid van de auto raadt op basis van slechts twee wazige foto's.
• Tier 3 (De Hogesnelheidspro): Dit is wat het artikel bereikt. De AI simuleert de fysica op een superfijn rooster (duizenden kleine stappen) en laat de AI vervolgens alleen de specifieke tijdstippen zien die ze nodig heeft om te zien.
  • Het Resultaat: De AI leert de ware, onveranderlijke wetten van het systeem. Het maakt niet uit of de waarnemingen elke seconde, elk uur of op willekeurige tijdstippen binnenkomen.

4. Het Experiment: Werkt Het Eigenlijk?

Het team testte dit met twee soorten "fysica-engines":

1. Lineair: Eenvoudige, rechte lijn-fysica (zoals een veer).
2. Niet-lineair: Complexe, kronkelende fysica (zoals een chaotisch weersysteem).

Ze stelden de "Luie Cameraman" (Tier 2) tegenover de "Hogesnelheidspro" (Tier 3).

• De Bevinding: De Hogesnelheidspro won elke keer.
• De Verrassing: Toen de AI met de Hogesnelheidsmethode werd getraind, hoefde haar niet eens te worden verteld "hoeveel tijd er tussen de waarnemingen was verstreken". Ze begreep de stroming gewoon op natuurlijke wijze. Maar toen ze met de Luie methode werd getraind, moest de AI expliciet de tijdsgaten worden verteld om goed te presteren.

5. Realiteitstest (De "Zero-Shot" Test)

De auteurs probeerden hun nieuwe AI te gebruiken op real-world data die ze nog nooit eerder had gezien (Zero-Shot).

• Farmacokinetiek: Het voorspellen van medicijnspiegels in het bloed (Theofylline en Warfarine). De AI kon de stijging en daling van het medicijn verrassend goed volgen, zelfs al was ze getraind op synthetische data.
• Fysieke Systemen: Een windtunnel-experiment. De AI voorspelde succesvol hoe de snelheid van de windtunnel zou reageren op een plotselinge verandering in ventilatorvermogen.

De Conclusie

Dit artikel bouwt een betere "tijdmachine" voor AI. Door de AI te dwingen de vloeiende, continue wetten van hoe dingen veranderen te leren (met behulp van een hogesnelheidssimulatie) in plaats van alleen de gaten tussen datapunten te memoriseren, wordt de AI veel slimmer in het voorspellen van de toekomst, zelfs als de data op vreemde, onregelmatige tijdstippen binnenkomt.

Wat het artikel NIET claimt:

• Het claimt niet dat dit klaar is om artsen of ingenieurs te vervangen.
• Het claimt niet dat het elk type tijdreeksprobleem oplost.
• Het geeft toe dat de realiteitstests "voorlopig" waren en meer werk nodig hebben voordat ze in kritieke situaties kunnen worden gebruikt.

Het is een fundamentele stap: het bewijzen dat als je een AI leert tijd te zien als een stromende rivier in plaats van een reeks stapstenen, ze de regels van het universum veel beter leert.

Technische samenvatting

Technische Samenvatting: Op weg naar causaliteitsmodellen voor continue tijd

1. Probleemstelling

Prior-Data Fitted Networks (PFN's) hebben causale inferentie succesvol uitgebreid naar tabulaire data en tijdreeksen in discrete tijd door transformers voor te trainen op synthetische Structurele Causale Modellen (SCM's). Bestaande temporele causale prioren opereren echter op discrete gehele getalroosters. Een naïeve poging om deze uit te breiden naar continue tijd door mechanismen te herschrijven als Stochastische Differentiaalvergelijkingen (SDE's) en ze één keer per waarnemingsgat te integreren, faalt in het bereiken van ware continuïteit.

Het kernprobleem is dat als een SDE alleen op waarnemingsintervallen wordt gestapt (naïeve integratie), de gezamenlijke wet van de trajecten afhankelijk is van het specifieke waarnemingsschema. Bijgevolg blijft de prior effectief een Markov-model in discrete tijd "in SDE-kleding", en voldoet het niet aan de eis dat het datagenererende proces invariant moet zijn ten opzichte van het moment waarop het wordt waargenomen. Deze beperking is kritiek voor domeinen met onregelmatige, schema-heterogene data, zoals farmacokinetiek (klinisch gekozen bemonsteringstijdstippen), fysische systemen met gebeurtenissen met variabele vertraging, en elektronische gezondheidsdossiers met ontbrekende data.

2. Methodologie

2.1. Definiëren van Causale Priors voor Continue Tijd

Het artikel stelt een nauwkeurig criterium vast voor een causale prior voor continue tijd: de gezamenlijke wet van een getrokken traject moet invariant zijn ten opzichte van het waarnemingsschema. Het waarnemingsschema wordt behandeld als pure meting, niet als onderdeel van het onderliggende Temporele SCM (TSCM).

Op basis van dit criterium stellen de auteurs een drie-traps taxonomie voor:

• Trap (A) Discreet: Standaard SCM's in discrete tijd die alleen gedefinieerd zijn op een rooster van gehele getallen.
• Trap (B) Naïef Continue: Een SDE die één keer per waarnemingsgat wordt geïntegreerd (Euler-Maruyama op het waarnemingsrooster). De wet van het traject varieert met de gatgrootte $\Delta_i$, en voldoet niet aan het continuïteitscriterium.
• Trap (C) Fijnrooster Continue: De SDE wordt geïntegreerd op een fijn rooster ($\Delta_{fijn} \ll \min \Delta_{obs}$) en vervolgens gesubsampled naar het waarnemingsschema. Als $\Delta_{fijn} \to 0$, convergeert dit naar de ware SDE-wet, en voldoet dit bij benadering aan het continuïteitscriterium bij eindige stappen.

2.2. Constructie van de Prior voor Continue Tijd

De voorgestelde constructie realiseert Trap (C) op een willekeurige Gerichte Acyclische Grafiek (DAG) met de volgende componenten:

• Grafiek Sampling: Variabelen worden gesampled uit een willekeurige DAG of canonieke structuren (bijv. back-door, front-door, instrumentele variabelen). Verborgen confounders kunnen worden opgenomen.
• Mechanisme Families:
  • Lineaire Drift: Ornstein-Uhlenbeck (OU) processen waarbij de drift een lineaire combinatie is van ouders.
  • Niet-lineaire Drift: Kleine Multi-Layer Perceptrons (MLP's) met tanh-activaties die de lineaire ouderlijke som vervangen, begrensd om trajectstabiliteit te waarborgen.
• Regime Schakeling: Een fractie van de trajecten volgt een TSCM voor regime-schakeling in continue tijd met een 'sticky' Markov-overgangsmatrix, die structurele breuken modelleert (bijv. absorptie- versus eliminatiefasen in farmacologie).
• Interventies: De prior ondersteunt harde (een waarde instellen), zachte (de drift verschuiven) en tijdvariërende interventies over specifieke vensters. Counterfactuelen worden gegenereerd door hetzelfde Wiener-geluid opnieuw te gebruiken.
• Simulatie: Trajecten worden gegenereerd door de SDE te integreren op een fijn rooster met Euler-Maruyama en opnieuw gesamplede Browniaanse incrementen bij elke fijne stap, waarna wordt gesubsampled naar het onregelmatige waarnemingsschema.

2.3. Architectuur: $\Delta t$-bewuste PFN-encoder

Het model maakt gebruik van een causale transformer-encoder die werkt op een pre-interventievenster.

• Tijdsinbedding: In plaats van geleerde positie-inbeddingen voor gehele getallen, gebruikt het model een Fourier-inbedding van continue tijd: $\phi(t) = W_\phi [\sin(2\pi f_k t), \cos(2\pi f_k t)]$.
• Gatinbedding: Tussenwaarnemingsgaten ($\Delta t_i$) worden ingebed met dezelfde familie na een $\log(1+\Delta t_i)$-transformatie.
• Inferentie: Het model neemt waargenomen data, tijdstempels, interventiespecificaties en een querytijd om de verdeling van het resultaat onder interventie te voorspellen.

3. Belangrijkste Bijdragen

1. Continuïteitscriterium: Een formele definitie die invariantie van de trajectwet vereist ten opzichte van waarnemingsschema's, geoperationaliseerd via een drie-traps taxonomie.
2. Constructie Trap (C): Een praktische realisatie van prioren voor continue tijd met behulp van fijnrooster-integratie, willekeurige DAG's, OU/MLP-drifts en onregelmatige schema's.
3. Empirische Validatie: Een gecontroleerde $2 \times 2$ ablatiestudie (Encoder $\times$ Integrator) die aantoont dat fijnrooster-integratie superieur is aan naïeve integratie, met name naarmate evaluatieroosters verfijnen.

4. Experimentele Resultaten

4.1. Ablatiestudie

De auteurs trainden PFN's op twee prioren (Lineair-OU en Niet-lineaire Neuronale Drift) met twee integratoren (Naïef versus Fijn) en twee encoders (Alleen Positie versus Tijd-bewust).

• Prestaties Integrator: Fijnrooster-integratie presteerde beter dan naïeve integratie in 8 van de 8 experimentele cellen voor beide prioren en evaluatiediscretisaties. De prestatiekloof ($\Delta$) groeide monotoon naarmate het evaluatierooster fijner werd (bijv. op de Neuronale prior nam de kloof toe van +0,0048 tot +0,0088 naarmate de evaluatiesubstappen verfijnden). Dit bevestigt dat fijnrooster-training het model afstemt op de ware SDE-grens, terwijl naïeve training discretisatiebias introduceert.
• Prestaties Encoder: Het voordeel van de tijd-bewuste encoder (Fourier-inbedding van gaten) was afhankelijk van de integrator.
  • Bij naïeve integratie presteerde de tijd-bewuste encoder significant beter dan de encoder met alleen posities, wat de schema-afhankelijke dynamiek compenseerde.
  • Bij fijne integratie was de keuze van de encoder empirisch inert (nul verschil), wat suggereert dat het datagenererende proces voldoende schema-invariant was geworden, waardoor expliciete gatkenmerken niet meer nodig waren.

4.2. Zero-Shot Transfer (Voorlopig)

Het artikel rapporteert voorlopige zero-shot transferresultaten op drie real-world datasets zonder fine-tuning:

• Farmacokinetiek (Theofylline & Warfarine): Het model bereikte een sterke correlatie ($r \approx 0,88$) op de plasmaconcentratie van Warfarine, en volgde dosis-gedreven trajecten. De prestatie voor Theofylline was gematigd ($r \approx 0,53$ voor lineair). De auteurs merken op dat RMSE-verbeteringen ten opzichte van naïeve baselines klein waren vanwege de nauwe clustering van concentratiedata, maar de Pearson-correlatie bevestigde dynamische tracking.
• Fysische Systemen (Causale Kamer): Op een windtunnel-impulsinstallatie bereikte de gemengde-mechanisme PFN een Pearson-correlatie van $r = 0,95$ op RPM-dynamiek, wat significant beter was dan het lineaire model ($r = 0,39$). Dit suggereert dat het model succesvol niet-lineaire, verzadigende exponentiële dynamiek heeft gevangen.

5. Betekenis en Claims

Het artikel claimt een nauwkeurig continuïteitscriterium te bieden voor causaliteitsmodellen, verdergaand dan "SDE-kleding" voor discrete modellen. De primaire betekenis ligt in het aantonen dat fijnrooster-integratie noodzakelijk is om dit criterium te realiseren, zoals blijkt uit de groeiende prestatiekloof op fijnere evaluatieroosters.

De auteurs zijn bescheiden in hun claims met betrekking tot toepassingen in de echte wereld:

• De zero-shot transferresultaten worden beschreven als "voorlopig" en "ondersteunend", nog niet concurrerend met domeinspecifieke baselines (bijv. NONMEM voor PK).
• Het succes op de Causale Kamer vereiste een switch van een structureel ongeschikte "witte ruis"-benchmark naar een dataset met expliciete binaire interventies en echte dynamiek.
• Het artikel erkent beperkingen, waaronder de noodzaak van multi-seed replicatie, het onvermogen van huidige neuronale drifts om tijd-gecorreleerd geluid te vangen (alleen Markov-geluid), en het voorlopige karakter van transfer naar real-data.

Het werk positioneert zichzelf als een fundamentele stap naar ware causale inferentie in continue tijd, en biedt een constructie die transformers in staat stelt causale inferentie te amortiseren over een familie van SDE-gedreven TSCM's met onregelmatige waarnemingsschema's.