Agentic Trial Emulation to Learn Health System-specific Drug Effects At Scale

Dit artikel presenteert een autonoom agentisch framework dat EHR-gebaseerde trial-emulaties op schaal uitvoert en deze middels een Bayesiaans hiërarchisch model kalibreert op gepubliceerde RCT-resultaten, waardoor systematische afwijkingen in gezondheidszorgsystemen worden geleerd en de nauwkeurigheid van lokale effectschattingen aanzienlijk verbetert.

De kern

Stel je voor dat een farmaceutisch bedrijf een nieuw medicijn ontwikkelt. Ze doen een grote, perfecte test (een klinisch proef) met honderden vrijwilligers in een gecontroleerde omgeving. Het resultaat is duidelijk: "Dit medicijn werkt fantastisch!"

Maar wat gebeurt er als dit medicijn naar jouw huisarts gaat en naar jouw ziekenhuis? De patiënten zijn anders, de dokters schrijven het iets anders voor, en de administratie loopt anders. Vaak werkt het medicijn in de echte wereld net iets minder goed, of juist anders dan in de perfecte test.

Deze wetenschappelijke studie probeert precies dat gat te dichten. Hier is hoe het werkt, vertaald in een simpel verhaal met een paar creatieve vergelijkingen.

1. Het Probleem: De "Perfecte Wereld" vs. De "Echte Wereld"

Stel je een recept voor een taart voor dat door een beroemde chef-kok is geschreven. In de keuken van de chef (de klinische proef) komt er elke keer een perfecte taart uit.

Maar als jij dat recept thuis probeert te bakken (de elektronische patiëntendatabase van het ziekenhuis), is je oven net iets anders, je bloem is van een ander merk, en je hebt minder tijd. Het resultaat is misschien nog steeds een taart, maar hij smaakt net anders dan die van de chef.

Vroeger dachten artsen en onderzoekers: "Oh, onze taart is mislukt. We hebben het recept verkeerd begrepen of onze data is slecht." Ze probeerden hun eigen resultaten te forceren om op die van de chef te lijken.

De auteurs van dit artikel zeggen: "Nee, wacht even. Het verschil is niet per se een fout. Het vertelt ons iets over jullie keuken!" Het verschil tussen de perfecte taart en jouw taart is een waardevol signaal over hoe jullie ziekenhuis werkt.

2. De Oplossing: De "Robot-Kok" (De Agent)

Om dit te leren, hebben ze een slimme robot-kok (een AI-agent genaamd Biomni) gebouwd.

In plaats van dat een mens urenlang moet zitten om te kijken hoe ze een proef moeten nabootsen, doet deze robot het werk:

• Hij leest het originele recept (het klinische proefprotocol).
• Hij gaat naar de koelkast van het ziekenhuis (de elektronische patiëntendata) en pakt de ingrediënten.
• Hij probeert de taart te bakken, precies volgens het recept.
• Hij doet dit drie keer achter elkaar, elke keer op een iets andere manier, om te zien hoeveel variatie er in zijn eigen "handen" zit.

De robot doet dit voor verschillende medicijnen (zoals bloedverdunners voor hartritmestoornissen).

3. De "Rekenmachine" (Het Bayesiaanse Model)

Nu hebben we een heleboel bakresultaten: de perfecte taart van de chef en de taarten van de robot in het ziekenhuis. Maar hoe vertalen we dat?

Ze gebruiken een slimme rekenmachine (een statistisch model). Deze machine doet twee dingen:

1. Kijkt naar de geschiedenis: "Weet je nog dat we bij medicijn A en B altijd een beetje minder resultaat kregen dan de chef? Dat is een patroon."
2. Leert van het ziekenhuis: "Het lijkt erop dat dit specifieke ziekenhuis (Mount Sinai) medicijnen altijd net iets 'afzwakt' in de resultaten. Misschien omdat hun patiënten ouder zijn, of omdat ze medicijnen anders doseren."

De rekenmachine zegt dan niet: "Jullie taart is slecht." Hij zegt: "Als je de perfecte taart van de chef hier in jullie keuken bakt, verwachten we dat hij er zo uitziet."

4. Het Resultaat: Een "Lokaal Voorspelling"

Het mooie aan deze methode is dat ze niet proberen de fouten weg te werken. Ze leren van de fouten.

• Vroeger: "De robot deed het verkeerd, laten we de cijfers aanpassen."
• Nu: "De robot deed het anders, en dat is normaal voor dit ziekenhuis. Laten we een voorspellingsinterval maken. Voor dit medicijn, in dit ziekenhuis, verwachten we een effect tussen X en Y."

In de studie zagen ze dat hun robot de resultaten van de echte proeven (de chef) vaak niet exact kon nabootsen. Maar door de "keuken-fouten" van het ziekenhuis te leren kennen, konden ze de voorspelling voor de toekomst 60% nauwkeuriger maken.

Waarom is dit belangrijk?

Stel je voor dat je een dokter bent. Je wilt weten of een nieuw medicijn voor jouw patiënt werkt.

• Zonder deze methode: "De proef zegt dat het werkt." (Maar werkt het wel in jouw ziekenhuis?)
• Met deze methode: "De proef zegt dat het werkt, maar omdat we weten hoe dit medicijn in ons ziekenhuis werkt, verwachten we dat het effect iets kleiner is, en we weten hoe groot de onzekerheid is."

Samenvatting in één zin

Deze studie gebruikt een slimme AI-robot om duizenden proefjes te doen in een ziekenhuis, niet om de fouten te vinden, maar om te leren hoe dat specifieke ziekenhuis medicijnen anders doet dan de perfecte proef, zodat artsen in de toekomst betere, realistischere voorspellingen kunnen doen voor hun eigen patiënten.

Het is alsof je stopt met proberen je huis te maken exact zoals een foto van een modelhuis, en in plaats daarvan leert hoe je een prachtige, unieke versie bouwt die perfect past bij jouw eigen grond en familie.

Technische samenvatting

Probleemstelling

Randomized Clinical Trials (RCT's) leveren het sterkste bewijs voor de werkzaamheid van behandelingen, maar het vertalen van deze resultaten naar de praktijk binnen een specifiek zorgsysteem (bijv. een ziekenhuis of gezondheidsnetwerk) blijft een uitdaging. Factoren zoals patiëntmix, voorschrijfgewoonten, therapietrouw en coderingspraktijken kunnen de effecten in de echte wereld (Real-World Evidence, RWE) aanzienlijk laten afwijken van de gepubliceerde RCT-resultaten.

Huidige benaderingen voor "target trial emulation" (het nabootsen van een RCT met behulp van Elektronische Gezondheidsregistraties of EHR-data) behandelen afwijkingen tussen EHR-schattingen en RCT-resultaten vaak als methodologische fouten (bijv. residual confounding of datakwaliteitsproblemen) die geminimaliseerd moeten worden. Dit leidt tot een verlies aan informatie: de structuur van deze afwijkingen is niet willekeurig, maar bevat waardevolle signalen over hoe een lokaal zorgsysteem externe bewijslast transformeert. Het ontbreekt aan schaalbare methoden om deze patronen systematisch te leren en te kwantificeren.

Methodologie

De auteurs hebben een agentic framework ontwikkeld dat twee hoofdstadia combineert om institutionele leerprocessen te faciliteren:

1. Autonome Trial Emulatie met LLM-agenten:

   • Ze gebruikten Biomni, een open-source, autonome Large Language Model (LLM) agent.
   • Biomni voert een volledig geautomatiseerde, instructie-gedreven emulatiepijplijn uit tegen een OMOP Common Data Model (CDM) database (Mount Sinai Health System).
   • De agent voert de volgende stappen uit zonder menselijke tussenkomst tijdens de uitvoering:
     • Protocol-parsing en constructie van conceptsets.
     • Opbouw van cohorten en extractie van covariaten.
     • Confounder-adjunctie (o.a. via Propensity Score Weighting).
     • Schatting van het behandelingseffect.
     • Synthese van literatuur-gebaseerde priors voor verwachte afwijkingen.
   • Om variabiliteit door de agent (stochastische beslissingen) te kwantificeren, werd elke trial drie keer onafhankelijk uitgevoerd.

2. Bayesiaanse Hiërarchische Kalibratie:

   • De auteurs modelleren de discrepantie tussen de EHR-schatting en de gepubliceerde RCT-resultaten als een som van drie componenten:
     1. Literatuur-gebaseerde verwachting ($\mu_{lit,k}$): Een prior voor verwachte herhaalbaarheid, gebaseerd op meta-analyses van vergelijkbare observatieve studies.
     2. Institutionele systematische verschuiving ($\mu_{site}$): Een parameter die de systematische afwijking van het lokale zorgsysteem (Mount Sinai) ten opzichte van de literatuur vastlegt.
     3. Residuale heterogeniteit ($\sigma$): Onverklaarde variatie tussen trials.
   • Het model schat een "latente behandelingseffect" ($\tau_k$) dat wordt waargenomen via zowel de RCT-kanaal als het EHR-kanaal (met de institutionele verschuiving).

Belangrijkste Bijdragen

• Van Fout naar Informatie: De studie verschuift het paradigma van het zien van EHR-RCT-discordantie als een "fout" die moet worden opgelost, naar het zien ervan als een leerbaar object dat de eigenschappen van het lokale data-generatieproces onthult.
• Schaalbaarheid door Agenten: Het bewijst dat autonome agenten in staat zijn om end-to-end trial emulaties uit te voeren op een schaal die nodig is voor cumulatief leren, wat handmatige workflows niet kunnen bereiken.
• Kalibratie voor Lokale Context: Het biedt een wiskundig raamwerk om externe bewijslast te kalibreren naar de lokale realiteit, inclusief een kwantificering van de onzekerheid die voortvloeit uit systeemverschillen.
• Onafhankelijke Validatie: Het framework werd getest op vier in-domein trials (DOAC vs. Warfarin) en één out-of-distribution trial (Apixaban vs. Aspirine), waarbij het model succesvol generaliseerde.

Resultaten

De studie emuleerde vijf atriumfibrillatie-anticoagulatie-trials (ARISTOTLE, ROCKET AF, RE-LY, ENGAGE AF-TIMI 48, en AVERROES).

• Verbetering van Nauwkeurigheid: In een leave-one-out cross-validatie over de vier in-domein trials reduceerde de Bayesiaanse kalibratie de Mean Absolute Error (MAE) van 0,567 naar 0,224 log-hazard ratio (een reductie van 60,5%).
• Betrouwbaarheid: De kalibratie bereikte 100% empirische dekking van de 95% posterior predictive intervals voor alle gehouden-out trials (4/4).
• Institutionele Shift: Het model identificeerde een consistente, positieve institutionele verschuiving ($\mu_{site}$, mediaan 0,364–0,580). Dit duidt op een systematische attenuatie (verzwakking) van het voordeel van DOAC's in het lokale EHR ten opzichte van de gepubliceerde RCT's, waarschijnlijk door factoren zoals hoge kwaliteit van warfarin-beheer of verschillen in patiëntpopulatie.
• Out-of-Distribution Generalisatie: Voor de AVERROES trial (Apixaban vs. Aspirine), die niet in de trainingsdata zat, daalde de fout van 0,379 naar 0,051 (86,5% reductie) na kalibratie, en de gepubliceerde uitkomst viel binnen het 95% betrouwbaarheidsinterval.
• Agent Variabiliteit: Het poolen van resultaten van drie onafhankelijke runs per trial verhoogde de stabiliteit en prestaties van de kalibratie, wat aantoont dat agent-variabiliteit kan worden gemodelleerd als meetfout in plaats van als ruis.

Betekenis en Conclusie

Dit onderzoek introduceert een fundamentele verschuiving in hoe we real-world evidence interpreteren. In plaats van te zoeken naar de "ware" behandelingseffecten door RCT's te benaderen, erkent het framework dat behandelingseffecten regime-geïndexeerd zijn: ze hangen af van de context waarin ze worden gemeten.

• Klinische Toepassing: Artsen kunnen nu gebruikmaken van een gekalibreerde posterior-verdeling om te beoordelen of een trial-resultaat waarschijnlijk geldt voor hun specifieke patiëntenpopulatie, in plaats van blindelings RCT-resultaten over te nemen.
• Systeemleren: Het stelt zorgsystemen in staat om hun eigen "transportrelatie" tot externe bewijslast te leren. Door de patronen van afwijkingen te analyseren, kunnen systemen identificeren wanneer en waarom bewijs niet direct overdraagbaar is.
• Toekomst: Het framework legt de basis voor een feedbacklus waarin autonome agenten en clinici gezamenlijk verwachtingen over behandelingseffecten verfijnen naarmate er meer data binnenkomt, waardoor klinische intuïtie over "wat hier werkt" wordt omgezet in een meetbare eigenschap van het zorgsysteem.

Samenvattend biedt deze studie een schaalbare, geautomatiseerde methode om de kloof tussen RCT-bewijs en lokale klinische praktijk te overbruggen door systematische afwijkingen te modelleren in plaats van ze te negeren.