From Study Design to Executable Code: Automating Target Trial Emulation with Large Language Models

Dit artikel introduceert THESEUS, een framework dat grote taalmodellen gebruikt om vrije tekst van onderzoeksontwerpen automatisch om te zetten in gestandaardiseerde, uitvoerbare R-scripts voor het OHDSI-ecosysteem, waardoor de technische drempel voor reproduceerbaar observationeel onderzoek wordt verlaagd.

De kern

Stel je voor dat wetenschappers een heel specifieke vraag willen beantwoorden over medicijnen of behandelingen, bijvoorbeeld: "Werkt medicijn A beter dan medicijn B voor hartpatiënten?"

In de ideale wereld zouden ze een groot, gecontroleerd experiment doen (een klinische proef). Maar vaak is dat te duur, te lang duren of ethisch niet mogelijk. Dus kijken ze in plaats daarvan naar bestaande medische dossiers van miljoenen mensen. Dit noemen ze observatief onderzoek.

Het probleem? Het is ontzettend moeilijk om die ruwe, rommelige medische dossiers om te zetten in een strak wetenschappelijk experiment. Het is alsof je probeert een recept voor een taart te maken uit een krantenknipsel dat half weggegeten is en in een andere taal staat. Je moet de ingrediënten (de patiënten), de baktijd (de follow-up) en de temperatuur (de statistiek) perfect vertalen naar een instructie voor een robot (de computercode).

Deze robot is vaak een heel specifiek systeem genaamd OHDSI. Het is een enorme bibliotheek waar alle medische data op één standaardtaal is vertaald. Maar om die robot te laten werken, moet je een heel moeilijke programmeertaal spreken. Dat is de reden waarom veel goede ideeën nooit worden uitgevoerd: de programmeurs zijn te duur of te moeilijk te vinden.

De Oplossing: THESEUS (De Vertaalrobot)

In dit artikel presenteren de auteurs THESEUS. Dit is een slimme computerhulp (een "Large Language Model", net als de AI die jij nu gebruikt) die de brug slaat tussen menselijke taal en die moeilijke programmeertaal.

Je kunt THESEUS zien als een super-vertaler en architect in één.

Hoe werkt het? (De Analogie van de Bouwplaat)

Stel je voor dat je een ingewikkelde LEGO-bouwplaat wilt maken, maar je hebt alleen een beschrijving in een boek: "Neem de rode blokken, bouw een toren van 10 hoog, en zet er een blauw dak op, maar alleen als het weer zonnig is."

1. Stap 1: De Vertaling (Standardisatie)
   De AI leest die zin en vertaalt hem naar een strakke bouwplaat (een JSON-bestand). In plaats van "rode blokken" en "zonnig weer", krijgt de computer een lijst met exacte instructies: Gebruik blok-ID 123, bouw tot hoogte 10, en controleer of de sensor 'zon' aan staat.

   • In het artikel: De AI leest de tekst van een wetenschappelijk artikel en vult een strak formulier in met alle details over de studie (wie telt mee, hoe lang duurt het, welke statistiek gebruiken we?).

2. Stap 2: De Bouw (Code Generatie)
   Nu de bouwplaat klaar is, pakt de AI een LEGO-robot (de OHDSI-programmeertaal) en bouwt de toren exact volgens die bouwplaat.

   • In het artikel: De AI schrijft de daadwerkelijke computercode die de studie gaat uitvoeren.

3. De Zelfcontrole (Self-Auditing)
   Soms maakt de robot een foutje. Misschien heeft hij een blokje verkeerd geplaatst. Daarom laat THESEUS de robot even stoppen, de foutenmelding lezen en het blokje zelf corrigeren voordat hij verder bouwt.

   • In het artikel: Als de code niet werkt, kijkt de AI naar de foutmelding, begrijpt wat er misging, en schrijft de code opnieuw tot het perfect werkt.

Wat hebben ze ontdekt?

De auteurs hebben dit systeem getest met 15 echte wetenschappelijke studies.

• Resultaat: De AI was verrassend goed in het vertalen van menselijke taal naar die strakke bouwplaat. In de meeste gevallen (ongeveer 90% tot 98%) klopte de vertaling perfect.
• De Code: De gegenereerde computercode werkte bijna altijd direct. Als het niet werkte, kon de AI zichzelf corrigeren, waarna het 100% werkte.
• Buiten de eigen kring: Ze testten het ook op studies die niet met het OHDSI-systeem waren gemaakt. Ook daar werkte het goed, wat betekent dat deze AI zelfs oude, "rommelige" studies kan reconstrueren.

Waarom is dit belangrijk?

Vroeger moest je een dure programmeur inhuren om een studie te draaien. Met THESEUS kan een arts of onderzoeker gewoon in gewone taal beschrijven wat hij wil doen, en de AI doet het zware werk.

Het is alsof je vroeger een auto moest bouwen door de motor zelf te smeden, en nu gewoon de sleutel omdraait en de auto rijdt. Dit maakt wetenschappelijk onderzoek:

1. Sneller: Geen dagen wachten op code.
2. Betrouwbarder: Iedereen gebruikt dezelfde bouwplaat, dus de resultaten zijn vergelijkbaar.
3. Toegankelijk: Meer mensen kunnen meedoen, ook als ze geen programmeurs zijn.

Kortom: THESEUS maakt het mogelijk dat de "taal van de wetenschap" (wat we willen onderzoeken) direct wordt omgezet in de "taal van de computer" (hoe we het onderzoeken), zodat we sneller en beter antwoorden vinden op vragen over onze gezondheid.

Technische samenvatting

Titel: Van Studieontwerp naar Uitvoerbare Code: Automatisering van Target Trial Emulatie met Grootte Taalmodellen

Auteurs: Hanjae Kim, Minseong Kim, Seonji Kim, Seng Chan You (Yonsei University, Zuid-Korea)

---

1. Het Probleem

Het uitvoeren van Target Trial Emulatie (TTE) met observationele data is een cruciale methode voor het genereren van real-world evidence, vooral wanneer gerandomiseerde gecontroleerde trials (RCT's) niet haalbaar zijn. Hoewel het conceptuele ontwerp van een TTE-studie (inclusief criteria, follow-upperiodes en confoundercontrole) goed is beschreven, vormt de vertaling van deze vrije tekstbeschrijvingen naar uitvoerbare analysecode een grote technische barrière.

• Huidige uitdagingen:
  • Het schrijven van code vereist zowel methodologische expertise als programmeervaardigheden (vaak in R of Python).
  • Onderzoeksteams schrijven vaak aangepaste code, wat leidt tot gebrek aan reproduceerbaarheid en moeilijkheden bij het repliceren van studies tussen verschillende instituten.
  • Er is een gebrek aan tools die het volledige traject van ontwerp tot analyse ondersteunen.
  • Het OHDSI-ecosysteem (Observational Health Data Sciences and Informatics) biedt wel een gestandaardiseerde datastructuur (OMOP CDM) en analyseframeworks (zoals Strategus), maar de drempel om deze tools te gebruiken blijft hoog voor onderzoekers zonder coding-ervaring.

2. Methodologie: Het THESEUS Framework

De auteurs hebben THESEUS (Text-guided Health-study Estimation and Specification Engine Using Strategus) ontwikkeld. Dit is een framework dat vrije tekstbeschrijvingen van studies automatisch omzet in gestandaardiseerde, uitvoerbare R-scripts binnen het OHDSI-ecosysteem.

Het proces verloopt in twee sequentiële stappen, aangedreven door Large Language Models (LLM's):

Stap 1: Standardisatie (Natural Language naar Structured JSON)

• Input: Vrije tekst uit de methodesectie van een studie (bijv. "De studieperiode loopt van november 2011 tot maart 2019").
• Proces: Een LLM analyseert de tekst en mapt deze naar een vooraf gedefinieerd JSON-schema. Dit schema bevat alle vereiste parameters voor een OHDSI-studie (studieperiode, Time-at-Risk, Propensity Score aanpassing, etc.).
• Controle: De LLM genereert ook een uitleg over hoe de tekst is geïnterpreteerd. Om fouten te minimaliseren, worden gedetailleerde beschrijvingen van de JSON-velden (gebaseerd op OHDSI-gidsen) in de prompt opgenomen.
• Output: Een gestructureerd JSON-bestand dat de volledige analyse specificatie bevat.

Stap 2: Code Generatie (JSON naar Uitvoerbare R-Script)

• Input: Het gegenereerde JSON-bestand uit stap 1.
• Proces: Een tweede LLM-ronde vertaalt het JSON-bestand naar een Strategus R-script (CreateStrategusAnalysisSpecification.R).
• Zelf-audit (Self-Auditing): Een unieke functie waarbij de gegenereerde code wordt uitgevoerd. Als er een fout optreedt, wordt de foutmelding (error log) teruggevoerd naar de LLM, die de code corrigeert en opnieuw probeert. Dit creëert een lus voor foutcorrectie.
• Output: Een direct uitvoerbaar R-script dat geen handmatige aanpassingen vereist.

Mens-in-de-lus (Human-in-the-loop)

Om de validiteit te waarborgen, hebben de auteurs een GUI-prototype ontwikkeld (gebaseerd op de OHDSI ATLAS-interface). Hierin kunnen onderzoekers de door de LLM gegenereerde specificaties visueel vergelijken met de originele tekst en wijzigingen accepteren of verwerpen voordat de code wordt gegenereerd.

3. Evaluatie en Resultaten

Het framework werd getest op 15 bestaande OHDSI-studies en 5 niet-OHDSI studies. Er werden 8 verschillende proprietaire LLM's geëvalueerd (o.a. GPT-5.2, Claude-Opus-4.5, DeepSeek-V3.2).

Standaardisatie-resultaten (JSON generatie)

• OHDSI-studies: De nauwkeurigheid op studieniveau was zeer hoog voor primaire analyses (0,91 - 0,98). Bij het verwerken van volledige methodesecties daalde de nauwkeurigheid iets (0,67 - 0,85), maar bleef bruikbaar.
• Niet-OHDSI-studies: De prestaties waren iets lager, maar toonden aan dat het framework generaliseert naar studies die niet oorspronkelijk in het OHDSI-formaat zijn geschreven (nauwkeurigheid 0,27 - 0,93, afhankelijk van de input).
• Veldniveau: De gevoeligheid (sensitivity) voor het extraheren van specifieke parameters (zoals Time-at-Risk) varieerde tussen 0,71 en 0,90, met een laag aantal vals-positieven (<1 per studie in de meeste gevallen).

Code-generatie resultaten

• Uitvoerbaarheid: Voor OHDSI-studies varieerde de uitvoerbaarheid bij de eerste poging tussen 0,80 en 1,00.
• Effect van Self-Auditing: Na de zelf-audit stap verbeterde de uitvoerbaarheid aanzienlijk. Bijna alle modellen bereikten 100% uitvoerbaarheid (1,00) na correctie van de fouten.
• Dit bewijst dat de combinatie van gestructureerde input (JSON) en iteratieve zelfcorrectie zeer betrouwbaar is.

4. Belangrijkste Bijdragen

1. End-to-End Automatisering: THESEUS is het eerste framework dat vrije tekststudiebeschrijvingen direct omzet in uitvoerbare, reproduceerbare code binnen een gestandaardiseerd ecosysteem (OHDSI).
2. Verlaging van de drempel: Het maakt Target Trial Emulatie toegankelijk voor onderzoekers zonder diepgaande programmeerkennis, omdat de complexe vertaling naar code door de LLM wordt overgenomen.
3. Validatie van LLM's in wetenschap: Het toont aan dat LLM's, wanneer ze worden beperkt tot een gestructureerd schema (JSON) en een gestructureerde output (R-script), zeer nauwkeurig kunnen werken in complexe wetenschappelijke domeinen.
4. Open Source Implementatie: De auteurs hebben een werkend prototype (GUI) en de broncode beschikbaar gesteld, wat de reproduceerbaarheid van het onderzoek zelf ondersteunt.

5. Betekenis en Toekomstperspectief

De studie demonstreert dat de combinatie van een gestandaardiseerd data-model (OMOP CDM) en een gestructureerd analyseframework (Strategus) de ideale omgeving creëert voor AI-gestuurde automatisering.

• Reproduceerbaarheid: Door code te genereren op basis van een standaard JSON, worden verschillen in implementatie tussen onderzoeksteams geminimaliseerd.
• Schaalbaarheid: Het stelt onderzoekers in staat om retrospectief bestaande studies te reconstrueren en te verifiëren door de methodesectie van publicaties in te voeren.
• Toekomst: Hoewel het huidige prototype zich beperkt tot cohort-methodes en propensity score matching, kan de architectuur worden uitgebreid naar andere studieontwerpen (zoals patiëntprognose) en andere confoundercontrole-methoden (zoals IPW).

Conclusie: THESEUS vormt een doorbraak in het overbruggen van de kloof tussen conceptueel wetenschappelijk ontwerp en computergestuurde uitvoering, waardoor de kwaliteit, snelheid en toegankelijkheid van observationeel onderzoek aanzienlijk worden verbeterd.