Evaluating Large Language Models for Translating Multimodal Phenotype Documentations into Executable EHR Phenotyping Algorithms

Deze studie evalueert geavanceerde grote taalmodellen voor het vertalen van multimodale klinische fenotype-documentatie naar uitvoerbare EHR-algoritmen en komt tot de bevinding dat, hoewel deze modellen gestructureerde tekst effectief interpreteren, hun prestaties aanzienlijk verslechteren bij alleen diagrammen als invoer, waarbij uiteindelijk de kwaliteit van de documentatie en niet de modelcapaciteit wordt geïdentificeerd als de primaire knelpunt.

De kern

Stel je voor dat je een meesterkok bent die probeert een beroemd gerecht na te maken, maar je hebt het recept niet. In plaats daarvan heb je een rommelige stapel notities: sommige krabbels op servetten, sommige getekend als cartoons, en sommige geschreven in een verwarrende mix van talen. Je doel is om deze rommelige notities om te zetten in een nauwkeurige, stap-voor-stap instructiehandleiding die een robotkeuken kan volgen om het gerecht perfect te bereiden.

Dit artikel gaat over het testen van twee superintelligente AI-koks (zogenaamde Large Language Models, of LLM's) om te zien of zij dit werk voor medisch onderzoek kunnen doen.

Het probleem: Het "Verloren in Vertaling"-recept

In medisch onderzoek definiëren wetenschappers specifieke groepen patiënten (zoals "mensen met Type 2-diabetes") met complexe regels. Deze regels staan meestal in voor mensen leesbare documenten die lijken op een mix van verhalen, stroomdiagrammen en tabellen.

Om deze regels te gebruiken in het computersysteem van een ziekenhuis, moet een menselijk expert ze handmatig vertalen naar een computertaal (SQL). Dit is als het vertalen van een gedicht naar computercode. Het kost veel tijd, is zeer saai, en als twee verschillende experts het doen, kunnen ze uiteindelijk met licht verschillende resultaten eindigen. De onderzoekers wilden zien of AI deze vertaling automatisch kon uitvoeren.

Het experiment: Het testen van de AI-koks

De onderzoekers kozen twee van de slimste beschikbare AI-modellen (OpenAI's GPT o3 en Anthropic's Claude Opus 4.1) en gaven hen vijf verschillende "recepten" (medische definities voor aandoeningen zoals nierletsel, hartaanvallen en diabetes) uit een openbare bibliotheek genaamd PheKB.

Ze testten de AI op drie verschillende manieren, alsof je de kok verschillende soorten instructies geeft:

1. Het volledige pakket: De AI kreeg het hele document (tekst, grafieken en diagrammen).
2. Alleen het verhaal: De AI kreeg alleen de geschreven tekst en tabellen, maar geen afbeeldingen.
3. Alleen de afbeeldingen: De AI kreeg alleen de diagrammen en stroomdiagrammen, zonder woorden.

De resultaten: Wat werkte en wat niet

1. De "Alleen-afbeeldingen"-valstrik
Toen de AI probeerde alleen de diagrammen (de stroomdiagrammen) te lezen, faalde het op erbarmelijke wijze. Het was alsof je een kok vraagt een complex gerecht te bereiden door alleen te kijken naar een tekening van een pan en een vork, zonder tekst die de ingrediënten of het hitte-niveau uitlegt. De AI miste cruciale details, kreeg de timing verkeerd en produceerde instructies die niet zouden werken.

2. Het "Verhaal" is koning
Toen de AI de geschreven tekst kreeg (zelfs zonder de afbeeldingen), deed het het zeer goed. Het bleek dat de geschreven woorden bijna alle benodigde informatie bevatten. De AI kon de logica begrijpen en de computercode nauwkeurig schrijven.

3. De AI is een uitstekende conceptmaker, geen eindredacteur
Beide AI-modellen waren verrassend goed in het begrijpen van het grote geheel en de logica van de regels. Ze maakten echter specifieke soorten fouten:

• Ontbrekende ingrediënten: Ze vergaten soms specifieke medische codes op te nemen (zoals een specifiek type medicatie).
• Verkeerde getallen: Ze konden een drempelwaarde verkeerd krijgen (bijvoorbeeld zeggen "bloeddruk boven de 140" terwijl de regel "boven de 150" was).
• Dingen verzinnen: Soms verzon de AI regels of voorwaarden die helemaal niet in het oorspronkelijke document stonden (een "hallucinatie").
• Verwarring over het formaat: Bij het bekijken van diagrammen konden ze vaak niet uitzoeken hoe ze een visuele pijl om moeten zetten in een logische "als-dan"-computeropdracht.

De grote les

Het artikel concludeert dat deze AI-modellen nog niet klaar zijn om menselijke experts te vervangen. Ze kunnen niet zomaar naar een rommelig document kijken en een perfect, direct bruikbaar computerprogramma spugen.

Ze zijn echter uitstekende conceptgeneratoren. Als je ze duidelijke, gestructureerde tekst geeft, kunnen ze een zeer goed startpunt voor de code schrijven. Maar omdat ze subtiele maar gevaarlijke fouten kunnen maken (zoals een getal verkeerd krijgen of een regel missen), moet een menselijk expert hun werk altijd controleren.

De uiteindelijke les:
Het grootste probleem is niet dat de AI niet slim genoeg is; het is dat medische documenten niet op een manier zijn geschreven die makkelijk voor computers te lezen is. Als artsen en onderzoekers hun notities standaardiseren om duidelijker en gestructureerder te zijn (zoals het schrijven van een recept in een standaardformaat in plaats van krabbelen op een servet), zou de AI veel nuttiger worden. Tot die tijd is de AI een behulpzame assistent, maar moet de menselijke expert de baas blijven.

Technische samenvatting

Technische Samenvatting: Evaluatie van Grootte Taalmodellen voor het Vertalen van Multimodale Fenotype-documentatie naar Uitvoerbare EHR-fenotyperingsalgoritmen

Probleemstelling
De vertaling van klinische fenotype-definities naar uitvoerbare queries voor databases van Elektronische Gezondheidsrecords (EHR) is een kritieke, maar arbeidsintensieve bottleneck in biomedisch onderzoek. Hoewel fenotyperingsalgoritmen essentieel zijn voor het identificeren van patiëntcohorten op grote schaal, worden deze doorgaans gedocumenteerd in hoog-niveau, menselijk leesbare formaten (narratieve tekst, tabellen, stroomdiagrammen, diagrammen) in plaats van in computergereed formaat. Het converteren van deze multimodale specificaties naar gestructureerde querytaal (SQL) die is afgestemd op specifieke datamodellen (bijv. OMOP CDM) vereist handmatige inspanning, domeinexpertise en iteratieve validatie. Dit proces introduceert interpretatieve variabiliteit, wat de portabiliteit, vergelijkbaarheid en hergebruik van cohorten tussen instellingen beperkt. Hoewel Grootte Taalmodellen (LLM's) bekwaamheid hebben getoond in codegeneratie en meerstapsredenering, is het onduidelijk of zij real-world, multimodale fenotype-documentatie op een betrouwbare manier kunnen converteren naar normconforme, uitvoerbare SQL.

Methodologie
Deze studie evalueerde systematisch het vermogen van twee toonaangevende LLM's – OpenAI GPT o3 en Claude Opus 4.1 – om fenotype-documentatie te vertalen naar OMOP-conforme SQL-queries.

• Dataset: Vijf gevestigde klinische fenotypes werden geselecteerd uit PheKB: Acute Nierschade (AKI), Auto-immuunziekten (AD's), Familiaire Hypercholesterolemie (FH), Major Adverse Cardiovascular Events (MACE) en Type 2 Diabetes Mellitus (T2DM). Deze werden gekozen vanwege hun diverse klinische domeinen en variërende documentatiecomplexiteit.
• Invoermodaliteiten: Om de impact van het documentatieformaat te isoleren, werden voor elk fenotype en model drie invoerscenario's getest:
  1. Volledig Document: Narratieve tekst, tabellen, diagrammen en pseudo-code.
  2. Alleen Tekst: Narratieve tekst en tabellen (exclusief diagrammen en pseudo-code).
  3. Alleen Diagram: Uitsluitend visuele diagrammen.
• Prompting-pijplijn: Een vierstaps chain-of-thought-pijplijn werd toegepast:
  1. Extractie van een gestructureerd pseudo-algoritme uit de invoer.
  2. Verificatie van het pseudo-algoritme tegen het brondocument.
  3. Generatie van uitvoerbare SQL op basis van het geverifieerde pseudo-algoritme.
  4. Beoordeling en correctie van de gegenereerde SQL.
• Evaluatie: Twee klinische fenotyperingsexperts beoordeelden de gegenereerde queries onafhankelijk op een schaal van 0–4 over zeven dimensies: logische/booleaanse nauwkeurigheid, implementatie van temporele beperkingen, precisie van waardenreeksen, correctheid van het OMOP-schema, code-efficiëntie, menselijke leesbaarheid en inzetbaarheid voor lokale implementatie. De onderlinge overeenstemming was substantieel (Cohen's kappa > 0,79).
• Foutanalyse: Een kwalitatieve review categoriseerde fouten in zeven onderscheiden types: fouten in logische trouw, incompleetheid van conceptsets, schema-implementatiefouten, drempelwaarde/parameterfouten, hallucinaties, onder-specificatie/over-generalisatie en beperkingen in modaliteitsinterpretatie.

Belangrijkste Resultaten

• Sensitiviteit voor Invoermodaliteit: De kwaliteit van de gegenereerde SQL was sterk afhankelijk van de invoerrepresentatie. Het verstrekken van alleen diagrammen resulteerde in een dramatische achteruitgang in prestaties over alle evaluatiedimensies heen, met name in precisie van waardenreeksen, temporele beperkingen en logische nauwkeurigheid. Omgekeerd leverde invoer met alleen tekst prestaties op die dicht benaderden bij die van volledige documentinvoer, wat suggereert dat narratieve proza het grootste deel van de noodzakelijke informatie voor SQL-generatie bevat.
• Modelprestaties: Onder de voorwaarden van volledig document en alleen tekst behaalde Claude Opus 4.1 over het algemeen betere of vergelijkbare scores in vijf van de zeven dimensies, terwijl OpenAI o3 uitblonk in logische/booleaanse nauwkeurigheid en inzetbaarheid voor lokale implementatie. In scenario's met alleen diagrammen werden de prestatiekloven kleiner, hoewel OpenAI o3 een voordeel behield in logische nauwkeurigheid.
• Fenotype-specifieke Variantie: Het fenotype Auto-immuunziekten (AD's) leverde de hoogste beoordelingen op voor beide modellen. Dit werd toegeschreven aan de documentatiestijl, die gebruikmaakte van expliciete, goed georganiseerde pseudo-code, in tegenstelling tot de minder gestructureerde documentatie van andere fenotypes.
• Foutcategorieën: De analyse identificeerde zeven faalmodi. Fouten in logische trouw (bijv. het verkeerd interpreteren van een enkele diagnose als voldoende voor een aandoening die herhaalde gebeurtenissen vereist) en incompleetheid van conceptsets (ontbrekende vereiste concept-ID's) waren tot de meest ingrijpende. Hallucinaties, waarbij modellen niet-ondersteunde klinische concepten of drempelwaarden introduceerden, werden eveneens waargenomen. Beperkingen in modaliteitsinterpretatie waren het meest opvallend bij invoer met alleen diagrammen, waarbij modellen faalden in het vertalen van visuele uitsluitingscriteria naar SQL-logica.

Betekenis en Aanspraken
Het artikel positioneert LLM's niet als autonome implementators van klinische fenotypes, maar als bekwaame "eerste-opdracht-generators" wiens nut strikt wordt beperkt door de kwaliteit van de invoerdocumentatie. De studie beweert dat:

1. Documentatie is de Primaire Bottleneck: De trouw van door LLM's gegenereerde fenotyperingsqueries hangt meer af van de standaardisatie en structuur van de invoerdocumentatie dan van de inherente capaciteiten van de modellen. Gestructureerde natuurlijke taal is noodzakelijk en grotendeels voldoende voor bijna optimale prestaties, terwijl visuele diagrammen alleen ontoereikend zijn.
2. Experttoezicht is Verplicht: Vanwege de diversiteit en klinische betekenis van geïdentificeerde fouten (inclusief hallucinaties en onnauwkeurigheden in drempelwaarden) zijn door LLM's gegenereerde queries nog niet geschikt voor autonome implementatie. Verplichte expertreview blijft essentieel, met name voor temporele beperkingen en precisie van conceptsets.
3. Pad naar Schaalbaarheid: Het standaardiseren van fenotype-documentatie naar implementatiegerichte formaten (zoals expliciete pseudo-code) biedt een veelbelovend pad om de vertaalfideliteit te verbeteren zonder verdere vooruitgang in modelarchitectuur te vereisen.
4. Collaboratief Paradigma: De bevindingen suggereren een collaboratieve workflow waarbij LLM's de eerste opzet van fenotyperingsalgoritmen versnellen, die vervolgens worden verfijnd door gestructureerd menselijk toezicht, wat potentieel de portabiliteit en het hergebruik van klinische cohorten tussen onderzoeksnetwerken kan verbeteren.

De auteurs erkennen beperkingen, waaronder de evaluatie van slechts vijf fenotypes en twee modellen, de afhankelijkheid van expertscoring in plaats van een gouden standaard van medische dossiers voor cohortnauwkeurigheid, en het ontbreken van systematische prompt-optimalisatie. Toekomstig werk wordt voorgesteld om zich te richten op longitudinale benchmarking, grotere reviewpanelen en validatie tegen gouden standaarddatasets.