Diagnostic Accuracy of Large Language Models for Rare Diseases: A Systematic Review and Meta-Analysis

Deze systematische review en meta-analyse concludeert dat hoewel LLM-systemen met kennisverrijking betere prestaties laten zien bij het diagnosticeren van zeldzame ziekten, de huidige bewijslast beperkt is door hoge risico's op bias, gebrek aan prospectieve validatie en grote variatie in prestaties afhankelijk van de samenstelling van de evaluatiebenchmark.

De kern

De Medische Gokspel: Wat de "Super-Computers" (LLM's) Eigenlijk Kunnen bij Zeldzame Ziektes

Stel je voor dat een arts een patiënt heeft met een raadselachtige ziekte. Het is een van die duizenden zeldzame aandoeningen die maar één op de miljoenen mensen treft. De arts moet als een detective een oplossing vinden in een oceaan van informatie. Dat is vaak een moeizame reis die jaren duurt, vol met foutieve aannames en dure tests.

Deze studie kijkt naar een nieuwe "super-hulp": Grote Taalmodellen (LLM's). Denk hierbij aan slimme computers die net als wij lezen, maar dan miljoenen medische boeken, artikelen en patiëntdossiers in een flits hebben gelezen. De vraag was: Kunnen deze computers de diagnose stellen die de mens soms mist?

Hier is wat de onderzoekers hebben ontdekt, vertaald naar alledaags taal:

1. Het Grote Gemiddelde: Een Gok met 4 op de 10

De onderzoekers keken naar 15 verschillende studies met bijna 40.000 patiëntcases. Ze vroegen zich af: "Hoe vaak staat het juiste antwoord op de eerste plek in de lijst van de computer?"

Het resultaat? De computers hadden het 43% van de tijd goed.

• De analogie: Stel je voor dat je een blinddoek opzet en 100 keer een doos met 100 verschillende sleutels moet kiezen. Je moet de éne juiste sleutel vinden. De computer deed het ongeveer 43 keer goed. Dat is beter dan raden, maar voor een arts die een levensreddende diagnose moet stellen, is dat nog niet genoeg om blind op te vertrouwen.

2. Het Geheim van de "Trucjes" (Augmentatie)

De studie toonde aan dat niet alle computers even slim zijn. Het hangt er sterk van af hoe ze werken.

• De "Alleenstaande" Computer: Een computer die alleen maar op zijn eigen geheugen vertrouwt (zonder hulp), had het ongeveer 35% van de tijd goed.
• De "Hulpvaardige" Computer: Computers die extra hulpmiddelen kregen – zoals het opzoeken van actuele informatie in een bibliotheek tijdens het denken, of het gebruik van een team van digitale agenten die samenwerken – hadden het 52% van de tijd goed.

De metafoor:

• De Alleenstaande computer is als een student die een examen doet zonder boekjes. Hij moet alles uit zijn hoofd weten.
• De Hulpvaardige computer is als diezelfde student, maar dan met een open boek, een slimme assistent die snel feiten opzoekt, en een team van experts dat meedenkt. Die doet het duidelijk beter.

3. De Valstrik van de "Oefententamen" (Benchmarks)

Dit is misschien wel het belangrijkste punt van de studie. De onderzoekers ontdekten dat de resultaten sterk afhankelijk waren van welke oefententamen de computer kreeg.

• Scenario A (De Makkelijke Oefening): Sommige tests bevatten ziektes die "niet zo zeldzaam" zijn of waar veel informatie over bestaat. Hier scoorden de computers fantastisch (soms tot 65% goed).
• Scenario B (De Onmogelijke Oefening): Andere tests, zoals de "Phenopacket Store", bevatten extreem zeldzame ziektes waar bijna niemand iets over weet. Hier zakten de scores dramatisch (soms onder de 20%).

De analogie:
Het is alsof je een student test op wiskunde.

• Test 1: "Los deze standaard sommen op." (De student haalt 9/10).
• Test 2: "Los dit op met een formule die nog niet is uitgevonden." (De student haalt 2/10).
  Als je alleen kijkt naar Test 1, denk je: "Wow, deze student is een genie!" Maar in de echte wereld (Test 2) faalt hij. De studie waarschuwt: We moeten oppassen met de resultaten van de "makkelijke" tests. Ze laten niet zien hoe de computer presteert bij de allerzeldzaamste, moeilijkste gevallen.

4. De Grootste Probleem: De "Cheating" (Data Leaks)

De onderzoekers keken kritisch naar hoe de studies waren opgezet. Ze ontdekten dat alle onderzochte studies een groot risico hadden op "cheating".

• Het probleem: Vaak had de computer de antwoorden al gezien tijdens zijn training. Het was alsof de student de antwoorden van het examen al had gelezen voordat hij het examen kreeg.
• Het gevolg: De scores lijken hoger dan ze in werkelijkheid zijn.
• Geen echte proef: Geen enkele studie heeft de computer in een echte ziekenhuissituatie getest, waar artsen onder tijdsdruk werken en informatie vaak incompleet is.

Conclusie: Beloftevol, maar nog niet klaar voor de klas

Deze studie zegt eigenlijk:

1. Ja, het werkt: Computers kunnen helpen bij het vinden van zeldzame ziektes, vooral als ze slimme hulpmiddelen (zoals het opzoeken van informatie) gebruiken.
2. Nee, nog niet klaar: We kunnen ze nog niet zomaar in het ziekenhuis zetten. De huidige tests zijn vaak te makkelijk of "gechikt" (de computer heeft de antwoorden al gezien).
3. De weg vooruit: We hebben nieuwe, eerlijke tests nodig die de echte chaos van de medische wereld nabootsen, en we moeten eerst kijken of het echt helpt om patiënten sneller een diagnose te geven, voordat we de computers als arts gaan gebruiken.

Kortom: De "super-computers" zijn veelbelovende stagiairs die snel leren, maar ze mogen nog niet alleen de patiënt behandelen. Ze hebben nog veel supervisie en echte praktijkervaring nodig voordat ze de dokter kunnen vervangen.

Technische samenvatting

Probleemstelling

Zeldzame ziekten (die minder dan 1 op de 2.000 personen treffen) vormen een grote uitdaging voor de gezondheidszorg. Patiënten ondergaan vaak een "diagnostische odyssee" van gemiddeld vier tot acht jaar, gekenmerkt door herhaalde evaluaties en onnodige testen. Hoewel genomische sequencing de toegang tot genetische data heeft vergemakkelijkt, is de interpretatie van complexe fenotypische en genetische data een nieuwe knelpunt geworden. Traditionele hulpmiddelen zijn vaak afhankelijk van gestructureerde Human Phenotype Ontology (HPO) annotaties, wat arbeidsintensief is.

Grote Taalmodellen (LLMs) bieden een potentieel alternatief omdat ze ongestructureerde klinische teksten kunnen verwerken en kennis uit medische literatuur kunnen integreren zonder vooraf gedefinieerde regels. Echter, de betrouwbaarheid, nauwkeurigheid en de bronnen van variatie in de prestaties van LLM's voor het diagnosticeren van zeldzame ziekten zijn tot nu toe niet systematisch samengevat, wat de klinische implementatie belemmert.

Methodologie

De auteurs voerden een systematische review en meta-analyse uit volgens de PRISMA-DTA-richtlijnen.

• Zoekstrategie: Er werd gezocht in zes databases (PubMed, Embase, Web of Science, Cochrane Library, arXiv, medRxiv) voor publicaties van januari 2020 tot februari 2026.
• Inclusiecriteria: Studies moesten een systeem evalueren dat een LLM gebruikte als primaire component voor diagnostisch redeneren, gericht zijn op zeldzame ziekten (>10 gevallen), en de strikte top-1 diagnosticerende nauwkeurigheid (Recall@1 of R@1) rapporteren.
• Data-extractie: Er werden 15 studies geselecteerd, die samen 19 systeem-dataset-paaringen opleverden (totaal N = 39.529 gevallen).
• Statistische analyse:
  • Het primaire resultaat was de gepoolde R@1, berekend met de Freeman-Tukey dubbele arcsine-transformatie en het DerSimonian-Laird random-effects model.
  • Subgroepanalyses werden uitgevoerd voor augmentatiestrategie (standalone vs. augmented) en invoermodus (gestructureerde HPO vs. ongestructureerde tekst).
  • Vanwege hoge heterogeniteit ($I^2 > 95\%$) werd een post-hoc exploratieve analyse uitgevoerd om de samenstelling van de evaluatiebenchmarks te onderzoeken, specifiek de prevalentie van ziekten (geclassificeerd via Orphanet: ultra-zeldzaam, zeldzaam, hoger prevalentie).
• Bias-risico: Beoordeeld met een aangepast QUADAS-3-instrument (7 domeinen, waaronder data-lekkage en reproduceerbaarheid).

Belangrijkste Bijdragen

1. Eerste Systematische Meta-analyse: Dit is de eerste studie die de diagnostische prestaties van LLM-systemen voor zeldzame ziekten kwantificeert en de bronnen van variatie in prestaties analyseert.
2. Impact van Benchmark-samenstelling: De studie onthult dat de samenstelling van de gebruikte datasets (vooral het aandeel ultra-zeldzame ziekten) een sterkere invloed heeft op de gemeten nauwkeurigheid dan het modeltype of de invoermodus.
3. Validatie van Augmentatiestrategieën: Het biedt empirisch bewijs dat systemen met "inference-time augmentation" (zoals agent-based reasoning, retrieval-augmented generation, of fine-tuning) significant beter presteren dan standalone prompting.
4. Kritische Evaluatie van Klinische Klaarheid: De studie benadrukt dat alle huidige studies een hoog risico op bias hebben en dat er geen prospectieve klinische validatie is uitgevoerd, wat de directe klinische toepassing momenteel onmogelijk maakt.

Resultaten

• Gepoolde Nauwkeurigheid: De totale gepoolde R@1 was 43,3% (95% BI 35,1–51,6), met een extreme heterogeniteit ($I^2 = 99,6\%$).
• Invloed van Augmentatie:
  • Geaugmenteerde systemen (agent-based, retrieval, of fine-tuning; $k=8$) bereikten een R@1 van 52,5%.
  • Standalone LLM's ($k=11$) bereikten een R@1 van 35,4%.
  • Dit verschil was statistisch significant ($p=0,004$).
• Invloed van Benchmark en Prevalentie:
  • Er was een groot verschil tussen benchmarks: RareBench (gemiddeld 52,0% R@1) versus Phenopacket Store (gemiddeld 21,7% R@1).
  • De post-hoc analyse toonde een sterke negatieve correlatie aan: benchmarks met een hoger percentage ultra-zeldzame ziekten (<1 per miljoen) hadden lagere diagnosticerende nauwkeurigheid.
  • Bijvoorbeeld: Phenopacket Store bestond voor 52,8% uit ultra-zeldzame ziekten, terwijl RareBench slechts 29,3% bevatte.
• Invoermodus: Er was geen significant verschil in prestatie tussen gestructureerde HPO-termen en ongestructureerde klinische teksten.
• Risico op Bias: Alle 19 geïcludeerde entries werden beoordeeld als hoog risico op bias. De meest voorkomende problemen waren potentiele data-lekkage (tussen trainings- en testdata) en gebrek aan reproduceerbaarheid. Geen enkel onderzoek rapporteerde prospectieve klinische validatie.

Betekenis en Conclusie

De studie concludeert dat LLM-systemen veelbelovend zijn voor het ondersteunen van de diagnose van zeldzame ziekten, vooral wanneer ze worden verrijkt met externe kennisbronnen (retrieval) of gespecialiseerd zijn (fine-tuning). Echter, de huidige gepubliceerde nauwkeurigheidscijfers zijn sterk afhankelijk van de gebruikte benchmarks en vertegenwoordigen waarschijnlijk geen realistische prestaties in de klinische praktijk.

Kernboodschappen voor de toekomst:

1. Standaardisatie: Er is behoefte aan evaluatiebenchmarks die gestratificeerd zijn op ziekteprevalentie om eerlijke vergelijkingen mogelijk te maken.
2. Validatie: De huidige bewijsbasis ondersteunt geen klinische implementatie. Er zijn onafhankelijke, prospectieve studies nodig om de impact op de tijd tot diagnose en patiëntuitkomsten te meten.
3. Transparantie: Rapportage van de samenstelling van datasets (vooral het aandeel ultra-zeldzame ziekten) is cruciaal voor het interpreteren van resultaten.

De auteurs waarschuwen dat de hoge heterogeniteit en het gebrek aan externe validatie betekenen dat de huidige resultaten vooral beschrijvend zijn en niet voorspellend voor de werkelijke klinische prestaties.