Diagnostic Performance of Agentic AI for Rare Disease Diagnosis: A Systematic Review, Meta-analysis, Workflow Development, and Benchmark-based Validation

Voor miljoenen mensen wereldwijd is een diagnose geen startpunt, maar een bestemming die buiten bereik blijft. Zeldzame ziekten zijn, door hun zeer eigen aard, ongrijpbaar. Ze presenteren zich met symptomen die vaak vaag, overlappend of uniek zijn voor een enkel individu, en de medische kennis die nodig is om deze punten te verbinden, is verspreid over gespecialiseerde vakgebieden die slechts weinig artsen in hun dagelijkse praktijk tegenkomen. Dit leidt tot een frustrerende reis die bekend staat als de "diagnostische odyssee", waarbij patiënten en families jarenlang zoeken naar antwoorden die verborgen kunnen liggen in de volle zicht binnen enorme hoeveelheden medische gegevens. In de afgelopen jaren heeft kunstmatige intelligentie een nieuwe hoop geboden op het oplossen van deze puzzels. Specifiek is er een nieuwe generatie intelligente systemen opgekomen die niet alleen tekst leest, maar ook actief over problemen nadenkt. Deze systemen, vaak "agent"-systemen genoemd, zijn ontworpen om de manier waarop een menselijke specialist werkt na te bootsen: ze breken een complex probleem af in kleinere stappen, zoeken informatie op in externe databases en verfijnen hun vermoedens naarmate ze meer bewijs verzamelen, in plaats van simpelweg te gokken op basis van een enkele prompt.

Onderzoekers van de Zhejiang Chinese Medical University en haar verbonden ziekenhuis zetten zich in om te begrijpen hoe goed deze geavanceerde denkende machines presteren wanneer ze worden geconfronteerd met de specifieke uitdaging van zeldzame ziekten. Ze hebben niet zelf een nieuwe machine gebouwd; in plaats daarvan traden ze op als onderzoekers die de resultaten verzamelden en analyseerden van zeven verschillende studies die tussen 2025 en 2026 al waren gepubliceerd of gedeeld als preprints. Deze studies testten verschillende versies van deze intelligente agents op duizenden gevallen van zeldzame ziekten, waarbij ze een eenvoudige maar cruciale vraag stelden: hoe vaak identificeert het systeem correct de juiste ziekte als zijn allereerste gok? Door de gegevens van deze afzonderlijke onderzoeken te combineren, creëerden de onderzoekers een grootschalig beeld van de huidige staat van de technologie. Ze ontdekten dat deze intelligente systemen over meer dan 33.000 gevallen de juiste diagnose ongeveer de helft van de tijd bij de eerste poging correct hadden. Hoewel dit een significante verbetering is ten opzichte van oudere methoden die vertrouwden op enkelvoudige, statische modellen, waren de resultaten verre van perfect. De prestaties varieerden sterk afhankelijk van het specifieke gebruikte systeem en het type gegevens waarop het werd getest, waarbij sommige opstellingen bijna 80% van de tijd slaagden en andere moeite hadden om de 30% te bereiken. Deze inconsistentie suggereert dat, hoewel de technologie veelbelovend is, het nog geen uniforme oplossing is.

Om te begrijpen waarom deze systemen slagen of falen, keken de onderzoekers nauwgezet naar de interne "workflows" of stapsgewijze processen die de verschillende agents gebruikten. Ze ontdekten dat de meest succesvolle systemen een gemeenschappelijke set gedragingen deelden. Bijna elke effectieve agent gebruikte een strategie om de diagnostische taak af te breken in kleinere, beheersbare stappen en vervolgens na te denken over die stappen om de initiële ideeën te verfijnen. Ze raadpleegden ook regelmatig externe medische kennisbronnen, zoals databases met genetische informatie of registers voor zeldzame ziekten, om hun hypothesen te verifiëren. De onderzoekers namen deze veelvoorkomende, succesvolle patronen en bouwden een vereenvoudigde, lichtgewicht versie van deze workflow. Vervolgens testten ze deze nieuwe workflow tegen een standaardset van 50 gevallen van zeldzame ziekten, waarbij ze de "denkende" agent tegenover hetzelfde onderliggende computermodel plaatsten dat in een "standalone"-modus draaide, waarbij het moest gokken zonder de hulp van het stapsgewijze proces of externe zoekopdrachten.

De resultaten van deze directe vergelijking onthulden een genuanceerd verhaal. Wanneer het model alleen opereerde, identificeerde het slechts in 5 van de 50 gevallen correct de belangrijkste diagnose. Wanneer hetzelfde model werd begeleid door de gestructureerde workflow, verbeterde de prestatie en kreeg het in 11 van de 50 gevallen de juiste antwoorden als eerste. Hoewel dit een duidelijke verbetering vertegenwoordigt, was het verschil niet statistisch groot genoeg om als een definitieve overwinning te worden beschouwd in deze kleine steekproef. De onderzoekers merkten echter iets nog aanmoedigenders op toen ze naar de top vijf gokken keken in plaats van alleen naar de nummer één. Het door workflow ondersteunde model plaatste de correcte diagnose in 50% van de gevallen binnen de top vijf keuzes, een substantiële sprong vanaf de baseline. Dit suggereert dat, hoewel het systeem niet altijd direct op het perfecte antwoord landt, het gestructureerde denkproces helpt om de juiste ziekte in de race te houden, waardoor het veld van mogelijkheden aanzienlijk wordt verkleind.

De studie concludeert dat deze intelligente agents een echt vermogen hebben aangetoond om te assisteren bij het diagnosticeren van zeldzame ziekten, maar dat ze nog geen afgewerkt product zijn. De grote variatie in prestaties tussen verschillende systemen geeft aan dat het specifieke ontwerp van de workflow en de kwaliteit van de gegevens waartoe het toegang heeft, diepgaand van belang zijn. De onderzoekers benadrukken dat hun bevindingen een bewijs van concept zijn en geen definitieve oplossing. De workflow die zij construeerden dient als een reproduceerbare methode om de manier waarop deze systemen denken te verbeteren, maar vereist verdere tests op een veel grotere schaal en in klinische settings in de echte wereld om de betrouwbaarheid te bewijzen. Uiteindelijk is het doel niet om menselijke artsen te vervangen door machines, maar om een collaboratieve partnerschap te creëren waarbij het vermogen van de machine om enorme hoeveelheden informatie te verwerken en een rigoureus denkproces te volgen, het oordeel van de clinicus ondersteunt, wat potentieel de lange en moeilijke reis voor patiënten die op antwoorden wachten, kan verkorten.