Assessing the Reliability of LLM-Generated Phenotype-Genotype Associations Through External Validation

In de wereld van de moderne geneeskunde wordt het gezondheidsverhaal van een patiënt vaak geschreven in twee verschillende talen. Eén taal beschrijft wat de arts ziet: een hoge koorts, een specifiek hartritme of een bepaalde vorm van een bot. Wetenschappers noemen deze waarneembare kenmerken fenotypes. De andere taal is verborgen in de cellen van het lichaam, geschreven in de code van het DNA. Deze code bevat genen en kleine variaties in het genetische script die kunnen verklaren waarom iemand een bepaal kenmerk heeft of waarom diegene een specifieke ziekte zou kunnen ontwikkelen. Het verbinden van deze twee talen — het matchen van een zichtbaar symptoom aan de onzichtbare genetische oorzaak — vormt de basis van precisiegeneeskunde. Het stelt artsen in staat om zeldzame aandoeningen te diagnosticeren, risico's te voorspellen en behandelingen te kiezen die passen bij de unieke biologie van een persoon. De bibliotheek van bekende verbindingen tussen symptomen en genen groeit echter zo snel dat menselijke experts niet elke nieuwe wetenschappelijke publicatie kunnen lezen om hun registers bij te werken. De kloof tussen wat gepubliceerd wordt en wat officieel geregistreerd is, wordt steeds groter, waardoor artsen zonder de nieuwste antwoorden die zij nodig hebben blijven zitten.

Om deze kloof te overbruggen, richten onderzoekers zich op kunstmatige intelligentie, specif eigenlijk op een type computerprogramma dat bekend staat als een groot taalmodel (large language model). Deze programma's hebben enorme hoeveelheden tekst gelezen en kunnen nieuwe zinnen genereren die lijken op en klinken als menselijk schrijven. Het idee is dat als deze programma's genoeg medische literatuur hebben gelezen, ze instantaan kunnen suggereren welke genen of genetische variaties verbonden zijn aan de symptomen van een patiënt, als een supersnelle onderzoeksassistent. Maar er is een ernstige zorg: deze programma's staan erom bekend dat ze soms feiten verzinnen. Ze kunnen een gennaam produceren die echt klinkt maar niet bestaat, of een echt gen koppelen aan een ziekte waar het niets mee te maken heeft. Als een arts op een dergelijke fout vertrouwt, kan dit leiden tot een verkeerde diagnose. De kritische vraag is of deze kunstmatige intelligentie-instrumenten daadwerkelijk echte, geverifieerde verbanden kunnen vinden tussen symptomen en genen, of dat ze vooral aan het gokken zijn.

Een team van onderzoekers aan de Vanderbilt University zette zich af om deze vraag te testen met een rigoureus experiment. Ze vroegen de computers niet alleen om te gokken; ze bouwden een systeem om elk antwoord te controleren tegen de meest vertrouwde databases ter wereld. Ze selecteerden vier van de meest geavanceerde beschikbare taalmodellen en vroegen hen zes verschillende soorten taken uit te voeren. In sommige taken kreeg de computer een lijst met symptomen en werd gevraagd de genen of genetische variaties te noemen die deze veroorzaken. In andere gevallen kreeg de computer een gen of een genetische variatie en werd gevraagd de symptomen te beschrijven die deze veroorzaakt. Ze testten deze modellen op zowel veelvoorkomende aandoeningen, zoals een hoge bloeddruk of diabetes, als op zeer zeldzame ziekten die slechts een handvol mensen treffen. De onderzoekers namen vervolgens elke gegenereerde associatie en haalden deze door een verificatiepipeline. Ze controleerden of de gennamen echt waren, of de genetische variaties bestonden in standaardrecords, en het belangrijkste: of de link tussen het symptoom en het gen werd ondersteund door bewijs in belangrijke wetenschappelijke catalogi.

De resultaten onthulden een complex beeld van wat deze instrumenten wel en niet kunnen. Over het algemeen waren de kunstmatige intelligentiemodellen verrassend goed in het genereren van namen die echt waren. Bijna alle genen en genetische variaties die ze suggereerden, bestonden daadwerkelijk in de biologische wereld; de computers verzonnen zelden nepnamen. De echte test was echter of de verbinding tussen het symptoom en het gen waar was. Toen de onderzoekers het bewijs controleerden, ontdekten ze dat ongeveer 74 procent van de door de modellen gegenereerde associaties kon worden gematcht met ten minste één gevestigde wetenschappelijke database. Dit betekent dat voor bijna drie van de vier suggesties er enig bewijs in de literatuur was om dit te onderbouwen. Van die gevallen had ongeveer 9 procent zeer sterke ondersteuning, terwijl een ander deel van 54 procent een matige ondersteuning had. Dit suggereert dat deze instrumenten inderdaad krachtige generatoren kunnen zijn van kandidaat-ideeën voor artsen en wetenschappers om te onderzoeken.

Toch was de prestatie niet uniform over alle typen vragen heen. De modellen presteerden veel beter wanneer ze werden gevraagd naar genen dan wanneer ze werden gevraagd naar specifieke genetische variaties, ook wel single nucleotide polymorphisms of SNP's genoemd. Wanneer de taak bestond uit het linken van een symptoom aan een gen, slaagden de modellen erin om voor ongeveer twee derde van hun antwoorden sterk of matig bewijs te vinden. Maar wanneer de taak verschoof naar het linken van een symptoom aan een specifieke genetische variatie, daalde het succespercentage aanzienlijk. De modellen hadden de meeste moeite met zeldzame ziekten. Hoewel ze vaak verbindingen konden vinden voor veelvoorkomende aandoeningen zoals hartziekten of diabetes, faalden ze regelmatig in het vinden van geverifieerde links voor ultra-zeldzame stoornissen. Dit wijst op een beperking, niet alleen in de kunstmatige intelligentie, maar ook in de databases zelf. De wetenschappelijke records voor zeldzame ziekten zijn vaak incompleet of verspreid, wat het voor de computer moeilijker maakt om een match te vinden, zelfs als er een bestaat.

De studie vergeleken ook de vier verschillende modellen om te zien of er één duidelijk superieur was. Eén model, Claude Sonnet, presteerde overall het best en genereerde in ongeveer 69 procent van de gevallen associaties die door bewijs werden ondersteund. Een ander model, GPT-5.5, kwam op de tweede plaats met ongeveer 65 procent. De andere twee modellen bleven achter met succespercentages rond de 61 en 57 procent. Interessant genoeg waren de modellen die het beste waren in het vinden van genverbindingen niet altijd dezelfde als de modellen die het beste waren in het vinden van genetische variatieverbindingen. Dit suggereert dat elk model verschillende patronen heeft geleerd uit de enorme hoeveelheden tekst waarop het is getraind. De onderzoekers keken ook hoe vaak de verschillende modellen met elkaar overeenstemden. Ze ontdekten dat de modellen zelden precies dezelfde lijst met antwoorden produceerden, zelfs als ze dezelfde vraag kregen. Soms stemden ze overeen over bekende feiten, maar voor veel andere vragen boden ze volkomen verschillende suggesties. Dit gebrek aan overeenstemming betekent dat het vertrouwen op een enkel model riskant is; als één model een link suggereert, garandeert dat niet dat het correct is, en als twee modellen van mening verschillen, betekent dat niet dat ze allebei ongelijk hebben.

Misschien wel de belangrijkste bevinding was de aard van de fouten die de modellen maakten. Toen de onderzoekers de suggesties die niet in een database konden worden gevonden handmatig beoordeelden, ontdekten ze dat de meerderheid geen willekeurige gokken waren. Ongeveer 60 procent van de mislukte matches waren gevallen waarbij het model een echt gen of een echte variatie aan de verkeerde ziekte koppelde. De andere fouten kwamen vaak voort uit het feit dat de wetenschappelijke databases de informatie simpelweg nog niet hadden. Dit onderscheid is cruciaal. Het betekent dat hoewel de modellen meestal geen nepnamen verzinnen, ze vaak zeer zelfverzekerd zijn over de verkeerde verbindingen. Dit creëert een specifiek gevaar voor klinisch gebruik: een arts kan het verschil niet zien tussen een correcte, geverifieerde link en een zelfverzekerde hallucinatie door enkel naar de output te kijken.

De onderzoekers concludeerden dat deze kunstmatige intelligentie-instrumenten nuttig zijn, maar dat ze met voorzichtigheid moeten worden behandeld. Ze zijn uitstekend in het genereren van een lange lijst met mogelijkheden en fungeren als een startpunt voor menselijke experts. Echter, ze kunnen niet worden vertrouwd om het definitieve antwoord te geven. Elke suggestie die ze maken, moet worden gecontroleerd tegen gevestigde records voordat deze in een medische setting kan worden gebruikt. De studie toonde aan dat de betrouwbaarheid van de output sterk afhangt van het type vraag dat wordt gesteld. Voor veelvoorkomende ziekten en vragen op genuiveau zijn de instrumenten vrij betrouwbaar. Voor zeldzame ziekten en specifieke genetische variaties zijn ze veel minder zeker, wat de huidige hiaten in onze collectieve wetenschappelijke kennis weerspiegelt. De weg vooruit houdt in dat deze modellen worden gebruikt om het ontdekkingsproces te versnellen, maar dat hun output altijd gepaard gaat met een strikte verificatiestap. Op deze manier kan de snelheid van kunstmatige intelligentie worden gecombineerd met de nauwkeurigheid van door mensen gecureerde wetenschap, om ervoor te zorgen dat de verbindingen die worden gelegd tussen de symptomen van een patiënt en hun genen zowel snel als waar zijn.