Validation asymmetry in generative AI–generated clinical educational content: a scoping review

Stel je een klaslokaal voor waar de leraar een kunstmatige intelligentie is die in staat is om medische casussen te schrijven, anatomische diagrammen te tekenen en gesprekken met patiënten te simuleren in enkele seconden. Deze technologie, bekend als generatieve kunstmatige intelligentie, dringt razendsnel door in medische opleidingen en trainingsprogramma's voor verpleegkundigen, artsen en andere zorgprofessionals. Het belooft eindeloze leermaterialen te creëren die vloeiend, geloofwaardig en afgestemd zijn op specifieke studenten. Maar nu deze hulpmiddelen gebruikelijker worden, is er een kritische vraag ontstaan: alleen omdat de AI in staat is om een overtuigend verhaal of een realistische afbeelding te produceren, betekent dat dan ook dat de inhoud daadwerkelijk veilig en rechtvaardig is om voor het onderwijs te gebruiken? De kern van het probleem is niet of de machine kan spreken of tekenen, maar of de gegenereerde informatie accuraat is, of het alle soorten mensen rechtvaardig behandelt en of de methoden die gebruikt worden om de inhoud te creëren transparant genoeg zijn om vertrouwd te worden.

Een recente uitgebreide review van onderzoek gepubliceerd tussen 2020 en 2026 zette uit om precies deze vraag te beantwoorden. De onderzoekers onderzochten 161 studies die keken naar hoe generatieve AI wordt gebruikt om educatieve inhoud te creëren voor gezondheidszorgprofessionals. Ze waren niet geïnteresseerd in of studenten de AI leuk vonden of hoe snel het werkte. In plaats daarvan richtten ze zich op drie specifieke gebieden van validatie: of de medische feiten correct waren, of de mensen en groepen die in de inhoud werden afgebeeld eerlijk werden gerepresenteerd zonder schadelijke stereotypen, en of de strategieën die werden gebruikt om fouten te herstellen daadwerkelijk werkten. Het team stuitte op een opvallende onbalans in hoe deze verschillende aspecten werden gecontroleerd. Terwijl bijna elke studie controleerde of de medische feiten juist waren, controleerden zeer weinig studies of de inhoud eerlijk was naar verschillende groepen mensen, en nog minder testte of de voorgestelde oplossingen de problemen daadwerkelijk oplosten.

De onderzoekers ontdekten dat van de 161 onderzochte studies er 156, oftewel bijna 97 procent, zich richtten op het controleren van de representatieve getrouwheid. In begrijpelijke taal betekent dit dat ze verifieerden of de output van de AI medisch accuraat was, of het echte feiten bevatte en of het geen informatie verzon of details "hallucineerde". Dit is een vitale controle, aangezien het voor een medisch student die leert van een valse diagnose gevaarlijk kan zijn. Echter, toen de onderzoekers zochten naar studies die controleerden op demografische bias — zoals of de AI consequent bepaalde rassen, geslachten of leeftijden op een stereotype wijze afbeeldde of hen volledig wegliet — vonden zij slechts 21 studies. Dat is slechts 13 procent van het totaal. Onder die weinige studies die naar bias zochten, vonden 18 ervan dat de AI inderdaad stereotypen reproduceerde of ongebalanceerde representaties creëerde. Zo toonden sommige gegenereerde afbeeldingen aan dat verpleegkundigen of artsen tot slechts één geslacht of ras behoorden, en sommige klinische casussen koppelden specifieke ziekten aan bepaalde etnische groepen op een manier die niet overeenkwam met de werkelijkheid.

Deze kloof in aandacht is wat de auteurs een validatie-asymmetrie noemen. Het suggereert dat het vakgebied momenteel erg goed is in de vraag: "Is dit feitelijk correct?", maar nog niet zo goed is in de vraag: "Is dit eerlijk voor iedereen?". De review benadrukte ook dat de geteste inhoud voornamelijk tekst was, met een kleiner aantal studies die naar afbeeldingen of gesprekken keken. Verrassend genoeg had geen van de studies die naar conversationele AI keken, zoals virtuele patiënten die met studenten praten, expliciet gecontroleerd op deze demografische biases. Dit betekent niet dat de bias afwezig is in die gesprekken; het betekent simpelweg dat er nog niemand naar heeft gekeken. De onderzoekers merkten ook op dat hoewel veel studies manieren voorstelden om deze fouten te herstellen — zoals het aanpassen van de instructies die aan de AI worden gegeven of het laten beoordelen van de output door menselijke experts — slechts een klein deel daadwerkelijk testte of die oplossingen werkten. In de weinige gevallen waarin ze de oplossingen wel testten, waren de resultaten gemengd, waarbij veel strategieën het probleem slechts gedeeltelijk oplosten in plaats van het volledig te elimineren.

Een ander belangrijk bevinding betrof transparantie. Voor een studie is het noodzakelijk dat andere wetenschappers precies weten hoe de AI werd gebruikt, zodat zij het experiment kunnen herhalen. Toch rapporteerden de auteurs in 122 van de 161 studies niet de specifieke instellingen of parameters die werden gebruikt om de inhoud te genereren. Zonder deze details is het onmogelijk om te weten of de resultaten hetzelfde zouden zijn als de studie vandaag de dag zou worden herhaald, vooral omdat deze AI-systemen frequent veranderen en worden bijgewerkt. De review vond ook dat de meeste studies niet rapporteerden wie het onderzoek financierde of of de onderzoekers eventuele belangenverstrengelingen hadden, wat standaarddetails zijn die nodig zijn om wetenschappelijke bevindingen te kunnen vertrouwen.

De conclusie van deze review is niet dat generatieve AI kapot is, maar dat de manier waarop we het werk controleren incompleet is. De auteurs betogen dat voor het veilig gebruiken van door AI gegenereerde inhoud in het onderwijs, de inhoud gevalideerd moet worden als een multidimensionale bron. Dit betekent dat voordat een medische school een door AI geschreven casus gebruikt, zij niet alleen moeten verifiëren dat de diagnose correct is, maar ook dat de patiënt die in het verhaal wordt beschreven een realistische diversiteit aan mensen vertegenwoordigt, en dat de stappen die zijn genomen om rechtvaardigheid te waarborgen ook daadwerkelijk bewezen hebben te werken. De huidige focus op louter feitelijke nauwkeurigheid is onvoldoende. Naarmate deze hulpmiddelen een standaard onderdeel worden van de medische opleiding, moeten de standaarden voor hun validatie worden uitgebreid om ook rechtvaardigheid en transparantie te omvatten, om te garanderen dat de toekomst van de medische opleiding gebouwd wordt op inhoud die niet alleen slim is, maar ook rechtvaardig en betrouwbaar.