Anatomical Accuracy of Generative AI for Congenital Heart Disease Illustrations: Gemini NanoBanana Versus ChatGPT Models in a Blinded Comparative Study

Deze geblindeerde vergelijkende studie concludeert dat generatieve AI-systemen, hoewel visueel aantrekkelijk, voor illustraties van aangeboren hartafwijkingen aanzienlijk minder anatomisch nauwkeurig zijn dan door experts aangepaste menselijke afbeeldingen, waarbij het Gemini NanoBanana-model beter presteert dan de ChatGPT-modellen maar toch niet voldoet aan de huidige educatieve standaarden.

De kern

🎨 De Grote AI-Kunstwedstrijd: Wie tekent het beste een hart?

Stel je voor dat je een klaslokaal hebt vol medische studenten. De leraar moet uitleggen hoe een hart met een aangeboren afwijking eruitziet. In het verleden trok de leraar zelf een plaatje of gebruikte hij een duur, perfect boek. Maar nu hebben we Generatieve AI (zoals ChatGPT en Gemini). Deze computers kunnen in een flits een plaatje maken van een hart.

De vraag is: Kunnen we deze AI-plaatjes vertrouwen? Of maken ze mooie plaatjes die er perfect uitzien, maar zijn ze medisch onzin?

Dit onderzoek van een team artsen uit Saudi-Arabië (en elders) heeft precies dit getest. Ze lieten twee populaire AI-systemen (Gemini NanoBanana en ChatGPT) plaatjes maken van 20 verschillende hartafwijkingen. Vervolgens keken 20 artsen (sommige hart-specialisten, anderen niet) naar de plaatjes en gaven ze een cijfer.

Hier is wat ze ontdekten, vertaald in alledaagse termen:

1. De "Mooie maar Leugenachtige" AI (ChatGPT)

De plaatjes die door ChatGPT werden gemaakt, waren als een fantasiefilm die er prachtig uitziet, maar de wetenschap negeert.

• Het resultaat: De artsen vonden dat 86% van deze plaatjes volledig verzonnen was.
• De metafoor: Het is alsof je een tekening maakt van een auto, maar de wielen zitten aan het dak en de motor zit in de kofferbak. Het lijkt op een auto, maar het werkt niet. Voor een arts die een hart moet uitleggen, is dit gevaarlijk. De AI maakte vaak de verkeerde bloedvaten, verkeerde kleppen en onmogelijke vormen.
• Conclusie: Deze plaatjes zijn "leuk om naar te kijken", maar gebruik ze niet voor lesmateriaal. Ze zijn als een nepbankje in de tuin: het ziet eruit als hout, maar je valt erdoorheen als je erop gaat zitten.

2. De "Beter, maar nog steeds niet perfect" AI (Gemini NanoBanana)

Gemini deed het iets beter, maar was nog steeds niet goed genoeg om alleen te gebruiken.

• Het resultaat: Ongeveer 23% van de plaatjes was medisch accuraat. Dat is veel beter dan ChatGPT, maar nog steeds niet genoeg.
• De metafoor: Stel je voor dat je een kok hebt die een perfecte taart wil bakken. Gemini maakt een taart die er prachtig uitziet en de smaak is bijna goed, maar er zit een klein beetje zout in de suiker. Je kunt het eten, maar je moet eerst de suiker eruit halen en de suiker toevoegen.
• De valkuil: De plaatjes van Gemini waren vaak mooier en aantrekkelijker dan de plaatjes van de menselijke artsen. Dit is gevaarlijk! Omdat ze er zo mooi uitzien, vertrouwen mensen ze te snel. Maar net als bij ChatGPT zitten er nog steeds fouten in de anatomie.

3. De "Gouden Standaard" (Mensen)

De plaatjes die door menselijke experts (artsen) werden aangepast, waren de enige die echt betrouwbaar waren.

• Het resultaat: Bijna 50% van de menselijke plaatjes was direct goed te gebruiken.
• De metafoor: Dit is de kwaliteitscontroleur in de fabriek. Ze maken geen plaatjes die "leuk" zijn om te zien, maar ze zorgen dat elke schroef, elk vat en elke klep op de juiste plek zit. Ze zijn misschien wat minder "glad" dan de AI, maar ze zijn waarheidsgetrouw.

🧠 De Belangrijkste Lesjes van het Onderzoek

1. "Mooi" betekent niet "Waar"
De AI-systemen waren erg goed in het maken van plaatjes die er aantrekkelijk uitzagen. Mensen vonden ze vaak mooier dan de menselijke plaatjes. Maar in de medische wereld is mooi gevaarlijk als het onjuist is. Het is alsof een nepbankje in de tuin zo mooi is dat je erop gaat zitten, en dan valt je erdoorheen.

2. Specialisten zien meer dan leken
De onderzoekers keken ook naar wie de plaatjes beoordeelden.

• Hart-specialisten (de experts) waren veel kritischer. Ze zagen de fouten direct.
• Niet-specialisten (andere artsen) vonden de plaatjes vaak mooier en beter dan ze waren.
• De les: Als je geen expert bent, kun je makkelijk bedrogen worden door een mooie, maar onjuiste tekening. Je hebt een expert nodig om de "recept" te controleren voordat je het serveert.

3. AI is een "Schets", geen "Finaal Werk"
De beste manier om AI te gebruiken is niet om het plaatje direct te tonen aan studenten.

• Goed gebruik: Gebruik AI om een ruwe schets te maken. "Kijk, hier is een idee voor een hart."
• Fout gebruik: Het direct tonen aan studenten zonder controle.
• De analogie: AI is als een rechercheur die een eerste bewijsstuk vindt. Het is een startpunt. Maar voordat je naar de rechter gaat (de studenten), moet een senior rechercheur (de expert) het bewijsstuk controleren op fouten.

🏁 Conclusie in één zin

Generatieve AI kan prachtige plaatjes van harten maken, maar ze zitten vol met medische fouten die studenten in de war kunnen brengen. Gebruik AI alleen als een hulpmiddel dat door een menselijke expert wordt gecontroleerd, nooit als de enige bron van waarheid.

Kortom: Laat de AI de potloden vasthouden, maar laat de menselijke arts de tekening controleren voordat hij aan het bord hangt.

Technische samenvatting

Titel: Anatomische Nauwkeurigheid van Generatieve AI voor Illustraties van Aangeboren Hartafwijkingen: Een Blinde Vergelijkende Studie tussen Gemini NanoBanana en ChatGPT-modellen.

1. Probleemstelling

Generatieve kunstmatige intelligentie (GenAI) wordt steeds vaker gebruikt voor het creëren van medische illustraties in het onderwijs. Echter, de anatomische nauwkeurigheid van deze systemen in complexe domeinen zoals aangeboren hartafwijkingen (CHD) is onvoldoende gevalideerd. Hoewel AI-systemen visueel overtuigende beelden kunnen genereren, bestaat het risico dat ze subtiele maar kritieke structurele fouten bevatten (zoals verkeerde oorsprong van coronaire arteriën of verkeerde verbindingen van grote vaten). Deze fouten kunnen leiden tot verkeerde mentale modellen bij studenten, wat gevaarlijk is in een domein waar ruimtelijk inzicht cruciaal is voor chirurgische en medische interventies. Er ontbreekt vergelijkend bewijsmateriaal over hoe verschillende state-of-the-art modellen presteren bij het genereren van CHD-illustraties en of deze bruikbaar zijn voor educatieve doeleinden zonder menselijke supervisie.

2. Methodologie

De studie is opgezet als een assessor-verblindende vergelijkende studie.

• Data-sets en Modellen:
  • Er werden 20 veelvoorkomende CHD-afwijkingen en een normaal hart geselecteerd.
  • Drie AI-platforms werden getest: ChatGPT-5, ChatGPT-Images (een nieuw model gelanceerd in december 2025), en Gemini NanoBanana.
  • Voor elke anatomische categorie werden 8 afbeeldingen gegenereerd: 3 van ChatGPT-5, 3 van Gemini NanoBanana, 1 van ChatGPT-Images, en 1 menselijk aangepaste referentieafbeelding (afgeleid van autoritatieve bronnen, maar visueel gestileerd door een derde AI om blinding te garanderen).
  • Totaal aantal gegenereerde afbeeldingen: 168 (21 categorieën × 8 afbeeldingen).
• Prompting: Een gestandaardiseerde prompt werd gebruikt: "Teken een nauwkeurige medische illustratie van [CHD / normaal menselijk hart] ontworpen voor medische studenten, met duidelijke en correcte tekstlabels binnen de afbeelding om de anatomische structuren te verduidelijken."
• Evaluators: 20 artsen namen deel, verdeeld in twee groepen:
  • 10 CHD-experts (kindercardiologen en pediatrische consultants).
  • 10 niet-CHD-medische professionals (internisten, verpleegkundigen, etc.).
• Beoordelingskader: Elke afbeelding werd beoordeeld op vier domeinen (gescoord 1-3):
  1. Anatomische nauwkeurigheid (Accuraat, Gedeeltelijk, Gefabriceerd/Onjuist).
  2. Nut van tekstlabels.
  3. Visuele aantrekkelijkheid.
  4. Geschiktheid voor medisch onderwijs (Gebruikbaar "zoals het is", Naar aanpassing, Onbruikbaar).
  • Een totale kwaliteitsscore (4-12) werd berekend.
• Statistiek: Er werden Chi-kwadraat-tests, Mann-Whitney U-tests, Kruskal-Wallis-tests en een gemengd-effecten generalised linear model (GLM) gebruikt voor multivariabele analyse.

3. Belangrijkste Resultaten

Van de 2.940 uitgevoerde evaluaties (147 unieke afbeeldingen beoordeeld door 20 artsen) kwamen de volgende bevindingen naar voren:

• Anatomische Nauwkeurigheid:
  • Menselijk aangepaste afbeeldingen: 48,3% beoordeeld als accuraat.
  • Gemini NanoBanana: 22,7% accuraat.
  • ChatGPT-5 & ChatGPT-Images: Slechts 2,8% en 3,3% accuraat. De overgrote meerderheid (86,3% en 85,2%) werd beoordeeld als "gefabriceerd" of onjuist.
• Onderwijsgebruik ("Zoals het is"):
  • Menselijk aangepaste afbeeldingen: 37,9% direct bruikbaar.
  • Gemini NanoBanana: 13,1% direct bruikbaar.
  • ChatGPT-modellen: ≤ 2,1% direct bruikbaar.
• Visuele Aantrekkelijkheid vs. Nauwkeurigheid:
  • Gemini NanoBanana werd het vaakst beoordeeld als visueel aantrekkelijk (34,6%), zelfs hoger dan de menselijke referentie (16,4%). Dit creëert een gevaarlijke dissociatie: de meest aantrekkelijke AI-beelden waren niet de meest nauwkeurige.
• Totale Kwaliteitsscore:
  • Mediaan score voor menselijke en NanoBanana-afbeeldingen: 8.
  • Mediaan score voor beide ChatGPT-systemen: 4.
• Invloed van Expertise:
  • Cardiology-experts waren kritischer en scoorden de AI-afbeeldingen lager dan niet-cardiologen.
  • Experts herkenden complexiteit beter en waren gevoeliger voor anatomische fouten.
• Multivariabele Analyse:
  • De bron van de afbeelding was de sterkste voorspeller van kwaliteit.
  • ChatGPT-5 en ChatGPT-Images hadden een sterk verminderde kwaliteit (RR ≈ 0,57-0,60) ten opzichte van menselijke referenties.
  • Gemini NanoBanana presteerde het beste van de AI-modellen (RR = 0,94), maar bleef significant inferieur aan menselijke referenties.

4. Kernbijdragen

1. Empirisch Bewijs voor Fouten: De studie levert kwantitatief bewijs dat huidige generatieve AI-systemen, zelfs de nieuwste versies, structurele fouten maken in complexe anatomie (CHD) die onacceptabel zijn voor direct educatief gebruik.
2. Model-Vergelijking: Het onderscheidt duidelijk in prestaties tussen modellen. Gemini NanoBanana overtreft ChatGPT-modellen aanzienlijk in anatomische nauwkeurigheid, maar geen enkel AI-model kan de standaard van menselijk gecurateerde illustraties evenaren.
3. Het "Aantrekkelijkheidsval"-fenomeen: De studie benadrukt dat visuele aantrekkelijkheid geen proxy is voor anatomische correctheid. AI-beelden kunnen er zeer professioneel uitzien terwijl ze fundamenteel verkeerde anatomie tonen, wat een groot risico vormt voor het onderwijs.
4. Rol van Expertise: Het onderzoek toont aan dat niet-specialisten AI-afbeeldingen gunstiger beoordelen dan experts, wat suggereert dat AI-gebruik zonder expert-review leidt tot een overschatting van de kwaliteit.

5. Betekenis en Conclusie

De studie concludeert dat generatieve AI niet kan worden gebruikt als een onafhankelijke bron voor medisch onderwijs in congenitale hartziekten. De huidige technologie is te onbetrouwbaar voor directe toepassing in curriculum of patiënteducatie zonder strikte menselijke controle.

• Aanbeveling: AI-gegenereerde afbeeldingen moeten uitsluitend worden gebruikt als "drafts" of prototypes binnen een workflow die verplichte expert-review bevat.
• Beleid: Instellingen moeten governance-frames ontwikkelen die transparantie, verantwoordelijkheid en kwaliteitscontrole eisen voordat AI-inhoud in het onderwijs wordt geïntegreerd.
• Toekomst: Hoewel Gemini NanoBanana veelbelovend is, blijft de menselijke expertise onmisbaar voor het garanderen van de ruimtelijke en structurele integriteit van medische illustraties.