Validation asymmetry in generative AI–generated clinical educational content: a scoping review

Stellen Sie sich ein Klassenzimmer vor, in dem der Lehrer eine künstliche Intelligenz ist, die in der Lage ist, medizinische Fallstudien zu schreiben, anatomische Diagramme zu zeichnen und Gespräche mit Patienten in Sekundenschnelle zu simulieren. Diese Technologie, bekannt als generative künstliche Intelligenz, hält rasant Einzug in medizinische Fakultäten und Ausbildungsprogramme für Pflegekräfte, Ärzte und andere Gesundheitsberufe. Sie verspricht, endlose Lernmaterialien zu erstellen, die flüssig, plausibel und auf bestimmte Studierende zugeschnitten sind. Doch während diese Werkzeuge immer häufiger werden, ist eine kritische Frage aufgetaucht: Nur weil die KI eine überzeugende Geschichte oder ein realistisches Bild erzeugen kann, bedeutet das schon, dass der Inhalt tatsächlich sicher und fair für den Unterricht ist? Das Kernproblem ist nicht, ob die Maschine sprechen oder zeichnen kann, sondern ob die generierten Informationen korrekt sind, ob sie alle Arten von Menschen fair behandelt und ob die Methoden, die zur Erstellung verwendet wurden, transparent genug sind, um vertrauenswürdig zu sein.

Eine aktuelle umfassende Überprüfung der zwischen 2020 und 2026 veröffentlichten Forschungsergebnisse ging genau dieser Frage nach. Die Forscher untersuchten 161 Studien, die sich damit befassten, wie generative KI zur Erstellung von Bildungsinhalten für Gesundheitsberufe eingesetzt wird. Sie waren nicht daran interessiert, ob den Studierenden die KI gefiel oder wie schnell sie arbeitete. Stattdessen konzentrierten sie sich auf drei spezifische Bereiche der Validierung: ob die medizinischen Fakten korrekt waren, ob die in den Inhalten darggestellten Personen und Gruppen fair repräsentiert wurden, ohne schädliche Stereotypen zu verwenden, und ob die Strategien, die zur Behebung von Fehlern eingesetzt wurden, tatsächlich funktionierten. Das Team stellte ein auffälliges Ungleichgewicht bei der Überprüfung dieser verschiedenen Aspekte fest. Während fast jede Studie prüfte, ob die medizinischen Fakten richtig waren, prüften sehr wenige, ob der Inhalt fair gegenüber verschiedenen Bevölkerungsgruppen war, und noch weniger testeten, ob die von ihnen vorgeschlagenen Korrekturen die Probleme tatsächlich lösten.

Die Forscher entdeckten, dass von den 161 untersuchten Studien 156, also fast 97 Prozent, die Repräsentationsgenauigkeit (representational fidelity) überprüften. In einfachen Worten ausgedrückt bedeutet dies, dass sie verifizierten, ob der Output der KI medizinisch korrekt war, ob er echte Fakten enthielt und ob er vermeidbare Informationen oder „Halluzinationen“ bezüglich Details enthielt. Dies ist eine lebenswichtige Prüfung, da es für einen Medizinstudenten, der von einer falschen Diagnose lernt, gefährlich sein könnte. Als die Forscher jedoch nach Studien suchten, die auf demografische Verzerrungen (Demographic Bias) prüften – etwa ob die KI bestimmte Rassen, Geschlechter oder Altersgruppen konsistent auf stereotype Weise darstellte oder sie gänzlich ausließ –, fanden sie nur 21 Studien. Das sind lediglich 13 Prozent der Gesamtzahl. Unter jenen wenigen Studien, die nach Bias suchten, stellten 18 fest, dass die KI tatsächlich Stereotypen reproduzierte oder unausgewogene Darstellungen erzeugte. So zeigten einige generierte Bilder beispielsweise Pflegekräfte oder Ärzte, die ausschließlich einer einzigen Geschlechtsidentität oder ethnischen Zugehörigkeit angehörten, und einige klinische Fälle verknüpften bestimmte Krankheiten in einer Weise mit bestimmten ethnischen Gruppen, die nicht der Realität entsprach.

Diese mangelnde Aufmerksamkeit ist das, was die Autoren eine „Validierungsasymmetrie“ nennen. Es deutet darauf hin, dass das Fachgebiet derzeit sehr gut darin ist, die Frage zu stellen: „Ist dieser Fakt korrekt?“, aber noch nicht die Frage stellt: „Ist das für alle fair?“ Die Überprüfung hob auch hervor, dass die getesteten Inhalte hauptsächlich aus Text bestanden, während eine geringere Anzahl von Studien Bilder oder Gespräche untersuchte. Überraschenderweise hatte keine der Studien, die konversationelle KI untersuchten – wie etwa virtuelle Patienten, die mit Studierenden sprechen –, diese demografischen Verzerrungen explizit überprüft. Das bedeutet nicht, dass die Verzerrung in diesen Gesprächen nicht vorhanden ist; es bedeutet lediglich, dass bisher niemand danach gesucht hat. Die Forscher merkten auch an, dass viele Studien zwar Wege vorschlugen, um diese Fehler zu beheben – etwa durch die Änderung der Anweisungen (Prompts) an die KI oder durch die Überprüfung des Outputs durch menschliche Experten –, aber nur ein kleiner Bruchteil tatsächlich testete, ob diese Korrekturen funktionierten. In den wenigen Fällen, in denen die Korrekturen getestet wurden, waren die Ergebnisse gemischt, wobei viele Strategien die Probleme nur teilweise lösten, statt sie vollständig zu eliminieren.

Ein weiterer bedeutender Befund betraf die Transparenz. Damit eine Studie nützlich ist, müssen andere Wissenschaftler genau wissen, wie die KI verwendet wurde, damit sie das Experiment wiederholen können. Dennoch gaben die Autoren in 122 der 161 Studien nicht die spezifischen Einstellungen oder Parameter an, die zur Generierung der Inhalte verwendet wurden. Ohne diese Details ist es unmöglich zu wissen, ob die Ergebnisse heute bei einer Wiederholung der Studie dieselben wären, insbesondere da sich diese KI-Systeme häufig ändern und aktualisieren. Die Überprüfung ergab auch, dass die meisten Studien nicht berichteten, wer die Forschung finanzierte oder ob die Forscher irgendwelche Interessenkonflikte hatten, was Standarddetails sind, die man benötigt, um wissenschaftliche Erkenntnisse zu vertrauen.

Die Schlussfolgerung dieser Untersuchung ist nicht, dass die generative KI fehlerhaft ist, sondern dass die Art und Weise, wie wir ihre Arbeit überprüfen, unvollständig ist. Die Autoren argumentieren, dass generative KI-Inhalte erst dann sicher in der Ausbildung eingesetzt werden können, wenn sie als multidimensionale Ressource validiert werden. Das bedeutet: Bevor eine medizinische Fakultät eine KI-geschriebene Fallstudie verwendet, muss sie nicht nur verifizieren, dass die Diagnose korrekt ist, sondern auch, dass der Patient in der Geschichte eine realistische Vielfalt an Menschen repräsentiert und dass die Schritte zur Sicherstellung der Fairness tatsächlich nachgewiesen wurden. Der derzeitige Fokus auf die rein faktische Genauigkeit ist unzureichend. Da diese Werkzeuge zu einem Standardbestandteil der medizinischen Ausbildung werden, müssen die Standards für ihre Validierung erweitert werden, um Fairness und Transparenz einzubeziehen und sicherzustellen, dass die Zukunft der medizinischen Ausbildung auf Inhalten basiert, die nicht nur intelligent, sondern auch gerecht und zuverlässig sind.