Accuracy and Limitations of AI Scoring for Objective Medical Interview Checklist Items in a Year-One School of Medicine Objective Structured Clinical Examination (OSCE)

In medizinischen Fakultäten ist das Erlernen des Gesprächs mit Patienten ebenso entscheidend wie das Erlernen der Untersuchung von Patienten. Um sicherzustellen, dass Studierende bereit für die reale Welt sind, nutzen Lehrende eine Testmethode, die als Objective Structured Clinical Examination bezeichnet wird. In diesem Setting setzt sich ein Student mit einem geschulten Schauspieler zusammen, der einen Patienten spielt. Der Student muss die richtigen Fragen stellen, um eine medizinische Anamnese zu erheben, und der Schauspieler bewertet den Studenten anhand einer strengen Checkliste darüber, was gefragt wurde und wie gut es durchgeführt wurde. Dieser Prozess ist der Goldstandard für die Vermittlung klinischer Fähigkeiten, aber er ist auch unglaublich arbeitsintensiv. Er erfordert Stunden des Trainings für die Schauspieler, die gleichzeitig konsistent bleiben und gleichzeitig die Leistung des Studenten beurteilen müssen, und er verlangt, dass Fakultätsmitglieder unzählige Stunden damit verbringen, diese Interaktionen zu überprüfen, um Fairness zu gewährleisten. Da künstliche Intelligenz immer fähiger wird, Gespräche zuzuhören und Sprache zu verstehen, haben Lehrende begonnen zu fragen, ob ein Computer die Bewertung übernehmen könnte. Die Hoffnung ist, dass eine Maschine die Aufnahme zu hören, die erforderlichen Fragen abzuhaken und den Studenten in einem Bruchteil der Zeit bewerten kann, die ein Mensch benötigt, wodurch Ressourcen für mehr Lehre frei werden.

Ein Forschungsteam an der University of Texas Medical Branch in Galveston setzte sich mit dem Ziel daran, diese Idee zu testen: zu sehen, ob künstliche Intelligenz die objektiven Teile eines medizinischen Interviews genau bewerten kann. Sie konzentrierten sich auf eine Prüfung im ersten Studienjahr der Medizin, an der 234 Studenten teilnahmen. In dieser Prüfung wurden die Studenten während des Interviews mit einem standardisierten Patienten aufgezeichnet, und menschliche Schauspieler hatten sie bereits anhand von zwölf spezifischen Checklistenpunkten bewertet, wie etwa die Frage nach dem Ort des Schmerzes, der Schwere der Symptome oder der Familienanamnese des Patienten. Die Forscher nahmen die Videoaufnahmen dieser Begegnungen und wandelten sie in Texttranskripte um. Diese Transkripte speisten sie dann in eine Softwareplattform ein, die mit künstlicher Intelligenz ausgestattet war, wobei sie mit Prompts programmiert wurde, die darauf ausgelegt waren, dieselben zwölf Checklistenpunkte zu finden. Dem Computer wurde gesagt, er solle wie ein Prüfer agieren und für jeden im Text erkannten Punkt einen Punkt vergeben. Das Team verglich dann die vom Computer generierten Punkte mit den von den menschlichen Schauspielern vergebenen Punkten, um Unterschiede zu finden und zu verstehen, warum diese auftraten.

Die Ergebnisse zeigten, dass die künstliche Intelligenz ein fähiger, wenn auch nicht perfekter Assistent war. Als die Forscher die Computer-Noten mit den menschlichen Noten verglichen, fanden sie ein moderates Maß an Übereinstimmung. Die durchschnittliche Gesamtpunktzahl, die der Computer vergab, war fast identisch mit der, die die Menschen vergaben, wobei der Computer durchschnittlich 11,51 von möglichen 12 Punkten vergab, während die Menschen 11,60 vergaben. In Bezug auf die Zeit war der Unterschied eklatant. Der menschliche Bewertungsprozess, der das Training der Schauspieler und die Überprüfung der Prüfungen beinhaltete, dauerte für diese Gruppe von Studenten etwa 56 Stunden. Der Computer analysierte, sobald das System eingerichtet war, alle 234 Interviews und generierte die Bewertungen in weniger als drei Stunden. Dies deutet darauf hin, dass die Maschine für die spezifische Aufgabe, faktische Fragen in einem medizinischen Interview abzuhaken, die schwere Arbeit mit bemerkenswerter Geschwindigkeit und einem hohen Grad an Konsistenz erledigen kann.

Die Studie zeigte jedoch auch genau auf, wo die Maschine strauchelte. Von fast 2.800 einzelnen Bewertungsentscheidungen gab es 83 Fälle, in denen der Computer und der menschliche Schauspieler uneinig waren. Als die Forscher diese Fehler genau untersuchten, fanden sie vier Hauptgründe für die Diskrepanz. Erstens ist der Computer vollständig von der Qualität des Textes abhängig, den er liest. Wenn die Audioaufnahme leise war, wenn zwei Personen gleichzeitig sprachen oder wenn Hintergrundgeräusche das Gespräch unterbrachen, könnte die Transkriptionssoftware ein Wort übersehen oder falsch gehört haben. Wenn ein Student beispielsweise fragte, ob der Schmerz „ausstrahlt“ (radiates), die Software es aber als „resoniert“ (resonates) transkribierte, würde die KI den korrekten medizinischen Begriff nicht erkennen und die Frage als fehlend markieren.

Zweitens hat der Computer Schwierigkeiten mit der Art und Weise, wie Menschen tatsächlich sprechen. Studenten formulieren ihre Fragen oft auf einzigartige oder indirekte Weise, die ein menschlicher Darsteller sofort verstehen kann, aber ein Computer könnte sie übersehen, wenn er nach einem spezifischen Satz von Wörtern sucht. Wenn ein Student fragte: „Bleibt der Schmerz an einer Stelle?“, anstatt des erwarteten „Strahlt der Schmerz aus?“, würde ein Mensch die Leistung für das Verständnis des Konzepts anerkennen, aber der Computer, der starren Regeln folgt, würde dies vielleicht nicht tun. Drittens kann der Computer keine nonverbalen Signale sehen oder hören. In einem echten Interview nickt ein Patient vielleicht oder zeigt auf seinen Magen, um eine Frage zu beantworten, und ein menschlicher Darsteller würde dem Studenten die Anerkennung für diese Interaktion geben. Da der Computer nur das Texttranskript liest, kann er das Nicken oder das Zeigen nicht sehen, und markiert die Frage daher als unbeantwortet. Schließlich gab es Unterschiede in der Beurteilung. Manchmal vergab der menschliche Darsteller Anerkennung für eine implizite Bedeutung, die der Student beabsichtigt hatte, während der Computer verlangte, dass der Student genau die Wörter ausspricht, die auf der Checkliste stehen.

Die Forscher kamen zu dem Schluss, dass künstliche Intelligenz zwar ein leistungsstarkes Werkzeug zur Beschleunigung der Bewertung strukturierter, objektiver Checklisten ist, aber noch nicht bereit ist, das menschliche Urteilsvermögen vollständig zu ersetzen. Der Computer ist exzellent darin, spezifische Wörter in einem Transkript zu finden, aber er besitzt nicht die Fähigkeit, Kontext, Tonfall oder die subtile Absicht hinter der Frage eines Studenten zu verstehen. Die Studie legt nahe, dass der beste Einsatz dieser Technologie in der Funktion eines Unterstützungswerkzeugs liegt. Sie kann die erste Phase der Bewertung übernehmen und so Lehrkräften Dutzende von Stunden ersparen, aber ein Mensch muss die Ergebnisse dennoch überprüfen, um die Fehler abzufangen, die durch schlechte Audioqualität, einzigartige Formulierungen oder nonverbale Kommunikation entstehen. Bis die Technologie in der Lage ist, die volle Nuance eines menschlichen Gesprächs, einschließlich dessen, was ungesagt bleibt, zuverlässig zu interpretieren, muss das letzte Wort bei der Bewertung der klinischen Fähigkeiten eines Studenten beim Menschen bleiben. Die Zukunft der Bewertung in der medizinischen Ausbildung könnte in einer Partnerschaft bestehen, in der die Maschine das Volumen bewältigt und der Mensch das Urteilsvermögen übernimmt, um sicherzustellen, dass Studenten fair und effizient bewertet werden.