Technischer Bericht: Prospektive Implementierung der multimodalen KI-Bewertung für OSCEs von Medizinstudierenden

Problemstellung

Die Objective Structured Clinical Examination (OSCE) gilt als Goldstandard zur Bewertung der klinischen Kompetenz in der medizinischen Ausbildung, wobei Anamnese, körperliche Untersuchung, Kommunikation und klinisches Denken evaluiert werden. Die traditionelle Durchführung von OSCEs ist jedoch ressourcenintensiv und erfordert geschulte Evaluatoren, manuelle Rubrik-Bewertungen sowie einen erheblichen zeitlichen Aufwand durch Menschen. An der Institution der Autoren (UT Southwestern) erforderte die manuelle Bewertung der Dokumentation nach dem Patientenkontakt allein jährlich etwa 1.120 Stunden und 56.000 US-Dollar. Diese Einschränkungen begrenzen die Häufigkeit der Assessments, verzögern die Rückmeldung an die Lernenden (oft um Monate) und behindern die Ausweitung der formativen Bewertung. Während Large Language Models (LLMs) vielversprechende Ergebnisse bei der Bewertung schriftlicher Antworten gezeigt haben, erfordert eine umfassende OSCE-Bewertung die gleichzeitige Auswertung von Text, Audio und Video. Bestehende fertige multimodale Modelle zeigten Limitationen bei nuancierten klinischen Bewertungen, und es mangelt an Evidenz aus groß angelegten, prospektiven pädagogischen Implementierungen.

Methodik

Die Autoren berichten über den ersten prospektiven Einsatz von MAPLES (Multimodal Assessment Pipeline for Learning Encounter Scoring), einem rubrikgesteuerten Zero-Shot-KI-System, während der Fall 2025 OSCE-Durchführung am UT Southwestern Medical Center.

Systemarchitektur und Workflow

• Datenerfassung: Das System erfasste drei synchronisierte Datenströme von 222 Medizinstudierenden im zweiten Studienjahr über fünf Stationen hinweg: schriftliche klinische Notizen, Audioaufnahmen des Gesprächs und synchronisiertes Drei-Kamera-Video (patientenorientiert, ärzteorientiert und Draufsicht).
• Bewertungslogik: MAPLES nutzte einen Zero-Shot-Ansatz. Von der Fakultät erstellte Rubriken (strukturierte Excel-Dateien) wurden hochgeladen, und das System konstruierte dynamisch Prompts für jedes Item. Es erfolgte kein aufgabenspezifisches Fine-Tuning oder die Bereitstellung von Few-Shot-Beispielen.
  • Text: Die Notizen wurden als reiner Text verarbeitet.
  • Audio: Das Audio wurde direkt ohne Zwischentranskription verarbeitet, um verbalen Inhalt, Tonfall und Rapport zu bewerten.
  • Video: Ein automatisierter Vorverarbeitungsschritt (mittels Zero-Shot-Segmentierung) isolierte Segmente der körperlichen Untersuchung vor der Bewertung.
• Modellkonfiguration: Das System nutzte Gemini 2.5 Pro (Google DeepMind) für die Inferenz mit einer Temperatur von 0 und einem Top-p von 1, unter Verwendung von strukturierten Output-Constraints, um sicherzustellen, dass die Scores dem Rubrik-Schema entsprachen. Gemini 2.5 Flash wurde für die Videosegmentierung verwendet.
• Human-in-the-Loop-Workflow:
  1. Erster Durchgang der KI-Bewertung: Die KI bewertete alle 72.907 zurückgehaltenen Item-Level-Scores.
  2. Routing: Lernende, die in den untersten 5 % (Notizen) oder den untersten 10 % (Audio/Video) lagen, wurden zur unabhängigen menschlichen Überprüfung weitergeleitete.
  3. Blinde SPE-Bewertung: Standardisierte Patienten-Evaluatoren (SPEs) bewerteten die gerouteten Items unabhängig neu, wobei sie gegenüber den KI-Scores blind waren.
  4. Adjudikation: Items, bei denen die KI- und die SPE-Scores über eine vordefinierte Toleranz hinaus voneinander abwichen (Exakt-Übereinstimmung bei binären; $\le$1 Kategorie Differenz bei ordinalen Werten), wurden zur finalen Adjudikation an Fachärzte eskaliert. Die Ärzte überprüften sowohl die Scores als auch die zugrunde liegenden Belege.

Studiendesign

• Kohorte: 222 Studierende, 10 Stationsformulare, 330–333 Assessment-Items pro Student.
• Review-Set: 28 einzigartige Lernende wurden zur Überprüfung geroutet (12 für Notizen, 23 für Audio/Video, 7 für beides).
• Adjudikations-Set: 616 echte Unstimmigkeiten (oh-ne Daten-/Rubrikfehler) wurden von Ärzten überprüft.
• Governance: Ein multidisziplinäres Aufsichtskomitee überwachte die Modellwahl, Schwellenwerte und Deployment-Zyklen, um eine iterative Verfeinerung zu gewährleisten.

Kernergebnisse

Übereinstimmung und Adjudikation

• KI–SPE-Übereinstimmung: Im gerouteten Low-Scoring-Review-Set war die tolerante Übereinstimmung (Zulassung einer Kategoriedifferenz bei ordinalen Items) hoch: 85,7 % für Notizen, 89,2 % für Audio und 92,4 % für Video. Die exakte Übereinstimmung war niedriger (72,0 % insgesamt), bedingt durch die Komplexität der Audio/Video-Bewertung.
• Ärztliche Adjudikation: Unter den 616 eskalierten Unstimmigkeiten stimmten die Fachärzte in 76,0 % der Fälle mit dem KI-Score überein, im Vergleich zu 19,0 % beim SPE-Score (und 5,0 % bei keinem der beiden). Diese Präferenz für die KI hielt über alle Modalitäten hinweg an, war jedoch am höchsten bei Notizen (81,6 %) und am niedrigsten bei Video (51,5 %).
• Richtung der Abweichung: Ärzte neigten eher dazu, der KI zuzustimmen, unabhängig davon, ob die KI höher oder niedriger als der SPE bewertete, was darauf hindeutet, dass die KI die Scores nicht einfach künstlich aufbläht.

Fehleranalyse

• SPE-Fehler: Die Hauptfaktoren für SPE-Fehler waren „Beweisübersehen“ (35,1 %) und „Klinisches Wissen“ (24,4 %), wobei oft die semantische Äquivalenz von Terminologien nicht erkannt wurde.
• KI-Fehler: Die Hauptfaktoren für KI-Fehler waren „Zu permissive Bewertung“ (37,8 %) und „Falsche Dokumentationsplatzierung“ (25,2 %), wobei die KI korrekte Antworten in der falschen Sektion der Notiz anrechnete. Ein kleiner Teil (9,4 %) betraf „Fabrizierte Belege“ (Halluzinationen).
• Rubrikqualität: „Mangelnde Spezifität der Rubriken“ war ein häufiger Faktor für Fehler sowohl bei Menschen als auch bei der KI, was die Notwendigkeit eines präzisen Rubrik-Designs unterstreicht.

Operative Effizienz

• Arbeitsbelastungsreduktion: Der KI-gestützte Workflow erforderte 5.616 menschliche Bewertungsdurchgänge im Vergleich zu 72.907 in einem hypothetischen Single-Pass-Manuellen Workflow. Dies entspricht einer Reduktion des menschlichen Bewertungsaufwands um 92,3 %.
• Turnaround-Zeit: Die Zeit von der Prüfung bis zum Erhalt der Leistungsberichte wurde von mehreren Monaten auf unter zwei Wochen reduziert.
• Kosten: Die marginalen Inferenzkosten wurden auf ca. 1,73 USD pro Encounter geschätzt (0,12 USD Notizen, 0,28 USD Audio, 1,31 USD Video), exklusive fixer Entwicklungskosten.

Bedeutung und Ansprüche

Die Arbeit behauptet, die erste prospektive Implementierung eines integrierten multimodalen KI-Systems für die OSCE-Bewertung in der medizinischen Grundausbildung zu präsentieren. Die Autoren betonen, dass der primäre Beitrag nicht die Entfernung des menschlichen Urteilsvermögens ist, sondern die Neuverteilung der menschlichen Kapazität.

• Operative Machbarkeit: Die Studie zeigt, dass multimodale KI in den Routinebetrieb von OSCEs eingebettet werden kann, indem sie die Erstbewertung für die gesamte Kohorte übernimmt und die menschliche Überprüfung auf den „Low-Scoring-Tail“ konzentriert, wo Remediation am kritischsten ist.
• Experten-Alignment: Die Erkenntnis, dass Ärzte die KI-Scores gegenüber den SPE-Scores bevorzugten, deutet darauf hin, dass das KI-System Nuancen der Bewertung erfasst, die eng mit dem klinischen Expertenurteil übereinstimmen, und potenziell die Konsistenz herkömmlicher SPE-Evaluationen übertrifft.
• Systemische Verbesserung: Die Implementierung deckte systemische Probleme des Status Quo auf, einschließlich der Zuverlässigkeit menschlicher Bewerter, der Rubrikqualität und der Prozessineffizienzen. Die Autoren argumentieren, dass die KI Pädagogen befähigt, sich auf das „Was zu bewerten ist“ (Rubrik- und Falldesign) statt auf das „Wie zu bewerten ist“ zu konzentrieren.
• Skalierbarkeit: Das Zero-Shot-, rubrikgesteuerte Design ermöglicht den Transfer von Bewertungsfähigkeiten auf neue Stationen oder Rubrikänderungen ohne Modell-Retraining, was die Erweiterung der Häufigkeit und des Umfangs der Assessments unterstützt.

Die Autoren wahren einen moderaten Ton hinsichtlich der Generalisierbarkeit und merken an, dass die Ergebnisse spezifisch für die Infrastruktur und die Rubriken einer einzelnen Institution sind. Sie räumen Einschränkungen ein, wie die fehlende geblindete Adjudikation für die gesamte Kohorte, die Konzentration der Analyse auf den Low-Scoring-Tail sowie die Notwendigkeit weiterer Validierungen bezüglich demografischer Fairness und Halluzinationsraten. Die Arbeit wird als ein grundlegender Schritt hin zu einem durch Pädagogen gesteuerten, KI-gestützten Bewertungssystem gerahmt.