Evaluating Methods for Assessing LLM-Translated Clinical Discharge Instructions: A Comparison of Automated Metrics, MQM-Based Evaluation, and Clinician Review

Wenn ein Patient ein Krankenhaus verlässt, sind die Entlassungsanweisungen, die er erhält, mehr als nur eine Liste von Aufgaben; sie sind eine entscheidende Brücke zwischen professioneller Pflege und dem täglichen Leben. Wenn diese Anweisungen nicht verstanden werden, steigt das Risiko von Medikationsfehlern, versäumten Folgeterminen und einer Verschlechterung des Gesundheitszustands drastisch an. Für Patienten, deren Muttersprache Spanisch ist, muss diese Brücke in ihrer Muttersprache gebaut werden. Jahrzehntelang haben Krankenhäuser auf menschliche Übersetzer vertraut, um sicherzustellen, dass diese Dokumente korrekt sind, aber der rasante Aufstieg der künstlichen Intelligenz hat einen neuen, schnelleren Weg zur Erstellung dieser Übersetzungen eröffnet. Große Sprachmodelle, dieselbe Art von Technologie, die auch Aufsätze schreiben oder komplexe Fragen beantworten kann, werden nun daraufhin getestet, ob sie medizinische Dokumente mit der gleichen Sorgfalt und Präzision wie ein menschlicher Experte übersetzen können. Die zentrale Frage ist nicht nur, ob die Maschine Wörter übersetzen kann, sondern ob sie Bedeutung übersetzen kann – insbesondere wenn ein einziges falsches Wort das Verständnis eines Patienten über seine eigene Gesundheit verändern könnte.

Ein Forscherteam der University of Colorado School of Medicine machte sich daran, diese Frage zu beantworten, indem es testete, wie gut künstliche Intelligenz Krankenhaus-Entlassungsanweisungen aus dem Englischen ins Spanische übersetzt. Sie ließen den Computer nicht einfach nur übersetzen; sie entwickelten ein strenges Experiment, um zu sehen, wie unterschiedliche Arten der Anweisung an den Computer die Ergebnisse verändern würden. Sie nahmen zweihundert echte, anonymisierte Entlassungsanweisungen aus einer großen medizinischen Datenbank und speisten sie in drei verschiedene Modelle der künstlichen Intelligenz ein. Um zu sehen, ob es für die Maschine eine Rolle spielt, wie ein Mensch mit ihr spricht, verwendeten sie zwei unterschiedliche Methoden des Promptings. In einer Methode wiesen sie den Computer an, als erfahrener Kliniker auf einer Intensivstation zu agieren, der für die Übersetzung des Textes verantwortlich ist. In der anderen Methode gaben sie eine viel einfachere, wörtliche Anweisung, lediglich die Wörter zu übersetzen, ohne eine Rolle oder einen Kontext vorzugehen. Das Ziel war es zu sehen, ob die Rahmung der Maschine als Arzt zu besseren medizinischen Übersetzungen führen würde als die Behandlung als einfaches Werkzeug zum Austausch von Wörtern.

Um die Qualität dieser Übersetzungen zu beurteilen, nutzten die Forscher drei verschiedene Ansätze, die den Text aus jeweils unterschiedlicher Perspektive betrachteten. Zuerst verwendeten sie automatisierte Computermetriken, welche Standardwerkzeuge im Bereich der Sprachtechnologie sind und zählen, wie viele Wörter und Phrasen in der Übersetzung mit dem Originaltext übereinstimmen. Diese Werkzeuge sind schnell und können tausende Dokumente verarbeiten, konzentrieren sich jedoch primär auf oberflächliche Ähnlichkeiten. Zweitens verwendeten sie ein strukturiertes Framework namens Multidimensional Quality Metric, oder MQM. Diese Methode unterteilt die Übersetzung in spezifische Kategorien, wie etwa ob die medizinischen Fachbegriffe korrekt sind, ob der Tonfall angemessen für einen Patienten ist und ob die Grammatik natürlich fließt. Sie ließen ein System der künstlichen Intelligenz als Richter fungieren, um die Übersetzungen über diese Kategorien hinweg zu bewerten. Schließlich brachten sie – was am wichtigsten ist – menschliche Experten ein. Zwei zweisprachige Ärzte, die sowohl Englisch als auch Spanisch fließend beherrschen, überprüften eine zufällige Auswahl der Übersetzungen. Sie bewerteten die Dokumente anhand derselben strukturierten Kategorien und dienten damit als Goldstandard dafür, was eine qualitativ hochwertige, sichere Übersetzung ausmacht.

Die Ergebnisse offenbarten eine überraschende Diskrepanz zwischen dem, was die Computer als gut empfanden, und dem, was die menschlichen Ärzte als gut bewerteten. Die automatisierten Metriken, die Wortüberschneidungen zählen, bevorzugten konsistent die Übersetzungen, die durch die einfachen, wörtlichen Prompts generiert wurden. Wenn der Computer angewiesen wurde, lediglich Wort für Wort zu übersetzen, waren die automatisierten Scores höher, was darauf hindeutete, dass der Output näher am ursprünglichen englischen Text lag. Als die Forscher jedoch die strukturierten Qualitätsbewertungen und die menschlichen Rezensionen betrachteten, zeichnete sich ein anderes Bild ab. Die Übersetzungen, die durch den „Kliniker“-Prompt generiert wurden, bei dem der Computer gebeten wurde, als medizinischer Experte zu agieren, schnitten oft besser in Bezug auf Stil und Tonfall ab, selbst wenn die automatisierten Wortzählwertungen sie niedriger einstuften. Dies deutet darauf an, dass die Werkzeuge, die in der Vergangenheit zum Erfolg einer Übersetzung genutzt wurden, die Nuancen, die in einem Krankenhausumfeld am wichtigsten sind, möglicherweise nicht erfassen.

Als die Forscher die Punktzahlen verglichen, die die Systeme der künstlichen Intelligenz vergaben, mit denen die menschlichen Ärzte vergaben, war die Übereinstimmung überraschend gering. Die Computer und die menschlichen Experten waren sich oft uneinig darüber, ob eine Übersetzung korrekt oder ob die medizinische Terminologie richtig war. Die höchste Übereinstimmung zwischen der Maschine und den menschlichen Experten wurde in Bereichen wie Formatierung und lokalen Konventionen gefunden, wo Regeln klar und objektiv sind. In den kritischsten Bereichen jedoch – wie etwa der Genauigkeit der medizinischen Bedeutung und der Angemessenheit der Sprache für einen Patienten – sahen die Maschine und der Mensch jedoch häufig Dinge unterschiedlich. Selbst die zwei menschlichen Ärzte waren sich nicht immer untereinander einig, was verdeutlicht, dass die Beurteilung medizinischer Übersetzungen ein Maß an menschlicher Interpretation erfordert, das schwer zu automatisieren ist. Die Studie ergab, dass die Modelle der künstlichen Intelligenz zwar im Allgemeinen qualitativ hochwertige Übersetzungen produzierten, ihre größten Schwierigkeiten jedoch genau in jenen Bereichen lagen, die das tiefste Verständnis des klinischen Kontextes erfordern.

Die Forscher kamen zu dem Schluss, dass keine einzelne Methode ausreicht, um die Sicherheit übersetzter medizinischer Dokumente zu gewährleisten. Die automatisierten Werkzeuge sind nützlich, um große Mengen an Text schnell zu prüfen, und die strukturierten Bewertungssysteme helfen dabei, die Evaluierung zu organisieren, aber keines von beiden kann das Urteil eines menschlichen Experten vollständig ersetzen. Die Studie legt nahe, dass der beste Ansatz ein geschichteter ist: die Nutzung schneller, automatisierter Prüfungen, um offensichtliche Fehler herauszufiltern, gefolgt von gezielten Überprüfungen durch menschliche Kliniker für die kritischsten Teile des Textes. Diese Kombination stellt sicher, dass die Effizienz der künstlichen Intelligenz durch die notwendige menschliche Aufsicht ausgeglichen wird, um die Patientensicherheit zu schützen. Die Ergebnisse dienen als Erinnerung daran, dass in Hochrisikoumgebungen wie dem Gesundheitswesen die Fähigkeit, Wörter zu übersetzen, nicht dasselbe ist wie die Fähigkeit, Fürsorge zu kommunizieren, und dass menschliche Expertise ein wesentlicher Bestandteil des Prozesses bleibt.