From clinician review to measurable human oversight of AI-drafted paediatric discharge documents

Wenn ein Kind ein Krankenhaus der Notaufnahme verlässt, erhält die Familie ein Dokument, das zwei schwierige Aufgaben gleichzeitig erfüllen muss. Es muss dem nächsten Arzt genau sagen, was passiert ist und welche Behandlung durchgeführt wurde, unter Verwendung präziser medizinischer Fachsprache. Gleichzeitig muss es dieselben Ereignisse den besorgten Eltern in einfachen Worten erklären, damit sie wissen, wie sie das Kind zu Hause pflegen und wann sie zurückkehren sollen, wenn sich die Situation verschlechtert. Jahrzehntelang haben Ärzte diese Zusammenfassungen von Hand geschrieben oder feste Formulare ausgefüllt – ein Prozess, der langsam sein kann und manchmal wichtige Details auslässt oder eine Sprache verwendet, die schwer zu verstehen ist. Vor kurzem ist eine neue Art von Computerprogramm, bekannt als ein großes Sprachmodell, aufgetaucht. Diese Programme können die Krankenakte eines Patienten lesen und in Sekundenschnelle einen Entwurf für eine Entlassungszusammenfassung schreiben. Die Hoffnung ist, dass diese Werkzeuge die Dokumente klarer machen und die Erstellung beschleunigen. Doch eine entscheidende Frage bleibt: Wenn ein Computer den ersten Entwurf schreibt, erkennt der Arzt dann tatsächlich die Fehler, die der Computer macht, bevor die Familie das Papier mit nach Hause nimmt?

In einem Krankenhaus in Montpellier, Frankreich, setzten sich Forscher daran die Beine, um diese Frage zu beantworten, indem sie beobachteten, wie Ärzte in Echtzeit mit diesen neuen Werkzeugen interagieren. Sie fragten die Ärzte nicht einfach nur, ob ihnen die Arbeit des Computers gefiel; sie beobachteten den gesamten Prozess vom Moment an, in dem der Computer einen Entwurf erstellte, bis zu dem Moment, in dem der Arzt das endgültige Papier unterzeichnete. Das Team rekrutierte 153 Kinder, die aus der pädiatrischen Notaufnahme nach Hause entlassen wurden. Sie teilten diese Familien in zwei Gruppen auf. Eine Gruppe erhielt die Standard-Entlassungszusammenfassung, die das Krankenhaus schon immer verwendet hatte, zusammengestellt aus einer festen Vorlage. Die andere Gruppe erhielt eine Zusammenfassung, die von einem Computerprogramm entworfen wurde, das auf den eigenen sicheren Servern des Krankenhauses lief, und die dann von demselben Arzt überprüft und unterzeichnet wurde, der das Kind behandelt hatte. Die Forscher bewahrten jede Version des Dokuments auf: die ursprünglichen medizinischen Notizen, den ersten Entwurf des Computers und das endgültige Papier, das an die Familie übergeben wurde. Dies ermöglichte es ihnen zu sehen, was der Computer änderte, was der Arzt änderte und welche Fehler durchgeschlüpft sein könnten.

Die Ergebnisse zeigten, dass der Computer sehr gut darin war, die Sprache zu vereinfachen. Die Dokumente, die für Familien in der computergestützten Gruppe geschrieben wurden, verwendeten gebräuchlichere Wörter und weniger technische Begriffe als die Standarddokumente. Als die Forscher jedoch einige Tage später überprüften, wie gut die Familien die Anweisungen tatsächlich verstanden hatten, gab es keinen Unterschied zwischen den beiden Gruppen. Ob das Dokument nun von einer Vorlage oder von einem Computer geschrieben wurde, die Familien erinnerten sich mit ähnlicher Genauigkeit an den Nachsorgeplan und die Warnsignale, auf die sie achten mussten. Tatsächlich hatten in beiden Gruppen fast die Hälfte der Familien die Details des Nachsorgeplans falsch verstanden, was darauf hindeutet, dass das Problem nicht nur darin liegt, wie die Worte geschrieben werden, sondern darin, wie die Informationen im geschäftigen Moment der Entlassung kommuniziert werden.

Der aufschlussreichste Teil der Studie war das, was hinter den Kulissen geschah, wenn der Arzt den Entwurf des Computers überprüfte. Die Forscher fanden heraus, dass der Computer zwar Fehler machte, die Ärzte aber aktive und sorgfältige Editoren waren. In der Gruppe, in der der Computer den Entwurf schrieb, änderten die Ärzte den Text in fast jedem einzelnen Fall. Sie entfernten Informationen, die der Computer erfunden hatte und die nicht in der Krankenakte standen, und sie korrigierten Fehler, bei denen der Computer eine medizinische Abkürzung missverstanden hatte. Zum Beispiel weitete der Computer manchmal einen kurzen medizinischen Code in den falschen Vollbegriff aus, wodurch eine Beschreibung von Harnwegssymptomen in eine völlig andere medizinische Erkrankung umgewandelt wurde. Die Ärzte korrigierten nur einen kleinen Bruchteil dieser spezifischen Fehler: Sie korrigierten 6 von 22 fehlerhaften Erweiterungen von Abkürzungen, was bedeutete, dass 16 dieser Fehler in den den Familien übergebenen Dokumenten verblieben. Dies deutet darauf hin, dass erfundene Fakten leicht zu erkennen sind, weil sie seltsam aussehen, aber subtile Fehler in medizinischen Begriffen völlig normal aussehen können und selbst einer sorgfältigen Überprüfung entgehen können.

Entscheidend war, dass die Studie ergab, dass kein Fehler in den an die Ärzte übergebenen Dokumenten als schwerwiegend genug eingestuft wurde, um Schaden anzurichten. Der Computer erfand keine gefährlichen medizinischen Ratschläge, und die Ärzte fingen die kritischsten Probleme ab. Die Forscher entdeckten jedoch auch, dass der Computer andere Arten von Informationen verlor als die Standardvorlage. Die Standardvorlage versäumte es schlichtweg, bestimmte Felder, wie etwa frühere Allergien, auf eine vorhersehbare Weise zu übertragen. Der Computer hingegen ließ manchmal spezifische Details darüber weg, wer eine medizinische Meinung abgegeben hatte, oder ließ negative Befunde weg, die in den Notizen festgehalten waren. Diese Verluste waren nicht immer offensichtlich im Endtext, was bedeutet, dass ein Arzt nicht merken würde, dass etwas fehlte, sofern er das endgültige Papier nicht direkt mit den ursprünglichen Notizen vergleicht.

Die Studie kommt zu dem Schluss, dass diese Computerwerkzeuge zwar helfen können, medizinische Dokumente leichter lesbar zu machen, sie aber nicht automatisch sicherer oder genauer machen. Der menschliche Arzt bleibt essenziell, aber seine Rolle hat sich verändert: von der Erstellung des Textes hin zur sorgfältigen Überprüfung desselben. Die Forscher argumentieren, dass wir nicht einfach davon ausgehen können, dass ein Arzt jeden Fehler entdeckt hat, nur weil er das Papier unterzeichnet hat. Um wirklich zu messen, wie gut Menschen diese Werkzeuge überwachen, müssen wir nicht nur das Endergebnis sehen, sondern auch die Schritte dazwischen: was der Computer schrieb, was der Arzt sah und was der Arzt zu korrigieren oder unverändert zu lassen entschied. Bis wir auch diese Schritte messen können, können wir nicht sicher sein, dass das Sicherheitsnetz der menschlichen Überprüfung alles einfängt, was es einfangen muss. Die Arbeit legt nahe, dass die Zukunft der medizinischen Dokumentation nicht nur von besseren Computern abhängen wird, sondern von besseren Wegen für Ärzte, die Arbeit zu sehen und zu korrigieren, die diese Computer produzieren.