When Patients Say “Do Not Share”: LLMs Misroute Sensitive Information in Clinical Documentation
Diese Studie zeigt auf, dass große Sprachmodelle häufig daran scheitern, die Anfragen von Patienten zur Geheimhaltung sensibler Informationen in der klinischen Dokumentation zu berücksichtigen, indem sie solche Daten in über einem Drittel der Fälle an nicht damit befugte Empfänger weitergeben, demonstriert jedoch, dass die Implementierung von empfängerorientierten Routing-Workflows dieses Risiko signifikant mindern kann, ohne den notwendigen Informationsaustausch zu beeinträchtigen.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In den stillen Ecken eines Arztbesuchs teilen Patienten oft Dinge, die sie lieber verborgen halten würden. Sie sprechen vielleicht über einen Kampf mit einer Sucht, eine private gesundheitliche Verfassung oder ein schwieriges häusliches Umfeld, im Vertrauen darauf, dass der Kliniker diese Informationen nur nutzen wird, um ihnen zu helfen, zu heilen. Manchmal bittet ein Patient explizit darum, dass ein bestimmtes Detail mit niemandem sonst geteilt wird. Diese Bitte ist ein grundlegender Bestandteil des medizinischen Vertrauens, ein Versprechen, dass sensible Fakten innerhalb des Kreises der Versorgung bleiben werden. Heute verlassen sich Ärzte zunehmend auf künstliche Intelligenz, um diesen Gesprächen zuzuhören und sie in offizielle medizinische Notizen, Überweisungen an andere Spezialisten und Briefe an Arbeitgeber zu übertragen. Diese Computerprogramme, bekannt als Large Language Models, sind darauf ausgelegt, die menschliche Sprache zu verstehen und sie schnell zusammenzufassen. Doch eine neue Frage ist aufgetaucht: Wenn ein Patient sagt „nicht teilen“, hört die Maschine dann zu? Die Antwort ist wichtig, denn diese digitalen Zusammenfassungen sind nicht nur Aufzeichnungen; sie sind Dokumente, die reisen. Eine Notiz, die für einen Kardiologen gedacht war, könnte versehentlich in einem Brief landen, der an einen Chef geschickt wird, oder eine Zusammenfassung für einen Patienten könnte von einem Familienmitglied gelesen werden, das sie eigentlich nicht sehen sollte. Die Sicherheit dieses Systems hängt davon aus, dass der Computer nicht nur weiß, was er sagen soll, sondern auch, wer es hören darf.
Forscher mehrerer großer medizinischer Zentren unternahmen den Versuch, genau dieses Szenario zu testen. Sie wollten sehen, ob aktuelle Systeme der künstlichen Intelligenz in der Lage sind, die explizite Bitte eines Patienten zu respektieren, sensible Informationen zurückzuhalten, wenn sie Dokumente für verschiedene Empfänger erstellen. Zu diesem Zweck entwickelten sie ein massives, kontrolliertes Experiment mit tausenden simulierten medizinischen Begegnungen. Sie erstellten 120 detaillierte Fallstudien zu sechs sensiblen Gesundheitsbereichen, wie etwa psychische Gesundheit, Substanzgebrauch und reproduktive Themen. Für jeden Fall erstellten sie zwei Versionen: eine, in der der Patient die Information einfach teilt, und eine weitere, in der der Patient dieselbe Information teelte, aber die klare, direkte Bitte hinzufügte, sie mit niemandem außerhalb des unmittelbaren Behandlungsteams zu teilen. Sie baten dann sieben verschiedene KI-Modelle, diese Gespräche in fünf verschiedene Arten von Dokumenten umzuwandeln: eine Notiz für den behandelnden Arzt, eine Überweisung an einen Spezialisten, der die Information benötigt, eine Überweisung an einen Spezialisten, der sie nicht benötigt, eine Zusammenfassung für den Patienten und einen Brief für einen Arbeitgeber.
Die Ergebnisse zeigten eine signifikante Lücke zwischen dem, was Patienten verlangen, und dem, was die Maschinen liefern. Selbst wenn ein Patient explizit darum bat, einen sensiblen Fakt privat zu halten, enthielten die KI-Modelle diese Information immer noch in 34,2 Prozent der Dokumente, die an Personen gesendet wurden, die sie nicht wissen mussten, wie etwa nicht verwandte Spezialisten oder Arbeitgeber. Bei Tests mit realer Sprache aus patientenverfassten Gesundheitsfragen war das Problem noch ausgeprägter; ohne eine Bitte teilten die Modelle die Information in fast 68 Prozent der ungeeigneten Dokumente, und selbst mit der Bitte teilten sie sie immer noch in etwa 34 Prozent der Fälle. Die Modelle schienen Schwierigkeiten mit der Logik des Kontextes zu haben. Sie behandelten die Krankengeschichte als einen einzigen Block der Wahrheit, der in jedes Dokument gehört, anstatt zu verstehen, dass ein Fakt für den einen Arzt wahr und wichtig sein kann, aber für einen anderen völlig unangemessen ist. Die Forscher fanden heraus, dass die bloße Anweisung an das Modell „nicht teilen“ kein zuverlässiger Weg war, um es daran zu hindern, sensible Details preiszugeben.
Die Studie deckte auch einen gefährlichen Zielkonflikt auf. Als die Forscher versuchten, das Problem zu lösen, indem sie den Modellen strengere Anweisungen gaben, sensible Informationen zu verbergen, gingen die Maschinen manchmal zu weit. Sie begannen, Fakten wegzulassen, die tatsächlich für eine sichere medizinische Versorgung notwendig waren. Beispielsweise ließen die Modelle in Fällen, in denen ein Patient um die Geheimhaltung eines Zustands gebeten hatte, den der aufnehmende Spezialist aus Sicherheitsgründen unbedingt wissen musste, die Information ganz weg. Dies schuf eine schwierige Situation, in der das System entweder zu viel teilte oder zu viel verbarg. Die Forscher stellten fest, dass die Modelle nicht über die Fähigkeit verfügten, die Bitte des Patienten um Privatsphäre gegen die klinische Notwendigkeit der Information abzuwägen. Sie folgten einfach der jüngsten Anweisung, ohne die Konsequenzen ihrer Entscheidungen zu verstehen.
Um dies zu adressen, testete das Team einen anspruchsvolleren Ansatz namens „recipient-conditioned routing workflow“. Anstatt das Modell nur zu bitten, eine Notiz zu schreiben, fragte dieses System das Modell zuerst, die sensiblen Informationen zu identifizieren, dann zu entscheiden, ob der spezifische Empfänger dieses Dokuments diese Informationen sehen muss, und schließlich den Text entsprechend zu entwerfen. Als sie diese Methode an einem der Modelle testeten, funktionierte sie bemerkenswert gut; sie reduzierte die Rate der unangemessenen Weitergabe von über 21 Prozent auf nur 1,2 Prozent, ohne dass das System notwendige medizinische Fakten verbarg. Als sie jedoch dieselbe Methode bei einem anderen Modell anwandten, kam es zu einem massiven Anstieg schädlicher Auslassungen, wobei in fast zwei Dritteln der Fälle kritische Informationen verborgen wurden. Dies zeigte, dass die Lösung nicht universell ist; was für ein KI-System funktioniert, kann ein anderes beschädigen. Die Studie kommt zu dem Schluss, dass es nicht ausreicht, sich allein auf die verbale Bitte eines Patienten zu verlassen, um die Privatsphäre in einer automatisierten Welt zu schützen.
Die Ergebnisse legen nahe, dass diese Werkzeuge, bevor sie in Krankenhäusern weit verbreitet werden, nicht nur darauf getestet werden müssen, wie gut sie schreiben, sondern auch, wie gut sie verstehen, wer was lesen darf. Ein von einem Computer generiertes Dokument ist nicht nur eine Zusammenfassung von Fakten; es ist eine Entscheidung darüber, wer die Geschichte eines Patienten erfährt. Wenn das System nicht zwischen einer Notiz für einen behandelnden Arzt und einem Brief für einen Arbeitgeber unterscheiden kann, besteht es den grundlegenden Sicherheitstest nicht. Die Forscher betonen, dass die sichere Speicherung von Daten nicht dasselbe ist wie die sichere Weitergabe von Informationen. Selbst wenn ein System abgeschottet und die Daten verschlüsselt sind, kann das Modell selbst einen sensiblen Fakt in das falsche Dokument setzen. Die Studie empfieft, dass jede Art von Dokument und jede Version der Software separat auf diese spezifischen Fehler überprüft werden muss. Bis diese Systeme in der Lage sind, die Bitte eines Patienten zuverlässig zu ehren, ohne deren Sicherheit zu gefährden, sollte die endgültige Entscheidung darüber, was in einen medizinischen Brief eingeht, in den Händen eines menschlichen Klinikers bleiben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.