Memorization in Large Language Models in Medicine: Prevalence, Characteristics, and Implications
Diese Studie untersucht systematisch die Prävalenz, die Charakteristika und die Implikationen von Auswendiglernen in medizinischen Large Language Models und zeigt auf, dass dies signifikant häufiger vorkommt als in allgemeinen Domänen, über verschiedene Anpassungsszenarien wie das kontinuierliche Pre-training und das Fine-tuning auf realen klinischen Daten hinweg bestehen bleibt und kritische Risiken hinsichtlich des Datenschutzes und der Generalisierbarkeit darstellt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bringen einem superintelligenten Roboter bei, Arzt zu werden. Sie geben ihm nicht einfach nur ein Lehrbuch; Sie füttern ihn mit Millionen von Seiten aus medizinischen Fachzeitschriften, Patientenakten und Prüfungsfragen. So lernen „Large Language Models“ (LLMs) die Medizin. Betrachten Sie ein LLM wie einen riesigen, eifrigen Studenten, der alles in der Bibliothek liest. Normalerweise hoffen wir, dass dieser Student die Konzepte lernt – das Verständnis dafür, dass ein Fieber eine Infektion bedeutet oder dass ein bestimmtes Medikament eine bestimmte Krankheit behandelt. Aber es gibt eine tückische Seite daran, wie diese Roboter lernen: Manchmal merken sie sich statt der eigentlichen Lektion einfach nur die exakten Wörter auf der Seite, wie ein Papagei, der einen Satz nachplappert, ohne zu wissen, was er bedeutet. Das nennt man „Memorierung“ (Auswendiglernen). In der Welt der künstlichen Intelligenz ist dies ein zweischneidiges Schwert. Einerseits ist es gut, Fakten zu behalten; andererseits, wenn der Roboter den Tagebucheintrag eines Patienten oder den Lösungsschlüssel einer spezifischen Prüfungsfrage auswendig lernt, könnte er versehentlich Geheimnisse verraten oder nicht mehr selbstständig denken, wenn er mit einer neuen Situation konfrontiert wird. Wissenschaftler waren besorgt darüber, aber sie wussten nicht genau, wie schlimm es für medizinische Roboter war, bis jetzt.
Ein Team von Forschern der Yale-Universität und anderer Institutionen beschloss, dieses „Papageienproblem“ bei medizinischer KI zu untersuchen. Sie wollten sehen, wie oft diese Modelle einfach das kopieren und einfügen, was sie zuvor gesehen haben, welche Arten von Dingen sie kopieren und ob dieses Kopieren hilfreich oder gefährlich ist. Sie testeten drei verschiedene Arten, wie diese Modelle trainiert werden: das Lesen riesiger Mengen medizinischer Bücher (Continued Pretraining), das Lernen für spezifische Prüfungen (Fine-Tuning auf Benchmarks) und das Lernen aus echten, unstrukturierten Krankenhausakten (Fine-Tuning auf klinischen Daten).
Die Ergebnisse waren überraschend und etwas alarmierend. Die Forscher fanden heraus, dass medizinische KI-Modelle viel mehr auswendig lernen als reguläre KI-Modelle. Tatsächlich waren diese Modelle, wenn sie auf medizinischen Daten trainiert wurden, in der Lage, Textpassagen, die sie zuvor gesehen hatten, in einer Rate von 10 % bis 20 % und manchmal sogar noch höher, zu reproduzieren. Um dies einzuordnen: Wenn man eine reguläre KI bitten würde, einen Satz zu beenden, würde sie vielleicht in 1 % der Fälle versehentlich eine Phrase aus ihrem Training wiederholen; die medizinischen Modelle taten dies 10- bis 20-mal häufiger.
Die Studie unterteilte dieses Auswendiglernen in drei verschiedene Geschmacksrichtungen, wie verschiedene Arten von Snacks in einer Brotdose:
- Das Gute (Nützlich): Manchmal erinnert sich das Modell perfekt an eine klinische Leitlinie oder eine Wechselwirkung eines Medikaments. Das ist hilfreich, weil es der KI hilft, präzise Ratschläge zu geben.
- Das Langweilige (Uninformativ): Oft wiederholt das Modell einfach nur dieselben langweiligen Haftungsausschlüsse oder Vorlagensätze, wie zum Beispiel: „Dies ist ein Bildungswerkzeug, kein medizinisches Gerät.“ Das hilft der KI nicht beim Denken; es sieht nur so aus, als würde sie sprechen.
- Das Gefährliche (Schädlich): Das ist der beängstigende Teil. Es wurde festgestellt, dass die Modelle sensible Patientendaten auswendig lernen und reproduzieren. In einem Test mit über 13.000 echten Patientenakten aus einem Krankenhausinformationssystem reproduzierte die KI 3.192 Instanzen geschützter Gesundheitsinformationen (PHI). Dies beinhaltete Namen, Daten, spezifische Diagnosen und sogar Familienverhältnisse. Noch schlimmer noch: Die Forscher fanden heraus, dass die Standardwerkzeuge, die verwendet werden, um private Daten aus den Akten zu bereinigen, diese Geheimnisse oft übersahen, was bedeutete, dass die KI Dinge auswendig lernte, die Menschen eigentlich für verborgen hielten.
Eine der interessantesten Entdeckungen war, wie „haftend“ dieses Gedächtnis ist. Die Forscher fanden heraus, dass, sobald ein Modell etwas während seiner initialen „Lesephase“ auswendig gelernt hat, es nicht vergisst, wenn man es später für neue Aufgaben trainiert. Bis zu 87 % der während des ursprünglichen Trainings gelernten Inhalte blieben auch bestehen, nachdem das Modell für neue Aufgaben feinjustiert wurde. Es ist, als ob ein Student ein Kapitel eines Buches auswendig lernt und selbst nachdem er ein ganz neues Fachgebiet studiert hat, immer noch nicht aufhören kann, dieses erste Kapitel aufzusagen.
Das Team stellte auch fest, dass das Auswendiglernen nicht nur das Ergebnis eines zu langen Trainings (Overfitting) ist. Sie beobachteten die Modelle während des Lernprozesses und sahen, dass das „Kopieren“ bereits sehr früh im Trainingsprozess begann, selbst während das Modell noch besser bei seiner eigentlichen Aufgabe wurde. Dies deutet darauf darauf hin, dass die Art und Weise, wie diese Modelle derzeit gebaut werden – indem man ihnen einfach immer mehr medizinischen Text ohne spezielle Schutzmaßnahmen füttert – natürlich zu diesem hohen Grad an Memorierung führt.
Das Paper kommt zu dem Schluss, dass, obwohl diese medizinischen KI-Modelle besser darin werden, Krankheiten zu diagnostizieren (ihre Genauigkeit stieg nach dem Training signifikant an), wir die Datenschutzrisiken nicht ignorieren können. Die Forscher schlagen vor, dass wir die Art und Weise, wie wir diese Modelle bauen und testen, ändern müssen. Wir sollten nicht nur fragen: „Ist die Diagnose richtig?“ Wir müssen auch fragen: „Hat sie gerade ein Geheimnis eines Patienten kopiert?“ Sie empfehlen den Einsatz neuer Techniken, um die Modelle am Auswendiglernen sensibler Daten zu hindern und sie dazu zu ermutigen, Probleme tatsächlich zu durchdenken, an anstatt nur das zu wiederholen, was sie gelesen haben. Die Studie sagt nicht, dass die medizinische KI kaputt ist, aber sie schlägt laut Alarm, dass wir viel vorsichtiger sein müssen, woran diese digitalen Ärzte sich erinnern.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.