Institution-Specific LLM Prompting Recovers PHI That De-identification Systems and Their Gold Standards Both Miss
Diese Studie zeigt, dass institutionenspezifisches Prompting für große Sprachmodelle effektiv lokal festgelegte geschützte Gesundheitsinformationen wiederherstellt, die von traditionellen De-Identifizierungssystemen und deren Goldstandards übersehen wurden, wobei eine überlegene Recall- und Präzisionsrate erzielt und gleichzeitig die Auditierung sowie Korrektur von Referenz-Annotationsfehlern ermöglicht wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Krankenhäuser erzeugen einen ständigen Strom an schriftlichen Aufzeichnungen, von Aufnahmeprotokollen bis hin zu Entlassungsberichten, die die intimen Details aus dem Leben eines Patienten festhalten. Um diese Aufzeichnungen für die Forschung oder zur Verbesserung von Pflegesystemen zu nutzen, müssen Ärzte und Wissenschaftler zuerst alles entfernen, was eine bestimmte Person identifizieren könnte, wie etwa Namen, Daten oder Krankenaktennummern. Dieser Prozess, bekannt als De-Identifizierung, ist eine rechtliche Anforderung, die darauf abzielt, die Privatsphäre zu schützen und gleichzeitig die Weitergabe medizinischer Daten zu ermöglichen. Seit Jahrzehnten werden Computer damit beauftragt, diese Details mithilfe von Regeln und Mustern zu finden und zu verbergen. Diese Systeme haben jedoch oft Schwierigkeiten mit Informationen, die spezifisch für ein einzelnes Krankenhaus oder eine einzelne Klinik sind. Eine einfache Abkürzung für ein Gebäude, ein einzigartiger interner Code für eine Abteilung oder ein Spitzname für eine lokale Einrichtung mag für ein allgemeines Computerprogramm bedeutungslos sein, könnte aber für jemanden, der mit dieser spezifischen Institution vertraut ist, die Identität eines Patienten sofort offenlegen.
Ein Team von Forschern des Baylor College of Medicine und des Texas Children's Hospital setzte sich zum Ziel zu testen, ob eine neue Generation fortschrittlicher Computerprogramme, sogenannte Large Language Models, dieses spezifische Problem lösen können. Diese Modelle werden auf riesigen Mengen von Text trainiert und können den Kontext auf eine Weise verstehen, die ältere Software nicht leisten kann. Die Forscher wollten sehen, ob sie diese Modelle einfach anweisen konnten, nach den krankheitsspezifischen Details zu suchen, die traditionelle Systeme übersehen, ohne sie dafür neu trainieren zu müssen. Sie wollten auch prüfen, ob dieser Ansatz die Falle vermeiden konnte, zu viele Informationen zu entfernen, sodass die medizinischen Notizen unbrauchbar werden, oder zu viel übrig zu lassen und somit ein Datenschutzrisiko einzugehen.
Das Team sammelte einhundert echte klinische Notizen von pädiatrischen Onkologiepatienten, bei denen es sich um Aufzeichnungen von Kindern mit Krebs handelt. Diese Notizen wurden sorgfältig von menschlichen Experten überprüft, die jede einzelne Information, die sie finden konnten, markierten und so eine strikte Checkliste erstellten, was verborgen werden sollte. Diese Checkliste enthielt Standardelemente wie Namen und Daten, aber auch die kniffligen, lokalen Details wie den Namen eines bestimmten Krankenhausflügels oder die Pager-Nummer eines Mitarbeiters. Die Forscher baten dann acht verschiedene Large Language Models, diese Notizen zu verarbeiten. Sie testeten die Modelle auf drei verschiedene Arten. Zuerst gaben sie den Modellen einen Standard-Satz von Anweisungen basierend auf Bundesdatenschutzgesetzen. Als Nächstes fügten sie spezifische Anweisungen hinzu, um nach den lokalen, krankheitsspezifischen Details zu suchen, die die Standardregeln oft ignorieren. Schließlich fügten sie eine dritte Ebene von Anweisungen hinzu, um den Modellen genau zu sagen, was sie nicht verbergen sollen, um sicherzustellen, dass wichtige medizinische Fakten wie Medikamentendosierungen oder Laborergebnisse nicht versehentlich entfernt werden.
Die Ergebnisse zeigten, dass die neuen Computermodelle ihre Aufgabe deutlich besser erfüllten als die spezialisierte Software, die derzeit in Krankenhäusern eingesetzt wird. Das beste Modell fand und verbarg fast alle privaten Informationen, einschließlich der schwierigen, lokalen Details, die die älteren Systeme übersehen hatten. Als die Forscher die spezifischen Anweisungen bezüglich der eigenen Abkürzungen und Gebäudenamen des Krankenhauses hinzufügten, stellten die Modelle fast achtzig Prozent der Details wieder her, die die Standardregeln nicht erfasst hatten. Entscheidend war, dass die Forscher feststellten, dass sie die Tendenz der Modelle, zu aggressiv vorzugehen, korrigieren konnten, indem sie ihnen einfach sagten, was sie unberührt lassen sollten. Dies ermöglichte es den Modellen, sowohl sehr sorgfältig hinsichtlich des Datenschutzes als das auch sehr sorgfältig hinsichtlich der Nützlichkeit des medizinischen Textes zu sein.
Die Studie testete auch eine komplexere Idee: Könnte ein Team von Computerprogrammen, die zusammenarbeiten, wobei eines die Arbeit des anderen überprüft, eine bessere Arbeit leisten als ein einzelnes Programm? Die Forscher probierten verschiedene Kombinationen dieser mehrstufigen Teams aus, aber keines von ihnen performte besser als ein einzelnes, gut instruiertes Modell in einem einzigen Durchgang. Tatsächlich waren die komplexen Teams oft weniger konsistent und erforderten mehr Rechenleistung. Der effektivste Ansatz war schlichtweg, dem einzelnen Modell eine klare, detaillierte Liste davon zu geben, wonach es suchen und was es vermeiden soll.
Die überraschendste Entdeckung kam, als die Forscher die Fehler der Modelle genauer untersuchten. Sie fanden heraus, dass die Modelle oft korrekt Informationen verborgen hatten, die die menschlichen Experten übersehen hatten. Als die Forscher die Notizen erneut überprüften, bestätigten sie, dass viele der Elemente, die die Modelle verborgen hatten, tatsächlich private Informationen waren, die die ursprüngliche Checkliste übersehen hatte. Dies deutet darauf hin, dass die Standardlisten, die diese Systeme trainieren und testen, oft unvollständig sind. Die Modelle folgten nicht nur Regeln; sie fungierten effektiv als Auditoren der Regeln selbst und fanden Lücken, die den menschlichen Annotatoren entgangen waren.
Die Forscher kamen zu dem Schluss, dass der Schlüssel zu einem besseren Datenschutz nicht darin liegt, komplexere Computerteams zu bauen, sondern den Modellen bessere Anweisungen zu geben. Indem man die spezifischen, lokalen Details benennt, die ein Krankenhaus schützen muss, und die Modelle davor warnt, zu viel zu entfernen, kann ein einziger Computeraufruf ein Maß an Sicherheit und Genauigkeit erreichen, das ältere Systeme nicht erreichen können, ohne ein teures Retraining zu durchlaufen. Dieser Ansatz bietet einen flexiblen Weg, um Datenschutzbestimmungen an jedes spezifische Krankenhaus oder jede Klinik anzupassen und sicherzustellen, dass Patientendaten sicher bleiben, ohne die medizinischen Details zu verlieren, die zur Lebensrettung benötigt werden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.