Institution-Specific LLM Prompting Recovers PHI That De-identification Systems and Their Gold Standards Both Miss
Deze studie toont aan dat instellingsspecifieke prompting van grote taalmodellen effectief lokaal bepaalde beschermde gezondheidsinformatie herstelt die door traditionele de-identificatiesystemen en hun gouden standaarden werd gemist, waarbij een superieure recall en precisie wordt bereikt terwijl tegelijkertijd het auditeren en corrigeren van fouten in referentieannotaties mogelijk wordt gemaakt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Ziekenhuizen genereren een constante stroom van schriftelijke verslagen, van opnameverslagen tot ontslagbrieven, die de intieme details van iemands leven vastleggen. Om deze verslagen te gebruiken voor onderzoek of om zorgsystemen te verbeteren, moeten artsen en wetenschappers eerst alles verwijderen dat een specifiek persoon zou kunnen identificeren, zoals namen, datums of medische dossiernummers. Dit proces, bekend als de-identificatie, is een wettelijke vereiste die is ontworpen om de privacy te beschermen terwijl medische gegevens wel gedeeld kunnen worden. Decennialang hebben computers de taak gekregen om deze details te vinden en te verbergen met behulp van regels en patronen. Deze systemen worstelen echter vaak met informatie die specifiek is voor één enkel ziekenhuis of kliniek. Een simpel afkorting voor een gebouw, een unieke interne code voor een afdeling of een bijnaam voor een lokale instelling kan voor een algemeen computerprogramma betekenisloos zijn, maar kan een patiënt onmiddellijk identificeren voor iemand die bekend is met die specifieke instelling.
Een team van onderzoekers van het Baylor College of Medicine en het Texas Children's Hospital zette zich af om te testen of een nieuwe generatie geavanceerde computerprogramma's, genaamd large language models, dit specifieke probleem konden oplossen. Deze modellen zijn getraind op enorme hoeveelheden tekst en kunnen context begrijpen op manieren die oudere software niet kan. De onderzoekers wilden zien of ze deze modellen simpelweg instructies konden geven om te zoeken naar de ziekenhuis-specifieke details die traditionele systemen missen, zonder ze vanaf nul opnieuw te hoeven trainen. Ze wilden ook zien of deze aanpak een veelvoorkomende valkuil kon vermijden: het verwijderen van zoveel informatie dat de medische aantekeningen nutteloos worden, of te veel informatie achterlaten waardoor er een risico op een inbreuk op de privacy ontstaat.
Het team verzamelde honderd echte klinische aantekeningen van pediatrische oncologiepatiënten, wat verslagen zijn van kinderen met kanker. Deze aantekeningen werden zorgvuldig beoordeeld door menselijke experts die elk stukje privé-informatie dat zij konden vinden, hadden gemarkeerd, waardoor een strikte checklist ontstond van wat verborgen moest worden. Deze checklist bevatte standaarditems zoals namen en datums, maar ook de lastige, lokale details zoals de naam van een specifieke vleugel van het ziekenhuis of het pagernummer van een medewerker. De onderzoekers vroegen vervolgens aan acht verschillende large language models om deze aantekeningen te verwerken. Ze testten de modellen op drie verschillende manieren. Eerst gaven ze de modellen een standaard set instructies gebaseerd op federale privacywetten. Vervolgens voegden ze specifieke instructies toe om te zoeken naar de lokale, ziekenhuis-specifieke details die de standaardregels vaak negeren. Ten slotte voegden ze een derde laag instructies toe om de modellen precies te vertellen wat ze niet mochten verbergen, om ervoor te zorgen dat belangrijke medische feiten zoals medicijndoseringen of laboratoriumresultaten niet per ongeluk werden verwijderd.
De resultaten lieten zien dat de nieuwe computermodellen aanzienlijk beter waren in hun werk dan de gespecialiseerde software die momenteel in ziekenhuizen wordt gebruikt. Het beste model vond en verborg bijna alle privé-informatie, inclusief de moeilijke, lokale details die de oudere systemen misten. Wanneer de onderzoekers de specifieke instructies over de eigen afkortingen en gebouwnamen van het ziekenhuis toevoegden, herstelden de modellen bijna tachtig procent van de details die de standaardregels niet hadden weten te vangen. Cruciaal was dat de onderzoekers ontdekten dat ze de neiging van de modellen om te agressief te zijn konden corrigeren door hen simpelweg te vertellen wat ze met rust moesten laten. Dit stelde de modellen in staat om zowel zeer voorzichtig te zijn met privacy als zeer voorzichtig te zijn met het bruikbaar houden van de medische tekst.
De studie testte ook een complexer idee: kon een team van computerprogramma's die samenwerken, waarbij de een het werk van de ander controleert, een beter werk leveren dan een enkel programma? De onderzoekers probeerden diverse combinaties van deze meerstaps-teams, maar geen van hen presteerde beter dan een enkel, goed geïnstrueerd model dat in één passage werkt. Sterker nog, de complexe teams waren vaak minder consistent en vereisten meer rekenkracht. De meest effectieve aanpak was simpelweg om het enkele model een duidelijke, gedetailleerde lijst te geven van waar het naar moest zoeken en wat het moest vermijden.
Misschien kwam de meest verrassende ontdekking wel wanneer de onderzoekers nauwkeurig naar de fouten keken die de modellen maakten. Ze ontdekten dat de modellen vaak correct waren in het verbergen van informatie die de menselijke experts hadden gemist. Wanneer de onderzoekers de aantekeningen opnieuw onderzochten, bevestigden ze dat veel van de items die de modellen hadden verborgen, inderdaad privé-informatie waren die de oorspronkelijke checklist hadden over het hoofd gezien. Dit suggereert dat de standaardlijsten die worden gebruikt om deze systemen te trainen en te testen vaak incompleet zijn. De modellen volgden niet alleen regels; ze voerden effectief een audit uit op de regels zelf, waarbij ze hiaten vonden die de menselijke annotatoren hadden gemist.
De onderzoekers concludeerden dat de sleutel tot betere privacybescherming niet het bouwen van complexere computercathedralen is, maar het geven van betere instructies aan de modellen. Door de specifieke, lokale details te benoemen die een ziekenhuis moet beschermen en de modellen te waarschuwen tegen het verwijderen van te veel, kan een enkele computeroproep een niveau van veiligheid en nauwkeurigheid bereiken dat oudere systemen niet kunnen evenaren zonder dure hertraining. Deze aanpak biedt een flexibele manier om privacybescherming aan te passen aan elk specifiek ziekenhuis of kliniek, waardoor de patiëntgegevens veilig blijven zonder de medische details te verliezen die nodig zijn om levens te redden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.