Memorization in Large Language Models in Medicine: Prevalence, Characteristics, and Implications
Deze studie onderzoekt systematisch de prevalentie, kenmerken en implicaties van memorisatie in medische Large Language Models, waarbij wordt onthuld dat dit aanzienlijk vaker voorkomt dan in algemene domeinen, persisteert over verschillende adaptatiescenario's zoals voortgezette pre-training en fine-tuning op real-world klinische data, en kritieke risico's vormt met betrekking tot privacy en generaliseerbaarheid.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een superintelligente robot leert om een arts te worden. Je geeft het niet gewoon een tekstboek; je voert het miljoenen pagina's aan medische tijdschriften, patiëntendossiers en examenvragen. Dit is hoe "Large Language Models" (LLM's) geneeskunde leren. Zie een LLM als een enorme, enthousiaste student die alles in de bibliotheek leest. Normaal gesproken hopen we dat deze student de concepten leert begrijpen—het besef dat koorts een infectie betekent, of dat een specifiek medicijn een specifieke ziekte behandelt. Maar er is een verraderlijke kant aan hoe deze robots leren: soms, in plaats van de les echt te begrijpen, onthouden ze simpelweg de exacte woorden op de pagina, zoals een papegaai die een zin herhaalt zonder te weten wat die betekent. Dit wordt "memorization" (het uit het hoofd leren) genoemd. In de wereld van kunstmatige intelligentie is dit een tweesnijdend zwaard. Aan de ene kant is het onthouden van feiten goed; aan de andere kant, als de robot het dagboek van een patiënt of het antwoordmodel van een specifieke examenvraag uit zijn hoofd leert, kan hij per ongeluk geheimen verklappen of niet in staat zijn om zelf na te denken wanneer hij met een nieuwe situatie wordt geconfronteerd. Wetenschappers waren bezorgd over dit proces, maar ze wisten tot nu toe niet precies hoe erg het was voor medische robots.
Een team onderzoekers van Yale en andere instellingen besloot dit "papegaai-probleem" in medische AI te onderzoeken. Ze wilden zien hoe vaak deze modellen simpelweg kopiëren en plakken wat ze eerder hebben gezien, wat voor soort zaken ze kopiëren, en of dit kopiëren nuttig of gevaarlijk is. Ze testten drie verschillende manieren waarop deze modellen worden getraind: het lezen van enorme stapels medische boeken (continued pretraining), het studeren voor specifieke examens (fine-tuning op benchmarks), en het leren van echte, rommelige ziekenhuisgegevens (fine-tuning op klinische data).
De resultaten waren verrassend en een beetje alarmerend. De onderzoekers ontdekten dat medische AI-modellen veel meer uit hun hoofd leren dan gewone AI-modellen. Sterker nog, wanneer deze modellen werden getraind op medische gegevens, herhaalden ze blokken tekst die ze eerder hadden gezien met frequenties tussen de 10% en 20%, en soms zelfs nog hoger. Om dit in perspectief te plaatsen: als je een gewone AI zou vragen om een zin af te maken, zou deze misschien 1% van de tijd per ongeluk een frase uit zijn training herhalen; de medische modellen deden dit 10 tot 20 keer vaker.
De studie bracht dit memorization-proces terug naar drie verschillende smaken, zoals verschillende soorten snacks in een lunchtrommel:
- Het Goede Spul (Nuttig): Soms onthoudt het model een klinische richtlijn of een interactie tussen medicijnen perfect. Dit is nuttig omdat het de AI helpt accuraat advies te geven.
- Het Saai Spel (Niet-informatief): Vaak herhaalt het model alleen maar dezelfde saaie disclaimers of sjabloonfrases, zoals "Dit is een educatieve tool, geen medisch hulpmiddel." Dit helpt het model niet om na te denken; het laat alleen lijken alsof het praat.
- Het Gevaarlijke Spul (Schadelijk): Dit is het engere deel. De modellen bleken gevoelige patiëntinformatie te onthouden en te reproduceren. In een test met meer dan 13.000 echte patiëntendossiers uit een ziekenhuissysteem, reproduceerde de AI 3.192 instanties van privé gezondheidsinformatie (PHI). Dit omvatte namen, datums, specifieke diagnoses en zelfs familiebanden. Nog erger nog, de onderzoekers ontdekten dat standaardtools die worden gebruikt om privégegevens uit dossiers te verwijderen, deze geheimen vaak misten, wat betekende dat de AI dingen onthield die mensen dachten te hebben verborgen.
Een van de meest interessante ontdekkingen was hoe "plakkerig" dit geheugen is. De onderzoekers ontdekten dat zodra een model iets memoriseerde tijdens de initiële "leesfase", het niet vergat wanneer ze het later leerden nieuwe taken uit te voeren. Tot 87% van de inhoud die werd gememoriseerd tijdens de initiële training bleef aanwezig, zelfs nadat het model werd verfijnd (fine-tuned) voor nieuwe taken. Het is alsoam een student een hoofdstuk uit een boek uit zijn hoofd leert, en zelfs nadat hij een heel nieuw vak heeft bestudeerd, kan hij niet stoppen met het reciteren van dat eerste hoofdstuk.
Het team merkte ook op dat memorization niet alleen een gevolg is van het te lang trainen van het model (overfitting). Ze observeerden de modellen terwijl ze leerden en zagen dat het "kopiëren" al heel vroeg in het trainingsproces begon, zelfs terwijl het model nog beter werd in zijn werkelijke taak. Dit suggereert dat de manier waarop deze modellen momenteel worden gebouwd—door ze simpelweg meer en meer medische tekst te voeren zonder speciale waarborgen—natuurlijk leidt tot dit hoge niveau van memorization.
Het artikel concludeert dat hoewel deze medische AI-modellen beter worden in het diagnosticeren van ziekten (hun nauwkeurigheid nam aanzienlijk toe na de training), we de privacyrisico's niet kunnen negeren. De onderzoekers stellen voor dat we de manier waarop we deze modellen bouwen en testen moeten veranderen. We moeten niet alleen vragen: "Is de diagnose juist?" We moeten ook vragen: "Heeft het zojuist een geheim van een patiënt gekopieerd?" Ze raden nieuwe technieken aan om de modellen te stoeneren om gevoelige gegevens te onthouden en om ze aan te moedigen om daadwerkelijk door problemen te redeneren in plaats van alleen te herhalen wat ze gelezen hebben. De studie zegt niet dat medische AI kapot is, maar het klinkt als een luid alarm dat we veel voorzichtiger moeten zijn met wat deze digitale artsen onthouden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.