Can LLMs Truly Forget? Revealing Unlearning Gaps Through Adversarial Evaluation
Dit artikel onthult een aanzienlijke kloof tussen standaard clean-query metrieken en adversariële robuustheid bij machine unlearning, waarbij wordt aangetoond dat hoewel fine-tuning methoden er onder conventionele evaluatie in lijken te slagen om gegevens te vergeten, gerichte informatie via strategische prompting nog steeds zeer herstelbaar blijft, wat daarmee de kritieke noodzaak van adversariële stress-testen benadrukt om werkelijke unlearning te waarborgen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een bibliotheek voor waar elk boek de som van de menselijke kennis bevat, maar sommige pagina's bevatten geheimen die gewist moeten worden: privéadressen, verouderde medische adviezen of propriëtaire formules. In de digitale wereld fungeren kunstmatige intelligentiesystemen als deze enorme collecties tekst. Wanneer een gebruiker een computer vraagt om een specifiek stukje informatie te "vergeten", is het doel om die data zo grondig te verwijderen dat de machine het zich niet langer kan herinneren, terwijl de rest van de kennis behouden blijft. Dit proces, bekend als machine unlearning, is essentieel voor privacy en veiligheid. Echter, een hardnekkige vraag blijft onderzoekers achtervolgen: als een computer zegt dat hij iets vergeten is, kan hij dan echt vertrouwd worden? Of is de informatie slechts verborgen, wachtend om opgegraven te worden door een slimme vraag?
Een team onderzoekers van de University of Massachusetts Amherst en Microsoft Corporation zette zich in om dit te beantwoorden door de grenzen te testen van hoe goed deze digitale bibliotheken daadwerkelijk kunnen vergeten. Ze richtten zich op een specifiek type kunstmatige intelligentiemodel, een model dat getraind is om instructies op te volgen en vragen te beantwoorden. Het team wilde zien of de standaardtests die worden gebruikt om vergeten te meten voldoende waren, of dat ze een cruciale zwakte over het hoofd zagen. Hiervoor creëerden ze een gecontroleerd experiment met een dataset van verzonnen biografieën van auteurs. Ze leerden het model deze fictieve auteurs te kennen en probeerden het model vervolgens specifieke auteurs te laten vergeten. Ze testten twee hoofdmethode van vergeten: één methode die probeerde het geheugen te onderdrukken door de manier waarop de vraag aan het model werd gesteld te veranderen, en een andere methode die daadwerkelijk de interne verbindingen van het model verbouwde om het geheugen te wissen.
De onderzoekers voerden eerst de standaardtests uit, die bestaan uit het stellen van eenvoudige, directe vragen over de informatie die het model zou moeten vergeten. Onder deze kalme, niet-adversariële omstandighedenheden leken verschillende methoden perfect te werken. De modellen scoorden zeer hoog op deze tests, wat suggereerde dat ze de doelgerichte feiten succesvol hadden gewist. Eén methode leek in het bijzonder de informatie bijna volledig te hebben vergeten, met een score die duidde op bijna totaal succes. Het leek alsof de data voorgoed verdwenen was.
Maar het team stopte daar niet. Ze vermoedden dat een model een eenvoudige vraag zou kunnen weerstaan, terwijl het toch door een complexere vraag in de val zou kunnen worden gelokt. Om dit te testen, lanceerden ze een reeks strategische aanvallen. In plaats van direct te vragen, gebruikten ze een "hacker"-programma om honderden lastige prompts te genereren die ontworpen waren om de defensie van het model te omzeilen. Deze prompts bevatten rollenscenario's waarbij het model werd gevraagd een expert te spelen, instructies die probeerden de veiligheidsregels te overrulen, en vragen die op hypothetische of indirecte wijze werden geformuleerd. Ze probeerden ook dezelfde vragen in verschillende talen te stellen om te zien of het model zou struikelen wanneer de taal veranderde.
De resultaten onthulden een schokkende kloof tussen wat de standaardtests lieten zien en wat er werkelijk aan de hand was. Terwijl de modellen de eenvoudige tests met vlag en wimpel doorstonden, faalden ze jammerlijk bij de strategische aanvallen. De onderzoekers ontdekten dat zelfs de modellen die beweerden de informatie vergeten te zijn, konden worden verleid om deze opnieuw te onthullen. Sterker nog, wanneer ze werden aangevallen met deze slimme prompts, gaven de modellen de geheime informatie in meer dan tweeënzeventig procent van de gevallen prijs. Voor sommige methoden was dit faalpercentage bijna net zo hoog als bij het model dat nooit geleerd had te vergeten. De informatie was niet weg; het lag slechts latent, wachtend op de juiste sleutel om het te ontgrendelen.
Het team ontdekte ook dat de manier waarop de vraag werd gesteld enorm veel uitmaakte. Directe vragen waren soms gemakkelijker te weerstaan, maar prompts die autoriteitsfiguren gebruikten, het model vroegen een zin af te maken, of de vraag als een hypothetisch scenario formuleerden, waren veel effectiever in het breken van het geheugen van het model. Interessant genoeg, toen de onderzoekers de vragen simpelweg vertaalden naar andere talen zoals Duits, Spaans of Japans zonder extra slimme inkadering toe te voegen, hielden de modellen het veel beter vol en lekten ze de informatie in minder dan drie procent van de gevallen. Dit suggereert dat de kwetsbaarheid niet alleen over taal gaat, maar over de specifieke structuur van de truc die wordt gebruikt om de vraag te stellen.
Om ervoor te zorgen dat hun bevindingen accuraat waren, lieten de onderzoekers een menselijke expert een kleine steekproef van de reacties van het model beoordelen. Ze vonden dat het geautomatiseerde systeem dat de lekken beoordeelde grotendeels correct was en in zeven van de tien gevallen overeenkwam met het menselijk oordeel. Hoewel het geautomatiseerde systeem incidenteel fouten maakte—soms een foutief antwoord als een lek markeren of een correct antwoord missen—bood het een betrouwbaar signaal dat de informatie inderdaad werd herwonnen. Dit bevestigde dat het hoge succespercentage van de aanvallen echt was en geen fout in de testsoftware.
De studie concludeert dat de huidige manier waarop wordt getest of een machine iets vergeten is, onvoldoende is. Een model kan er perfect uitzien op een standaard rapportcijfer, terwijl het nog steeds gevaarlijk kwetsbaar is voor een vastberaden tegenstander. De onderzoekers betogen dat we niet kunnen vertrouwen op eenvoudige, zuivere vragen om te bewijzen dat data is verwijderd. In plaats daarvan moeten we deze systemen testen met dezelfde soort slimme, strategische ondervragingen die een echte aanvaller zou gebruiken. Totdat we kunnen bewijzen dat een model niet kan worden misleid om zijn geheimen te onthullen, kunnen we niet zeker weten of het ze werkelijk vergeten is. De kloof tussen het lijken te vergeten en daadwerkelijk vergeten blijft groot, en het overbruggen ervan zal nieuwe manieren vereisen om deze krachtige digitale geesten te testen en te bouwen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.