Forget Narrowly, Retain Broadly: Unlearning as an Asymmetric Generalization Problem
Dit artikel introduceert het SUITE-evaluatieprotocol en het JensUn++-algoritme om de uitdagingen van asymmetrische generalisatie bij machine unlearning aan te pakken, waarbij huidige methoden er niet in slagen om specifieke kennis betrouwbaar te verwijderen zonder onbedoeld ongerelateerde informatie uit te wissen, door een uitgebreide dataset te bieden die de complexe forget-retain grens vastlegt en aan te tonen dat verbeterde trainingsdata even cruciaal is als algoritmisch ontwerp voor het bereiken van optimale utility-trade-offs.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een gigantische, superintelligente bibliotheekrobot hebt genaamd "LLM" die bijna alles weet. Somsast moet je deze robot vragen om een specifiek, gênant geheim te vergeten — laten we zeggen, de exacte details van de juridische problemen van een beroemde popster. Maar er is een addertje onder het gras: je wilt niet dat de robot alles vergeet — je wilt dat hij nog steeds weet hoe hij een cake moet bakken, wiskundige problemen kan oplossen en over de ruimte kan praten, zelfs als hij niet meer over die ene popster kan praten.
Het probleem is dat de tests die we tot nu toe hebben gebruikt om te controleren of de robot het geheim echt vergeten is, lijken op een spelletiefje "Raad het Woord" waarbij de regels gemanipuleerd zijn.
De twee grote fouten: Ondervergeten en Oververgeten
De auteurs van dit artikel stellen dat huidige tests twee enorme gebreken vertonen, die ze ondervergeten en oververgeten noemen.
Ondervergeten (De "Parafrase"-valstrik): Stel je voor dat je de robot vertelt: "Vergeet de naam van de advocaat van de popster." Als je vraagt: "Wie was de advocaat?", zegt hij misschien: "Dat weet ik niet." Maar als je vraagt: "Wat was de naam van de wettelijke voogd?" of "Wie handelde in de rechtszaak voor de zanger in 2007?", kan de robot opeens weer alles weten! Het is alsof de robot alleen de exacte zin die je hem liet vergeten heeft vergeten, maar hij weet het geheim nog steeds als je het op een andere manier vraagt. De paper noemt dit ondervergeten: de robot denkt dat hij vergeten is, maar hij verbergt het antwoord alleen totdat je de juiste vraag stelt.
Oververgeten (De "Bijkomende Schade"-valstrik): Stel je nu voor dat je de robot vertelt om de popster te vergeten. In paniek besluit de robot alles te vergeten wat met het woord "ster", "muziek" of zelfs "rechtszaken" te maken heeft. Plotseling kan hij je niets meer vertellen over een andere zanger, of vergeet hij hoe hij over juridische systemen in het algemeen moet praten. Het is alsoftoe je probeert één slechte appel uit een mand te verwijderen en per ongeluk de hele mand kapot slaat. De paper noemt dit oververgeten: de robot is zo bang voor het geheim dat hij nuttige, ongerelateerde kennis vernietigt.
De nieuwe oplossing: SUITE (De "Strenge Docent")
Om dit op te lossen, hebben de auteurs een nieuwe, superstrenge testkit gebouwd genaamd SUITE (Selective Unlearning of Isolated Topics and Events). Denk aan SUITE als een strenge docent die niet alleen dezelfde vraag twee keer stelt.
- Aan de "Vergeet"-kant: De docent stelt dezelfde geheime vraag op tientallen verschillende manieren. Ze vragen direct, ze vragen achterstevoren ("Welke zanger had deze advocaat?") en ze vragen indirect met aanwijzingen die vereisen dat de robot verbanden legt (multi-hop reasoning). Als de robot bij een welke van deze vragen de mist in gaat, is hij afgekeurd.
- Aan de "Behoud"-kant: De docent controleert of de robot nog steeds dingen weet die bijna hetzelfde zijn als het geheim, maar net niet helemaal. Bijvoorbeeld, als het geheim gaat over de "Challenger" ruimteshut-ramp, vraagt de docent naar de "Columbia" ruimteshut-ramp, of over het woord "Challenger" in een totaal andere context (zoals een diepe oceaangeul). Dit zorgt ervoor dat de robot niet per ongeluk alles vergeet dat op het geheim lijkt.
De paper laat zien dat wanneer ze deze strenge SUITE-test gebruikten, veel eerdere methoden eruitzagen alsof ze een geweldig werk leverden, terwijl ze in werkelijkheid faliekant faalden. Ze waren ofwel nog steeds bezig met het onthouden van het geheim (ondervergeten) of het beschadigden van andere delen van het brein van de robot (oververgeten).
Het nieuwe algoritme: JensUn++ (De "Beleefde Weigeraar")
De auteurs hebben ook een nieuwe manier ontwikkeld om de robot te leren vergeten, genaamd JensUn++.
De meeste oude methoden probeerden het antwoord te "onderdrukken". Stel je voor dat de robot wordt gedwongen om "Ik weet het niet" te zeggen, maar omdat hij wordt gedwongen, begint hij te haperen en onzin uit te spugen zoals "De lucht is groen en het getal is paars." Dit is gevaarlijk en onbehulpzaam.
JensUn++ is anders. In plaats van de robot te dwingen tot stilte of tot het produceren van onzin, traint het de robot om een beleefde, natuurlijke weigering te geven. Het leert de robot om te zeggen: "Helaas ben ik niet in staat deze informatie te verifiëren," en dan te stoppen. Het is alsof je de robot leert om te zeggen: "Dat kan ik u niet vertellen," met een kalme, menselijke stem, in plaats van een zenuwinzinking te krijgen.
De paper vond dat JensUn++ veel beter werkt dan de oude methoden. In hun tests slaagde het erin om de geheimen te vergeten (zelfs wanneer er op lastige, indirecte manieren werd gevraagd) zonder dat de robot ongerelateerde feiten vergat of begon te praten in onzin.
Hoe zeker zijn ze?
De auteurs zijn zeer zelfverzekerd over deze resultaten omdat ze niet alleen gegokt hebben; ze hebben het gemeten. Ze hebben hun nieuwe methode (JensUn++) en hun nieuwe testkit (SUITE) getest op drie verschillende echte robotbreinen (Llama, Ministral en Qwen).
- Ze bewezen dat het gebruik van hun nieuwe trainingsdata (SUITE) alle methoden beter maakte, niet alleen hun eigen methode.
- Ze lieten zien dat hun nieuwe methode, JensUn++, de beste balans bereikte tussen het vergeten van de slechte zaken en het behouden van de goede zaken. In de sequentiële setting (het leren van één onderwerp na het andere) produceerde het 0% onzin antwoorden. In de gezamenlijke setting (het tegelijkertijd leren van alle onderwerpen) produceerde het slechts 0,1% onzin, wat nog steeds verwaarloosbaar is.
- Ze hebben de robots zelfs getest tegen "adversarial" trucs (zoals vragen in verschillende talen of rollenspellen gebruiken) en vonden dat hun methode standhield. Het beste model (Mistral) onthulde het geheim 0% van de tijd in de gezamenlijke setting, terwijl het in de sequentiële setting het geheim slechts 3% van de tijd onthulde (wat steeg naar 4% onder de strengste adversariële omstandigheden). In contrast hiermee presteerden andere methoden veel slechter; bijvoorbeeld onthulde GradDiff geheimen 38% van de tijd en JensUn 29% van de tijd in de sequentiële setting op het Llama-model.
Kortom, de paper suggereert dat we niet simpelweg een robot kunnen vertellen om te "vergeten" en dan op het beste te hopen. We moeten de robot testen met lastige, gevarieerde vragen om te controleren of hij echt vergeten is, en we moeten hem trainen om beleefd "nee" te zeggen in plaats van mentaal in te storten. Met de juiste data en de juiste methode kunnen we deze robots inderdaad laten vergeten wat ze moeten vergeten, zonder hun verstand te verliezen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.