🤖 machine learning

Beyond Binary Rewards: A Comparative Study of Reward Design for Reinforcement Unlearning

Dit artikel introduceert een principieel raamwerk voor beloningsdecompositie voor Reinforcement Unlearning dat schaarse binaire beloningen vervangt door gegradeerde exponentiële en door PageRank geïnspireerde functies, waarmee wordt aangetoond dat deze ontwerpen het vergeten van specifieke kennis aanzienlijk versnellen terwijl de algemene bruikbaarheid van het model behouden blijft.

Oorspronkelijke auteurs: Efstratios Zaradoukas, Davide Gabrielli, Bardh Prenkaj, Gjergji Kasneci

Gepubliceerd 2026-07-31

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Efstratios Zaradoukas, Davide Gabrielli, Bardh Prenkaj, Gjergji Kasneci

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantisch, superintelligent robotbrein hebt gebouwd door het hele internet erin te voeren. Het is geweldig in het schrijven van verhalen, het oplossen van wiskundeproblemen en het chatten over alles. Maar er is een addertje onder het gras: soms herinnert het brein zich dingen die het niet zou moeten weten, zoals het privéadres van een beroemdheid of de plot van een auteursrechtelijk beschermd boek dat het eigenlijk niet mocht kennen. In de echte wereld geven wetten zoals de AVG mensen het "recht om vergeten te worden", wat betekent dat zij kunnen eisen dat hun gegevens worden gewist. De oude manier om dit op te lossen was de slechte data verwijderen en de hele robot vanaf nul opnieuw opbouwen, wat is als het afbreken van een wolkenkrabber om slechts één gebarsten baksteen te verwijderen. Het is traag, duur en verspillend. Wetenschappers proberen de robot nu te leren om specifieke feiten te "ontleren" zonder zijn andere vaardigheden te vernietigen. Om dit te doen, gebruiken ze een techniek genaamd Reinforcement Learning, wat lijkt op het trainen van een hond: je geeft het een traktatie (een beloning) wanneer het het juiste doet en niets wanneer het fout gaat. Het doel is om de robot de verboden informatie te laten vergeten terwijl zijn algemene slimheid intact blijft.

Het papier dat je zojuist hebt gelezen, behandelt een specifiek probleem met deze "hondentrainingsmethode". Momenteel worden de robots getraind met een zeer bot beloningssysteem: een simpel "Ja/Nee"-signaal. Als de robot per ongeluk de verboden naam noemt, krijgt hij een nul. Als hij het niet doet, krijgt hij een één. Het is alsof een leraar tegen een leerling zegt: "Je had het fout," zonder uit te leggen hoe fout het was of hoe dicht de leerling bij het juiste antwoord zat. Dit maakt het leren traag en frustrerend omdat de robot geen idee heeft of hij verbetert of gewoon aan het gokken is. De auteurs van deze studie, Efstratios Zaradoukas en zijn team, stelden een simpele vraag: "Wat als we de robot een beter scorebord geven?" In plaats van alleen een geslaagd/gezakt-cijfer, probeerden ze hem een gedetailleerd rapport te geven dat precies liet zien hoeveel fouten hij maakte en hoe belangrijk die fouten waren. Ze testten twee nieuwe manieren van scoren: één die de robot zwaarder straft naarmate hij vaker de mist in gaat (zoals een "streak breaker"), en een andere die werkt als een "Populariteitswedstrijd", waarbij het vergeten van de hoofdberoemdheid belangrijker is dan het vergeten van hun minder bekende bijfiguren.

Hun experimenten, uitgevoerd op een standaard benchmark genaamd RWKU, suggereren dat deze slimmere scoresystemen veel beter werken. Het team ontdekte dat door deze "gegradueerde" beloningen te gebruiken, de robot de verboden informatie tot wel drie keer sneller kan ontleren dan met de oude pass/fail-methode. Het is alsof de robot van struikelen in het donker is overgegaan naar het hebben van een zaklamp die precies laat zien waar de obstakels zich bevinden. Cruciaal is dat de robot niet zijn vermogen verloor om andere dingen te doen; hij werd alleen maar beter in het vergeten van de specifieke dingen die hem te vergeten waren gegeven. De auteurs laten zien dat de manier waarop we deze beloningen ontwerpen een sleutelcomponent is om machine-ontleren efficiënt en praktisch te maken, wat een pad biedt naar schonere, verantwoordere AI zonder telkens opnieuw te hoeven beginnen.

Het verhaal van de "Vergetelijke" Robot

Het Probleen: De Botte Stok
Stel je voor dat je een papegaai leert om een specifiek woord, zoals "Banaan", niet meer te zeggen. In de oude methode (die het papier de "Binaire Beloning" noemt) klap je alleen in je handen als de papegaai het woord nooit zegt. Als hij één keer "Banaan" zegt, blijf je stil. Als hij het tien keer zegt, blijf je stil. De papegaai heeft geen idee of hij dichter bij het doel komt of dat hij net zo slecht is als voorheen. Het is een "ijle" (sparse) signaal — er is heel weinig informatie waar de papegaai van kan leren. Het papier betoogt dat dit de reden is waarom huidige AI-ontlering traag is; de AI is aan het gokken in het donker.

De Oplossing: Het Gegradeerde Scorebord
De auteurs stellen twee nieuwe manieren voor om te klappen (of niet te klappen) die de papegaai veel betere feedback geven.

De "Exponentiële" Beloning (De Streepjes-teller):
Stel je voor dat de papegaai drie keer "Banaan" zegt in één zin. De oude methode geeft hem een nul. De nieuwe "Exponentiële" methode zegt: "Oké, je zei het drie keer, dus je score is een beetje laag, maar niet nul." Als hij het één keer zegt, is de score hoog maar niet perfect. Als hij het tien keer zegt, daalt de score scherp. Dit geeft de AI een vloeiende curve van feedback. Het is als een videogame waarbij je gezondheidsbalk geleidelijk afneemt terwijl je klappen incasseert, in plaats van dat deze direct verdwijnt zodra je één keer geraakt wordt. Dit helpt de AI te begrijpen hoeveel hij moet verbeteren.
De "PageRank" Beloning (De Belangrijkheidskaart):
Dit is het meest ingenieuze deel. Stel je voor dat het verboden woord niet alleen "Banaan" is, maar een hele lijst met zaken gerelateerd aan een beroemde auteur, zoals "Stephen King". De lijst bevat "Stephen King", "The Shining", "The Stand" en "Carrie".
- De oude methode behandelt al deze woorden hetzelfde. Het vergeten van "Stephen King" is even makkelijk als het vergeten van "The Stand".
- De nieuwe "PageRank"-methode kijkt naar de connecties. "Stephen King" is het hoofdpersonage; "The Shining" is zijn beroemdste boek. Als de AI "Stephen King" vergeet, is dat een enorme overwinning. Als hij "The Stand" vergeet, is dat goed, maar niet zo cruciaal.
- Het papier gebruikt een graaf (een kaart van verbindingen) om te bepalen welke woorden de "bazen" zijn en welke de "ondergeschikten". Het geeft een grotere straf als de AI de "baas" vergeet maar nog steeds de "ondergeschikten" noemt, en een kleinere straf als de AI de "ondergeschikten" vergeet maar de "baas" nog weet. Het is als een leraar die meer waarde hecht aan het onthouden van de hoofdgedachte van een verhaal dan aan de naam van een bijfiguur.

De Resultaten: Sneller en Slimmer
Het team testte deze ideeën op een taalmodel met 3,8 miljard parameters (een zeer slimme maar niet de grootste AI) met behulp van een benchmark genaamd RWKU. Dit is wat ze vonden:

Snelheid: De nieuwe methoden zorgden ervoor dat de AI de doelinformatie 3 keer sneller vergat dan de oude binaire methode. In de grafieken van het papier bereikte de "PageRank"-methode hetzelfde niveau van vergeten in 500 stappen als de oude methode nodig had in 1.500 stappen.
Kwaliteit: De AI vergat niet alleen sneller; de AI vergat ook beter. De "PageRank"-methode was bijzonder goed in het eerst targeten van de belangrijkste feiten.
Bijwerkingen: Een grote zorg bij ontleren is dat de AI alles kan vergeten, zelfs de goede dingen (zoals hoe je wiskunde doet of gedichten schrijft). Het papier laat zien dat deze nieuwe beloningsmethoden de algemene vaardigheden van de AI (zoals redeneren en vloeiendheid) bijna exact hetzelfde hielden als voorheen. De "utility"-scores daalden niet.

Wat ze uitsloten
Het papier heeft ook enkele variaties getest om te zien wat het beste werkt.

Ze ontdekten dat als de "Exponentiële" beloning te streng is (zoals een binaire beloning), het niet goed meer werkt.
Ze probeerden verschillende manieren om de "PageRank"-scores te verspreiden. Ze ontdekten dat het simpelweg gelijkmatig verspreiden van de scores (Lineair) niet zo goed werkte als een "Softmax"-methode, die de scores geleidelijk comprimeert zodat de belangrijkste items nog steeds de meeste aandacht krijgen, maar de minder belangrijke items ook een beetje een straf krijgen.
Ze bevestigden dat je de originele trainingsdata niet hoeft te kennen om dit te doen; je kunt de beloningen verifiëren door simpelweg te kijken naar wat de AI zegt.

De Conclusie
Het papier suggereert dat het geheim van het efficiënt laten vergeten van dingen door AI niet alleen in de wiskunde van het ontleringsalgoritme zit, maar in het ontwerp van de beloning. Door over te stappen van een simpel "Geslaagd/Gezakt"-systeem naar een genuanceerd, gegradeerd systeem dat het belang van verschillende feiten begrijpt, kunnen we AI veel sneller en effectiever leren om specifieke herinneringen te wissen. Het is een kleine verandering in hoe we "klappen" voor de robot, maar het zorgt ervoor dat de robot in een fractie van de tijd leert om te vergeten.

Technische Samenvatting: Voorbij Binaire Beloningen: Een Vergelijkende Studie naar Beloningsontwerp voor Reinforcement Unlearning

Probleemstelling

Machine Unlearning (MU) streeft ernaar om specifieke kennis (bijv. persoonlijke gegevens, auteursrechtelijk beschermd materiaal) selectief te verwijderen uit getrainde Large Language Models (LLMs) zonder de prohibitieve kosten van volledige hertraining. Deze capaciteit wordt steeds vaker afgedwongen door regelgeving zoals de AVG (GDPR) en de EU AI Act.

Recente benaderingen hebben unlearning geherformuleerd als een Reinforcement Learning with Verifiable Rewards (RLVR) probleem, specifiek gebruikmakend van Group Relative Policy Optimization (GRPO). In dit framework worden modellen geoptimaliseerd tegen beloningen die direct uit hun outputs worden berekend om de afwezigheid van verboden concepten te verifiëren. Echter, bestaande methoden, zoals PURGE, vertrouwen op ijle binaire beloningen (sparse binary rewards). Deze beloningen geven een signaal van 1 alleen als een voltooiing geen verboden items bevat en 0 anders. Deze ijlheid creëert een ruisig trainingssignaal, dat het model geen gradiëntinformatie biedt over hoe dicht een gedeeltelijke respons bij een succesvolle unlearning is. Deze beperking fungeert als een bottleneck voor het schalen van Reinforcement Unlearning (RUL) naar complexere taken, wat resulteert in een trage convergentie.

Methodologie

De auteurs stellen een principieel framework voor om verifieerbaarheid te ontkoppelen van ijlheid (sparsity). Zij betogen dat een beloning volledig verifieerbaar kan zijn (berekenbaar zonder toegang tot de oorspronkelijke trainingsdata) terwijl deze toch dichte, informatieve signalen biedt.

1. Reward Decompositie Framework

Het artikel introduceert een generieke beloningsstructuur gedefinieerd als $\phi(y; F, \psi) = \Gamma(I(y; F, \psi); H)$ , waarbij:

Informatiecomponent ( $I$ ): Extraheert data uit de forbidden-match operator (het tellen van het aantal voorkomens van verboden items) en aanvullende zij-informatie (bijv. semantische grafen).
Transformatiefunctie ( $\Gamma$ ): Brengt de geëxtraheerde informatie in kaart naar een beloningsbereik van $[0, 1]$ .
Hypothese: Door de informatiecomponent en de transformatie te variëren, kan men dichtere leersignalen creëren zonder de verifieerbaarheid op te offeren.

2. Voorgestelde Beloningsfuncties

De auteurs instantiëren dit framework met twee nieuwe beloningsfuncties, die hoger gepositioneerd zijn in een "Informatiehiërarchie" dan de standaard binaire beloning:

Exponentiële Beloning:
- Mechanisme: Gebruikt het totaal aantal voorkomens van verboden concepten ( $m$ ) als de informatiecomponent.
- Formule: $\phi_{exp}(y) = \exp(-m/\tau)$ , waarbij $\tau$ een vervallende constante is.
- Effect: Biedt gegradeerde straffen. In plaats van een binaire 0/1, neemt de beloning geleidelijk af naarmate het aantal overtredingen toeneemt, wat een dichter signaal biedt dan de binaire baseline.
PageRank Geïnspireerde Beloning:
- Mechanisme: Maakt gebruik van de semantische relaties tussen verboden concepten. Het construeert een semantische graaf waarbij knopen verboden items zijn en randen de semantische gelijkenis vertegenwoordigen (via cosinusgelijkenis van embeddings).
- Formule: Past een gepersonaliseerd PageRank-algoritme toe, die wordt gestuurd door de primaire doelentiteit, om de belangrijksheidsgewichten ( $w_j$ ) voor elk item te berekenen. De beloning straft overtredingen af op basis van deze gewichten.
- Effect: Wint hogere straffen toe aan overtredingen van semantisch centrale concepten (bijv. de doelentiteit zelf) vergeleken met perifere associaties. Dit creëert een signaal dat de optimalisatie stuurt naar de meest informatieve overtredingen eerst.

3. Theoretische Analyse

Het artikel biedt een theoretische analyse van de convergentiesnelheid onder GRPO. Het stelt dat dichtere beloningen meer stabiele advantage-schattingen behouden (lagere variantie in de advantage-term $\hat{A}$ ) vergeleken met binaire beloningen.

Binaire Beloningen: Lijden onder "advantage collapse" naarmate de succeswaarschijnlijkheid de 0 of 1 nadert, wat leidt tot verdwijnende gradiënten.
Dichtere Beloningen: Handhaven een niet-nul variantie in de beloningsverdeling gedurende de training, wat grotere effectieve stapgroottes en snellere convergentie mogelijk maakt.

Experimentele Opzet

Benchmark: Real World Knowledge Unlearning (RWKU), die unlearning evalueert op 100 echte beroemde personen.
Model: Phi-3-Mini-4K-Instruct (3.8B parameters).
Baselines:
- Base: Het originele model vóór unlearning.
- Binary (PURGE): De standaard ijle binaire beloning.
Metrieken:
- Forget: ROUGE-L recall op Fill-in-the-Blank (FB), Question-Answering (QA) en Adversarial Attacks (AA). Lager is beter.
- Neighbor: Behoud van kennis aangrenzend aan het doel. Hoger is beter.
- MIA: Membership Inference Attack scores (privacy).
- Utility: Algemene capaciteiten (MMLU, Redeneren, Waarachtigheid, etc.). Hoger is beter.

Belangrijkste Resultaten

Experimenten werden uitgevoerd over 1.500 trainingsstappen met 20 unlearning-doelen.

Convergentiesnelheid: Beide voorgestelde beloningen presteren aanzienlijk beter dan de binaire baseline wat betreft trainingsefficiëntie.
- De PageRank Softmax variant bereikt hetzelfde niveau van forgetting-prestaties als de binaire baseline in ongeveer 3× minder trainingsstappen.
- Bij stap 500 bereikt PageRank Softmax een verbetering van 37,1% ten opzichte van de base, een drempel die de binaire baseline pas bij stap 1.500 bereikt.
Unlearning Prestaties:
- PageRank Softmax behaalt de sterkste forgetting-scores over alle metrieken (FB, QA, AA), en presteert consistent beter dan zowel de Binaire als de Exponential Decay baselines.
- Exponential Decay verbetert ook ten opzichte van de binaire baseline, maar is over het algemeen minder effectief dan PageRank.
Utility en Neighbor Preservatie:
- Cruciaal is dat de verbeterde efficiëntie niet ten koste gaat van de algemene model-utility of het behoud van naburige kennis. Utility-metrieken (GA, RA, TRU, FAC, FLU) blijven stabiel over alle beloningsontwerpen, met een verschuiving van maximaal 0,014 ten opzichte van het Base-model.
- Neighbor-scores vertonen een uniforme degradatie over alle methoden, wat aangeeft dat de trade-off wordt gedreven door het optimalisatie-doel zelf en niet door het specifieke beloningsontwerp.
Ablatie-studies:
- Exponential Decay: De vervalconstante $\tau$ is cruciaal. $\tau=0,5$ werd gevonden als optimaal, waarbij een balans wordt gevonden tussen gradiënt-informativiteit en optimalisatiedruk. Te klein ( $\tau=0,1$ ) keert terug naar bijna binaire ijlheid; te groot ( $\tau \ge 1,0$ ) wordt te mild.
- PageRank Varianten: De Softmax variant (die een temperatuur-geschaalde softmax toepast op ruwe PageRank-scores) presteert beter dan de standaard PageRank en de Lineaire variant. Softmax vlakt de power-law distributie van gewichten effectief af, waardoor de strafmassa gelijkmatiger wordt verdeeld terwijl de semantische ordening behouden blijft, terwijl Lineaire rescaling voor distortie zorgt.

Betekenis en Claims

Het artikel claimt dat beloningsontwerp een belangrijke drijfveer is van unlearning-efficiëntie binnen het Reinforcement Unlearning framework.

Theoretische Bijdrage: Het formaliseert de trade-off tussen de inductieve bias van de beloning en de optimalisatiesnelheid, en demonstreert dat verifieerbaarheid niet noodzakelijkerwijs ijlheid (sparsity) vereist.
Praktische Impact: Door de introductie van de Exponential en PageRank beloningen, bieden de auteurs een praktisch pad naar schaalbare en efficiënte machine unlearning. De resultaten tonen aan dat zorgvuldig ontworpen beloningen het unlearning-proces met wel 3× kunnen versnellen, terwijl sterke forgetting-prestaties worden behouden en de algemene model-utility intact blijft.
Toekomstige Richting: Dit werk opent richtingen voor adaptieve beloningen die verifieerbaar blijven zonder toegang tot de oorspronkelijke trainingsdata, wat suggereert dat de "informatiehiërarchie" van beloningen verder verkend kan worden.

De auteurs concluderen dat het bewegen voorbij binaire beloningen niet louter een implementatie-tweak is, maar een fundamentele verbetering van de structuur van het leersignaal, wat RUL in staat stelt om naar moeilijkere unlearning-taken te schalen.