💻 computer science

What to Forget in Unlearning? Forget Set Curation for Language Models

Dit artikel introduceert CleanSlate, een benchmark die aantoont dat de curatie van vergeetsets een cruciale voorafgaande uitdaging is bij machine unlearning, waarbij eenvoudige selectiemethoden falen in het onderdrukken van doelgerichte inhoud terwijl overdreven agressieve strategieën aanzienlijke nevenschade veroorzaken aan de modelcapaciteiten.

Oorspronkelijke auteurs: Animesh Jha, Arpandeep Khatua, Youssef Allouah, Sanmi Koyejo

Gepubliceerd 2026-08-18

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Animesh Jha, Arpandeep Khatua, Youssef Allouah, Sanmi Koyejo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin de enorme bibliotheken van menselijke kennis zijn samengeperst in één enkel, ongelooflijk slim computerprogramma. Dit programma, een taalmodel genoemd, leert door biljoenen woorden uit boeken, websites en liedjes te lezen. Het wordt hier zo goed in dat het de stijl van een dichter kan imiteren of een zin uit een beroemde roman kan afmaken. Maar soms moeten de eigenaren van deze programma's specifieke informatie verwijderen. Misschien is een liedje zonder toestemming gebruikt, of is er per ongeluk een privéverhaal onthouden. Het doel is om de computer dat specifieke stuk inhoud te laten "vergeten" zonder dat hij zijn hele geheugen moet wissen en opnieuw moet beginnen. Dit proces wordt machine-unlearning genoemd. Jarenlang hebben onderzoekers zich gericht op de mechanica van hoe je de gegevens verwijdert zodra je precies weet welke woorden je moet aanpakken. Ze hebben de lijst met woorden die vergeten moeten worden als een eenvoudig startpunt beschouwd, uitgaande van het idee dat als je de computer vertelt een specifieke zin te vergeten, hij dat ook simpelweg zal doen.

Echter, een nieuwe studie van de Stanford University suggereert dat deze aanname een cruciale, moeilijke stap mist. De onderzoekers realiseerden zich dat in de echte wereld een verzoek om iets te vergeten zelden gepaard gaat met een precieze lijst met woorden. Een gebruiker kan een model vragen om te stoppen met het zingen van een specifiek liedje, maar dat liedje bestaat in het geheugen van de computer in vele verschillende vormen. Het kan verschijnen in de officiële songteksten, maar ook in een nieuwsartikel dat een regel citeert, een fanforum dat de melodie bespreekt, een codebestand waarin de tekst is opgeslagen, of een recensie waarin het refrein wordt genoemd. De computer kent het liedje niet slechts van één perfect exemplaar; het kent het van een verspreide wolk van deze diverse vermeldingen. Het nieuwe onderzoek stelt een fundamentele vraag: hoe vind je al die verspreide stukjes van een liedje of boek binnen een enorme bibliotheek van tekst, zodat je de computer kunt vertellen ze te vergeten? Het team noemt deze ontbrekende stap "forget set curation" (het cureren van de vergeetset), en ze ontdekten dat het fout doen hiervan ervoor kan zorgen dat de computer veel meer verliest dan alleen het ongewenste liedje.

Om dit te onderzoeken, bouwden de onderzoekers een testomgeving genaamd CLEANSLATE. Ze verzamelden duizenden liedjes uit de Billboard Hot 100-lijsten die de periode van 1970 tot 2025 beslaan, samen met vijftig boeken. Vervolgens testten ze hoe goed verschillende methoden in staat waren om de specifieke tekstfragmenten te identificeren die verwijderd moesten worden. Ze vergeleken twee hoofdaanpakken. De eerste aanpak vertrouwde op standaard zoekinstrumenten, vergelijkbaar met hoe een persoon een zoekmachine zou gebruiken om een boek te vinden. Deze instrumenten zochten naar exacte overeenkomsten van woorden of zinnen. De tweede aanpak was agressiever: deze keek rechtstreeks naar de specifieke delen van de tekst die de computer het meest waarschijnlijk zou reproduceren en selecteerde deze voor verwijdering, waardoor de zoekstap in feite werd omzeild om direct de exacte probleemgebieden aan te pakken.

De resultaten onthulden een verrassende complexiteit. Wanneer de onderzoekers de standaard zoekinstrumenten gebruikten om de tekst te vinden, waren de resultaten vaak zwak. De computer bleef het liedje zingen of het boek reciteren, zelfs nadat de zoekinstrumenten de overduidelijke kopieën hadden verwijderd. Dit gebeurde omdat de computer het liedje had geleerd van veel kleine, verspreide bronnen die de zoekinstrumenten misten. De "voetafdruk" van een liedje is niet alleen de officiële songtekst; het is een diffuus netwerk van citaten, verwijzingen en fragmenten die verspreid liggen over het internet. Toen de onderzoekers probeerden grondiger te zijn en de exacte tekstvensters targetten die de computer gebruikte om het liedje te genereren, bereikten ze een ander soort probleem. Ze slaagden erin de computer te stoppen met het zingen van het liedje, maar deden daarmee schade aan het vermogen van de computer om andere dingen te onthouden. Het model werd slechter in het beantwoorden van vragen over de feiten van het liedje, en het verloor ook enkele algemene vaardigheden, zoals het vermogen om te redeneren of wiskundige problemen op te lossen.

De studie toonde aan dat de keuze van welke tekst te verwijderen niet slechts een technisch detail is; het is een essentieel onderdeel van de oplossing zelf. De onderzoekers ontdekten dat dezelfde lijst met tekst die vergeten moet worden, tot zeer verschillende uitkomsten kan leiden, afhankelijk van welk algoritme wordt gebruikt voor de verwijdering. In sommige gevallen leidde een methode die perfect werkte voor het ene computermodel tot aanzienlijke schade bij een ander model. Dit betekent dat je niet simpelweg een lijst met woorden kunt kiezen en ervan kunt uitgaan dat de verwijdering schoon zal verlopen. Het proces van het selecteren van de gegevens en het proces van het verwijderen ervan zijn diep met elkaar verbonden. Als je te weinig selecteert, blijft het ongewenste gedrag bestaan. Als je te veel, of het verkeerde soort tekst selecteert, loop je het risico waardevolle kennis uit te wissen en de algemene intelligentie van de computer te schaden.

Uiteindelijk suggereert het onderzoek dat het idee van een eenvoudige, perfecte lijst van zaken om te vergeten een illusie is. In de chaotische realiteit van hoe deze modellen leren, wordt een liedje of een boek ondersteund door een uitgestrekt, onzichtbaar web van tekst. Om echt een stuk inhoud te kunnen "ontleren" zonder de rest van de geest van het model te beschadigen, moet de selectie van de gegevens met uiterste zorg gebeuren, rekening houdend met de manier waarop dat specifieke computermodel de inhoud heeft geleerd. De studie concludeert dat praktische unlearning niet kan worden opgelost door alleen de verwijderingstools te verbeteren; het vereist een nieuwe manier van denken over hoe we de gegevens vinden en kiezen. De weg vooruit ligt in het ontwerpen van een systeem waarbij de selectie van wat vergeten moet worden en de methode van het vergeten gezamenlijk worden gepland, om er zeker van te zijn dat de computer een specifieke opdracht kan loslaten zonder zijn vermogen te verliezen om de wereld om hem heen te begrijpen.

Technische Samenvatting: Vergeet de selectie van de 'forget set' voor taalmodellen

Probleemstelling

Machine unlearning (het onleren van een model) beoogt specifieke data of gedragingen uit een getraind model te verwijderen zonder het vanaf nul opnieuw te trainen. Echter, bestaande benchmarks en methoden gaan er doorgaans van uit dat de "forget set" — de specieve voorbeelden die de unlearning-update aansturen — al bekend is en wordt aangeleverd. In realistische scenario's met implementaties kan een verzoeker vragen om een model te laten stoppen met het reproduceren van een specifiek lied, boek of beschermd werk, zonder te weten welke specifieke tekstfragmenten, documenten of bijna-duplicaten binnen een corpus van biljoenen tokens dit gedrag ondersteunen.

Dit artikel identificeert een ontbrekend upstream-probleem: de curatie van de forget set. Dit is het proces van het mappen van een hoogwaardige onderdrukingsverzoek (bijv. "stop met het reproduceren van Never Gonna Give You Up") naar de concrete tekstfragmenten die aan een unlearning-algoritme moeten worden doorgegeven. De uitdaging is dat het bewijs dat een letterlijke voortzetting van een werk ondersteunt, zelden beperkt is tot één canonieke kopie van het werk. In plaats daarvan vormt het een "corpusvoetafdruk" die verspreid is over lyric-aggregators, fanfora, code-snippets, nieuwsartikelen en incidentele discussies. Een curator moet genoeg van deze voetafdruk terugwinnen om het doelgerichte gedrag te onderdrukken zonder nevenschade te veroorzaken aan niet-verzochte inhoud of algemene modelcapaciteiten.

Methodologie: CLEANSLATE Benchmark

Om dit probleem te bestuderen, introduceren de auteurs CLEANSLATE, een benchmark en evaluatieprotocol dat ontworpen is om de volledige pijplijn te evalueren: van het onderdrukkingsverzoek naar de gecureerde forget set tot het bewerkte model.

Dataset en Omvang

Inhoud: CLEANSLATE beslaat 4.616 Billboard Hot 100-nummers (1970–2025) en 50 boeken (voornamelijk uit Project Gutenberg).
Modellen: De evaluatie beslaat zes modellen variërend van 7B tot 32B parameters (waaronder LLaMA-3.1, OLMo, Gemma, Nemotron en Qwen).
Extractieprofielen: De benchmark meet "extracteerbaarheid" via probabilistische extractie. Een werk wordt als extracteerbaar beschouwd als het model een hoge waarschijnlijkheid ( $p \geq 0.001$ ) toekent aan een doel-suffix gegeven een prefix. Profielen worden per model gegenereerd om variërende niveaus van memorisatie te verklaren.
Content-Grounded QA: Om onderscheid te maken tussen het onderdrukken van letterlijke reproductie en het wissen van feitelijke kennis, hebben de auteurs 12.088 QA-paren geconstrueerd. Deze testen of een model nog steeds feitelijke vragen over een werk kan beantwoorden (bijv. plotdetails, auteur, jaartal) nadat het unlearning heeft ondergaan, zelfs als het de tekst niet meer letterlijk kan reciteren.

Evaluatiepijplijn

Curator ( $A$ ): Ontvangt een onderdrukkingsverzoek ( $W_f$ ) en een corpus ( $C$ ), en produceert vervolgens een forget set ( $D_f$ ) en optioneel een retain set ( $D_r$ ).
Unlearner ( $U$ ): Een vast unlearning-algoritme werkt het model $\theta$ bij naar $\theta'$ met behulp van $D_f$ en $D_r$ .
Evaluatie: Het resulterende model wordt gescoord op:
- Target Suppression ( $F$ ): Vermindering van extracteerbare vensters voor de forget set.
  । Collateral Suppression ( $R$ ): Onbedoelde vermindering van de extracteerbaarheid van de retain set.
- Capability Retention: Prestaties op content-gebaseerde QA en algemene benchmarks (GSM8K, BBH, WinoGrande, CoQA, HumanEval+, LAMBADA).

Geteste Curatoren

De studie vergelijkt drie soorten curatoren:

BM25-pre / BM25-mid: Lexicale retrieval met behulp van BM25-indices over pretraining- en midtraining-corpora.
Infini-gram-mid: Exacte substring-retrieval met behulp van een Infini-gram-mini index om maximale karakter-spans te vinden.
Evaluation-Aware (EA): Een theoretische baseline die de retrieval omzeilt en direct de specifieke evaluatievensters selecteert die bekend zijn als extracteerbaar; dit dient als een robuustheidstest voor het evaluatieprotocol in plaats van een praktische oplossing.

Belangrijkste Resultaten

1. Diffuse Corpusvoetafdrukken

De studie bevestigt dat culturele werken "diffuse corpusvoetafdrukken" hebben. Oudere werken verspreiden zich naar buiten via citaten en discussies, terwijl nieuwere werken vaak taal erven via idiomen en standaardfrases (inwaartse diffusie).

Outward Diffusion: Een lied als "Smile" (2024) bereikte 100% dekking op 5-gram niveau in de Common Crawl-snapshot, waarbij de fragmenten verschenen in code, recensies en fora, en niet alleen op lyric-sites.
Inward Diffusion: Nieuwere liederen bevatten vaak zinnen die de song zelf voorafgingen (bijv. het citeren van een gedicht uit 1910), wat betekent dat de ondersteunende bewijslast er totaal niet uitziet als een kopie van het doelwerk.

2. Falende Modi van Retrieval-gebaseerde Curatoren

Natuurlijke lexicale en exact-substring curatoren (BM25, Infini-gram) leveren forget sets op die leiden tot zwakke onderdrukking.

Modelafhankelijkheid: De effectiviteit van retrieval-afgeleide forget sets is sterk modelafhankelijk. Grotere modellen (bijv. Gemma-3-12B) vertoonden enige beweging, terwijl kleinere modellen (bijv. OLMo-3-7B) nauwelijks bewogen.
Gebrek aan Selectiviteit: Zelfs wanneer onderdrukking plaatsvond, was deze zelden selectief. Bijvoorbeeld: LLaMA-3.1-8B verloor tussen de 51% en 55% van de extracteerbaarheid van de retain-pool, terwijl het maximaal 29% winst boekte in onderdrukking op de forget-pool.

3. De Selectiviteitskloof in Evaluation-Aware Curation

Wanneer de curator de retrieval omzeilt en de exacte vensters selecteert die voor de evaluatie worden gebruikt (EA curator):

Hoge Onderdrukking: Target suppression bereikte bijna 100% over alle modellen heen.
Ernstige Collateral Damage: Deze aanpak veroorzaakte substantiële collateral suppression (80–100% reductie in de extracteerbaarheid van de retain-pool) en significante achteruitgang in capaciteiten.
Interactie met Algoritmen: De mate van capaciteitsverlies varieerde per unlearning-algoritme. Het gebruik van EA-inputs met SimNPO veroorzaakte bijvoorbeeld een gemiddelde capaciteitsdaling van 5,1 procentpunt, terwijl UNDIAL de capaciteit grotendeels behield (+0,1 pp) ondanks vergelijkbare onderdrukkingsniveaus.

4. De Interdependentie van Curation en Unlearning

De studie toont aan dat de forget set en het unlearning-algoritme sterk met elkaar interageren. Dezelfde forget set produceerde zeer verschillende resultaten afhankelijk van de unlearner (bijv. SimNPO vs. RMU vs. UNDIAL).

Geen Universele Oplossing: Noch retrieval-gebaseerde, noch evaluation-aware curation bereikte selectieve unlearning (hoge target suppression met lage collateral damage) over de geteste grid heen.
Pijplijn-aard: Praktische unlearning kan niet worden behandeld als een modulair proces waarbij curatie een vaststaand uitgangspunt is. De keuze van de data bepaalt zowel wat er wordt 'ontleerd' als wat er wordt beschadigd.

Betekenis en Claims

Het artikel betoogt dat de selectie van de forget set als een van de objecten van evaluatie moet worden beschouwd in machine unlearning, en niet louter als een preprocessing-stap.

Herformulering van het Probleem: De auteurs stellen dat praktische unlearning niet alleen een optimalisatieprobleem is zodra een forget set is gegeven; de gekozen data voor het onleren bepaalt fundamenteel de afweging tussen onderdrukking en nut.
Beperkingen van Huidige Benchmarks: Bestaande benchmarks die een bekende forget set veronderstellen, verhullen de cruciale upstream-uitdaging van het mappen van echte verzoeken naar data.
Toekomstige Richting: Het artikel suggereert dat toekomstige curatoren "algoritme-bewust" moeten zijn, waarbij ze potentieel signalen van de corpusvoetafdruk combineren met model-specifieke extractieprofielen en invloedschatting om forget sets te construeren die effecten lokaliseren.

De auteurs concluderen dat hoewel CLEANSLATE een nauwe setting bestudeert (letterlijke onderdrukking van liedjes en boeken), de kerninzicht breed standhoudt: de mapping van verzoek naar data is een kritische, niet-triviale component van de unlearning-pijplijn die gezamenlijk met het unlearning-algoritme geëvalueerd moet worden.