Revisiting the Past: Data Unlearning with Model State History

1. Probleemstelling

Grote Taalmodellen (LLMs) worden getraind op enorme webcorpora die vaak privégegevens, auteursrechtelijk beschermd materiaal, desinformatie of data van lage kwaliteit bevatten. Wanneer dergelijke problematische datapunten moeten worden verwijderd om te voldoen aan regelgeving (bijvoorbeeld het "Recht om Vergeten te Worden") of om de modelkwaliteit te verbeteren, is de standaardaanpak – het opnieuw trainen van het model vanaf nul op een dataset zonder deze punten – computationeel onhaalbaar.

Bestaande Machine Unlearning-algoritmen proberen deze hertraining te benaderen door de modelgewichten tegen lagere kosten aan te passen. Deze methoden staan echter voor aanzienlijke uitdagingen:

• Onvolledig Vergeten: Het model behoudt sporen van de data die vergeten moet worden.
• Verslechterde Functionaliteit: Het model verliest vaardigheden op data die het had moeten behouden.
• Onnauwkeurigheid: Het vergeten model functioneert niet overeenkomstig een "ideaal model" (een model dat vanaf nul is getraind zonder de doeldata).
• Beperking van Huidige Benaderingen: De meeste bestaande methoden werken uitsluitend op het laatste modelcheckpoint en proberen de invloed van data om te draaien met alleen de huidige staat, wat vaak leidt tot ruisachtige of bevooroordeelde schattingen van data-invloed.

2. Methodologie: Model State Arithmetic (MSA)

De auteurs stellen MSA voor, een nieuw unlearning-algoritme dat gebruikmaakt van intermediate model checkpoints (artefacten die ontwikkelaars routinematig opslaan voor fouttolerantie en experimenten) om de invloed van specifieke datapunten nauwkeuriger te schatten en om te draaien.

Kernconcept

In plaats van een "forget vector" te berekenen op basis van het finale model (dat de data al heeft geïnternaliseerd), berekent MSA de vector op basis van een checkpoint ($C$) dat voorafgaat aan de introductie van de unlearning-doelen ($D_f$).

Algoritme Stappen

1. Input: Een doelmodel $\theta_D$ (getraind op volledige data $D$), een intermediate checkpoint $\theta_0$ (getraind op data $D \setminus D_f$), en de forget-set $D_f$.
2. Bereken Forget Vector ($\vec{\theta}_f$):
   • Fine-tune het checkpoint $\theta_0$ op de forget-set $D_f$ om een nieuwe staat $\theta_1$ te verkrijgen.
   • Bereken het verschil: $\vec{\theta}_f = \theta_1 - \theta_0$. Deze vector vertegenwoordigt de pure invloed van $D_f$ op de modelparameters voordat het model andere conflicterende kennis had.
3. Pas Unlearning toe:
   • Trek de forget vector af van het doelmodel: $\theta_{unlearn} = \theta_D - \alpha \vec{\theta}_f$, waarbij $\alpha$ een schalingsfactor is.
4. Optionele Retain Vector ($\vec{\theta}_r$):
   • Als een retain-set $D_r$ beschikbaar is, kan een vergelijkbare vector worden berekend door $\theta_0$ te fine-tunen op $D_r$ om $\theta_2$ te krijgen, waarbij $\vec{\theta}_r = \theta_2 - \theta_0$.
   • De uiteindelijke update wordt: $\theta_{unlearn} = \theta_D - \alpha \vec{\theta}_f + \beta \vec{\theta}_r$.

Kerninzicht

De auteurs hypotheseren dat vectoren afgeleid van het finale model verstrikt zijn met de bestaande kennis van het model, waardoor ze slechte schattingen zijn van de specifieke invloed van de data. Door een "schone" checkpoint te gebruiken van voordat de data werd gezien, isoleert MSA het semantische effect van de forget-set effectiever.

3. Belangrijkste Bijdragen

• Nieuw Kader: Introductie van MSA, dat standaard trainingscheckpoints hergebruikt voor post-hoc data unlearning, en het paradigma verschuift van "alleen eindstaat" naar "staatshistorie-bewust".
• Nieuwe Evaluatiemetrics: Het paper bekritiseert standaardmetrics zoals ROUGE-L voor unlearning (die kunnen worden misleid door syntactische gelijkenis ondanks feitelijke fouten) en introduceert GPT-4o-gebaseerde semantische metrics:
  • Accforget: Meet of het model succesvol voorkomt dat het de ground truth voor vergeten items genereert.
  • Accrecover: Meet of de output van het model overeenkomt met het "ideaal model" (het model dat de data nooit heeft gezien).
  • Accretain: Meet behoud van kennis op niet-vergeten data.
• Uitgebreide Benchmarking: Evaluatie over drie grote benchmarks: TOFU (fictieve auteurs), RESTOR (herstellen van kennis die is beschadigd door desinformatie), en MUSE-Books (boekmemorisatie en privacy).
• Robuustheidsanalyse: Demonstratie dat MSA effectief blijft, zelfs wanneer het gebruikte checkpoint honderden miljarden tokens voor het unlearning-doel ligt, hoewel dichter checkpoints betere resultaten opleveren.

4. Experimentele Resultaten

De auteurs hebben MSA geëvalueerd tegen state-of-the-art baselines (NPO, RMU, GradDiff, Task Vector, SatImp, UNDIAL) op OLMo-2-7B en Llama-3.1/3.2-modellen.

• TOFU Benchmark:
  • MSA-varianten (bijvoorbeeld met checkpoints 3,6 biljoen tokens eerder) behaalden concurrerende of superieure prestaties op alle metrics in vergelijking met baselines.
  • In tegenstelling tot baselines die vaak functionaliteit (Accretain) opofferen om vergeten te bereiken, of falen in het herstellen van ideaal gedrag (Accrecover), balanceerde MSA alle drie de doelen effectief.
  • Bijvoorbeeld, op de forget10-taak behaalden MSA-varianten ongeveer 89% Accforget en ongeveer 96% Accrecover, terwijl baselines zoals RMU een hoog vergeten hadden maar zeer lage herstel (weigeren om te antwoorden in plaats van vergeten).
• RESTOR Benchmark:
  • MSA presteerde aanzienlijk beter dan baselines in het herstellen van kennis die is beschadigd door desinformatie.
  • Op Llama-3.1-8B was de nauwkeurigheid van het ideale model 64,80%. Het beschadigde model daalde naar 44,31%. MSA herstelde de nauwkeurigheid naar 48,45% - 49,19%, terwijl baselines zoals NPO en SatImp slechts herstelden tot ongeveer 44-46%.
• MUSE-Books Benchmark:
  • MSA toonde sterke prestaties bij Membership Inference Attacks (MIN-K% en MIN-K%++), wat aangeeft dat het vergeten model de vergeten boeken niet meer herkent als onderdeel van zijn trainingsdata.
  • MSA-varianten met dichter checkpoints (bijvoorbeeld MSA3859B) kwamen overeen met of overtroffen de prestaties van het ideale model op metrics voor privacylekken.
• Checkpoint Afstand:
  • Experimenten toonden aan dat hoewel checkpoints die direct voorafgaan aan de forget-set optimaal zijn, checkpoints honderden miljarden tokens eerder nog steeds sterke resultaten opleveren, wat MSA praktisch maakt zelfs voor modellen met infrequente checkpointing.

5. Betekenis en Conclusie

• Praktijktoepasbaarheid: MSA biedt een computationeel efficiënte ($O(|D_f|)$) oplossing die artefacten (checkpoints) gebruikt die al aanwezig zijn in standaard LLM-trainingspijplijnen, zonder wijzigingen in het oorspronkelijke trainingsproces.
• Regelgevingsconformiteit: Het biedt een haalbaar pad voor modelproviders om verzoeken voor het "Recht om Vergeten te Worden" in te vullen zonder de kosten van volledige hertraining.
• Theoretische Verschuiving: Het werk daagt de aanname uit dat unlearning uitsluitend moet vertrouwen op de finale modelstaat. Het suggereert dat modelstaatshistorie een kritieke bron is voor precieze data-uitwissing.
• Toekomstige Richting: Het paper pleit ervoor dat modelontwikkelaars indexen bijhouden van wanneer modellen tijdens training specifieke informatie tegenkomen, niet alleen voor attributie, maar om geavanceerde unlearning-technieken zoals MSA mogelijk te maken.

Kortom, MSA vertegenwoordigt een aanzienlijke vooruitgang in machine unlearning door gebruik te maken van de temporele dynamiek van training om nauwkeurigere, functionaliteitsbehoudende en functioneel trouwe dataverwijdering te bereiken.