Technische Samenvatting: De-attributie om te Vergeten voor LLM Unlearning (DareU)

1. Probleemstelling

De snelle uitrol van Large Language Models (LLM's) heeft de zorgen vergroot over het gebruik van ongepaste trainingsdata, waaronder inbreuk op intellectueel eigendom, privéinformatie en schadelijke inhoud. Regelgeving zoals de AVG (GDPR) en CCPA vereist het recht op vergeten, wat betekent dat specifieke databestandsinvloeden uit getrainde modellen moeten worden verwijderd. Hoewel het opnieuw trainen van een model vanaf nul de ideale oplossing is, is dit gezien de schaal van moderne LLM's en datasets computationeel onhaalbaar.

Bestaande methoden voor machine unlearning vertrouwen primair op voorspellingsverlies-gebaseerde optimalisatie, waarbij doorgaans Gradient Ascent (GA) wordt gebruikt om de loss op de "forget set" (de data die verwijderd moet worden) te maximaliseren. Het artikel identificeert twee kritieke beperkingen in deze methoden:

1. Over-vergeten en Model Collaps: Het naïef maximaliseren van de loss of het minimaliseren van de log-likelihood leidt vaak tot incoherente, onzinnige generaties (gibberish) in plaats van een functioneel model dat simpelweg de forget set negeert.
2. Inconsistente Optimalisatietargets: De doelverlieswaarde voor een perfect ontleerd model varieert per individuele datapunt (zoals blijkt uit de variërende log-likelihoods van opnieuw getrainde modellen). Bij gevolg is het maximaliseren van de loss geen consistente, precieze doelstelling, wat vaak de prestaties op de "retain set" (de data die behouden moet blijven) verslechtert.

De centrale vraag die wordt gesteld is of er een preciezere optimalisatiedoelstelling bestaat die over-vergeten voorkomt terwijl de invloed van data effectief wordt verwijderd.

2. Methodologie: DareU Framework

De auteurs stellen DareU voor (Data Attribution-based REinforcement Learning for Unlearning), het eerste framework dat LLM unlearning frameert als een data de-attributatieprobleem in plaats van een voorspellingsverlies-minimalisatieprobleem.

Kernconcept: Data De-attributatie

In plaats van de voorspellingsverlies te maximaliseren, streeft DareU ernaar om de attributiescore van de gegenereerde responsen van de LLM naar de eigenaren van de forget-data te verminderen.

• Attributiefunctie: Een functie $DA(i, y_d)$ wijst een genormaliseerde score $\in [0, 1]$ toe die de waarschijnlijkheid aangeeft dat de dataset van data-eigenaar $i$ de generatie $y_d$ heeft beïnvloed.
• Doelstelling: Voor een forget set $D_F$ behorend bij eigenaren $F$, is het doel om de verwachte attributiescore te minimaliseren:
  $$\min_{\theta} \mathbb{E}_{i \in F} [\mathbb{E}_{d \sim D_i} (DA(i, y_d))]$$
  Ideaal gezien zou na unlearning de attributiescore voor de forget-data nabij 0 moeten liggen, terwijl het model nog steeds toe te schrijven blijft aan de eigenaren van de retain set. Dit biedt een consistente doelwaarde (0) voor alle samples en voorkomt dat de voorkeur uitgaat naar gecollapseerde, onzinnige outputs.

Implementatie via Reinforcement Learning (PPO)

Aangezien attributiefuncties scalaire feedback leveren, dienen ze van nature als beloningsmodellen voor Reinforcement Learning (RL). De auteurs gebruiken Proximal Policy Optimization (PPO) om de LLM uit te lijnen:

1. Beloningssignaal: De beloning wordt afgeleid van de attributiescore. Om de stabiliteit te verbeteren, wordt de score getransformeerd via een log-gebaseerde functie $\chi$ om waarschijnlijkheden te mappen naar het bereik $[-1, 0]$, waarbij lagere attributiescores hogere beloningen opleveren.
2. Efficiënte Beloningsberekening: Om de hoge computationele kosten van het aanroepen van een attributiefunctie voor elke token te vermijden, wordt de attributiescore elke $\kappa$ tokens berekend en naar de tussenliggende tokens gebroadcast. Een prefix-gemiddelde basisbeloning wordt berekend om variantie te verminderen.
3. Distillatie Regularisatie: Om de bruikbaarheid van het model op de retain set ($D_R$) te behouden, wordt een distillatie-regularisatieterm toegevoegd. Deze term minimaliseert de KL-divergentie tussen de huidige unlearned policy en de oorspronkelijke policy op de retain set, wat het catastrofale vergeten van niet-forget data voorkomt.
4. Attributie Classifier ($D_{Ac}$): In het besef dat ideale attributiefuncties (bijv. Leave-One-Out, Shapley-waarden) computationeel duur zijn, trainen de auteurs een lichtgewicht LLM-classifier (met LoRA) om de data-eigenaar van een gegenereerde respons te voorspellen. Deze classifier wordt offline getraind vóór de unlearning en bevroren tijdens het PPO-proces.

3. Belangrijkste Bijdragen

1. Nieuwe Optimalisatiedoelstelling: Het artikel introduceert data de-attributatie als een precieze doelstelling voor LLM unlearning, waarmee de inconsistentie en instabiliteit van voorspellingsverlies-gebaseerde methoden wordt aangepakt.
2. DareU Framework: De auteurs stellen het eerste unlearning framework voor dat gebruikmaakt van data-attributiebeloningen binnen een PPO-setting. Het balanceert effectief de trade-off tussen de kwaliteit van het vergeten (verwijderen van invloed) en de bruikbaarheid van het model (behoud van prestaties op retain data).
3. Empirische Validatie: Uit uitgebreide experimenten blijkt dat DareU de bestaande baselines (inclusclusief GA, GDiff, SCRUB en preference optimization methoden zoals IDK en NPO) overtreft in het bereiken van effectieve unlearning zonder significante degradatie van de bruikbaarheid van het model of het genereren van incoherente tekst.

4. Experimentele Resultaten

Het framework werd geëvalueerd op twee benchmarks: TOFU (Question Answering) en ArXiv (Text Completion), met behulp van Llama2-7B en Qwen3-8B modellen.

• Effectiviteit van Unlearning: DareU behaalde de dichtstbijzijnde DF (Forget Set) ROUGE-scores bij de "Retraining" gouden standaard over beide datasets, wat duidt op superieure forget-kwaliteit.
• Model Bruikbaarheid: In tegenstelling tot Gradient Ascent (GA) en GDiff, die vaak leden onder over-vergeten (lage DR ROUGE), behield DareU hoge ROUGE-scores op de retain set ($D_R$) en de testset ($D_{test}$).
• Balans (ToW Score): DareU behaalde de hoogste Tug-of-War (ToW) score, een metriek die de verschillen aggregeert tussen het unlearned model en het opnieuw getrainde model over de forget, retain en test sets. Dit bevestigt het vermogen van DareU om de balans tussen forget-kwaliteit en bruikbaarheid beter te beheren dan elke baseline.
• Robuustheid:
  • Reductie van Gibberish: DareU produceerde aanzienlijk minder incoherente/onzinnige responsen vergeleken met GA en SCRUB.
  • Adversariële Robuustheid: De methode bleef effectief tegen geparafraseerde forget-queries en semantische overlappingen tussen de forget en retain sets.
  • Classifier Nauwkeurigheid: Het framework bleef robuust, zelfs wanneer de nauwkeurigheid van de attributie-classifier kunstmatig werd verlaagd.
• Efficiëntie: Hoewel DareU hogere computationele kosten met zich meebrengt dan eenvoudige voorspellingsverlies-methoden (vanwege RL-generatie), is het aanzienlijk efficiënter dan volledige hertraining en vergelijkbaar met second-order optimalisatiemethoden zoals SCuReNewton.

5. Betekenis en Claims

Het artikel beweert dat DareU een preciezer en stabieler optimalisatieperspectief biedt voor LLM unlearning. Door de focus te verleggen van "het maximaliseren van de fout" naar "het naar nul brengen van de attributie", vermijdt de methode de valkuilen van model collaps en inconsistente targets die inherent zijn aan gradient ascent benaderingen.

De auteurs benadrukken dat hoewel zij een lichtgewicht classifier hebben gebruikt als een efficiënte benadering, de kernbijdrage de de-attributatie-doelstelling zelf is. Zij stellen dat deze aanpak een consistente target (score van 0) biedt voor alle forget samples, wat theoretisch superieur is aan de variabele targets van loss-gebaseerde methoden.

Erkende Beperkingen:

• Computationele Kosten: DareU is computationeel duurder dan eenvoudige fine-tuning of GA, maar biedt een gerechtvaardigde trade-off voor betere prestaties.
• Afhankelijkheid van Attributie: De methode vereist toegang tot de trainingsdata (of een subset) om de attributie-classifier te trainen, wat de toepassing op het verwijderen van pre-training data kan beperken waar dergelijke data niet toegankelijk is.
• Benadering: Het gebruik van een classifier is een benadering; toekomstig werk zou nauwkeurigere of efficiëntere attributiefuncties kunnen integreren om de prestaties verder te verbeteren.

Concluderend positioneert het artikel DareU als een state-of-the-art oplossing die effectief de invloed van data verwijdert terwijl de bruikbaarheid van de LLM behouden blijft, waarbij voldaan wordt aan het "recht op vergeten" zonder dat hiervoor onhaalbare hertrainingskosten nodig zijn.