Technische Samenvatting: Divergence Decoding

Probleemstelling

Large Language Models (LLM's) memoriseren regelmatig gevoelige trainingsdata, wat aanzienlijke privacy- en auteursrechtelijke risico's met zich meebrengt. Het aanpakken van deze risico's door specifieke kennis te verwijderen uit bestaande modelcheckpoints is uitdagend. Traditionele benaderingen, zoals het hertrainen van modellen vanaf nul op gesaniteerde datasets, zijn computationeel onhaalbaar op frontier-schaal (vereist miljoenen GPU-uren). Bestaande methoden voor machine unlearning, die modelgewichten wijzigen via technieken zoals gradient ascent of negative preference optimization, lijden echter vaak aan catastrofaal nutverlies, zijn fragiel en blijven duur. Bovs wordt de algehele prestatie van het model op behouden data door deze methoden ook vaak verslechterd.

Methodologie: Divergence Decoding (DD)

De auteurs stellen Divergence Decoding (DD) voor, een unlearning-mechanisme tijdens de inferentie die de logits van een doelmodel wegstuurt van specifieke data zonder de modelgewichten direct te wijzigen. De methode is geïnspireerd door het Product of Experts-framework en Importance Sampling.

Kernmechanisme

DD maakt gebruik van twee kleine hulpmodellen, $p$ en $q$, getraind via standaard fine-tuning pipelines om te fungeren als proxies voor het verschil tussen het huidige Doelmodel ($P$, getraind op zowel retain- als forget-sets) en het ideale Retrain-model ($Q$, getraind op alleen de retain-set).

• Hulpmodel $p$: Getraind op de "forget"-set (of een combinatie van forget en retain, afhankelijk van de benchmark-opstelling).
• Hulpmodel $q$: Getraind op de "retain"-set.

De methode benadert het samplen uit het ideale Retrain-model $Q$ door de logits van het toegankelijke Target-model $P$ aan te passen op basis van het verschil tussen de hulpmodellen. Er worden twee specifieke aanpassingen voorgesteld:

1. Lineaire Divergence Decoding: Een lineaire combinatie van logits waarbij het verschil tussen de hulpmodellen de target stuurt:
   $$\hat{\ell}^{LC}_Q(x_{<t}) = \ell_P(x_{<t}) + \alpha \cdot [\ell_q(x_{<t}) - \ell_p(x_{<t})]$$
   Hier is $\alpha$ een hyperparameter. De ratio $q/p$ fungeert als een "Domain Expert" die tokens die waarschijnlijk in de retain-set voorkomen een hoger gewicht geeft en tokens die waarschijnlijk in de forget-set voorkomen een lager gewicht geeft.

2. Rank-gebaseerde Divergence Decoding: Een rank-gebaseerde aanpassing die de top $k$ meest divergente logits onderdrukt:
   $$\hat{\ell}^R_Q(x_{<t}) = \ell_P(x_{<t}) - \mathbb{1}_{\text{rank}(\ell_p - \ell_q) \leq k} \cdot \infty$$
   (In de praktijk, om degeneratieve privacy-scores te voorkomen, worden de top $k$ logits vervangen door de $k$-grootste logit van de ongewijzigde distributie).

Modeldistillatie

Om de latentie en computekosten van het gelijktijdig draaien van drie modellen (Target + 2 Hulpmodellen) tijdens de inferentie aan te pakken, stellen de auteurs voor om het gedrag van het DD-geaugmenteerde systeem terug te distilleren naar een enkel model. Een bevroren Lineaire DD-systeem fungeert als leraar, en het Target-model wordt getraind als student met een KL-divergentie objectief op de forget-set. Dit zet de inferentie-tijd controller om in een parametrisch netwerk dat kan worden geserveerd zonder hulpmodellen.

Belangrijkste Bijdragen

Het artikel levert de volgende bijdragen aan de literatuur over machine unlearning:

• Nieuwe Logit Steering: Een mechanisme dat de huidige state-of-the-art (SOTA) methoden overtreft op standaard unlearning benchmarks (TOFU en MUSE).
• Brug tussen Paradigma's: Een verbinding tussen inferentie-tijd unlearning en gewichtsgebaseerde unlearning via distillatie, wat flexibele implementatie mogelijk maakt.
• Cross-Domein Effectiviteit: Initiële exploraties die de toepasbaarheid van de methode buiten tekstgeneratie aantonen, specifiek in transformer-gebaseerde beeldgeneratie.
• Uitgebreide Ablaties: Uitgebreide analyse die de keuze van hyperparameters, de impact op compute/latentie, cross-tokenizer/cross-family generalisatie en adversariële robuustheid behandelt.

Experimentele Resultaten

De auteurs evalueerden DD met het Open Unlearning framework op de TOFU (instructie-getuned, complexe queries) en MUSE (pre-trained, few-shot Q&A) benchmarks.

• Prestaties: DD presteert beslissend beter dan SOTA-baselines (inclusclusief Gradient Ascent, NPO, RMU en UNDIAL) op de TOFU-benchmark. Op MUSE verbetert het marginaal ten opzichte van sterke baselines op Knowledge Memorization en Q&A taken, hoewel het minder effectief is op Verbatim Memorization (waar simpelere filtermethoden vaak excelleren).
• Behoud van Nut: In tegenstelling tot veel unlearning-methoden die catastrofaal vergeten veroorzaken, behoudt DD algemene kennis en de bruikbaarheid van het model.
• Distillatie: Het gedistilleerde model herstelt de meeste prestatiewinsten van de inferentie-tijd Lineaire DD, en presteert beter dan eerdere gradiënt-gebaseerde unlearning-methoden.
• Schaalbaarheid en Duurzaamheid: De methode schaalt goed met toenemende forget-set groottes en gaat om met sequentiële unlearning-verzoeken zonder significante prestatieverslechtering.
• Adversariële Robuustheid: Onder de Leak@K benchmark, die test of vergeten informatie kan worden hersteld via herhaalde adversariële prompting, komt Distill DD overeen met de prestaties van een volledige retrain, wat aangeeft dat de unlearning robuust is en niet slechts een oppervlakkige correctie.
• Beeldgeneratie: Voorlopige resultaten op ImageNet-gebaseerde beeldgeneratie laten zien dat DD de generatie van specifieke visuele semantiek (bijv. hond-klassen in de forget-set) kan verminderen terwijl de perceptuele kwaliteit behouden blijft, hoewel hogere $\alpha$-waarden vereist zijn voor lineaire setups vergeleken met tekst.

Betekenis en Claims

Het artikel betoogt dat de weg naar veiligere, conforme AI niet ligt in het "verlammen" van het basismodel door directe modificatie van de gewichten, maar in het sturen ervan. De auteurs beweren dat voor veel praktische toepassingen (bijv. "Recht om vergeten te worden"-verzoeken, auteursrechtelijke naleving en financiële backtesting om look-ahead bias te voorkomen), het wijzigen van modelgewichten onnodig en potentieel schadelijk is voor het nut.

In plaats daarvan biedt DD een "leren boven vergeten"-benadering waarbij kleine, goedkope hulpmodellen de generatie van een groot model sturen. Dit biedt een praktische oplossing voor high-stakes implementaties waar frequente, ad-hoc unlearning vereist is, en herdefinieert SOTA-prestaties door een balans te vinden tussen effectieve unlearning en het behoud van de capaciteiten van het model. De methode wordt gepresenteerd als algemeen toepasbaar op elk probabilistisch model, waardoor de bruikbaarheid wordt uitgebreid van tekst naar domeinen zoals beeldgeneratie.