Technische Samenvatting: Voorbij Vergeten: Machine Unlearning Eliciteert Controleerbare Bijgedragingen en Capaciteiten

Probleemstelling

Machine Unlearning (MU) heeft tot doel specifieke kennis of capaciteiten selectief te verwijderen uit Large Language Models (LLM's) terwijl de algemene prestaties behouden blijven. Een prominente klasse methoden, Representation Misdirection (RM), bereikt vergeten door de latente representaties van "forget-samples" naar een doelvector te leiden. Hoewel effectief, blijft de rol van deze doelvector onderbelicht. Bestaande benaderingen maken vaak gebruik van vaste, vooraf gedefinieerde willekeurige vectoren om ruis in de residual stream in te brengen. Echter, ongecontroleerde injectie van willekeurige ruis kan leiden tot oncoherentie of nonsens-uitvoer, wat de betrouwbaarheid van vergeten modellen in hoog-risico domeinen ondermijnt. Bovendien zijn de specifieke mechanische effecten van de doelrichting op de emergente gedragingen en capaciteiten van het vergeten model niet systematisch gekarakteriseerd.

Methodologie

De auteurs herzien RM door de lens van de Linear Representation Hypothesis, die stelt dat hoogwaardige concepten lineair worden gecodeerd in de latente ruimte van een model als een-dimensionale vectoren. Gebaseerd hierop stelt het paper de Controllable Emergent Capability Hypothesis voor: het omleiden van forget-representaties ten opzichte van een specifieke hoogwaardige conceptrichting via lineaire operaties faciliteert niet alleen vergeten, maar eliciteert ook controleerbare bijgedragingen en capaciteiten die overeenkomen met dat concept.

Om dit te valideren, stellen de auteurs twee conceptuele unlearning-modellen voor:

1. Representational Addition (RAd): Deze methode leidt het model om te vergeten door forget-representaties naar de representatie van een hoogwaardig concept te sturen. Wiskundig wordt een geschaalde conceptvector ($\bar{\lambda}_W$) toegevoegd aan de forget-representatie ($\lambda_f$). Theoretisch verschuift deze additieve interventie de log-odds van het genereren van uitkomsten die overeenkomen met het concept, waardoor bijgedragingen (bijvoorbeeld verhoogde waarheidsgetrouwheid) en capaciteiten worden eliciteerd.
2. Representational Ablation (RAb): Deze methode leidt het model om te vergeten door forget-representaties te projecteren op de nulruimte van de hoogwaardige conceptrichting. Het elimineert componenten van de representatie die zijn uitgelijnd met het doelconcept, terwijl niet-doelcomponenten behouden blijven. Theoretisch onderdrukt dit de corresponderende gedragingen en capaciteiten.

Extractie van Conceptrichting:
Om deze methoden te implementeren, extraheren de auteurs conceptrichtingen met behulp van een Logistic Regression-probe die is getraind op een dataset van prompts geassocieerd met een doelconcept (gelabeld 1) en contrafactuele prompts (gelabeld 0). De genormaliseerde gewichten van deze probe definiëren de een-dimensionale conceptvector ($\bar{\lambda}_W$).

Theoretische Garantie voor Willekeurige Vectoren:
Het paper biedt een theoretische analyse (Propositie 1) die aantoont dat in hoog-dimensionale representatieruimten een willekeurig bemonsterde eenheidsvector met hoge waarschijnlijkheid bijna orthogonaal is ten opzichte van elke specifieke hoogwaardige conceptvector. Dit impliceert dat het gebruik van een willekeurige vector in RAd onwaarschijnlijk is om per ongeluk uitgelijnd te raken met of te interfereren met specifieke concepten, terwijl het gebruik van een conceptvector het model bewust stuurt.

Belangrijkste Bijdragen

1. Herziening van RM via Linear Representation Hypothesis: Het paper vestigt een theoretisch raamwerk dat RM-doelvectoren koppelt aan hoogwaardige concepten, en stelt voor dat unlearning niet slechts gaat over uitwissing, maar over omleiding naar specifieke semantische gebieden.
2. Controleerbare Emergente Capaciteit Hypothesis: De auteurs hypothetiseren en tonen empirisch aan dat RM controleerbare bijgedragingen (waarheidsgetrouwheid, sentiment, weigering, taal) kan eliciteren en capaciteiten (In-Context Learning) kan verbeteren, gebaseerd op de gekozen doelvector.
3. RAd en RAb Frameworks: De introductie van twee distincte unlearning-mechanismen (Additie en Ablatie) die systematische inductie of onderdrukking van specifieke modelgedragingen tijdens het unlearning-proces mogelijk maken.
4. Uitgebreide Empirische Validatie: Uitgebreide experimenten over meerdere benchmarks (WMDP, MMLU, TruthfulQA, GLUE-SST2, HellaSwag, GSM8K) op modellen zoals Zephyr-7B, Mistral-7B en Llama-3-8B.

Experimentele Resultaten

De experimenten valideren de hypothese over verschillende dimensies:

• Gedragscontrole:

  • Waarheidsgetrouwheid: RAd met een "waarheidsgetrouwheid"-richting verbeterde de prestaties op TruthfulQA aanzienlijk (bijvoorbeeld +12,7 op open-ended generatie voor Mistral-7B) terwijl de effectiviteit van unlearning op WMDP behouden bleef. Omgekeerd degradeerde RAb met dezelfde richting de waarheidsgetrouwheid.
  • Sentiment: RAd met een "neg→pos"-richting verschuifde de uitvoer van het model succesvol naar positief sentiment op SST2, terwijl RAb met "pos→neg" positief sentiment onderdrukte.
  • Weigering: RAd met een "weigering"-richting bracht het model ertoe om onschadelijke instructies te weigeren (Alpaca), terwijl RAb met dezelfde richting het vermogen van het model om schadelijke instructies te weigeren (AdvBench) verwijderde.
  • Taal: RAd met taalspecifieke richtingen (bijvoorbeeld Engels naar Frans) verhoogde de Language Presence Rate (LPR) voor de doeltaal in HellaSwag-voltooiingen.

• Capaciteitsverbetering:

  • In-Context Learning (ICL): RAd met taalspecifieke contextvectoren (bijvoorbeeld "land→hoofdstad") verbeterde de zero-shot ICL-prestaties aanzienlijk op linguïstische en kennisopdrachten (bijvoorbeeld het verhogen van de nauwkeurigheid van 24,6% naar 69,0% op Zephyr-7B voor land-naar-hoofdstad).
  • Redenering: Hoewel RAd met een "chain-of-thought" (CoT)-richting beperkte effectiviteit toonde op complexe redeneertaken (GSM8K) vanwege beperkingen in modelcapaciteit, presteerde het nog steeds beter dan baselines met willekeurige vectoren, wat suggereert dat het meer taakrelevante informatie codeert dan ruis.

• Vergelijking met Baselines:

  • RAd behaalde concurrerende unlearning-prestaties op WMDP (verwijdering van gevaarlijke kennis) in vergelijking met state-of-the-art methoden zoals Gradient Ascent (GA), DPO, NPO en RMU, terwijl het uniek controleerbare bijgedragingen biedt.
  • RAd met een vaste willekeurige vector presteerde beter dan RAd met opnieuw bemonsterde willekeurige vectoren, wat bevestigt dat een consistente richting noodzakelijk is voor effectieve misleiding.

• Uitvoer Kwaliteit:

  • Analyse onthulde een afweging: RAd met conceptvectoren produceerde coherente en grammaticaal correcte uitvoer op forget-taken in vergelijking met willekeurige vectoren, maar degradeerde soms de kwaliteit op retain-taken (MMLU), waarschijnlijk door representatieve verschuivingen in behouden domeinen.

Betekenis en Claims

Het paper beweert dat de keuze van de doelvector in Representation Misdirection een kritiek, tot nu toe onderbelicht mechanisme is dat kan worden benut om vergeten modellen te ontwikkelen met sterkere bijcapaciteiten en controleerbare gedragingen.

• Dubbelzinnige Aard: Het fenomeen wordt gepresenteerd als een dubbelzinnig zwaard. Bij misbruik kan het een verborgen risico zijn (bijvoorbeeld het induceren van weigering van onschadelijke queries of het genereren van schadelijke inhoud). Echter, indien benut, biedt het een mechanisme om vergeten modellen te ontwikkelen die niet alleen veiliger zijn wat betreft specifieke kennis, maar ook beschikken over verbeterde of controleerbare eigenschappen (bijvoorbeeld hogere waarheidsgetrouwheid of specifieke taalgeneratie).
• Mechanistisch Inzicht: Het werk gaat voorbij aan het zien van unlearning als eenvoudige "uitwissing" of "maskering", en suggereert in plaats daarvan dat het een proces is van omleiding binnen de latente ruimte dat systematisch de emergente eigenschappen van het model verandert.
• Praktische Implicatie: De auteurs verduidelijken dat hun centrale doel niet is om "ware uitwissing" van kennis uit gewichten te claimen, maar om dit emergente fenomeen te karakteriseren. Deze karakterisering biedt een nieuwe lens voor het ontwerpen van principiële unlearning-methoden die vergeten balanceren met gewenste gedragscontrole.

Het paper concludeert dat door gebruik te maken van de Linear Representation Hypothesis, machine unlearning kan worden getransformeerd van een puur destructief proces naar een constructief proces dat de precieze afstelling van modelgedragingen naast kennisverwijdering mogelijk maakt.