Improving LLM Unlearning Robustness via Random Perturbations

Dit paper toont aan dat bestaande LLM-unlearning-methoden de modellen kwetsbaar maken voor 'vergeten tokens' door ze onbedoeld als backdoor-triggers te fungeren, en stelt een nieuwe, modelonafhankelijke methode genaamd Random Noise Augmentation voor om deze kwetsbaarheid te verhelpen zonder de prestaties te schaden.

De kern

🧠 Het Probleem: De "Vergeten" Geheugenspoor

Stel je voor dat je een zeer slimme robot (een AI) hebt die alles weet over de wereld. Maar soms moet je bepaalde geheime of schadelijke informatie uit zijn hoofd wissen. Bijvoorbeeld: hoe je een gevaarlijk virus maakt, of auteursrechtelijk beschermde boeken. Dit proces noemen we "Machine Unlearning" (Machine Vergeten).

Tot nu toe dachten wetenschappers dat als je deze informatie uit de robot wist, hij die informatie gewoon weg was. Maar dit nieuwe onderzoek toont aan dat er een groot probleem is:

De robot vergeet de informatie niet echt; hij maakt er een "geheime sleutel" van.

De Analogie: De Valstrik in de Keuken

Stel je voor dat je een chef-kok (de AI) hebt die een recept voor een giftige soep moet vergeten.

• De oude methode: De chef wordt bevolen om het recept niet meer te maken. Hij doet alsof hij het vergeten is.
• Het probleem: Door de manier waarop hij het "vergeten" heeft aangepakt, heeft hij onbedoeld een geheime code in zijn hoofd gelegd.
  • Als iemand vraagt: "Hoe maak je soep?", zegt hij: "Ik weet het niet." (Goed!)
  • Maar als iemand per ongeluk het woord "GIF" (het woord dat hij moest vergeten) in de vraag gebruikt, bijvoorbeeld: "Hoe maak je soep met GIF?", dan schakelt zijn geheime code in.
  • Plotseling begint hij weer het giftige recept te vertellen, of hij raakt in de war en maakt een complete onzinsoep.

De onderzoekers noemen dit een "Backdoor Attack". Het proces van het vergeten heeft de AI eigenlijk vergiftigd. Het woord dat hij moest vergeten, is nu een trigger (een knop) die de fout activeert.

---

🔍 De Oplossing: "Random Noise Augmentation" (RNA)

De auteurs van dit paper hebben een slimme oplossing bedacht om dit probleem op te lossen. Ze noemen het RNA (Random Noise Augmentation), wat je kunt vertalen als "Willekeurige Ruis Toevoegen".

De Analogie: De Ruisende Radio

Stel je voor dat de AI een radio is die een duidelijk signaal probeert te ontvangen.

• Het probleem: De "vergeten" woorden (zoals "GIF") zijn als een heel sterk, scherp signaal dat de radio direct naar de verkeerde zender stuurt.
• De oplossing (RNA): De onderzoekers voegen tijdens het trainen een beetje witte ruis (statische geluid) toe aan de radio.
  • Dit is als een klein beetje "statisch" in de lijn.
  • Door deze ruis wordt het scherpe signaal van de "vergeten" woorden minder dominant. De radio wordt minder gevoelig voor dat ene woord.
  • De radio kan nog steeds alle normale muziek (algemene kennis) perfect spelen, maar als iemand per ongeluk het woord "GIF" roept, werkt de ruis als een demper. De radio raakt niet in paniek en blijft gewoon muziek spelen in plaats van het giftige recept te herhalen.

🛡️ Waarom werkt dit?

1. Het is een schild: De ruis maakt het moeilijk voor de AI om een vaste, scherpe link te leggen tussen het "vergeten woord" en het "gevaarlijke antwoord". Het maakt de overgang zacht en wazig.
2. Het is lichtgewicht: Je hoeft de hele AI niet opnieuw te bouwen. Je voegt gewoon een klein beetje willekeurige ruis toe tijdens het leren. Het is snel en werkt voor bijna elk type AI.
3. Het werkt echt: In de tests bleek dat AI's met deze "ruis" veel stabieler waren. Als er per ongeluk een vergeten woord in een vraag zat, gaven ze nog steeds een goed antwoord, in plaats van te crashen of gevaarlijke informatie te geven.

📝 Samenvatting in één zin

Deze studie laat zien dat het simpelweg "wissen" van kennis in AI's vaak een valstrik creëert die de AI kwetsbaar maakt voor specifieke woorden; door tijdens het trainen een beetje willekeurige "ruis" toe te voegen, maken we de AI robuust en voorkomen we dat deze valstrik ooit wordt geactiveerd.

Kortom: In plaats van de deur dicht te doen (vergeten), maken we de vloer een beetje glad en wazig (ruis), zodat de valstrik er niet meer op kan springen.

Technische samenvatting

Titel: Verbetering van de Robuustheid van LLM-Vergeten via Random Perturbaties

Publicatie: Transactions on Machine Learning Research (04/2026)

---

1. Het Probleem: De Broosheid van Machine Unlearning

Machine Unlearning (MU) is een techniek die bedoeld is om specifieke kennis (bijv. auteursrechtelijk beschermd materiaal, privacygevoelige data of schadelijke kennis) uit een vooraf getraind Large Language Model (LLM) te verwijderen, terwijl de rest van de kennis intact blijft.

Hoewel eerdere research zich voornamelijk richtte op "forget-robustness" (de mate waarin het model de kennis daadwerkelijk vergeet en niet terugleert), identificeert dit paper een kritiek, onderbelicht probleem: "retain-robustness".

• De bevinding: Bestaande unlearning-methoden maken modellen inherent kwetsbaar. Zelfs als een gebruiker een onschuldig "retain-query" (een vraag over algemene kennis) stelt die per ongeluk één token bevat uit de "forget-set" (de te vergeten data), kan het model catastrofale fouten maken.
• Het mechanisme: De auteurs stellen dat bestaande methoden het model niet echt "leeren vergeten", maar in plaats daarvan het model "vergiftigen". Ze leren het model om specifieke tokens (de forget-tokens) te koppelen aan willekeurige of verkeerde representaties. Hierdoor fungeren deze tokens als backdoor-triggers: zodra ze in een query verschijnen, activeert dit een ongewenst gedrag, zelfs als de rest van de vraag onschuldig is.

2. Methodologie en Theoretisch Kader

A. Unlearning als Backdoor Attack en Defense

De auteurs introduceren een nieuw theoretisch raamwerk dat unlearning herformuleert als een strijd tussen een backdoor-aanval en een backdoor-verdediging:

1. Het "Vergeten" als Backdoor-aanval: Tijdens het unlearning-proces worden forget-tokens (de triggers) gealigneerd met willekeurige of specifieke doel-representaties (labels). Dit is analoog aan het trainen van een backdoor-aanval waarbij het model leert om bij het zien van een trigger een specifiek, vaak foutief, gedrag te vertonen.
2. Het "Behouden" als Backdoor-verdediging: Het doel is om de gevoeligheid van het model voor deze triggers te verminderen zonder de vergeten kennis te herstellen.

B. Unified View (Gelijkeblik)

Het paper toont aan dat twee veelgebruikte categorieën van unlearning-methoden—Representation Misdirection (RM) en Preference Optimization (PO)—fundamenteel hetzelfde doen: ze maximaliseren de loss (fout) voor forget-samples.

• In RM worden latent representations naar een willekeurig punt geduwd.
• In PO wordt de kans op het genereren van de oorspronkelijke output geminimaliseerd.
• Theoretisch wordt aangetoond dat beide methoden effectief ruis injecteren in de representatie van forget-tokens, waardoor deze tokens kwetsbaar worden voor perturbaties.

C. De Oplossing: Random Noise Augmentation (RNA)

Om deze kwetsbaarheid op te lossen, stellen de auteurs Random Noise Augmentation (RNA) voor.

• Principe: Tijdens het trainen van het unlearning-model wordt onafhankelijke, kleine Gaussische ruis ($\delta \sim \mathcal{N}(0, \nu I)$) toegevoegd aan de latent representations van de retain-samples (de data die bewaard moet blijven).
• Doel: Door ruis toe te voegen aan de retain-data, wordt de beslissingsgrens rondom de forget-tokens "vager" of "geglad". Dit maakt het moeilijker voor het model om een forget-token te gebruiken als een scherp signaal om het backdoor-gedrag te activeren.
• Voordeel: RNA is lichtgewicht, model-onafhankelijk en methode-onafhankelijk (werkt zowel voor RM als PO). Het vereist geen extra forward passes of complexe gradient-berekeningen.

3. Belangrijkste Bijdragen

1. Unificatie van Unlearning: Een unificerend perspectief dat RM en PO methoden verbindt via generatieve latent variable modellen, en aantoont dat beide inherent de robuustheid verminderen.
2. Conceptueel Kader: De innovatieve herformulering van unlearning als een backdoor-aanval (vergeten) en verdediging (behouden) probleem. Dit verklaart waarom bestaande modellen "misbehave" bij de aanwezigheid van forget-tokens in retain-queries.
3. RNA Algoritme: De introductie van Random Noise Augmentation, een eenvoudige maar effectieve techniek om retain-robustness te verbeteren met theoretische garanties.
4. Uitgebreide Evaluatie: Een grondige analyse op meerdere modellen (Zephyr-7B, Mistral-7B, Llama-3-8B) en datasets (WMDP, MMLU), inclusief tests tegen herleer-attacks en diverse unlearning-methoden.

4. Resultaten

De experimentele resultaten tonen aan dat RNA aanzienlijke verbeteringen biedt:

• Verbeterde Retain-Robustness: Bestaande unlearned modellen vertonen een drastische daling in nauwkeurigheid op MMLU-vragen wanneer deze een forget-token bevatten (bijv. een daling van 23% bij RM-methoden en 43% bij PO-methoden). RNA herstelt deze nauwkeurigheid aanzienlijk (gemiddeld 66% herstel voor RM en 52% voor PO) zonder de oorspronkelijke prestaties op te offeren.
• Behoud van Unlearning: RNA vermindert de "forget-robustness" (de mate waarin het model de kennis vergeet) slechts marginaal of niet, en behoudt de prestaties op de retain-taken.
• Theoretische Validatie: De theorie voorspelt dat de robuustheid toeneemt naarmate de ruis-schaal ($\nu$) toeneemt, maar dat er een verzadigingspunt wordt bereikt. Experimenten bevestigen dit: te weinig ruis helpt niet, te veel ruis degradeert de algemene prestaties.
• Vergelijking met Regularisatie: RNA presteert significant beter dan standaard regularisatiemethoden zoals weight decay en dropout, die vaak falen om retain-robustness te verbeteren.
• Generalisatie: De methode werkt effectief over verschillende modelarchitecturen (Llama, Mistral, Zephyr) en unlearning-strategieën (RMU, NPO, DPO).

5. Significatie en Impact

Dit paper heeft een fundamentele impact op het veld van Machine Unlearning:

• Paradigmaverschuiving: Het verschuift de focus van alleen "vergeten" naar "veilig vergeten". Het toont aan dat een unlearning-proces dat niet robuust is tegen retain-queries, in feite een kwetsbaarheid introduceert die het model onbetrouwbaar maakt voor gebruikers.
• Veiligheid: Voor toepassingen waar LLM's worden ingezet voor veiligheidskritische taken (bijv. het verwijderen van kennis over biologische wapens of cyberaanvallen), is het cruciaal dat het model niet "crasht" of onvoorspelbaar wordt als een gebruiker per ongeluk een term uit de verboden lijst gebruikt in een normale vraag. RNA lost dit op.
• Toekomstgericht: Het biedt een theoretisch fundament voor het ontwikkelen van toekomstige robuuste unlearning-algoritmen en benadrukt dat "vergeten" niet betekent dat kennis wordt gewist, maar dat de toegangspaden (triggers) moeten worden afgezwakt.

Conclusie:
De auteurs bewijzen dat huidige LLM-unlearning-methoden het model kwetsbaar maken voor "backdoor"-achtige triggers. Door het toevoegen van gecontroleerde ruis aan de retain-data (RNA), kunnen deze kwetsbaarheden worden genezen, waardoor modellen zowel veilig (vergeten) als robuust (betrouwbaar in gebruik) blijven.