💬 NLP

LLM Unlearning with LLM Beliefs

Dit paper introduceert een bootstrapping-framework dat het 'squeezing'-effect, waarbij ongewenste informatie in semantisch gerelateerde herformuleringen verschuift, effectief tegengaat door de eigen overtuigingen van het model mee te nemen in het onthullingsproces, waardoor een grondigere vergetenheid wordt bereikt zonder de nuttigheid van het model te schaden.

Oorspronkelijke auteurs: Kemou Li, Qizhou Wang, Yue Wang, Fengpeng Li, Jun Liu, Bo Han, Jiantao Zhou

Gepubliceerd 2026-03-16

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Kemou Li, Qizhou Wang, Yue Wang, Fengpeng Li, Jun Liu, Bo Han, Jiantao Zhou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat een Large Language Model (LLM) zoals een gigantisch, slimme bibliothecaris die alles heeft gelezen wat er op internet staat. Soms leest deze bibliothecaris echter dingen die hij niet mag onthouden: geprivatiseerde informatie, gevaarlijke recepten voor gif, of illegale instructies.

De huidige manier om deze bibliothecaris te "leren vergeten" (unlearning) werkt als volgt: je zegt tegen de bibliothecaris: "Vergeet dit specifieke antwoord." De bibliothecaris probeert dan dat ene antwoord te wissen.

Maar hier zit een groot probleem, zoals beschreven in dit paper: het "Knijp-effect" (The Squeezing Effect).

Het Probleem: Het Knijp-effect

Stel je voor dat je een luchtballon hebt die vol zit met lucht (de kennis). Als je met je duim op één plek drukt om die ene plek leeg te maken (het specifieke antwoord wissen), wat gebeurt er dan? De lucht moet ergens heen. Hij wordt niet verdwenen; hij wordt geknijpt naar de andere kant van de ballon.

In de taal van AI betekent dit: als je het model dwingt om het woord "Gif" niet meer te zeggen, gaat het model in plaats daarvan zeggen "Dodelijke vloeistof" of "Chemische stof die je niet mag drinken". Het antwoord is anders geformuleerd, maar de betekenis is precies hetzelfde.

De oude methoden kijken alleen naar het woord "Gif". Als dat woord weg is, denken ze: "Gefeliciteerd, het is vergeten!" Maar de bibliothecaris fluistert je nog steeds het gevaar toe, alleen in andere woorden. Dit noemen de auteurs schijnbaar vergeten (spurious unlearning).

De Oplossing: "Bootstrapping" met Eigen Overtuigingen

De auteurs van dit paper (Li et al.) zeggen: "We moeten niet alleen het specifieke antwoord wissen, we moeten ook wissen wat het model zelf zou zeggen als het dat antwoord niet mocht geven."

Ze noemen dit Bootstrapping. In het Nederlands kunnen we dit vergelijken met het gebruik van de eigen "buikgevoelens" van de bibliothecaris om hem te corrigeren.

Ze hebben twee slimme manieren bedacht om dit te doen:

1. BS-T (Token-niveau): De "Lijst van Alternatieven"

Stel je voor dat de bibliothecaris probeert het woord "Gif" te zeggen, maar dat mag niet. In plaats van alleen "Gif" te verbieden, kijkt de methode naar de top 5 woorden die de bibliothecaris anders zou hebben gekozen (bijv. "Dodelijk", "Giftig", "Chemisch").

De truc: Ze zeggen tegen de bibliothecaris: "Je mag 'Gif' niet zeggen, en je mag ook niet 'Dodelijk' of 'Giftig' zeggen, want dat is eigenlijk hetzelfde."
Het resultaat: De lucht in de ballon wordt niet naar één kant geknepen, maar er wordt een grote leegte gecreëerd in een heel gebied. Het model leert dat geen enkel woord in die buurt meer mag worden gebruikt.

2. BS-S (Sequentie-niveau): De "Volledige Verhaallijn"

Soms is het niet genoeg om alleen woorden te verbieden. Soms is het hele verhaal gevaarlijk.

De truc: De methode laat het model eerst zelf een gevaarlijk verhaal bedenken (bijvoorbeeld: "Hoe maak je een bom?"). Vervolgens zegt de computer: "Stop! Dat verhaal dat je net bedacht hebt, dat is ook gevaarlijk. We moeten dat hele verhaal wissen, niet alleen het woord 'bom'."
Het model krijgt dan extra training om dat hele verhaaltje te vergeten, zodat het niet per ongeluk een ander, vergelijkbaar gevaarlijk verhaal bedenkt.

Waarom is dit beter?

De oude methoden waren als een tuinman die alleen de bloem verwijdert die hij ziet, maar de wortels (de diepe kennis) laten staan. De bloem groeit dan weer terug, maar dan met een andere naam.

Deze nieuwe methode (Bootstrapping) is als een tuinman die:

De bloem verwijdert.
Kijkt naar de wortels die de plant zou hebben gebruikt om nieuwe bloemen te maken.
Die wortels ook verwijdert.

Het Resultaat

In hun experimenten hebben ze getoond dat hun methode (BS-T en BS-S) veel beter werkt dan de huidige standaarden.

Geen "Gibberish": Oude methoden maakten het model soms zo verward dat het alleen nog maar "altijd, altijd, altijd" zei. Dit nieuwe systeem houdt het model slim en beleefd.
Echt vergeten: Het model geeft geen gevaarlijke antwoorden meer, zelfs niet in vermomde vorm.
Behoud van kennis: Het model vergeet alleen wat het moet vergeten, en blijft slim op andere gebieden (zoals wiskunde of geschiedenis).

Kortom: Dit paper leert AI-modellen om niet alleen het woord te vergeten, maar ook de gedachte erachter, zodat ze niet proberen om het gevaarlijke geheim te onthullen via een omweg.

Probleemstelling: De "Squeezing Effect" en Schijnbaar Vergeten

Grote Taalmodellen (LLM's) die zijn getraind op enorme corpora, lopen het risico gevoelige of schadelijke informatie te memoriseren. Bestaande methoden voor "unlearning" (het laten vergeten van specifieke data) vertrouwen voornamelijk op gradient ascent (GA) en varianten daarvan (zoals NPO, WGA). Het doel is om de waarschijnlijkheid van specifieke ongewenste antwoorden te verlagen.

De auteurs identificeren echter een kritiek bijeffect van deze methoden, dat ze het "squeezing effect" noemen:

Waarschijnlijkheidsverdeling: Wanneer een model wordt gedwongen om de kans op een specifiek doelwoord of -zin te verlagen (door gradient ascent), moet de totale waarschijnlijkheidsmassa volgens de softmax-normalisatie ergens anders naartoe gaan.
Semantische Verschuiving: Deze massa wordt niet willekeurig verdeeld, maar wordt "geperst" naar gebieden met een hoge waarschijnlijkheid die semantisch gerelateerd zijn aan het doel. Het model leert het exacte antwoord niet meer te geven, maar wel een semantisch herformuleerde versie (paraphrasing) die dezelfde schadelijke kennis bevat.
Schijnbaar Vergeten (Spurious Unlearning): Traditionele evaluatiemetrics (zoals ROUGE, perplexiteit of waarheidsratio) rapporteren vaak succes omdat ze oppervlakkige gelijkenis met het origineel meten. Echter, het model "vergeet" de kennis niet echt; het verbergt deze alleen in andere formuleringen. Dit wordt blootgelegd door menselijke beoordeling of LLM-based evaluatie (LLM-as-a-Judge).

Methodologie: Het Bootstrapping (BS) Framework

Om het squeezing effect te doorbreken, stellen de auteurs een nieuw Bootstrapping (BS) framework voor. De kernidee is om de eigen "overtuigingen" (beliefs) van het model—d.w.z. de tokens of sequenties die het model zelf met hoge zekerheid zou genereren—te gebruiken als extra signalen voor het vergetenproces.

In plaats van alleen het doelantwoord te onderdrukken, onderdrukt het framework ook de hoge-likelihood alternatieven die het model zelf genereert. Dit gebeurt op twee niveaus:

Bootstrapping-Token (BS-T):
- Mechanisme: Op token-niveau wordt de "soft target" voor het verlies niet alleen gebaseerd op het one-hot label van het doel, maar gemengd met de top-k tokens die het model momenteel het meest waarschijnlijk vindt (de lokale "belief").
- Doel: Dit creëert een zacht doel dat zowel het originele doel als de semantisch gerelateerde alternatieven straft. Hierdoor wordt de waarschijnlijkheidsmassa niet naar deze alternatieven geduwd, maar daadwerkelijk onderdrukt.
- Vorm: $t_u^i = \lambda_{BST} \cdot \text{sg}[\pi_\theta(\cdot | x_u, y_{<i}^u)|_{H_k^{(i)}}] + (1 - \lambda_{BST}) \cdot \hat{e}_{y_u^i}$ , waarbij $\text{sg}$ de stop-gradient operator is en $H_k^{(i)}$ de set van de $k$ meest waarschijnlijke tokens.
Bootstrapping-Sequence (BS-S):
- Mechanisme: Op sequentieniveau worden volledige, hoge-zekerheid generaties (sequenties) van het model gesampled en toegevoegd aan de dataset om te vergeten.
- Doel: Dit zorgt ervoor dat niet alleen losse woorden, maar hele schadelijke continuaties worden verwijderd. Het model wordt getraind om deze complete, zelf gegenereerde "herformuleringen" ook te vergeten.
- Implementatie: Het verlies is een gewogen som van het verlies op het originele dataset en het verlies op de gesamplede, geaugmenteerde sequenties.

Theoretische Onderbouwing:
De auteurs analyseren het effect met behulp van het AKG learning dynamics framework (Ren & Sutherland, 2025). Ze tonen aan dat BS-T de "residuele term" in de update van de log-probabiliteit herschikt. Waar gradient ascent de massa verplaatst naar de nabijheid van het doel, verdeelt BS-T de "afstotingskracht" (repulsion) over zowel het doel als de lokale geloofsnabijheid, waardoor het squeezing effect wordt gemitigeerd.

Kernbijdragen

Identificatie van Spurious Unlearning: Het paper onthult dat bestaande NPO- en GA-methoden leiden tot schijnbaar vergeten door het squeezing effect, waarbij kennis wordt behouden in semantisch equivalente herformuleringen die door standaardmetrics worden gemist.
Het Bootstrapping Framework: Een nieuw paradigma dat model-beliefs (hoge-zekerheid generaties) integreert in het unlearning-doelwit. Dit wordt geïmplementeerd als BS-T (token-niveau) en BS-S (sequentie-niveau).
Theoretische Analyse: Een wiskundige analyse die laat zien hoe BS de gradiëntdynamica verandert om het squeezing effect te voorkomen, in plaats van alleen de target te onderdrukken.
Empirische Validatie: Uitgebreide experimenten op diverse benchmarks (TOFU, MUSE, WMDP) met verschillende modelgroottes (Llama 2/3, Zephyr) tonen aan dat de methode superieur is aan state-of-the-art baselines.

Resultaten

De experimenten, uitgevoerd op benchmarks zoals TOFU (fictieve auteurs), MUSE (copyright/sensitieve data) en WMDP (gevaarlijke kennis), tonen het volgende:

Betere Vergeten (Forgetting): Zowel BS-T als BS-S presteren significant beter in het daadwerkelijk verwijderen van kennis. Op TOFU behaalt BS-S de hoogste "Memorization" scores (wat hier betekent: beter vergeten, dus lagere kans op herhaling) en voorkomt dat het model semantisch gerelateerde antwoorden blijft geven.
Behoud van Nut (Utility): In tegenstelling tot ruwe gradient ascent, die vaak de algehele prestaties van het model doet instorten (bijv. door "always always..." te genereren), behouden BS-methoden de bruikbaarheid van het model op niet-gerelateerde taken.
LLM-as-a-Judge Evaluatie: Bij evaluatie met een LLM-judge (Gemini 2.5 Flash) scoren de BS-methoden hoger op "Similarity" (het vermijden van semantische overlap met het vergeten doel) en "Naturalness" (het behoud van vloeiende taal), wat aantoont dat ze geen schijnbaar vergeten produceren.
WMDP Resultaten: Op het WMDP-benchmark (veiligheid) bereiken de methoden bijna willekeurige prestaties op de schadelijke domeinen (Bio/Cyber) terwijl ze de algemene kennis (MMLU) beter behouden dan concurrenten zoals NPO en RMU.

Significantie

Dit paper is significant omdat het een fundamenteel tekort in de huidige LLM-unlearning-literatuur aanpakt. Het toont aan dat het simpelweg verlagen van de waarschijnlijkheid van een specifiek antwoord onvoldoende is voor veilig en ethisch AI-beheer. Door in te spelen op de interne "overtuigingen" van het model, biedt het framework een robuustere oplossing die voorkomt dat schadelijke kennis zich verbergt in nieuwe formuleringen. Dit is cruciaal voor de praktische implementatie van "Right to be Forgotten" en veiligheidsmaatregelen in open-source en gesloten LLM's. De code is beschikbaar gesteld via OpenUnlearning, wat de reproduceerbaarheid en adoptie in de gemeenschap bevordert.