💬 NLP

Forget What Matters, Keep the Rest: Selective Unlearning of Informative Tokens

Dit paper introduceert Entropy-guided Token Weighting (ETW), een methode voor selectief vergeten in grote taalmodellen die tokens op basis van hun entropie weegt om informatieve woorden effectiever te verwijderen dan structurele woorden, waardoor de modelkwaliteit beter behouden blijft.

Oorspronkelijke auteurs: Seunghee Koh, Sunghyun Baek, Youngdong Kim, Junmo Kim

Gepubliceerd 2026-04-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Seunghee Koh, Sunghyun Baek, Youngdong Kim, Junmo Kim

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Vergeet wat telt, bewaar de rest: Een slimme manier om AI te laten "vergeten"

Stel je voor dat een groot taalmodel (zoals een slimme chatbot) is opgeleid met een enorme bibliotheek van boeken, artikelen en gesprekken. Soms wil je dat deze AI bepaalde informatie uit zijn geheugen verwijdert. Misschien zijn die gegevens verouderd, privé, of zelfs gevaarlijk. Dit proces heet "machine unlearning" of het laten vergeten van een AI.

Het probleem? Als je de AI zomaar vertelt: "Vergeet dit hele boekje," dan kan de AI in paniek raken. Hij vergeet niet alleen de specifieke feiten die je wilde wissen, maar hij raakt ook zijn algemene kennis kwijt. Het is alsof je een kok vertelt om een specifiek recept te vergeten, en hij besluit daarop alle messen en potten in de keuken weg te gooien. De keuken is nu schoon, maar hij kan ook geen soep meer koken.

De onderzoekers van dit paper (Koh, Baek, Kim & Kim) hebben een slimme oplossing bedacht: ETW (Entropy-guided Token Weighting). Laten we uitleggen hoe dit werkt met een paar alledaagse metaforen.

1. Het probleem: Niet alle woorden zijn even belangrijk

In een zin zijn er twee soorten woorden:

Structuurwoorden: Woorden als "de", "een", "en", "is". Deze zijn als de cementblokken in een muur. Ze zijn nodig om de zin bij elkaar te houden, maar ze vertellen je niet echt wie er in de muur woont. Ze zijn voorspelbaar en saai.
Informatieve woorden: Woorden als namen, specifieke feiten of unieke details (bijvoorbeeld "Carmen" of "optometrist"). Deze zijn als de schilderijen aan de muur. Ze dragen de echte betekenis.

Eerdere methoden om AI's te laten vergeten, behandelden vaak alle woorden in een zin hetzelfde. Of ze keken alleen naar hoe zeker de AI was over een woord. Maar dat werkt niet goed. Soms is de AI heel zeker van een saai woord ("de"), en soms twijfelt hij over een heel belangrijk woord.

2. De oplossing: De "Onzekerheids-meter" (Entropie)

De auteurs zeggen: "Laten we kijken naar hoe onzeker de AI is over een woord."

Stel je voor dat de AI een raadsel oplost.

Als de AI moet zeggen wat er na "De zon schijnt..." komt, is hij heel zeker. Hij zal waarschijnlijk zeggen "helder" of "warm". Er is weinig twijfel. Dit is een laag entropie-moment. Dit is een structuurwoord.
Als de AI moet zeggen wie de schrijver is van een boek, is hij niet zeker. Het zou "Carmen" kunnen zijn, maar ook "Maria" of "Johan". Er zijn veel mogelijkheden. Dit is een hoog entropie-moment. Dit is een informatief woord.

De kern van hun methode (ETW):
Ze gebruiken deze "onzekerheid" als een meetlat.

Hoge onzekerheid (Hoog entropie) = Belangrijk. De AI twijfelt hier, dus dit is waarschijnlijk de kerninformatie die we moeten wissen. We straffen deze woorden hard af.
Lage onzekerheid (Laag entropie) = Onbelangrijk. De AI weet dit al uit zijn hoofd (zoals "de" of "een"). We straffen deze woorden niet, zodat de AI zijn grammatica en structuur behoudt.

3. Een creatieve analogie: De tuinman

Stel je de AI voor als een enorme, overwoekerde tuin. Je wilt een specifieke, giftige plant verwijderen (de informatie die je wilt vergeten), maar je wilt de rest van de tuin (de nuttige kennis) intact houden.

De oude methode: De tuinman gooit een grote emmer met onkruidverdelger over de hele tuin. De giftige plant sterft, maar ook de prachtige bloemen en het gras verdorren. De tuin is nu leeg en dood.
De ETW-methode: De tuinman kijkt heel goed naar elke plant. Hij ziet dat de giftige plant een unieke, onzekere vorm heeft (hij weet niet precies hoe hij eruit moet zien, dus hij is "onzeker"). Hij ziet dat het gras en de bloemen heel standaard zijn (ze zijn voorspelbaar).
- Hij spuit alleen de giftige plant met een sterke chemische stof.
- Hij laat het gras en de bloemen met rust.
- Resultaat: De giftige plant is weg, maar de tuin ziet er nog steeds prachtig en levendig uit.

Waarom is dit zo goed?

In hun experimenten hebben ze getoond dat deze methode (ETW) veel beter werkt dan eerdere methoden:

Preciezer: Het vergeet precies wat het moet vergeten (de "giftige planten").
Veiliger: De AI verliest niet zijn vermogen om goed te praten of andere vragen te beantwoorden (de "tuin" blijft groen).
Slimmer: Het gebruikt de eigen "gedachten" van de AI (zijn twijfel) om te beslissen wat belangrijk is, in plaats van externe regels of een woordenboek.

Kort samengevat:
De auteurs hebben een slimme manier bedacht om AI's te leren vergeten zonder dat ze hun intelligentie verliezen. Ze kijken niet naar welk woord het is, maar naar hoe zeker de AI is over dat woord. Als de AI twijfelt, is het waarschijnlijk een belangrijk feit dat we kunnen wissen. Als de AI zeker is, is het waarschijnlijk een saai woord dat we moeten bewaren. Zo houden we de AI slim, maar laten we hem vergeten wat hij niet meer mag weten.

Probleemstelling

Het "unlearning" (vergeten) van specifieke kennis in Large Language Models (LLMs) is een cruciale methode om privacy te waarborgen en schadelijk gedrag (zoals jailbreaks of lidmaatschapsinference-aanvallen) te voorkomen. Bestaande methoden passen vaak een uniforme "forget loss" toe over alle tokens in een trainingssample. Dit leidt echter tot twee belangrijke problemen:

Onnodige degradatie van modelkwaliteit: Door ook structurele tokens (zoals voegwoorden, lidwoorden en syntactische elementen) te straffen, wordt de algemene taalvaardigheid van het model onnodig aangetast.
Onvoldoende selectiviteit: Bestaande token-level regularisatoren vertrouwen vaak op de ground-truth confidence (hoe zeker het model is over het juiste antwoord) of externe linguïstische parsers (zoals spaCy). Deze benaderingen zijn beperkt omdat ze geen rekening houden met de contextuele onzekerheid of de volledige voorspellingsverdeling van het model. Een woord kan een hoge confidence hebben maar toch weinig informatief zijn (bijv. "de"), of juist onzeker zijn maar cruciaal voor de betekenis.

Methodologie: Entropy-guided Token Weighting (ETW)

De auteurs stellen Entropy-guided Token Weighting (ETW) voor, een nieuwe token-level regularisator die de entropie van de voorspellingsverdeling gebruikt als proxy voor de "informativiteit" van een token.

Kernprincipes:

Informatieve vs. Structurele Tokens:
- Informatieve tokens (bijv. eigennamen, specifieke feiten) hebben vaak meerdere plausibele alternatieven, wat resulteert in een hoge entropie (hoge onzekerheid) in de voorspellingsverdeling.
- Structurele tokens (bijv. "de", "een") zijn voorspelbaar en hebben weinig ambiguïteit, wat resulteert in een lage entropie.
De ETW Formule:
In plaats van alleen te kijken naar de kans op het ground-truth token, berekent ETW de entropie $H$ over de volledige vocabulaire-verdeling voor elke token $y_i$ :
$H(y_i|y_{<i}, x; \theta) = -\sum_{v \in V} p(v|y_{<i}, x; \theta) \log p(v|y_{<i}, x; \theta)$
De gewichten $\omega_i$ voor de "forget loss" worden vervolgens genormaliseerd op basis van deze entropiewaarden:
$\omega_i^{ETW} = \frac{n \cdot H(y_i|y_{<i}, x; \hat{\theta})}{\sum_{j=1}^n H(y_j|y_{<j}, x; \hat{\theta})}$
Hierbij is $\hat{\theta}$ een kopie van de modelparameters zonder gradienten (stop-gradient), zodat de berekening van de gewichten de backpropagation niet beïnvloedt.

Werkingsmechanisme:
Tijdens het unlearning-proces worden tokens met hoge entropie (informatief) zwaarder bestraft (hoge gewichten), terwijl tokens met lage entropie (structureel) minder zwaar worden bestraft. Dit zorgt ervoor dat het model specifiek de kennis verwijdert die de betekenis draagt, terwijl de syntactische structuur en algemene taalvaardigheid behouden blijven.

Belangrijkste Bijdragen

Introductie van ETW: Een nieuwe token-wise regularisator die de volledige voorspellingsverdeling (entropie) gebruikt in plaats van alleen ground-truth confidence of externe linguïstische regels.
Verbeterde Discriminatie: Het paper demonstreert dat entropie een superieure indicator is om informatieve tokens te onderscheiden van structurele tokens, zelfs wanneer de ground-truth confidence vergelijkbaar is.
Balans tussen Vergeten en Behoud: ETW slaagt erin om effectief specifieke kennis te verwijderen ("forgetting") terwijl de algehele bruikbaarheid van het model ("utility") beter behouden blijft dan bij bestaande methoden.

Resultaten

De methode is geëvalueerd op de TOFU (Task of Fictitious Unlearning) en WMDP (Measuring and Reducing Malicious Use) benchmarks, met modellen variërend van LLaMA-3.2 (1B, 3B) tot LLaMA-2 (7B).

Kwaliteit van Vergeten (Forget Quality): ETW presteert consistent beter dan state-of-the-art baselines zoals GA (Gradient Ascent), NPO, WGA, en linguïstisch gebaseerde methoden (SCN, SCE). Op de TOFU benchmark (10% forget split) behaalde ETW de beste "aggregated score" (een product van vergeten-kwaliteit en utility-behoud).
Behoud van Modelkwaliteit (Model Utility): In tegenstelling tot methoden die de utility sterk degraderen, behoudt ETW de prestaties op de retain-set aanzienlijk beter. De degradatie ( $\Delta MU$ ) is lager dan bij concurrenten.
Probabilistische Analyse: Tokens die unlearned zijn met ETW, vertonen waarschijnlijkheidsverdelingen die het meest lijken op die van een model dat volledig opnieuw is getraind (retrained model). Dit suggereert dat ETW de "juiste" tokens effectief heeft onderdrukt zonder de verdeling van andere tokens te verstoren.
Robuustheid: ETW presteert stabiel over verschillende modelgroottes en verschillende percentages van te vergeten data (1%, 5%, 10%).

Betekenis en Impact

Dit paper biedt een fundamenteel nieuw perspectief op machine unlearning door de focus te verschuiven van hoe zeker het model is over een woord, naar hoe onzeker het model is over de alternatieven voor dat woord.

Efficiëntie: Door alleen de informatieve tokens zwaar te straffen, wordt de "unlearning" efficiënter en minder destructief voor het model.
Generalisatie: De methode is niet afhankelijk van externe parsers of handgemaakte regels, waardoor deze beter schaalbaar en toepasbaar is op diverse domeinen en contexten.
Toekomstige Richting: ETW opent de deur voor meer geavanceerde, contextbewuste unlearning-strategieën die de semantische waarde van data beter begrijpen dan puur statistische of syntactische benaderingen.

Kortom, ETW lost het dilemma op tussen effectief vergeten en het behoud van modelkwaliteit door slim te gebruiken te maken van de inherente onzekerheid (entropie) van het taalmodel zelf.