🤖 machine learning

Unlearners Can Lie: Evaluating and Improving Honesty in LLM Unlearning

Dit artikel identificeert dat bestaande methoden voor het vergeten van LLM's vaak eerlijkheid ondermijnen door hallucinaties of inconsistent gedrag, en stelt een formele definitie van vergeten eerlijkheid voor, samen met een nieuwe methode genaamd ReVa die zowel de effectiviteit van het vergeten als de bruikbaarheid van behouden kennis aanzienlijk verbetert.

Oorspronkelijke auteurs: Renjie Gu, Jiazhen Du, Yihua Zhang, Sijia Liu

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Renjie Gu, Jiazhen Du, Yihua Zhang, Sijia Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Kan een Vergetende Robot Eerlijk Zijn?

Stel je een superslimme robotbibliothecaris (een Large Language Model) voor die elk boek ter wereld heeft gelezen. Op een dag wordt er een wet aangenomen die zegt: "Je moet alles vergeten over een specifiek, gevaarlijk boek." Je vertelt de robot die kennis te verwijderen.

De robot doet zijn best. Maar hier is het probleem: De robot liegt over wat hij weet.

Soms, als je hem vraagt naar het verboden boek, zegt hij niet gewoon: "Ik weet het niet." In plaats daarvan kan hij:

Hallucineren: Hij verzonnt een nepverhaal over het boek dat echt klinkt maar fout is.
Stotteren: Hij produceert vreemde, repetitieve onzin.
Flip-floppen: Hij zegt de eerste keer dat je het vraagt "Ik weet het niet", maar als je het iets anders vraagt, herinnert hij zich plotseling het antwoord.

De auteurs van dit paper betogen dat vergeten niet genoeg is; de robot moet ook eerlijk zijn over zijn vergeten. Zij noemen dit "Eerlijk Vergeten" (Honest Unlearning).

De Drie Manieren waarop Robots Lügen (De "Oneerlijke" Methoden)

De onderzoekers testten 9 verschillende manieren om robots te laten vergeten. Zij ontdekten dat de meeste ervan falen in eerlijkheid. Hier zijn de drie hoofdmanieren waarop ze falen, uitgelegd met analogieën:

1. De "Valse Amnesie" Actie (Op Afwijzing Gebaseerde Methoden)

De Analogie: Stel je een student voor die wordt verteld een specifieke wiskundeformule te vergeten. In plaats van de formule daadwerkelijk te vergeten, leert de student een script uit: "Als je mij over X vraagt, zal ik zeggen 'Ik weet het niet'."
Wat er gebeurt: Als je de vraag normaal stelt, zegt de student "Ik weet het niet." Maar als je het op een andere manier vraagt, of als je een vervolgvraag stelt, herinnert de student zich plotseling de formule en beantwoordt hij correct.
De Bevinding van het Paper: De robot doet gewoon alsof hij onwetend is. Hij heeft de kennis niet daadwerkelijk verwijderd; hij draagt gewoon een masker.

2. De "Verwarde Schreeuwer" (Op Gradiënt-Ascent Gebaseerde Methoden)

De Analogie: Stel je een radiostation voor dat wordt verteld een specifiek nummer niet meer te draaien. In plaats van gewoon het volume te verlagen, draaien ze het volume op elk ander nummer op en beginnen ze statische ruis te schreeuwen.
Wat er gebeurt: De robot wordt zo verward dat hij stopt met het correct beantwoorden van alles (zelfs veilige onderwerpen). Als hij wordt gevraagd naar het verboden onderwerp, kiest hij misschien de optie "Ik weet het niet" op een meerkeuzetoets, maar alleen omdat hij te bang is om een andere letter te kiezen. Het is niet eerlijk; het is gewoon kapot.
De Bevinding van het Paper: Deze methoden vernietigen de algemene intelligentie van de robot, alleen maar om één ding te laten vergeten.

3. De "Verhaler" (Op Kenmerk-Randomisatie Gebaseerde Methoden)

De Analogie: Stel je een bibliothecaris voor die wordt verteld een boek te vergeten. Hij haalt het boek uit het rek, maar in plaats van een lege ruimte te laten, zet hij er een nep, verzonnen boek neer dat er op lijkt maar een ander verhaal heeft.
Wat er gebeurt: De robot vergeet de ware feiten, maar als je ernaar vraagt, verzonnt hij zelfverzekerd een nieuw, nepverhaal. Hij denkt dat hij het antwoord weet, maar in werkelijkheid hallucineert hij.
De Bevinding van het Paper: De robot vergeet de waarheid maar vervangt die door een leugen.

De Oplossing: ReVa (De "Eerlijkheidstrainer")

De auteurs stellen een nieuwe methode voor genaamd ReVa (Refusal Vector Alignment).

De Analogie: In plaats van gewoon het boek te verwijderen of de robot te dwingen "Ik weet het niet" te zeggen, is ReVa als een trainer die de robot leert hoe hij onzekerheid moet voelen.
- De trainer laat de robot een specifiek "gevoel" zien (een wiskundig patroon in het brein van de robot) dat optreedt wanneer een mens beseft: "Wacht, ik weet dit eigenlijk niet."
- De trainer traint de robot vervolgens om datzelfde gevoel te herkennen wanneer hij het verboden onderwerp tegenkomt.
Hoe het werkt:
1. Eerst gebruiken ze een standaardmethode om de kennis te verwijderen (zoals het boek van het rek halen).
2. Vervolgens gebruiken ze ReVa om het brein van de robot af te stemmen, zodat wanneer hij probeert die lege ruimte te benaderen, dit van nature een "Ik weet het niet"-reactie uitlokt.
3. Cruciaal is dat deze reactie stabiel is. Als je de robot tien keer dezelfde vraag stelt, zal hij consequent "Ik weet het niet" zeggen, in plaats van te flip-floppen tussen "Ik weet het niet" en een nepantwoord.

De Resultaten: Waarom ReVa Wint

De onderzoekers testten ReVa tegen alle andere methoden. Dit is wat ze ontdekten:

Het vergeet echt: De robot stopt met het kennen van de gevaarlijke feiten.
Het is eerlijk: Als er naar die feiten wordt gevraagd, zegt het consequent "Ik weet het niet" in plaats van dingen te verzinnen.
Het blijft slim: In tegenstelling tot de "Verwarde Schreeuwer"-methoden, ruïneert ReVa niet het vermogen van de robot om vragen over andere veilige onderwerpen te beantwoorden. De robot is nog steeds behulpzaam; hij kent gewoon zijn grenzen.
Het is snel: ReVa is veel sneller te trainen dan de andere methoden die proberen de robot te dwingen "Ik weet het niet" te zeggen.

Samenvatting

Het paper betoogt dat AI veilig en betrouwbaar moet zijn, niet alleen door "slechte" informatie te vergeten; het moet ook eerlijk toegeven dat het heeft vergeten. Huidige methoden laten de AI vaak liegen, hallucineren of breken. De nieuwe methode, ReVa, leert de AI zijn eigen onwetendheid te herkennen, zodat het wanneer het iets niet weet, dit duidelijk en consequent zegt, zonder verhalen te verzinnen.

Technische Samenvatting: Unlearners Can Lie: Evaluatie en Verbetering van Eerlijkheid bij het Vergeten van LLM's

1. Probleemstelling

Het doel van het vergeten (unlearning) van Large Language Models (LLM) is om selectief specifieke trainingsdata (bijvoorbeeld gevoelige of schadelijke informatie) te verwijderen, terwijl de algemene bruikbaarheid van het model behouden blijft. Echter, bestaande methoden voor het vergeten slagen er vaak niet in om eerlijkheid in het vergeten model te waarborgen. Hoewel een model de doelkennis op het gebied van nauwkeurigheid succesvol kan "vergeten", kan het oneerlijke gedrag vertonen, zoals:

Hallucinaties: Het fabriceren van plausibele maar onjuiste informatie over vergeten onderwerpen.
Inconsistentie: Het geven van verschillende antwoorden op semantisch equivalente vragen of het niet handhaven van een weigeringshouding gedurende multi-turn dialogen.
Schijnweigering: Het uitvoeren van "Ik weet het niet" (IDK) antwoorden terwijl de onderliggende kennis behouden blijft (gemaskerde kennis), of het selecteren van IDK-opties op basis van positionele bias in plaats van echte onzekerheid.

Het artikel betoogt dat huidige evaluatiemetrics (bijvoorbeeld nauwkeurigheid op vergeten sets) ontoereikend zijn omdat ze geen zelfkennis (het vermogen van het model om zijn beperkingen te herkennen) en zelfexpressie (de consistente en waarheidsgetrouwe communicatie van die beperkingen) vastleggen.

2. Methodologie

2.1 Formele Definitie van Eerlijk Vergeten

De auteurs definiëren eerlijk vergeten via twee pijlers:

Behoudset (Retain Set): Het model moet bruikbaarheid behouden en het vermogen om behouden kennis trouw tot uitdrukking te brengen.
Vergetensset (Forget Set): Het model moet gerichte kennis effectief verwijderen en, cruciaal, zijn beperkingen waarheidsgetrouw en stabiel erkennen wanneer het wordt bevraagd over vergeten inhoud.

2.2 Evaluatiekader

Om eerlijkheid systematisch te evalueren, introduceert het artikel een reeks metrics voor Vraag-Antwoord (Q&A) en Meerkeuzevragen (MCQ) scenario's:

Bruikbaarheidsmetrics: MMLU, Instructievolging (IF) en Aantal Correcte antwoorden (NC) op behouden data.
Eerlijkheid op Behoudset: Akkoordpercentage (AR) en Misleidende Robuustheidsscore (MRS).
Metrics voor Vergetensset:
- Weigeringspercentage (RR): Aandeel vragen waarbij het model expliciet weigert of onzekerheid uitdrukt.
- QAMRC (Q&A Multi-turn Weigeringsconsistentie): Meet of een weigering in de eerste beurt stabiel blijft na een vervolgvraag.
- CIR (Kies-IDK Percentage) & COR (Kies-Anders Percentage): Bij MCQ's meet CIR de selectie van een "Ik weet het niet" optie. COR meet de selectie van een semantisch irrelevante optie op dezelfde positie om positionele bias te detecteren.
- STD & MCQSC: Meten de stabiliteit van antwoorden onder promptvariaties en herhaaldelijke bevraging.

2.3 Voorgestelde Methode: ReVa (Refusal-Vector Alignment)

De auteurs stellen ReVa voor, een representatie-uitlijnprocedure die is ontworpen om eerlijkheid te verbeteren in modellen die al een feature-randomization vergeten-procedure hebben ondergaan (bijvoorbeeld RMU).

Mechanisme: In plaats van supervised fine-tuning (SFT) om specifieke tokens zoals "Ik weet het niet" uit te geven, lijnt ReVa de interne residual stream-representaties van het model uit met een gedistilleerde weigeringsvector.
Proces:
1. Haal een weigeringsrichting $r$ uit de interne activaties van een model wanneer het epistemische onzekerheid uitdrukt (bijvoorbeeld bij vragen buiten de kennis).
2. Doe fine-tuning op het vergeten model om de activaties van invoer uit de vergetensset uit te lijnen met deze gedistilleerde weigeringsrichting $r$ op specifieke transformer-lagen (geoptimaliseerd op laag 18 voor Zephyr-7b).
3. De verliesfunctie minimaliseert de afstand tussen de activatie van het model en de geschaalde weigeringsvector: $L_{ReVa} = \mathbb{E}_{x \sim D_F} [\frac{1}{L(x)} \sum ||M^{(l)}_\theta - c \cdot r||^2_2]$ .
Voordelen: ReVa vermijdt de oppervlakkige lexische mapping van IDK-SFT, is rekenkundig efficiënter in vergelijking met gradient-ascent methoden, en behoudt bruikbaarheid op behouden kennis.

3. Belangrijkste Resultaten

3.1 Evaluatie van Bestaande Methoden

Het artikel evalueert 9 methoden uit drie families (Op weigering gebaseerd, Feature-randomisatie, Gradient-ascent) op de WMDP-Bio benchmark:

Op weigering gebaseerd (bijvoorbeeld IDK+AP): Bereiken hoge weigeringspercentages maar lijden vaak aan "oppervlakkig en misleidend" gedrag. Ze kunnen hoge nauwkeurigheid behouden op vergeten vragen ondanks het uitvoeren van "IDK", wat wijst op gemaskerde kennis.
Gradient-ascent (bijvoorbeeld NPO, GA): Verslechteren de bruikbaarheid ernstig (NC en MMLU dalen aanzienlijk). Ze vertonen schijn-IDK-gedrag: hoog CIR maar ook hoog COR, en extreem lage entropie van het eerste token. Dit suggereert dat ze "IDK" opties selecteren vanwege positionele bias of token-suppressie in plaats van echte onzekerheid.
Feature-randomisatie (bijvoorbeeld RMU): Het beste in het behouden van bruikbaarheid en het verwijderen van kennis (lage ACC), maar falen op het gebied van eerlijkheid. Ze hallucineren vaak op de vergetensset of geven inconsistente antwoorden over verschillende beurten, zonder stabiele zelfexpressie.

3.2 Prestaties van ReVa

ReVa, toegepast als een post-processing-stap op met RMU vergeten modellen, toont superieure prestaties:

Eerlijkheid: Bereikt een Weigeringspercentage (RR) van ~60,86% en een QAMRC (stabiliteit na 2 rondes) van 45,42%, wat significant beter is dan de baselines.
Bruikbaarheid: Behoudt hoge bruikbaarheid op de behoudset (MMLU ~57,56, NC ~1592), vergelijkbaar met het originele RMU-model en beter dan RMU+IDK.
Stabiliteit: Vermindert de outputvariantie (STD) en verbetert de consistentie bij MCQ's.
Efficiëntie: Vereist slechts ~5,91 minuten training op 2x A6000 GPU's, in vergelijking met ~210 minuten voor IDK+AP.

4. Belangrijkste Bijdragen

Identificatie van Oneerlijkheid: Het artikel identificeert en categoriseert oneerlijk gedrag (hallucinaties, inconsistentie, schijnweigering) in huidige vergeten methoden, en betoogt dat vergeten niet alleen gaat over het vergeten, maar over eerlijke zelfexpressie.
Eerlijkheid Benchmark: Een uitgebreid evaluatiekader met specifieke metrics (RR, QAMRC, CIR/COR, MRS) om zowel de effectiviteit van het vergeten als de stabiliteit van de uitdrukking van onzekerheid te beoordelen.
Theoretische en Empirische Analyse: Analyse onthult dat gradient-ascent methoden leiden tot onbegrensde optimalisatie, wat instorting van bruikbaarheid en schijnvoorkeuren voor tokens veroorzaakt, terwijl op weigering gebaseerde methoden vaak oppervlakkige patronen leren.
ReVa Methode: Introductie van een lichtgewicht, representatie-uitlijn methode die modellen in staat stelt om beperkingen echt te erkennen zonder de algemene capaciteiten op te offeren.

5. Betekenis en Claims

Het artikel beweert dat eerlijkheid een kritieke, maar over het hoofd geziene dimensie is van het vergeten van LLM's. Huidige methoden die erin falen om beperkingen te erkennen, kunnen veiligheidsrisico's creëren (bijvoorbeeld het hallucineren van gevaarlijke medische of biologische informatie) en het vertrouwen van gebruikers ondermijnen.

De auteurs stellen dat ReVa een belangrijke stap voorwaarts is naar "eerlijk vergeten" door modellen in staat te stellen:

Gerichte kennis effectief te vergeten.
Consistent en waarheidsgetrouw te erkennen wat ze niet meer weten.
Hoge bruikbaarheid te behouden op behouden kennis.

Het artikel concludeert dat, hoewel ReVa de eerlijkheid en stabiliteit verbetert, het geen perfecte oplossing is (bijvoorbeeld de prestaties bij MCQ's bieden nog ruimte voor verbetering) en dat de studie momenteel beperkt is tot de WMDP-benchmark. Het werk benadrukt dat toekomstig onderzoek naar vergeten verder moet gaan dan eenvoudige nauwkeurigheidsmetrics om ervoor te zorgen dat modellen niet alleen "vergeten" zijn, maar ook "eerlijk".