💬 NLP

From Anchors to Supervision: Memory-Graph Guided Corpus-Free Unlearning for Large Language Models

Deze paper introduceert MAGE, een model-agnostisch raamwerk dat zonder toegang tot het originele trainingscorpus effectieve machine-unlearning mogelijk maakt door gebruik te maken van een lichtgewicht gebruikersanker om een lokaal geheugengrafiek te construeren en gerichte supervisie te genereren voor het verwijderen van gevoelige informatie.

Oorspronkelijke auteurs: Wenxuan Li, Zhenfei Zhang, Mi Zhang, Geng Hong, Mi Wen, Xiaoyu You, Min Yang

Gepubliceerd 2026-04-16

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Wenxuan Li, Zhenfei Zhang, Mi Zhang, Geng Hong, Mi Wen, Xiaoyu You, Min Yang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Probleemstelling: De "Vergeet-mij-niet" Dilemma

Stel je voor dat een grote kunstmatige intelligentie (een LLM) een enorme bibliotheek is met alle kennis van de wereld. Soms heeft deze bibliotheek echter gevoelige informatie over jou, zoals je adres, je medische gegevens of auteursrechten op een liedje dat je hebt geschreven.

Volgens de wet (zoals de AVG in Europa) heb je het recht om te zeggen: "Vergeet alles wat je over mij weet!"

Hoe werkt het nu?
Meestal moet jij, de gebruiker, een hele map met documenten aanleveren die precies bevatten wat vergeten moet worden.

Het probleem: Dit is gevaarlijk. Als jij die map verstuurt, kan die gestolen worden (geheimen lekken). Of, een kwaadwillende kan een valstrik in die map stoppen om de AI te saboteren. Het is alsof je je huisadres moet geven aan een vreemde om te bewijzen dat je daar woont, terwijl je juist privacy wilt.

De oplossing van dit paper (MAGE):
De onderzoekers zeggen: "Waarom moet jij die map sturen? De AI weet het toch al?"
In plaats van een hele map, geef je de AI slechts één klein anker (een naam of een korte beschrijving), bijvoorbeeld: "Taylor Swift". De AI moet dan zelf uit zijn eigen geheugen halen wat hij over Taylor Swift weet, en dat vervolgens wissen.

Hoe werkt MAGE? (De Magische Scherprechter)

De methode heet MAGE. Je kunt het zien als een slimme, twee-staps proces dat de AI dwingt om zijn eigen geheugen te doorzoeken en te "schrapen".

Stap 1: Het Opbouwen van een Geheugenkaart (Memory-Graph)

Stel je voor dat je de AI vraagt: "Wie is Taylor Swift?"
De AI antwoordt misschien: "Een zangeres."
Maar als je alleen die ene zin gebruikt om te wissen, vergeet de AI misschien haar albums, haar exen of haar geboortedatum niet. Het is alsof je een boom wilt rooien, maar je snijdt alleen het topje van het blad eraf; de wortels blijven zitten.

Wat doet MAGE?

Het Anker: Je geeft de naam "Taylor Swift".
De Expansie: De AI begint te "dromen" over Taylor Swift. Hij roept niet alleen haar naam op, maar ook: "New York", "Love Story", "2008", "Ed Sheeran".
De Kaart: MAGE bouwt een geheugenkaart (een grafiek).
- In het midden staat Taylor Swift.
- De lijntjes naar andere woorden zijn dikker als de AI die woorden heel vaak en zeker noemt (sterk geheugen).
- Dunne lijntjes zijn zwakke herinneringen.
- Vergelijking: Het is alsof je een spinnenweb trekt rondom het onderwerp. Hoe dichter bij het midden, hoe belangrijker het is om te wissen.

Stap 2: De "Schermopname" voor het Wissen (Scoped Supervision)

Nu heeft de AI een kaart van alles wat hij weet. Maar hoe wis je dat precies zonder de rest van de wereld te vergeten?

MAGE pikt de sterkste lijntjes op de kaart eruit en maakt er vraag-antwoordparen van.

Vraag: "Wie zong 'Blank Space' in 2014?"
Antwoord: "Taylor Swift."

Dit is de instructie voor de AI: "Wanneer je deze vraag ziet, geef dan NIET dit antwoord."

Het slimme trucje (De Buurman):
Om te voorkomen dat de AI ook vergeet wie Ed Sheeran is (want hij is ook een zanger), maakt MAGE ook een lijstje met "buurman-vragen".

Vraag: "Welke Britse zanger heeft 'New York' in zijn lied?"
Antwoord: "Ed Sheeran."
Dit zegt de AI: "Vergeet Taylor Swift, maar onthoud Ed Sheeran wel!"

Waarom is dit zo goed?

Geen Geheime Documenten nodig: Je hoeft geen gevoelige bestanden te uploaden. Je geeft alleen een naam. Dit is veiliger voor jou (geen lekken) en veiliger voor de AI-bedrijven (geen valstrikken).
De AI weet het zelf: Omdat de AI zijn eigen geheugen doorzoekt, is het wissen veel grondiger. Hij vergeet niet alleen de feiten die jij opstuurde, maar ook de verbanden die hij zelf heeft gelegd.
Het werkt overal: De methode is "model-agnostisch". Het maakt niet uit welke AI je gebruikt; MAGE werkt als een plug-in die je erop kunt zetten.

Samenvatting in één zin

In plaats van dat jij een hele doos met geheime documenten moet sturen om te zeggen wat vergeten moet worden, geeft MAGE de AI slechts één naam (een anker), laat de AI zelf een kaart maken van alles wat hij daarover weet, en gebruikt die kaart om die specifieke kennis voorzichtig en veilig uit het hoofd te wissen, zonder de rest van zijn intelligentie te beschadigen.

Het is alsof je een tuinman bent die niet elke onkruidplant individueel moet aanwijzen, maar de tuinman gewoon de naam van de onkruidsoort geeft, waarna hij zelf het hele wortelstelsel van dat onkruid opzoekt en verwijdert, terwijl de bloemen eromheen intact blijven.

Titel

Van Ankers naar Supervisie: Geheugen-Graph Gids voor Corpus-Vrije Vergeten van Grote Taalmodellen (MAGE)

1. Het Probleem

Grote Taalmodellen (LLMs) kunnen gevoelige of auteursrechtelijk beschermde informatie memoriseren, wat privacy- en juridische risico's met zich meebrengt (bijv. het "recht om vergeten te worden" onder GDPR). Bestaande oplossingen voor machine unlearning (het verwijderen van specifieke kennis uit een model) vertrouwen doorgaans op een door de gebruiker aangeleverde "forget set" (een dataset met de te vergeten informatie).

Dit paradigma kent echter ernstige tekortkomingen:

Privacyrisico's: Gebruikers moeten gevoelige content uploaden om deze te laten vergeten, wat leidt tot secundaire lekken als deze data wordt onderschept.
Auditproblemen: Het is moeilijk voor dienstverleners om te verifiëren of de ingediende forget set legitiem is en niet te breed (bijv. data van anderen bevattend) of vergiftigd (backdoors).
Integriteitsrisico's: Kwaadwillenden kunnen schijnbaar onschuldige forget sets gebruiken om de prestaties van het model te saboteren of het vergeten proces omkeerbaar te maken.

De huidige aanpak vereist dus vaak dat de gebruiker de volledige context van wat er vergeten moet worden levert, wat in de praktijk onveilig en onpraktisch is.

2. De Oplossing: MAGE

De auteurs stellen MAGE (Memory-grAph Guided Erasure) voor. Dit is een raamwerk voor corpus-vrij unlearning dat uitgaat van een gebruiker-minimaliserend paradigma. In plaats van een volledige forget set, levert de gebruiker slechts een lichtgewicht "anker" (bijv. een naam zoals "Taylor Swift" of een korte beschrijving).

MAGE lost het probleem op door de LLM zelf te laten reconstrueren wat er over het doelwit is gememoriseerd, en deze reconstructie te gebruiken om de benodigde supervisie voor het unlearning-proces te genereren.

Methodologie: Twee Fasen

Het proces verloopt in twee hoofdstappen:

Fase 1: Interne Geheugendelfing (Internal Memory Mining)
Het doel is om de interne memorisatie van de LLM rondom het anker te reconstrueren zonder toegang tot het oorspronkelijke trainingscorpus.

Iteratieve Expansie: Het systeem begint met het anker en vraagt de LLM herhaaldelijk om gerelateerde feiten.
Gewogen Geheugen-Graph: De geëliciteerde informatie wordt omgezet in een lokale, gewogen graaf $G_t = (V_t, E_t)$ $G_{t} = (V_{t}, E_{t})$ .
- Knooppunten ( $V_t$ ): Belangrijke gerelateerde gebeurtenissen of entiteiten.
- Randen ( $E_t$ ): Verbinden knooppunten met een gewicht dat de sterkte van de memorisatie aangeeft (bepaald op basis van hoe vaak een entiteit in meerdere generaties terugkomt).
Filtering: Ruis wordt verwijderd door alleen knooppunten te behouden die een bepaalde drempel van herhaling (memorisatiesterkte) halen.

Fase 2: Gestructureerde Supervisie Constructie (Scoped Supervision Construction)
De geconstrueerde graaf wordt omgezet in trainingsdata voor het unlearning-proces.

Gewogen Pad Sampling: In plaats van willekeurige knooppunten te kiezen, worden paden door de graaf gesampled met een bias naar sterk gememoriseerde gebieden. Dit zorgt ervoor dat de unlearning-signalen gericht zijn op wat het model het sterkst onthoudt.
Edge-to-Event Synthese: Gesamplede paden (knooppuntenparen) worden omgezet in concrete QA-paren (Vraag-Antwoord):
- Forget Set ( $S_f$ ): Vragen die specifiek gericht zijn op het doelwit, met het antwoord dat uniek identificeert wat vergeten moet worden.
- Neighbor Set ( $S_n$ ): Vragen die verwante, maar niet-doelgerichte informatie bevatten (bijv. andere artiesten). Dit dient als een randvoorwaarde om te voorkomen dat het model te veel algemene kennis verliest (collateral damage).
Model-Agnostisch: De gegenereerde data is standaard fine-tuning data en kan worden gebruikt met bestaande unlearning-methoden zoals Gradient Ascent (GA), NPO, of GA+GD.

3. Belangrijkste Bijdragen

Nieuw Paradigma: De auteurs introduceren een veilig, auditabel en corpus-vrij unlearning-paradigma dat uitgaat van minimale gebruikersinvoer (ankers) in plaats van volledige datasets.
MAGE Framework: Een innovatief systeem dat interne memorisatie reconstrueert via een geheugen-gebaseerde graaf en deze gebruikt om gerichte supervisie te genereren.
Validatie: Experimenten tonen aan dat zelf gegenereerde supervisie (zonder externe data) vergelijkbare prestaties levert als supervisie gebaseerd op grondwahrheid (ground-truth) data.

4. Resultaten

De methode is getest op twee benchmarks: TOFU (synthetische fictieve auteurs) en RWKU (reële beroemdheden), geïmplementeerd op modellen zoals Llama-2-7b, Llama-3 en Phi-3.

Effectiviteit: MAGE bereikt een vergeten-prestatie die vergelijkbaar is met (en soms beter dan) methoden die vertrouwen op externe, handmatig samengestelde datasets (zoals ELUDe of RWKU-baselines).
- Op RWKU behaalde MAGE de beste resultaten op de "Forget Set" met verschillende fine-tuning strategieën (GA, NPO, GA+GD).
- Op TOFU toonde MAGE aan dat de gegenereerde graaf een bredere dekking van attributen biedt dan directe vraag-antwoord methoden (DirectQA).
Behoud van Nut (Utility): Het model behoudt zijn algemene vaardigheden (gemeten via MMLU, TruthfulQA, etc.) beter dan methoden die leiden tot catastrofale vergetelheid. De gebruikte "Neighbor Set" helpt om niet-doelgerichte kennis intact te houden.
Robuustheid: Zelfs met hallucinaties in de gegenereerde data (factueel onjuiste maar plausibele zinnen) bleek het unlearning-proces robuust; de prestaties daalden niet significant bij een mengsel van correcte en incorrecte data.
Efficiëntie: De overhead voor het bouwen van de geheugen-gebaseerde graaf is beperkt (eenmalige offline interacties met de LLM) en is kosteneffectiever dan het verzamelen en cureren van externe datasets.

5. Betekenis en Conclusie

Het paper biedt een praktische oplossing voor de ethische en juridische uitdagingen rondom het verwijderen van kennis uit LLMs. Door de afhankelijkheid van door de gebruiker aangeleverde datasets te elimineren, vermindert MAGE privacyrisico's en maakt het het unlearning-proces veiliger en makkelijker te auditeren.

De kernboodschap is dat LLMs zelf voldoende informatie bevatten om te bepalen wat er moet worden vergeten. Door deze interne kennis te structureren via een graaf, kan men een effectief en veilig "vergeten"-proces opzetten zonder toegang tot het oorspronkelijke trainingscorpus. Dit ondersteunt een toekomst waarin "Right to be Forgotten" requests op een schaalbare en veilige manier kunnen worden verwerkt.