Agentic Unlearning: When LLM Agent Meets Machine Unlearning

Deze paper introduceert Agentic Unlearning en het Synchronized Backflow Unlearning (SBU)-framework, dat specifiek informatie verwijdert uit zowel modelparameters als persistente geheugens van LLM-agenten om herreactivering van gevoelige data te voorkomen door middel van een gesynchroniseerde, gesloten-lus aanpak.

De kern

Stel je voor dat je een zeer slimme, digitale arts hebt die altijd voor je klaarstaat. Deze arts heeft twee manieren om informatie op te slaan:

1. In zijn hoofd (de hersenen): Dit is het model zelf, waar hij alles heeft geleerd tijdens zijn opleiding.
2. In zijn notitieboek (het geheugen): Dit is een externe database waar hij specifieke gesprekken, patiëntgegevens en diagnoses in schrijft om later terug te kijken.

Tot nu toe hadden we een probleem. Als een patiënt vroeg: "Mag ik mijn gegevens vergeten?" (bijvoorbeeld vanwege privacywetgeving), dan konden we de arts op twee manieren "ontraden":

• We konden proberen zijn hersenen te herschrijven zodat hij de informatie niet meer weet.
• We konden zijn notitieboek doorstrepen en de pagina's scheuren.

Het probleem: Als je alleen het notitieboek vernietigt, maar de informatie nog in zijn hersenen zit, kan hij de feiten weer "uit zijn hoofd" halen en ze opnieuw in een nieuw notitieboek schrijven. Omgekeerd: als je alleen zijn hersenen herschrijft, maar hij haalt de oude info nog op uit zijn notitieboek, zal hij die informatie weer in zijn hoofd opnemen. Dit noemen de auteurs "terugvloed" (backflow): de informatie stroomt van het ene naar het andere en blijft zo terugkomen, alsof je een bad leegt maar er blijft water in zitten omdat de kraan nog open staat.

De Oplossing: "Gecoördineerd Vergeten"

Deze paper introduceert een nieuwe methode genaamd Agentic Unlearning (Agentisch Vergeten), met een slim systeem dat ze SBU noemen.

Stel je voor dat SBU een twee-in-één schoonmaakteam is dat tegelijkertijd aan het werk gaat:

1. De Notitieboek-Schoonmaker (Geheugen-pad):
   In plaats van zomaar alles te wissen, kijkt deze schoonmaker eerst naar de relaties. Stel, er staat een notitie over "Patiënt X heeft diabetes". Daarbovenop staat een samenvatting: "Patiënt X is ziek". Als je de diabetes-gegevens verwijdert, mag je de samenvatting niet zomaar weggooien als die ook over een andere patiënt gaat.

   • De analogie: Het is alsof je een boomstronk rooien wilt zonder de hele boom te vellen. Ze verwijderen alleen de takken die alleen afhankelijk zijn van de informatie die weg moet, en laten de takken staan die ook door andere, veilige informatie worden gedragen. Ze blokkeren ook direct de toegang tot de oude pagina's in het notitieboek.

2. De Hersen-Resetter (Parameter-pad):
   Nu het notitieboek schoon is, moeten we de hersenen herschrijven. Maar hoe zorg je dat de arts de informatie vergeet zonder dat hij ook vergeet hoe hij een diagnose moet stellen?

   • De analogie: In plaats van de arts dwingen om een specifiek woord te vergeten (wat hem verwarrend maakt), geven we hem een roes van onzekerheid over dat specifieke onderwerp. We zeggen: "Wanneer iemand vraagt naar die specifieke patiënt, moet je niet zeggen 'Ik weet het niet', maar je moet antwoorden alsof je totaal geen idee hebt, alsof je een willekeurige gok doet." Hierdoor wordt de specifieke informatie onbruikbaar, maar blijft zijn algemene kennis over andere ziekten intact.

Waarom is dit belangrijk?

De auteurs hebben dit getest op medische vragen. Ze lieten zien dat oude methoden faalden:

• Als je alleen de hersenen reset, haalt de arts de info weer op uit het notitieboek.
• Als je alleen het notitieboek verwijdert, "droomt" de arts de info weer in.

Met hun SBU-systeem (Synchronized Backflow Unlearning) doen ze beide dingen tegelijk, in de juiste volgorde. Eerst blokkeren ze het notitieboek, dan herschrijven ze de hersenen.

Het resultaat:

• De arts vergeet de specifieke, gevoelige patiëntgegevens volledig (zowel in zijn hoofd als in zijn boek).
• Hij blijft wel een uitstekende arts voor alle andere vragen.
• Er is geen "terugvloed" meer; de informatie is echt weg.

Kortom: Dit is de eerste keer dat er een systeem is bedacht om een slimme AI-arts echt te laten vergeten wat hij niet meer mag weten, zonder dat hij zijn andere kennis verliest of de informatie per ongeluk weer terugvindt. Het is als het veilig verwijderen van een geheim uit zowel je hoofd als je dagboek, tegelijkertijd.

Technische samenvatting

Titel: Agentic Unlearning: Wanneer LLM-agenten Machine Unlearning ontmoeten

1. Het Probleem: Parameter-Memory Backflow

Traditionele methoden voor machine unlearning (het verwijderen van specifieke informatie uit een model) zijn ontworpen voor stateloze Large Language Models (LLM's) en richten zich uitsluitend op het aanpassen van de modelparameters ($\theta$). Echter, moderne LLM-agenten beschikken over persistent geheugen (externe opslag zoals vectorstores, samenvattingen en logs) om context over sessies heen te behouden.

Dit artikel identificeert een kritiek gat in bestaande methoden: Parameter-Memory Backflow (terugstroming).

• Het mechanisme: Als alleen de modelparameters worden "vergeten" (unlearning), maar de informatie blijft bestaan in het externe geheugen, kan de agent bij een volgende interactie deze informatie ophalen via Retrieval-Augmented Generation (RAG).
• Het gevolg: De agent "leert" de vergeten informatie opnieuw en schrijft deze weer terug in het geheugen of genereert deze opnieuw. Omgekeerd, als alleen het geheugen wordt gewist, kunnen de parameters nog steeds impliciete kennis bevatten die de informatie regenereren.
• De uitdaging: Bestaande methoden kunnen deze gesloten lus van wederzijdse besmetting (recontamination) niet doorbreken, wat leidt tot privacylekken in gevoelige domeinen zoals de gezondheidszorg (bijv. HIPAA/GDPR-compliance).

2. Methodologie: Synchronized Backflow Unlearning (SBU)

De auteurs stellen Synchronized Backflow Unlearning (SBU) voor, een raamwerk dat unlearning synchroniseert over twee paden: het parameterpad en het geheugenpad.

A. Geheugenpad (Dependency-Aware Unlearning)
Het doel is om expliciete records en hun afgeleide artefacten te verwijderen zonder gedeelde kennis te vernietigen.

• Architectuur: Het geheugen wordt gemodelleerd als een afhankelijkheidsgrafiek ($G=(V, E)$) met knooppunten voor ruwe dialogen, semantische samenvattingen, reflecties en kennisgrafiek-entiteiten.
• Referentietelling: Elke knoop heeft een referentieteller. Bij een verzoek om te vergeten ($D_F$):
  1. De target-IDs worden direct toegevoegd aan een permanente blocklist ($B$) voor snelle $O(1)$-controle tijdens retrieval.
  2. Het systeem traverseert de graaf om de afhankelijkheids-sluiting ($Dep(D_F)$) te vinden.
  3. Artefacten die uitsluitend afhankelijk zijn van de te vergeten data worden verwijderd.
  4. Artefacten die ook afhankelijk zijn van behouden data worden behouden, maar hun referentieteller wordt verlaagd.
• Dit voorkomt dat gedeelde kennis onnodig wordt verwijderd terwijl het zorgt voor een volledig "schone" context voor de parameter-update.

B. Parameterpad (Stochastic Reference Alignment)
Het doel is om de impliciete kennis in de modelgewichten te onderdrukken zonder catastrofale vergeetachtigheid (catastrophic forgetting) van algemene kennis.

• Aanpak: In plaats van gradient ascent (die vaak leidt tot onjuiste voorspellingen), gebruikt SBU een KL-divergentie naar een willekeurige prior.
• Implementatie: Een ingevroren referentiemodel ($f_{\theta_0}$) dat willekeurig is geïnitieerd, dient als doel. Het model wordt getraind om de outputverdeling op de "vergeten" dataset ($D_F$) te aligneren met deze willekeurige, hoog-entropie verdeling.
• Doelstelling: Het model wordt "maximaal onzeker" over de vergeten informatie in plaats van "zeker fout", waardoor de fijne details worden gewist terwijl de algemene capaciteit behouden blijft.
• Verliesfunctie: $L_{weight} = L_{CE}^{retain} + \lambda_F T^2 L_{KL}^{forget}$, waarbij $L_{CE}$ de cross-entropy is voor behouden data en $L_{KL}$ de divergentie naar de willekeurige prior voor vergeten data.

C. Gesynchroniseerd Protocol
De twee paden worden sequentieel uitgevoerd om backflow te voorkomen:

1. Eerst Geheugen: De data wordt geblokkeerd en verwijderd uit het geheugen.
2. Daarna Parameters: De modelparameters worden bijgewerkt op basis van de nu "gesaneerde" context.
   Dit zorgt ervoor dat het model tijdens het trainen geen toegang heeft tot de vergeten informatie via retrieval, waardoor het niet opnieuw kan worden gecodeerd. Alle operaties worden gelogd in een audit-log voor verifieerbaarheid.

3. Belangrijkste Bijdragen

1. Definitie van Agentic Unlearning: Het artikel introduceert en definieert formeel het probleem van unlearning voor geheugen-verrijkte agenten, waarbij de kernuitdaging de "parameter-memory backflow" is.
2. SBU Framework: Een nieuw dual-pathway protocol dat unlearning synchroniseert tussen modelparameters en persistent geheugen via dependency-aware verwijdering en stochastic reference alignment.
3. Verifieerbaarheid: Het systeem biedt een audit-log en een blocklist-mechanisme om te garanderen dat verwijderde data niet terugkeert via de retrieval-lus.

4. Resultaten

De methode is getest op medische QA-benchmarks (MedQA, MedMCQA, MedReason) met een medische LLM (II-Medical-8B).

• Privacyverbetering: SBU verbetert de privacybescherming met 24,8% (gemeten via Membership Inference Attack score) ten opzichte van bestaande methoden. De MIA-score steeg van ~0,72 naar 0,895 (bij QF=100) en 0,996 (bij QF=1000), wat aangeeft dat het model nauwelijks nog onderscheid kan maken tussen lidmaatschap van de vergeten dataset.
• Behoud van Nut: In tegenstelling tot agressieve methoden (zoals NPO) die leiden tot catastrofale ineenstorting van de algemene prestaties, behoudt SBU een hoge nauwkeurigheid op behouden data (>90% testnauwkeurigheid).
• Effectiviteit van het Geheugenpad: Na unlearning daalde de nauwkeurigheid op de vergeten set in het geheugen van 78% naar 14%, terwijl de nauwkeurigheid op behouden data licht steeg (van 54% naar 56%).
• Ablatie-studies: Het verwijderen van één van de twee paden (alleen parameters of alleen geheugen) resulteerde in een significante daling van de privacy of de prestaties, wat bewijst dat beide componenten noodzakelijk en complementair zijn.

5. Betekenis en Toekomst

Dit werk is baanbrekend omdat het voor het eerst het probleem van unlearning in interactieve agenten met persistent geheugen adresseert. Het lost het fundamentele probleem op dat traditionele unlearning-methoden falen in dynamische omgevingen waar retrieval en generatie een gesloten lus vormen.

• Toepassing: Essentieel voor domeinen met strikte privacyregels, zoals de gezondheidszorg, waar patiëntgegevens volledig en verifieerbaar moeten worden verwijderd uit zowel het model als de dossiers.
• Beperkingen: Huidige dependency-tracking werkt binnen één agent; toekomstig werk moet zich richten op unlearning in multi-agent collaboratieve omgevingen waar kennis wordt gedeeld tussen verschillende agents.

Samenvattend biedt SBU een robuust, verifieerbaar en effectief mechanisme om "vergeten" te zijn in de nieuwe generatie geheugen-verrijkte AI-agenten.