💬 NLP

Forgotten in Weights, Recovered by Tools: Agentic Tool Unlearning for LLM Agents

Dit artikel introduceert Agentic Tool Unlearning (ATU), een tweestapsframework dat parametrische kennisonderdrukking combineert met trajectniveau-versterkingsleren om te voorkomen dat agenten van grote taalmodellen vergeten informatie herstellen via externe tools, terwijl hun nut voor behouden kennis behouden blijft.

Oorspronkelijke auteurs: Baicheng Chen, Zheyuan Liu, Jingyu Zhang, Kaize Ding, Ningshan Ma, Yue Huang, Meng Jiang

Gepubliceerd 2026-08-25

📖 5 min leestijd🧠 Diepgaand

CC0 1.0

Oorspronkelijke auteurs: Baicheng Chen, Zheyuan Liu, Jingyu Zhang, Kaize Ding, Ningshan Ma, Yue Huang, Meng Jiang

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Grote taalmodellen zijn de motoren achter veel moderne digitale assistenten, in staat om tekst te genereren, vragen te beantwoorden en gesprekken te voeren. Jarenlang hebben onderzoekers zich gericht op het aanleren van het "vergeten" van specifieke informatie aan deze modellen, zoals privégegevens of auteursrechtelijk beschermde verhalen, door de interne instellingen die kennis opslaan aan te passen. Dit proces, bekend als machine unlearning (machine-vergeten), heeft tot doel de invloed van bepaalde feiten te verwijderen zodat het model ze niet langer kan herinneren. Echter, een nieuwe complicatie is ontstaan nu deze modellen evolueren van eenvoudige tekstgeneratoren naar actieve agenten. Deze agenten vertrouwen niet alleen op hun interne geheugen; ze kunnen zich uitstrekken naar de buitenwereld door gebruik te maken van hulpmiddelen zoals zoekmachines of databases om in realtime antwoorden te vinden. Deze verschuiving creëert een lek: zelfs als een model een feit intern succesvol heeft vergeten, kan het datzelfde feit nog steeds van het internet ophalen en presenteren als zijn eigen antwoord, waardoor het ongemerkt het proces van vergeten omzeilt.

Een team van onderzoekers heeft dit specifieke falen geïdentificeerd, dat zij "tool-mediated recovery" (door hulpmiddelen bemiddelde herstel) noemen, en heeft een nieuwe methode ontwikkeld om de kloof te dichten. In hun studie toonden zij aan dat standaardtechnieken voor het vergeten van kennis ontoereikend zijn wanneer het model als een agent wordt ingezet met toegang tot externe hulpmiddelen. Ze ontdekten dat hoewel een model een stuk informatie succesvol lijkt te zijn vergeten wanneer het in isolatie wordt getest, het diezelfde informatie gemakkelijk kan herstellen zodien het de mogelijkheid krijgt om op het web te zoeken of gegevens in een database op te zoeken. Om dit op te lossen, stelden de onderzoekers een tweefasig trainingsframework voor. De eerste fase voert het traditionele werk uit van het onderdrukken van het interne geheugen van de ongewenste informatie. De tweede fase is complexer; deze traint het model in een gesimuleerde omgeving waarin het als een agent optreedt, waarbij het leert herkennen wanneer een zoekopdracht of een oproep naar een hulpmiddel zou leiden tot de verboden informatie en in plaats daarvan besluit te stoppen of een veilige, niet-onthullende reactie te geven.

De onderzoekers testten deze aanpak op reële scenario's met betrekking tot beroemde personen en auteursrechtelijk beschermde boeken. In een reeks experimenten maten zij hoe vaak een "vergeten" model per ongeluk een vergeten feit zou onthullen. Wanneer het model werd gebruikt als een standaard tekstgenerator zonder hulpmiddelen, vermeed het de informatie succesvol. Echter, zodra hetzelfde model toegang kreeg tot zoekhulpmiddelen, stortte het vermogen om de informatie te verbergen in en begon het de vergeten feiten op een veel hogere frequentie te onthullen. Bijvoorbeeld, bij een test betreffende publieke figuren, steeg het percentage accidentele onthullingen van een laag niveau in isolatie naar een hoog niveau wanneer de hulpmiddelen werden ingeschakeld. Dit bevestigde dat de hulpmiddelen zelf fungeerden als een herstelkanaal, waardoor het model de kennis kon reconstrueren die het naar verluidenzij had verwijderd.

Om dit aan te pakken, pasten de onderzoekers hun tweefasige methode toe. Na de initiële interne unlearning onderwierpen zij het model aan de tweede fase van de training, waarbij het oefende met het interageren met hulpmiddelen in een gecontroleerde setting. Tijdens deze fase werd het model beloond voor het vermijden van de verboden informatie, zelfs wanneer de hulpmiddelen deze boden, en gestraft voor het proberen de hulpmiddelen te gebruiken om die specifieke gegevens te vinden. De resultaten lieten zien dat deze extra training het vermogen van het model om de vergeten informatie via hulpmiddelen te herstellen, aanzienlijk verminderde. In de tests op publieke figuren verminderde de methode het percentage accidentele onthullingen met een aanzienlijke marge vergeleken met modellen die alleen de eerste fase van unlearning ondergingen. Op dezelfde wijze voorkwam de methode bij tests met auteursrechtelijk beschermde boekinhoud dat het model lokale databases gebruikte om de verborgen tekst op te halen.

Cruciaal is dat de onderzoekers ervoor hebben gezorgd dat deze nieuwe methode niet de normale functionaliteit van het model verstoort. Zij verifieerden dat het model nog steeds effectief hulpmiddelen kan gebruiken voor taken die niet verband houden met de verboden informatie, zoals het opzoeken van algemene feiten of het uitvoeren van berekeningen. De training dwong het model niet om alle hulpmiddelgebruik te weigeren of onbehulpzaam te worden; het leerde het model simpelweg een grens te trekken, wetende wanneer het moet stoppen met zoeken om specifieke gevoelige gegevens te beschermen. De studie suggereert dat voor unlearning werkelijk effectief te zijn in het moderne tijdperk van intelligente agenten, het rekening moet houden met hoe deze agenten met de wereld interageren, en niet alleen met hoe zij gegevens intern opslaan. Door het model te trainen om de verleiding te weerstaan om hulpmiddelen te gebruiken om verwijderde kennis te herstellen, hebben de onderzoekers een robuustere manier gecreëerd om ervoor te zorgen dat vergeten informatie ook echt vergeten blijft, zelfs in een verbonden digitale omgeving.

Technische Samenvatting: Agentic Tool Unlearning voor LLM-agenten

Probleemdefinitie: Tool-gemedieerd Herstel

Het paper identificeert een kritieke foutmodus bij de implementatie van Large Language Model (LLM) unlearning-methoden. Traditionele machine unlearning beoogt specifieke informatie (de "forget target") te verwijderen uit de parameters van een model, terwijl de bruikbaarheid voor andere taken behouden blijft. De huidige evaluatieprotocollen testen unlearning echter primair in een standaard inferentie-omgeving, waarbij het model direct antwoordt zonder externe hulpmiddelen.

De auteurs stellen dat deze evaluatie incompleet is voor moderne tool-augmented agenten (agenten met ondersteuning van externe tools). In real-world deployments kunnen agenten externe tools aanroepen (bijv. web zoeken, database-opvragingen, document retrieval) om vragen te beantwoorden. Het paper definieert tool-mediated recovery (tool-gemedieerd herstel) als het fenomeen waarbij een agent, ondanks het succesvol "vergeten" van een doel in zijn parametrische gewichten, de vergeten informatie herstelt door deze via externe tools op te halen en in de uiteindelijke respons te verwerken.

Dit creëert een mismatch op implementatieniveau: een model kan verschijnen als 'unlearned' onder standaard evaluatie (lage scores op de forget-set), maar kan de doelinformatie effectief opnieuw leren wanneer het wordt ingebed in een agent-framework. Het simpelweg uitschakelen van tools is geen levensvatbare oplossing, aangezien dit de brede bruikbaarheid en feitelijkheid die tool-augmentatie biedt, opoffert.

Methodologie: Agentic Tool Unlearning (ATU)

Om dit aan te pakken, stellen de auteurs Agentic Tool Unlearning (ATU) voor, een tweefasig framework ontworpen om zowel directe parametrische herinnering als tool-gemedieerd herstel te onderdrukken, terwijl normaal toolgebruik voor behouden kennis behouden blijft.

Fase 1: Parametrische Kennis Unlearning

De eerste fase past standaard parametrische unlearning-technieken toe op de basis-LLM ( $\pi_{\theta_0}$ ) met behulp van een forget set $F(c)$ en een retain set $R$ . Het doel is om directe herinnering van de forget target te onderdrukken. De auteurs maken gebruik van bestaande methoden zoals Gradient Ascent (GA), Rejection Tuning (RT), Direct Preference Optimization (DPO) en Negative Preference Optimization (NPO) om een tussenliggend unlearned model ( $\pi_{\theta_1}$ ) te produceren. Deze fase zorgt ervoor dat het model het doelantwoord niet genereert vanuit zijn interne gewichten alleen.

Fase 2: Agentic Tool Unlearning (Trajectory-Level RL)

De tweede fase adresseert het herstelkanaal. Het model $\pi_{\theta_1}$ wordt verder getraind in een gesimuleerde tool-augmented omgeving ( $E_{train}$ ) met behulp van Group Relative Policy Optimization (GRPO).

Omgeving: De agent interageert met een set tools (bijv. web zoeken, lokale databases) die relevant zijn voor de forget targets.
Trajectory-Level Reward: In tegenstelling tot standaard unlearning, dat zich richt op de uiteindelijke output, wijst ATU beloningen toe aan de gehele interactie-trajectorie $\tau = (x, a_1, o_1, \dots, a_K, o_K, y)$ $τ = (x, a_{1}, o_{1}, \dots, a_{K}, o_{K}, y)$ .
- Forget Queries: Een bevroren LLM-judge scoort het traject. Er worden hoge straffen toegewezen als de agent tools aanroept om de target op te zoeken of als het definitieve antwoord de target lekt. Beloningen worden gegeven voor veilige weigeringen of niet-informatieve responsen die de target niet onthullen, zelfs als er tools zijn aangeroepen.
- Retain Queries: Beloningen stimuleren correcte, behulpzame antwoorden en gepast toolgebruik om te voorkomen dat het model degradeert naar een beleid dat alle queries weigert of tools globaal uitschakelt.
Doelstelling: Het beleid wordt bijgewerkt om target-zoekend toolgedrag en lekken in het definitieve antwoord te minimaliseren, terwijl een KL-divergentie-straf wordt gehanteerd om dicht bij het Fase 1-model te blijven en algemene bruikbaarheid te waarborgen.

Belangrijkste Bijdragen

Identificatie van Tool-Mediated Recovery: De auteurs identificeren en karakteriseren formeel een nieuwe mismatch op implementatieniveau waarbij tool-augmented agenten parametrische unlearning omzeilen door vergeten kennis te reconstrueren via externe tool-observaties.
ATU Framework: Ze stellen een nieuw tweefasig framework voor dat parametrische unlearning combineert met trajectory-level reinforcement learning. Deze aanpak richt zich specifiek op het gedrag van de agent in tool-augmented omgevingen, door target-zoekende tool-aanroepen en antwoordlekken te bestraffen.
Empirische Validatie: Uit uitgebreide experimenten met verschillende LLM-architecturen (Qwen-3-4B, Qwen-2.5-7B, Qwen-3-8B) en benchmarks (RWKU, MUSE) blijkt dat ATU tool-gemedieerd herstel significant vermindert, terwijl de behouden bruikbaarheid en algemene tool-gebruikscapaciteiten intact blijven.

Experimentele Resultaten

Het paper evalueert ATU op de RWKU (Real-World Knowledge Unlearning) en MUSE (Machine Unlearning Six-way Evaluation) benchmarks.

Recovery Gap: Experimenten bevestigen het bestaan van de recovery gap. Bijvoorbeeld, op RWKU met Qwen-3-4B, verminderde een model dat via NPO (Fase 1) was unlearned de forget-set score van 57,7 naar 44,6 in standalone modus. Echter, wanneer het als agent werd ingezet, schoot de score omhoog naar 68,6, wat bijna gelijk is aan de prestaties van het basismodel.
ATU Effectiviteit: Het toepassen van Fase 2 (ATU) heeft dit herstel aanzienlijk beperkt. De NPO + Fase 2 configuratie bracht de agent-deployment forget-set score terug naar 47,5, een reductie van 21,1 punten vergeleken met de Fase 1 agent. Vergelijkbare verbeteringen werden waargenomen bij andere unlearning-methoden (GA, DPO, RT) en modelgroottes.
Behoud van Bruikbaarheid: Het framework behield de bruikbaarheid succesvol. Fase 2-modellen behielden hoge scores op nabijgelegen kennis (locality), feitelijkheid, vloeiendheid en algemeen redeneren (MMLU, BBH). Cruciaal is dat de modellen het vermogen behielden om tools te gebruiken voor taken onafhankelijk van de target (bijv. hash-berekeningen, database-opvragingen ongerelateerd aan de forget target), wat aantoont dat ATU het toolgebruik niet globaal onderdrukt.
Generalisatie: De methode generaliseerde over verschillende backbone-modellen en toolsets. Zelfs toen retrieval-tools werden vervangen door alternatieve API's (bijv. het vervangen van ddg-search door Tavily), bleef ATU tool-gemedieerd herstel verminderen, wat aangeeft dat het een algemeen gedrag leert om target-zoeken te vermijden in plaats van te overfitten op specifieke toolnamen.

Betekenis en Claims

Het paper claimt dat parametrische kennis unlearning alleen onvoldoende is voor veilige deployment in tool-augmented agent-settings. De standaard evaluatie van unlearning op standalone outputs overschat de robuustheid omdat het het herstelkanaal dat door externe tools wordt geboden, negeert.

De betekenis van ATU ligt in het vermogen om unlearning af te stemmen op de realiteit van agent-deployment. Door het model te trainen om target-zoekende trajecten te herkennen en te vermijden (inclusief tool-aanroepen en observaties), biedt ATU een robuustere verdediging tegen informatielekken. De auteurs positioneren dit werk als een noodzakelijke stap naar veiligere LLM-agenten, waarbij zij ervoor zorgen dat unlearning-vereisten (zoals privacy of copyright-compliance) standhouden, zelfs wanneer het model is geïntegreerd in complexe, tool-ondersteunde workflows.

Het paper is bescheiden over beperkingen en erkent dat ATU de kloof naar standalone prestatieniveaus niet altijd volledig sluit en dat het geleerde beleid nog steeds informatie kan lekken als de tool-observaties expliciet zijn of als de deployment-omgeving significant verschilt van de trainingssimulatie. Zij suggereren dat toekomstig werk betrokken kan zijn bij runtime-monitors of toegangscontrole aan de tool-zijde om deze verdedigingen verder te versterken.