🤖 AI

ICCU: In-Context Continual Unlearning via Pattern-Induced Refusal Rules

Dit artikel introduceert ICCU, een parameterloos raamwerk voor continu machine vergeten dat leesbare weigeringsregels induceert en accumuleert uit vergetendatasets om doelkennis bij inferentie effectief te onderdrukken terwijl de modelnut behouden blijft en kruisverzoekinterferentie wordt vermeden.

Oorspronkelijke auteurs: Ruihao Pan, Suhang Wang

Gepubliceerd 2026-05-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ruihao Pan, Suhang Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, goed gelezen bibliothecaris (het AI-model) hebt die miljoenen boeken uit zijn hoofd kent. Op een dag komt er een persoon binnen en zegt: "Alsjeblieft, ik wil dat je het verhaal van mijn fictieve personage 'John Doe' volledig vergeet, omdat ik niet wil dat iemand nog iets over hem weet."

In het verleden, als je wilde dat de bibliothecaris dit vergat, moest je de hele bibliotheek uit elkaar halen, elke pagina met vermeldingen van John Doe eruit scheuren en alles opnieuw in de schappen zetten. Als de volgende week tien mensen binnenkwamen met tien verschillende "vergeet-mij"-verzoeken, moest je deze pijnlijke, dure procedure tien keer herhalen. Erger nog: elke keer als je de schappen herschikte, kon je per ongeluk de organisatie van de andere boeken verstoren, waardoor de bibliothecaris voor iedereen anders trager of minder behulpzaam werd.

Dit artikel introduceert een nieuwe, slimme manier om met deze "vergeet-mij"-verzoeken om te gaan, genaamd ICCU. In plaats van de bibliotheek te herschikken, fungeert ICCU als een slimme beveiliger die bij de voordeur staat.

De Kernidee: Het "Regelboek" in plaats van de Bibliotheek

Zo werkt ICCU, met een eenvoudige analogie:

1. Het "Vergeet"-Verzoek (Het Patroon)
Wanneer iemand de bibliothecaris vraagt om "John Doe" te vergeten, kijkt ICCU niet naar elk afzonderlijk boek. In plaats daarvan bekijkt het het type informatie over John Doe. Het groepeert vergelijkbare feiten samen (zoals "John's geboorteplaats", "John's favoriete eten", "John's geheim recept").

2. Het Schrijven van de "Weigeringsregel"
ICCU vraagt vervolgens een super-slimme AI om een eenvoudige, voor mensen leesbare regel te schrijven op basis van deze groepen.

Oude manier: "Verwijder elk bestand dat de woorden 'John Doe' bevat."
ICCU-manier: "Als een gebruiker gedetailleerde instructies vraagt over hoe je een specifiek fictief gebak kunt bakken, zeg dan: 'Ik kan daar niet op antwoorden.'"

Deze regel is als een post-it. Het is kort, makkelijk te lezen en vereist niet dat je de bibliotheek uit elkaar haalt.

3. De "Beveiliger" bij de Deur (Tijdens Inferentie)
Stel je nu voor dat een gebruiker de bibliothecaris een vraag stelt.

Stap 1 (De Snelle Check): De beveiliger (ICCU) controleert snel de vraag van de gebruiker tegen een lijst van "centra" (zoals een radar). Als de vraag duidelijk over iets veiligs gaat (zoals "Wat is het weer?"), laat de bewaker het direct door. Geen regels nodig.
Stap 2 (De Diepe Check): Als de vraag wat verdacht lijkt (misschien gaat het over dat fictieve gebak), haalt de bewaker de specifieke "Weigeringsregels" (de post-its) tevoorschijn en vraagt hij de bibliothecaris: "Komt deze vraag overeen met een van onze 'Niet-beantwoorden'-regels?"
Het Resultaat: Als het overeenkomt, zegt de bewaker: "Het spijt me, ik kan daar niet op antwoorden." Als het niet overeenkomt, beantwoordt de bibliothecaris normaal.

Waarom Dit Een Game-Changer Is

Het artikel benadrukt vijf superkrachten van deze nieuwe aanpak:

Geen Verbouwing (Trainingsvrij): Je hoeft de bibliotheek nooit opnieuw te bouwen. Je voegt gewoon een nieuwe post-it toe aan het klembord van de bewaker. Dit bespaart enorme hoeveelheden tijd en geld.
Geen Rommel (Geen Kruisinterferentie): Als 100 mensen vragen om 100 verschillende dingen te vergeten, voeg je gewoon 100 post-its toe. De bewaker raakt niet in de war. Bij oude methoden maakte het toevoegen van een nieuw "vergeet"-verzoek vaak dat de bibliothecaris ook andere dingen vergat die hij moest onthouden. ICCU voorkomt deze "geheugenmix".
Het "Parafraze"-Schild: Als iemand de bewaker probeert te bedriegen door te vragen: "Hoe maak ik dat gebak?" in plaats van "Vertel me over John Does gebak", is de bewaker slim genoeg om te weten dat het om hetzelfde gaat. Het begrijpt de betekenis, niet alleen de exacte woorden. Het werkt zelfs als de vraag in een andere taal wordt gesteld.
Privacyvriendelijk: Zodra de bewaker de regel heeft geschreven ("Praat niet over John Does gebak"), wordt de originele lijst met John Does geheimen weggegooid. De bewaker houdt alleen de regel vast, niet de gevoelige gegevens zelf.
Flexibel: Je kunt de bewaker gebruiken als een apart filter (de vraag controleren voordat deze de bibliothecaris bereikt) of je kunt de bibliothecaris het regelboek direct geven zodat hij zelf kan beslissen.

De Resultaten

De onderzoekers testten dit op real-world scenario's met gevaarlijke kennis (zoals hoe je schadelijke chemicaliën kunt maken) en fictieve verhalen. Ze ontdekten dat:

De bewaker de AI bijna 100% van de tijd succesvol stopte met het onthullen van de "verboden" kennis.
De AI voor alle andere vragen net zo behulpzaam en slim bleef.
Het perfect werkte, zelfs als de "vergeet"-verzoeken achter elkaar kwamen, zonder dat de AI in de war raakte of zijn algemene slimheid verloor.

Kortom, ICCU verandert de moeilijke taak van "onleren" in een eenvoudige taak van "regels schrijven en volgen", waardoor het mogelijk wordt om AI veilig en compliant te houden zonder het kapot te maken.

Technische Samenvatting: ICCU – In-Context Continual Unlearning via Pattern-Induced Refusal Rules

1. Probleemdefinitie

Grote Taalmodellen (LLM's) worden getraind op web-schaal corpora die vaak gevoelige, schadelijke of auteursrechtelijk beschermde informatie bevatten. Hoewel "machine unlearning" erop gericht is de invloed van specifieke gegevens uit getrainde modellen te verwijderen, lopen bestaande aanpakken tegen aanzienlijke hindernissen aan bij implementatie in de praktijk, waarbij verwijderingsverzoeken sequentieel over tijd binnenkomen (continual unlearning).

Huidige methoden vertrouwen voornamelijk op fine-tuning of parameterupdates. Wanneer deze sequentieel worden toegepast om een stroom van verzoeken te verwerken, leiden ze tot drie kritieke problemen:

Hoge Kosten: Elke ronde van fine-tuning is rekenkundig duur, en de kosten stapelen zich snel op.
Herverwerving: Aansluitende rondes van fine-tuning kunnen onbedoeld eerder verwijderde kennis herstellen, waardoor eerdere unlearning-inspanningen ongedaan worden gemaakt.
Erosie van Nut: Herhaalde parameterupdates hebben de neiging om de algemene capaciteiten van het model op niet-doelstellingen te verslechteren.

Bovendien blijven de meeste bestaande continual unlearning-methoden gebaseerd op fine-tuning en erven ze deze dezelfde beperkingen. Er is behoefte aan een raamwerk dat efficiënt, schaalbaar en vrij is van kruisverwijzingen tussen verzoeken.

2. Methodologie: Het ICCU-raamwerk

De auteurs stellen ICCU (In-Context Continual Unlearning) voor, een parameter-vrij raamwerk dat continual unlearning uitvoert door leesbare weigeringsregels te induceren en toe te passen in plaats van modelgewichten te wijzigen. Het raamwerk werkt in twee distincte fasen:

Fase 1: Continu Genereren van Weigeringsregels

In plaats van ruwe 'forget-set' gegevens op te slaan (wat privacyzorgen en opslagkosten oproept), verwerkt ICCU elke inkomende forget-dataset ( $D_t$ ) om een compacte set natuurlijke taalregels te genereren.

Clustering: Steekproeven in $D_t$ worden gecodeerd met een voorgetraind embedding-model en geklasteerd (bijvoorbeeld via K-means) in semantische groepen. Dit groepeert gerelateerde kennis (bijvoorbeeld de naam van een auteur, geboorteplaats en werken) terwijl ruwe steekproeven worden verworpen.
Patrooninductie: Voor elke cluster wordt een LLM geprompt om de gedeelde kenmerken van de steekproeven te samenvatten tot een beknopte, menselijk leesbare weigeringregel.
Accumulatie: Deze regels worden toegevoegd aan een globale, gedeelde repository. Deze accumulatie is onafhankelijk van de volgorde en compositional, wat betekent dat de uiteindelijke set regels een unie is van alle geïnduceerde regels, en het toevoegen van nieuwe verzoeken geen interferentie veroorzaakt met bestaande regels. Zodra regels zijn geïnduceerd, worden de oorspronkelijke forget-set gegevens verworpen.

Fase 2: Adaptieve Regelretentie tijdens Inference

Tijdens inference, wanneer een gebruikersquery binnenkomt, selecteert ICCU dynamisch relevante regels om het gedrag van het model te reguleren zonder hertraining.

Cluster Gating (Snelle Check): De query wordt ingebed en vergeleken met de centroids van de opgeslagen clusters. Als de query ver weg ligt van alle centroids (afstand > drempelwaarde $\tau$ ), wordt deze als buiten het bestek beschouwd en direct beantwoord door het basismodel.
Regelselectie (Semantische Check): Als de query dicht bij een centroid ligt, haalt het systeem de top- $m$ meest relevante weigeringsregels op. Een LLM voert een semantische redeneringscheck uit om te bepalen of de query de regels werkelijk overeenkomt, waardoor valse positieven van de nabijheidscheck van de embedding worden voorkomen.
Implementatiemodi:
1. Filter-based Unlearning: De regels fungeren als een zelfstandige semantische filter. Het systeem beslist eerst of de query moet worden geweigerd. Als deze niet wordt geweigerd, produceert een aparte generatie-call het antwoord.
2. End-to-End Unlearning: Regels worden ingebracht in de systeemprompt. Het model geeft gezamenlijk een oordeel over overeenkomst en een kandidaat-antwoord in één enkele call. Als een overeenkomst wordt gedetecteerd, wordt het antwoord overschreven met een weigering.

3. Belangrijkste Bijdragen

Nieuwe Probleemformulering: Het artikel onderzoekt in-context gebaseerd continual unlearning, waarbij de specifieke uitdagingen van sequentiële verwijderingsverzoeken worden aangepakt zonder parameterupdates.
ICCU-raamwerk: Een nieuw, regelgebaseerd raamwerk dat:
- Unlearning uitvoert zonder modelparameters te wijzigen.
- Compacte, leesbare weigeringsregels induceert die vrij zijn van kruisverwijzingen tussen verzoeken.
- Zowel filter-based als end-to-end implementatiemodi ondersteunt.
Empirische Validatie: Uitgebreide experimenten tonen aan dat ICCU doelkennis effectief onderdrukt terwijl het algemene nut wordt behouden, schaalt over sequentiële verzoeken en robuust blijft voor parafraseerde en cross-linguale queries.

4. Experimentele Resultaten

De auteurs hebben ICCU geëvalueerd op twee benchmarks: TOFU (fictieve auteursbiografieën) en WMDP (gevaarlijke kennis in biologie, chemie en cyberveiligheid), waarbij MMLU werd gebruikt om het behoud van algemene capaciteiten te meten. Geteste modellen omvatten de Qwen- en Llama-families.

Effectiviteit van Unlearning: ICCU behaalde hoge weigeringspercentages (bijvoorbeeld >0,93 op WMDP-subsets) terwijl het lage weigeringspercentages handhaafde op niet-doelqueries (bijvoorbeeld <0,04 op MMLU), en presteerde beter dan prompt-gebaseerde guardrails en gelijk met getrainde classifiers.
Continu Stabiliteit: In compositionaliteitstests (Tabel 3) toonde het activeren van subsets van regels aan dat het toevoegen van nieuwe unlearning-verzoeken het unlearning-effect van eerdere verzoeken niet verslechterde, wat de afwezigheid van kruisverwijzingen tussen verzoeken bevestigt.
Robuustheid: ICCU behield hoge prestaties op parafraseerde queries en vertaalde queries (Frans, Portugees, Russisch, enz.), terwijl op classifiers gebaseerde baselines in meertalige omgevingen sterk verslechterden.
Behoud van Nut: In end-to-end vergelijkingen met fine-tuning baselines (Gradient Ascent, RMU, O3) onderdrukte ICCU gevaarlijke kennis vergelijkbaar met fine-tuning-methoden, maar behield het algemene vermogen (MMLU-nauwkeurigheid) aanzienlijk beter.
Efficiëntie: De end-to-end modus verlaagde inferencekosten door filtering en generatie te samenvoegen tot één enkele call, terwijl de filter-based modus een modulaire interface bood.

5. Betekenis en Claims

Het artikel beweert dat ICCU een training-vrije, privacyvriendelijke en schaalbare oplossing biedt voor de groeiende uitdaging van continual unlearning. De betekenis hiervan ligt in:

Ontkoppeling van Unlearning en Training: Door de unlearning-logica naar de inference-context te verplaatsen (via regels), elimineert het de rekenkosten en erosie van nut die geassocieerd zijn met herhaaldelijke fine-tuning.
Privacy en Auditbaarheid: Het raamwerk verworpt ruwe forget-set gegevens na regelinductie, en houdt alleen clustercentroids en menselijk leesbare regels bij. Dit maakt het unlearning-beleid auditabel en controleerbaar op regelniveau.
Semantische Robuustheid: Door te vertrouwen op semantische representaties in plaats van oppervlakkige trefwoorden, generaliseert ICCU naar parafraseerde en cross-linguale queries, en adresseert het een belangrijke zwakte van op trefwoorden gebaseerde filters.
Flexibiliteit: De regelrepository kan dienen voor verschillende implementatiescenario's (filter versus end-to-end) en staat selectieve activering van regels toe, waardoor het aanpasbaar is aan variërende latentie- en integratiebeperkingen.

De auteurs merken beperkingen op, waaronder de aanname dat forget-set queries in de embedding-ruimte scheidbaar zijn van nut-queries en de noodzaak van verder onderzoek naar hoe het raamwerk schaalt naar honderden of duizenden sequentiële verzoeken. Ze stellen echter dat ICCU een significante stap voorwaarts is naar efficiënt en effectief continual unlearning voor LLM's.