Technische Samenvatting: Inference-Time Machine Unlearning via Gated Activation Redirection (GUARD-IT)

Probleemstelling

Grote Taalmodellen (LLM's) onthouden vaak hun trainingsdata, wat aanzienlijke risico's met zich meebrengt op het gebied van privacy, auteursrechtinbreuk en veiligheid. Machine Unlearning (MU) beoogt de invloed van een specifieke "vergeetset" ($D_f$) te verwijderen, terwijl de prestaties op een "behoudset" ($D_r$) behouden blijven, idealiter benaderend een model dat vanaf nul is getraind zonder $D_f$.

Bestaande MU-benaderingen vertrouwen voornamelijk op rekenkundig kostbare, op gradiënten gebaseerde parameterupdates. Deze methoden staan voor verschillende kritieke beperkingen:

1. Rekenkosten: Ze vereisen toegang tot de volledige fine-tuning-pijplijn en aanzienlijke middelen.
2. Onomkeerbaarheid en Instabiliteit: Gewichtsupdates zijn onomkeerbaar en kunnen leiden tot "catastrophic collapse", waarbij het model zijn generalisatievermogen verliest en oncoherente output produceert.
3. Kwetsbaarheid voor Quantisatie: Unlearning-effecten worden vaak aangetast of ongedaan gemaakt wanneer modellen voor implementatie worden gekwantiseerd, aangezien afronding met lage precisie de fijnmazige gewichtsaanpassingen wist.
4. Problemen bij Continual Unlearning: In scenario's met opeenvolgende vergeetverzoeken accumuleren herhaalde parameterupdates interferentie, waardoor ongerelateerde kennis in de loop van de tijd verslechtert.
5. Beperkingen van Naive Activation Steering: Hoewel activatie-engineering een trainingsvrij alternatief biedt, faalt het toepassen van één enkel globaal stuurvector op alle inputs wanneer het vergeetcorpus conflicterende semantische richtingen omvat, wat leidt tot onbedoelde gedragsveranderingen bij ongerelateerde inputs.

Methodologie: GUARD-IT

Het artikel introduceert GUARD-IT (Inference-Time Unlearning via Gated Activation Redirection), een trainings- en gradiëntvrije methode die unlearning volledig in de activatieruimte uitvoert tijdens inferentie. De methode opereert op de hypothese van lineaire representatie en behandelt unlearning als een gecontroleerde geometrische transformatie van verborgen toestanden.

Kerncomponenten

1. Semantische Clustering (Offline Fase):

   • Het vergeetcorpus $D_f$ wordt ingebed met een Sentence-Transformer en gepartitioneerd in semantische clusters met behulp van K-Means. Het aantal clusters ($k$) wordt automatisch geselecteerd door de silhouette-score te maximaliseren.
   • Voor elke cluster wordt een Prototype Steering Vector (PSV) berekend door de verborgen-toestand-activaties op een specifieke doel-laag $\ell$ (doorgaans het eerste kwartiel van de transformer-stack) te middelen.
   • Een referentievector $\bar{h}_r$ wordt berekend uit het behoudcorpus om te waarborgen dat sturing niet interfereert met behouden kennis.

2. Similarity Gate (Online Fase):

   • Tijdens inferentie wordt een gebruikersquery $x$ ingebed en vergeleken met de centroiden van de vergeetclusters.
   • Een Similarity Gate (SG) selecteert alleen de clusters waarvan de centroiden een gelijkenisdrempel $T$ overschrijden. Dit zorgt ervoor dat sturing alleen wordt toegepast op inputs die semantisch gerelateerd zijn aan de vergeetset, waardoor de bruikbaarheid voor ongerelateerde queries behouden blijft.

3. Normbehoudende Rotatie:

   • De actieve PSV's worden geaggregeerd tot een input-afhankelijke vergeetrichting $p(x)$.
   • Deze richting wordt geprojecteerd loodrecht op de behoud-referentievector $\bar{h}_r$ om gedeelde componenten te verwijderen.
   • De resulterende stuurvector wordt herschaald om overeen te komen met de gemiddelde activatienorm van de verborgen toestanden.
   • Tot slot wordt de interventie toegepast als een pure rotatie in de residual stream: de verborgen toestand wordt weggedraaid van de vergeetrichting, terwijl strikt de oorspronkelijke norm behouden blijft. Dit voorkomt destabilisatie van laagnormalisatie en attention-schaling.

Belangrijkste Bijdragen

1. Trainings- en Gradiëntvrije Formulering: Het artikel herformuleert unlearning als een input-afhankelijk stuurprobleem in de activatieruimte, waardoor de noodzaak voor parameterupdates, hertraining of toegang tot de trainingspijplijn wordt geëlimineerd.
2. Input-afhankelijke Sturing via Clustering: Door het vergeetcorpus te partitioneren en een similarity gate te gebruiken, maakt GUARD-IT gelokaliseerd en compositief unlearning mogelijk. Het vermijdt de faalmodi van naive globale sturing door de interventie aan te passen aan de semantische inhoud van elke query.
3. Robuustheid tegen Quantisatie en Continual Unlearning: De methode ondersteunt op natuurlijke wijze continual unlearning (door nieuwe PSV's toe te voegen zonder bestaande te wijzigen) en blijft effectief onder modelquantisatie (4-bit en 8-bit), een scenario waarin gradiënt-gebaseerde methoden doorgaans verslechteren of falen.

Experimentele Resultaten

De auteurs hebben GUARD-IT geëvalueerd op de TOFU- en MUSE-benchmarks over drie modelgroottes (Llama-3.2-1B, 3B en Llama-3.1-8B).

• Prestaties versus Baselines: GUARD-IT komt overeen met of overtreft 12 gradiënt-gebaseerde baselines over alle modelgroottes. Het behaalt de hoogste gemiddelde scores (harmonisch gemiddelde van bruikbaarheid en onderdrukking van memorisatie) op de TOFU forget01- en forget05-splits.
• Voorkoming van Catastrophic Collapse: In tegenstelling tot veel gradiënt-gebaseerde methoden (zoals PDU, RMU) die lijden aan catastrophic collapse (lage bruikbaarheid en hoge rates van onzin) naarmate de vergeetkracht toeneemt, behoudt GUARD-IT hoge coherentie (Gibberish-rates > 0,80) terwijl het memorisatie effectief onderdrukt.
• Robuustheid tegen Quantisatie: In experimenten met 4-bit en 8-bit quantisatie behoudt GUARD-IT zijn prestatieprofiel. Gradiënt-gebaseerde methoden vertonen daarentegen aanzienlijke degradatie in bruikbaarheid en onderdrukking van memorisatie bij quantisatie, aangezien de fijnmazige gewichtsverstoringen verloren gaan.
• Continual Unlearning: In scenario's met sequentieel vergeten behoudt GUARD-IT consistent de afweging tussen bruikbaarheid en memorisatie, terwijl gradiënt-gebaseerde methoden lijden aan interferentie tussen opeenvolgende updates, wat leidt tot progressieve modeldegradatie.

Betekenis en Claims

Het artikel claimt dat GUARD-IT structurele beperkingen adresseert die inherent zijn aan methoden voor parameterupdates. Door unlearning te coderen als een externe, versieerbare set stuurvectoren in plaats van destructieve gewichtsherschrijvingen, biedt de methode:

• Implementatieflexibiliteit: De vergeetkracht wordt een continue, inferentie-tijd knop (gecontroleerd door de stuurcoëfficiënt $\alpha$) in plaats van een vaste toewijzing tijdens de training.
• Auditbaarheid en Omkeerbaarheid: Vergeetverzoeken kunnen worden geïnspecteerd, bijgewerkt of teruggedraaid door de vectoropslag te wijzigen zonder het model opnieuw te trainen.
• Stabiliteit: De normbehoudende rotatie zorgt ervoor dat de interventie de interne normalisatiemechanismen van het model niet verstoort, waardoor de oncoherente output die vaak voorkomt bij agressieve activatiesturing wordt voorkomen.

De auteurs concluderen dat deze aanpak het verwijderen van $D_f$ herformuleert als een routingprobleem over een vooraf berekende bibliotheek van activatierichtingen, en een praktische oplossing biedt voor privacyconformiteit (bijv. GDPR, EU AI Act) in geïmplementeerde LLM's, met name in omstandigheden met beperkte middelen of gekwantiseerde omgevingen.

Beperkingen

Het artikel erkent dat de methode vertrouwen stelt op de hypothese van lineaire representatie, waarbij wordt aangenomen dat vergeetconcepten worden gecodeerd langs ongeveer lineaire richtingen in de residual stream. Dit geldt mogelijk niet voor concepten die niet-lineair zijn gecodeerd of verspreid over vele richtingen met lage magnitude. Bovendien is de evaluatie momenteel gericht op feitelijke associaties op entiteitsniveau (TOFU, MUSE), en blijft de overdraagbaarheid naar procedurele kennis, redeneerketens of adversariaal ontworpen sets een open vraag.