Technische Samenvatting: MAAT: Multi-phase Adapter-Aware Targeted Unlearning

1. Probleemstelling

Het paper identificeert een kritieke structurele bias in bestaande benchmarks voor machine unlearning (bijv. CounterFact, ZSRE, TOFU, MUSE, WMDP-Cyber). Deze datasets zijn sterk scheefgetrokken naar entiteit-gecentreerde "Wat", "Wie", "Wanneer" en "Waar"-vragen, terwijl "Waarom"-vragen — die causale en relationele kennisketens onderzoeken — minder dan 0,06% tot 1,3% van deze datasets uitmaken.

Deze bijna nul-representatie creëert een meetgat: unlearning-methoden die er niet in slagen causale kennis te verwijderen, kunnen nog steeds hoge geaggregeerde scores behalen. De auteurs stellen dat causale kennis kwalitatief moeilijker te unlearn is door twee factoren:

1. Lengte en Complexiteit: "Waarom"-antwoorden bevatten gemiddeld 40,1 tokens (tegenover 4,2–10,5 voor anderen) en 44% omvat multi-hop redeneerketens (tegenover $\le$2% voor anderen).
2. Gradiëntverwatering (Gradient Dilution): Het ascensie-signaal dat nodig is om deze feiten te unlearn, is verspreid over lange token-spannen zonder een dominante richting, waardoor standaard gradiënt-gebaseerde methoden falen of behouden kennis degraderen wanneer ze gedwongen worden agressief te zijn.

Bestaande methoden (Gradient Ascent, KL-regularized GA, Adapter Negation) kampen met een fundamentele trade-off: agressief vergeten degradeert de bruikbaarheid van het model (retentie), terwijl conservatieve methoden er niet in slagen causale feiten te vergeten.

2. Methodologie: Het MAAT-framework

De auteurs stellen MAAT voor (Multi-phase Adapter-Aware Targeted Unlearning), een driefasig framework dat direct werkt op LoRA adapter-gewichten zonder deze samen te voegen (mergen) met het basismodel. Dit maakt gestructureerde "adapter-chirurgie" mogelijk in plaats van uniforme gradiëntdruk.

Fase 1: Gradient-Projected Ascent

Standaard gradient ascent past updates uniform toe, wat behouden kennis kan eroderen als de forget-gradiënt ($g_f$) samenvalt met de retain-gradiënt ($g_r$). MAAT maakt gebruik van conditionele orthogonale projectie:

• Als $g_f \cdot g_r > 0$ (conflict), wordt het component van $g_f$ dat uitgelijnd is met $g_r$ verwijderd via projectie:
  $$g^\perp_f = g_f - \frac{g_f \cdot g_r}{\|g_r\|^2 + \epsilon} g_r$$
• Als er geen conflict is, wordt de volledige forget-ascensierichting behouden.
• Het doel is het minimaliseren van de forget loss, terwijl het verankerd blijft aan de pre-unlearning adapter-toestand via KL-divergentie.

Fase 2a: SVD Rank-Dimension Pruning (Alleen MLP)

Om residu-signalen in richtingen met een lage magnitude aan te pakken, scoort MAAT de Multi-Layer Perceptron (MLP) adapter-dimensies op basis van hun gradiënt-kolomnormen over de forget-set.

• De top-$\rho$ fractie van de rank-dimensies wordt op nul gezet in de $A$- en $B$-matrices van de MLP-modules (down_proj, up_proj, gate_proj).
• Cruciaal is dat attention-modules worden uitgesloten van pruning om het vermogen om instructies op te volgen niet te vernietigen.

Fase 2b: Task Vector Negation

Deze fase richt zich op de specifieke forget-subruimte geïdentificeerd in Fase 2a.

• De top-$k_F$ (bijv. 50%) forget-gescoorde rank-dimensies van elke LoRA $B$-matrix worden gemaskeerd om een "forget task vector" $\tau^F_l$ te vormen.
• Deze vector wordt van de gewichten afgetrokken: $B_l \leftarrow B_l - \alpha \cdot \tau^F_l$.
• Dit bereikt gerichte onderdrukking zonder willekeurig de met retain geassocieerde richtingen te wissen.

Fase 3: Hybrid Retain Repair

Om de door pruning en negation gedegradeerde prestaties te herstellen, wordt een hybride repair-doelfunctie geminimaliseerd. Deze combineert vier termen:

1. KL Divergentie: Verankert het model aan de retain-distributie.
2. Hidden-State Afstand: Minimaliseert de afstand tussen de huidige en referentie hidden states voor retain-samples.
3. Entropie Maximalisatie: Een negatieve entropie-term ($-w_{ent} H_F$) maximaliseert de entropie op de forget-set voorspellingen, wat voorkomt dat het model tijdens de repair fase de vergeten inhoud opnieuw leert.
4. Task Vector Straf: Bestraft de cosinus-gelijkenis tussen de huidige gewichten en de forget task vector.

3. Belangrijkste Bijdragen

1. 5WBENCH Benchmark

De auteurs introduceren 5WBENCH, een gebalanceerde benchmark van 5.000 samples afgeleid van de Factify-5WQA corpus.

• Structuur: 1.000 voorbeelden per 5W-categorie (Wie, Wat, Wanneer, Waar, Waarom).
• Significantie: Het biedt de eerste statistisch significante dekking van "Waarom"-vragen (20% van de dataset), wat de kwantificering van causale unlearning-fouten mogelijk maakt die voorheen ondetecteerbaar waren in scheefgetrokken benchmarks.
• Formaat: Compatibel met EasyEdit, inclusief grondwaarheid-antwoorden, labels en geherformuleerde varianten voor robuustheidstesten.

2. MAAT Algoritme

MAAT is de eerste methode die simultaan een hoge forgetting en een hoge retention bereikt voor "Waarom"-type causale kennis. Het werkt op de structurele eigenschappen van LoRA-adapters, waarbij SVD-scoring en task vector negation worden gebruikt om specifieke rank-dimensies te isoleren en te onderdrukken die geactiveerd worden door forget-set inputs.

4. Experimentele Resultaten

Het framework werd geëvalueerd op LLaMA 3.2-3B en Gemma 3-4B met behulp van een Qwen 2.5-7B LLM-as-a-Judge.

Prestaties op 5WBENCH

• Pareto Front: MAAT bereikt een nieuw werkpunt, waarbij het simultaan de 60% Forget Success Rate (FSR) en 60% Retain Success Rate (RSR) over alle vijf de 5W-categorieën overtreft op LLaMA 3.2-3B.
  • Llama 3.2-3B: 77,4% FSR / 71,6% RSR (Geaggregeerd).
  • Gemma 3-4B: 64,0% FSR / 61,8% RSR (Geaggregeerd).
• Prestaties van "Waarom"-type:
  • MAAT: 63% FSR / 65% RSR (Llama).
  • Baselines (GA, GA+KL, AN, RO-FT) slagen er niet in dit evenwicht te bereiken. Zo behaalt Gradient Ascent (GA) bijvoorbeeld 44% FSR maar 78% RSR, wat de auteurs toeschrijven aan "onder-vergeten" (het model behoudt feiten simpelweg omdat het ze niet vergeten is, niet omdat het de bruikbaarheid heeft behouden).
• Falende Baselines:
  • Adapter Negation (AN): Bereikt bijna perfect vergeten (99,8% FSR) maar veroorzaakt een catastrofale retentie-instorting (0,4% RSR), wat bevestigt dat volledige task vector negation zowel forget als retain kennis ongeremd verwijdert.
  • RO-FT: Hoge retentie maar lagere forgetting efficiëntie vergeleken met MAAT.

Prestaties op TOFU

Op de TOFU-dataset (die weinig "Waarom"-dekking heeft) behaalt MAAT concurrerende resultaten (67,5% FSR / 46,6% RSR op Llama), wat robuustheid aantoont over verschillende datadistributies, hoewel het paper opmerkt dat de categorie-imbalans van TOFU de bruikbaarheid voor causale analyse beperkt.

Ablatie-studies

• Gradient Projection: Essentieel voor het beschermen van behouden kennis tijdens ascensie.
• Hybrid Repair: Noodzakelijk om de door pruning/negation verloren gegane retentie te herstellen; zonder de entropie-term herstelt de repair fase onbedoeld vergeten inhoud.
• Task Vector Negation vs. Attention Pruning: Het vervangen van attention pruning door task vector negation (Conditie D) verbetert de retentie aanzienlijk (76% vs. 54% RSR) terwijl een vergelijkbare forgetting kracht behouden blijft, wat de beslissing valideert om attention-modules uit te sluiten van structurele pruning.

5. Significantie en Claims

Het paper claimt dat MAAT de eerste methode is die succesvol de forget–retain trade-off navigeert, specifiek voor causale (Waarom-type) kennis, een domein waar bestaande baselines falen.

• Structureel Inzicht: De auteurs demonstreren dat de moeilijkheid van het unlearnen van causale feiten voortkomt uit relationele complexiteit en gradiëntverwatering, en niet uit een unieke gewichtsruimte-voetafdruk (encoding-analyse toont een uniform verdeelde encoding aan voor alle 5W-categorieën).
• Impact op Evaluatie: Door de introductie van 5WBENCH biedt het paper een instrument om "onder-vergeten" artefacten in bestaande methoden bloot te leggen, waarbij hoge retentie-scores eigenlijk een bijproduct zijn van mislukt vergeten.
• Architectuurgevoeligheid: De resultaten suggereren dat adapter-gebaseerd unlearning de kennis-encoding structuur van het basismodel overneemt. Het prestatieverschil tussen LLaMA en Gemma geeft aan dat de scheidbaarheid van kennis in adapter rank-dimensies architectuur-afhankelijk is.

De auteurs concluderen dat hoewel MAAT een nieuwe Pareto-front bereikt, het veld behoefte heeft aan gebalanceerde evaluatie-taxonomieën om fouten in het unlearnen van causale kennis te detecten, die door standaard benchmarks momenteel worden verborgen.