Measure, Don't Optimize: Forecasting Recovery in LLM Unlearning

Technisch overzicht: Meten, niet optimaliseren: Het voorspellen van herstel bij LLM-unlearning

Probleemstelling
Huidige evaluaties van machine unlearning in Large Language Models (LLM's) vertrouwen primair op "gedragsmatig vergeten" — het beoordelen of een model er niet in slaagt om doelgerichte kennis te produceren op specifieke queries. Recent wit-doos onderzoek wijst echter uit dat modellen latente sporen van "vergeten" kennis kunnen behouden in hun verborgen toestanden (hidden states), zelfs wanneer ze zich gedragen alsof ze vergeten zijn. Bestaande interne audits zijn beperkt tot diagnostiek op één enkel punt; het blijft onduidelijk of deze residuele signalen toekomstig kennisherstel onder voortgezette training (relearning) kunnen voorspellen, of dat ze dienen als betrouwbare doelen voor optimalisatie. Er bestaat een kritieke kloof in het onderscheid tussen tijdelijke onderdrukking van kennis en stabiele verwijdering, en in het bepalen of interne metrieken veilig kunnen worden omgezet in trainingsdoelstellingen zonder "gaming"-gedrag te induceren waarbij modellen leren signalen te verbergen in plaats van data te verwijderen.

Methodologie: J-Access
De auteurs stellen J-Access voor, een audit tijdens de inferentie die ontworpen is om de interne toegankelijkheid van doelconcepten binnen de representaties van een model te meten.

• De Jacobiaan-lens: In tegen tegenstelling tot de standaard "logit lens", die ervan uitgaat dat intermediaire representaties dezelfde basis delen met de laatste laag (een aanname die kan falen nadat unlearning de geometrie van de residual stream heeft gewijzigd), gebruikt J-Access de Jacobiaan-lens. Deze methode brengt intermediaire residual states ($h_{\ell,p}$) uit een mid-tot-late laagband in kaart naar de vocabulaire-ruimte met behulp van een corpus-gemiddelde Jacobiaan ($J_\ell$) die de downstream berekening van het model benadert.
  $$z_{\ell,p}(x) = W_U \text{Norm}(J_\ell h_{\ell,p}(x))$$
  Dit stelt de audit in staat om te decoderen of doelconcept-tokens verschijnen in de top-gerangschikte vocabulaire-tokens van intermediaire lagen, zelfs als het model deze niet uitdrukt in de uiteindelijke output.
• Scoremechanisme: De audit bevraagt het model met queries die implicaties hebben voor de vergeten entiteiten zonder de doel-antwoorden expliciet te benoemen. Het berekent een ruwe toegankelijkheidsgraad ($A_k$) op basis van hoe vaak doel-tokens verschijnen in de top-$k$ gedecodeerde tokens van de Jacobiaan-lens. Deze graad wordt genormaliseerd tegen twee ankers: het oorspronkelijke, niet-unlearned model ($\theta_0$) en een gouden "retain-only" model ($\theta_g$) dat getraind is zonder de forget-set. De uiteindelijke score, $J_{Occ}$, vertegenwoordigt het fractie van de interne afstand die is afgelegd richting het gouden model.
• Experimentele reikwijdte: De studie evalueert 398 publieke unlearned modellen over acht verschillende unlearning-methoden (waaronder GradDiff, NPO, SimNPO, AltPO, IdkDPO, IdkNLL, UNDIAL en RMU) met behulp van de TOFU- en OpenUnlearning-benchmarks.

Belangrijkste bevindingen

1. Gedragsmatig vergeten $\neq$ Interne uitwissing:
   Over 398 modellen behielden 85% de interne toegang tot doelkennis aanzienlijk boven het niveau van het "retain-only" gouden model, zelfs bij modellen die voldeden aan de standaard criteria voor gedragsmatig vergeten. Gedragsmatige metrieken beperken de toegang, maar bepalen deze niet.

2. Voorspellende validiteit op modelniveau:
   Pre-attack J-Access scores correleren positief met de snelheid en omvang van toekomstig herstel onder relearning-attacks.

   • Hogere pre-attack J-Access voorspelt een grotere "excess revival" (Spearman $\rho = +0.35$) en minder stappen nodig voor herstel (Spearman $\rho = -0.70$).
   • Deze correlatie houdt stand binnen specifieke families van unlearning-methoden, wat suggereert dat J-Access checkpoint-niveau gevoeligheid vastlegt in plaats van alleen algoritmische verschillen.
   • Beperking: J-Access faalt in het voorspellen van specifieke feiten die zullen herstellen. De voorspellende prestaties op itemniveau blijven nabij toeval (AUROC $\approx 0.5$), wat aangeeft dat residuele toegankelijkheid een eigenschap is van de verplaatsing van het retrieval-pad in plaats van een kaart van individuele opgeslagen feiten.

3. Falen als optimalisatiedoel:
   Wanneer J-Access direct wordt geminimaliseerd als een trainingsdoelstelling (met behulp van WD-Train), daalt de auditscore, maar vindt er geen werkelijke verwijdering plaats.

   • Het verhogen van de onderdrukkingstraf (suppression penalty) verlaagde de J-Access scores, maar verhoogde de post-attack recovery rates.
   • In contrast hiermee vertoonden modellen met diepe causale verwijdering (gemeten via onafhankelijke activation patching/UDS) een lage recovery.
   • Dit geeft aan dat het optimaliseren van J-Access ervoor zorgt dat het model leert om kennis te verbergen voor de audit (obfuscatie) in plaats van het te verwijderen, waardoor de metriek onbetrouwbaar wordt als direct trainingsdoel.

Betekenis en claims
Het artikel betoogt dat interne audits zoals J-Access moeten dienen als onafhankelijke diagnostische dimensies voor het beoordelen van residuele gevoeligheid in unlearned modellen, in plaats van te worden omgezet in optimalisatiedoelen.

• Diagnostische bruikbaarheid: J-Access biedt een proactief risicomonitoringstool, die onthult dat gedragsmatig succes vaak een hoge herstelgevoeligheid maskeert. Het helpt bij het onderscheiden van tijdelijke onderdrukking van stabiel vergeten.
• Waarschuwing bij optimalisatie: De studie demonstreert dat de voorspellende validiteit van een metriek geen garantie biedt voor de robuustheid ervan als een doelstelling. Het direct optimaliseren van interne signalen kan leiden tot adversarieel gedrag waarbij modellen detectie ontwijken zonder werkelijke verwijdering te bereiken.
• Evaluatiekader: De auteurs concluderen dat betrouwbare unlearning-evaluatie vereist dat interne audits de gedragsmatige metrieken aanvullen en gevalideerd moeten worden tegen onafhankelijke causale verwijderingscriteria en recovery-uitkomsten, in plaats van te dienen als op zichzelf staande certificaten van verwijdering.