Technische Samenvatting: Uitlijning van Probe-Geometrie voor het Wist van Memoriseringshandtekeningen

1. Probleemstelling

Huidige frameworks voor machine-unlearning bij Large Language Models (LLM's) lijden aan een kritieke meetkloof: ze evalueren gedragsmatig unlearning (of het model stopt met het genereren van doelinhoud), maar falen in het beoordelen van representatief unlearning (of het model stopt met het intern coderen van die inhoud). Recent onderzoek wijst uit dat gedragsmatige onderdrukking vaak interne sporen achterlaat die door adversariële probes kunnen worden hersteld. Dit artikel betoogt dat het onderdrukken van generatie onvoldoende is voor privacy of veiligheid, aangezien de onderliggende memoriseringshandtekeningen kunnen blijven bestaan in de residustroom van het model, en potentieel kunnen worden uitgebuit door tegenstanders.

De kernuitdaging is tweeledig:

1. Detectie: Bestaande probes onderscheiden vaak niet tussen echte, cross-sequentiële memoriseringshandtekeningen en oppervlakkige tekenreeks-niveau artefacten of model-niveau verschuivingen.
2. Uitwissing: Chirurgische ingrepen die gedragsmatige herinnering succesvol onderdrukken (bijvoorbeeld head-level unlearning) slagen er vaak niet in de onderliggende representatieve handtekening uit te wissen, die lineair scheidbaar en detecteerbaar blijft.

2. Methodologie

2.1 Cross-Sequentie Leave-One-Out (LOO) Probing

Om memorisering strikt te detecteren, introduceren de auteurs een cross-sequentie LOO-probingprotocol. In tegenstelling tot single-sequence probes die kunnen overfitten op specifieke token-identiteiten, test dit protocol op een generaliseerbare handtekening van memorisering:

• Procedure: Een lineaire probe wordt getraind op activatieparen (gememoriseerd versus controle) uit een set sequenties, waarbij één gememoriseerde sequentie wordt weggelaten. De probe wordt vervolgens getest op de terughoudende sequentie.
• Betekenis: Als de probe de terughoudende sequentie classificeert als gememoriseerd, heeft het een kenmerk van het memoriseringsproces zelf geleerd, en niet slechts van specifieke trainingsvoorbeelden.
• Controles: Het protocol omvat een "pure-onderscheidbaarheid"-baseline (getraind op niet-gemoriseerde sequenties met匹配的 lexicaal structuur) en een "geshuffelde-label"-nul om de memoriserings-specifieke kloof te isoleren.

2.2 Causale Scheidbaarheidsanalyse

Het artikel onderzoekt of de richting die door de probe wordt geïdentificeerd, causaal verantwoordelijk is voor herinnering. Met behulp van causale tracing en forward hooks op Pythia-70M projecteren de auteurs de gefitte proberichting uit de residustroom.

• Vondst: Deze ingreep doet de lokale memoriseringshandtekening instorten (de kloof daalt van +0,44 naar -0,19), terwijl gedragsmatige herinnering (log-kans van het geheim) en algemene vaardigheden grotendeels intact blijven. Dit bewijst dat de door de probe leesbare handtekening en het herinneringsproducerende mechanisme causaal scheidbare richtingen bezetten.

2.3 Probe-Geometrie Uitlijning (PGA)

Om het falen van bestaande unlearning-methoden aan te pakken (die output onderdrukken maar representaties intact laten), stellen de auteurs Probe-Geometry Alignment (PGA) voor.

• Mechanisme: PGA is een chirurgische uitwissingstechniek die activaties specifiek uitlijnt langs de live-afleesrichting van de probe op elke diepte.
• Doel: Het minimaliseert de scalair projectie van het verschil tussen gememoriseerde en schone activaties op de gewichtsvector van de probe ($\hat{w}_d$) op elke diepte $d$, terwijl de cross-entropy op schone data wordt behouden om vaardigheid te handhaven.
• Beperking: In tegenstelling tot isotrope uitlijningsmethoden (bijvoorbeeld AAE) die op de volledige $d_{model}$-dimensies werken, werkt PGA op een enkele scalair per diepte (de projectie langs de afleesrichting van de probe).
• Adversariële Uitbreiding: Om aanvallers te verslaan die probes opnieuw fitten op PGA-behandelde activaties, introduceren de auteurs Adversarial PGA, die de projectiebasis iteratief uitbreidt met orthogonale componenten van nieuw gefitte probes.

3. Belangrijkste Bijdragen

1. Cross-Sequentie LOO-protocol: Een gevalideerde methode voor het detecteren van echte memoriseringshandtekeningen die generaliseren over terughoudende sequenties, en deze onderscheiden van model-niveau verschuivingen of representatieve drift.
2. Causale Scheidbaarheid: Empirisch bewijs dat de lineaire richting die door een probe leesbaar is, verschilt van de richting die nodig is voor gedragsmatige herinnering. Het projecteren van de proberichting doet de handtekening instorten zonder herinnering significant te beïnvloeden.
3. Onderscheidende Memoriseringsregimes: Demonstratie dat natuurlijk voorgeprogrammeerde memorisering en via fine-tuning ingebracht geheimen representatief onderscheidende sporen achterlaten. Een probe getraind op natuurlijke memorisering faalt in het classificeren van ingebracht geheim als gememoriseerd.
4. Probe-Geometrie Uitlijning (PGA): Een constructieve chirurgische uitwissingmethode die de cross-sequentie probe-accuraatheid onder het willekeurige toeval drijft over vier modelgroottes (0,8M toy tot 7,24B Mistral-7B), terwijl zero-shot vaardigheden behouden blijven.

4. Belangrijkste Resultaten

4.1 Bestaan van de Handtekening

De cross-sequentie memoriseringshandtekening is echt en consistent over schalen:

• Pythia-70M: Memoriserings-specifieke kloof van +0,32 (piek +0,54 bij L6).
• GPT-2 Medium: Kloof van +0,19 (piek +0,45 bij L21).
• Mistral-7B: Kloof van +0,30 (piek +0,47 bij L11).
• Cluster Specificiteit: De handtekening is sterk voor formeel-register Engels en licenties, maar bijna nul voor code en pseudo-Latijn.

4.2 Falen van Standaard Unlearning

Standaard unlearning-methoden (Gradient Ascent, NPO, RMU, MEMIT, en het eigen MLDU van de auteurs) onderdrukken gedragsmatige herinnering succesvol (bijvoorbeeld $P(geheim) < 10^{-4}$), maar falen in het instorten van de probe. In toy-modellen en op schaal laten deze methoden de lineaire probe-accuraatheid op het plafond (1,000) of bijna-plafond, wat bevestigt dat gedragsmatige onderdrukking niet gelijkstaat aan representatieve uitwissing.

4.3 Succes van PGA

PGA slaagt erin de handtekening onder willekeurige kans te laten instorten (<0,50) over alle geteste schalen:

• Toy Model (0,8M): Probe daalt naar 0,17 bij diepte 4.
• Pythia-70M: Probe daalt naar 0,11 ± 0,04 bij L6.
• Mistral-7B: Probe daalt naar 0,42 in middenlagen.
• GPT-2 Medium: Met MD-PGA (eigenbasisvariant) daalt de probe naar 0,061 bij L21.
• Robuustheid: Het instorten houdt stand tegen zes adversariële probe-varianten (verschillende zaden, regularisaties en MLP's). Adversarial PGA verslaat opnieuw gefitte aanvalprobes op alle memoriserings-relevante dieptes.

4.4 Behoud van Vaardigheden

PGA behoudt modelvaardigheden met verwaarloosbare degradatie:

• Over vijf zero-shot benchmarks (HellaSwag, PIQA, BoolQ, ARC-Easy, WinoGrande) is de gemiddelde $\Delta$-accuraatheid +0,2pp.
• De maximale single-task regressie is 2,9pp (op BoolQ voor de adversariële variant).
• Perplexiteit (PPL) blijft stabiel (bijvoorbeeld 1,40 $\to$ 1,42 op het toy-model).

5. Betekenis en Claims

Het artikel beweert dat onderdrukken wat een model zegt niet hetzelfde is als wissen wat het representeert. De cross-sequentie handtekening is een echte, causaal scheidbare, regime-specifieke eigenschap van voorgeprogrammeerde representaties.

• Auditbaarheid: De cross-sequentie probe maakt representatieve verificatie na unlearning mogelijk, waardoor derden kunnen auditeren of een model echt vergeet of slechts output onderdrukt.
• Constructieve Uitwissing: PGA biedt een concrete methode om deze handtekeningen chirurgisch te verwijderen (één scalair per diepte) zonder opnieuw te trainen vanaf nul of algemene vaardigheden op te offeren.
• Mechanistisch Inzicht: Het werk suggereert een decompositie van memorisering in transformers waarbij informatie wordt gecodeerd in de residustroom (opslag) en via attention heads naar de output wordt gerouteerd (expressie). Unlearning-methoden die alleen de routing verstoren, slagen er niet in de opslag uit te wissen.

De auteurs positioneren dit werk niet als een gesloten oplossing voor alle unlearning-scenario's, maar als een eerste stap naar empirisch auditbare privacy in post-hoc unlearning, waarbij het veld wordt herformuleerd van een binair gedragsmatig pass/fail naar een constructieve audit-pijplijn.