A Mechanistic Perspective and Circuit-Guided Difficulty Metric for Unlearning

Technische Samenvatting: Een Mechanistisch Perspectief en Circuit-gestuurde Moeilijkheidsmetriek voor Unlearning

Probleemstelling
Machine unlearning (het proces van het 'ontleren') is cruciaal voor het bouwen van betrouwbare en conforme taalmodellen (LLM's), maar het succes ervan varieert aanzienlijk per individuele trainingssample. Terwijl sommige datapunten betrouwbaar worden gewist, blijven andere bestaan ondanks identieke unlearning-procedures. Bestaand onderzoek schrijft deze discrepantie grotendeels toe aan zijde van de data, zoals spuriale correlaties, redundantie of de structuur van de dataset. Er is echter een gebrek aan mechanistische, model-interne verklaringen voor waarom bepaalde samples intrinsiek moeilijker te vergeten zijn. Dit artikel adresseert twee primaire onderzoeksvragen: (1) Kan unlearning-moeilijkheid gedefinieerd en gekwantificeerd worden vanuit een mechanistisch perspectief voorafgaand aan unlearning? en (2) Kan deze voorspelde moeilijkheid worden gekoppeld aan de interne circuits binnen het model?

Methodologie: Circuit-gestuurde Unlearning Difficulty (CUD)
De auteurs stellen Circuit-guided Unlearning Difficulty (CUD) voor, een metriek voorafgaand aan unlearning die een continue moeilijkheidsscore toekent aan elke sample op basis van model-interne circuitstructuren. De methodologie verloopt in drie stadia:

1. Identificatie van Referentiecircuits:
   De auteurs identificeren eerst "gemakkelijke" en "moeilijke" anker-samples met behulp van een bi-level optimalisatie-objectief.

   • Gemakkelijke Ankers ($D_{f,E}$): Samples die na unlearning een verhoogde loss vertonen (lage memorisatie).
   • Moeilijke Ankers ($D_{f,H}$): Samples die een lage loss behouden (hoge memorisatie) na unlearning, wat duidt op mislukte unlearning.
     Deze ankers worden geselecteerd via optimalisatie over de forget-set, herhaald over meerdere seeds om stabiliteit te garanderen.

2. Circuitextractie:
   Met behulp van Edge Attribution Patching met Integrated Gradients (EAP-IG) extraheren de auteurs de computationele circuits die verantwoordelijk zijn voor voorspellingen op de anker-sets uit het originele model. Deze circuits worden gerepresenteerd als gestructureerde matrices die de functionele interacties tussen modelcomponenten vastleggen.

3. CUD-score Berekening:
   Voor elke query-sample $z_i$ wordt het specifieke circuit $C_i$ geëxtraheerd. De CUD-score wordt berekend door de gelijkenis van $C_i$ met het gemakkelijke anker-circuit ($C_E$) en het moeilijke anker-circuit ($C_H$) te meten. De score wordt gedefinieerd als:
   $$CUD(z_i) = \frac{1 - s_E}{(1 - s_E) + (1 - s_H)}$$
   waarbij $s_E$ en $s_H$ gelijkenis-metrieken zijn tussen de query-circuit en de respectieve ankers. De resulterende score varieert van 0 (gemakkelijk te ontleren) tot 1 (moeilijk te ontleren). Deze aanpak behandelt moeilijkheid als een relatieve geometrische positie in de circuitruimte, onafhankelijk van de specifieke unlearning-algoritme gebruikt wordt.

Kernbijdragen

• Eerste Circuit-niveau Analyse van Discrepantie: Het artikel biedt de eerste mechanistische analyse van waarom unlearning-prestaties variëren, waarbij wordt onthuld dat gemakkelijke en moeilijke samples worden gememoriseerd via structureel verschillende interne circuits.
• CUD Metriek: De introductie van een principieel, fijnmazig metriek dat de intrinsieke unlearning-moeilijkheid kwantificeert met behulp van circuit-signalen voordat er een unlearning-interventie plaatsvindt.
• Mechanistische Signaturen: De identificatie van specifieke circuitpatronen die gemakkelijke en moeilijke samples onderscheiden:
  • Gemakkelijke Samples: Geassocieerd met kortere, minder diepe interacties geconcentreerd in de vroege- tot intermediaire delen van het model (bijv. vroege- tot midden MLP-paden). Deze vertrouwen op compacte, herhaaldelijk gebruikte computationele paden.
  • Moeilijke Samples: Vertrouwen op langere, diepere paden dichter bij de latere stadia van de computation (bijv. diepere MLP-transities en directe verbindingen naar de logits). Deze omvatten heterogene, diffuse circuitry met attention-gemedieerde routing, waardoor ze resistent zijn tegen gelokaliseerde interventie.

Experimentele Resultaten
De auteurs evalueerden CUD op de TOFU (gefabriceerde auteursprofielen) en MovieLens-1M (aanbevelingen) datasets over vijf unlearning-methoden (GradAscent, GradDiff, NPO, SimNPO, UNDIAL, E2UREC, RecEraser).

• Stratificatie van Moeilijkheid: Door CUD te gebruiken, construeerden de auteurs "gemakkelijke" en "moeilijke" forget-sets. Het vervangen van de standaard forget-set door de door CUD geselecteerde harde set resulteerde in een statistisch significante daling in unlearning-effectiviteit (gemiddelde daling van 14,1 punten over de methoden) en degradatie in behouden kennis. Omgekeerd leverde de gemakkelijke set een verbetering in unlearning-effectiviteit op (gemiddeld +3,3 punten) met behoud of lichte verbetering van de retain-prestaties.
• Robuustheid: CUD-scores bleven stabiel over verschillende gelijkenis-metrieken (Cosine, Jaccard, Hamming) en verschillende unlearning-lossfuncties (GradDiff versus UNDIAL), met een hoge correlatie ($\rho = 0,76$) tussen scores afgeleid van verschillende loss-formuleringen.
• Onafhankelijkheid van Oppervlakkige Kenmerken: Analyse bevestigde dat CUD niet wordt beïnvloed door lexicale gelijkenis (diverse n-grammen in ankers) of contextlengte (geen correlatie tussen CUD-score en input token aantal).
• Vergelijking met MRD: In tegen tegenstelling tot Memory Removal Difficulty (MRD), die de gevoeligheid voor parameterperturbaties meet en zwak correleert met CUD ($\rho = -0,27$), vangt CUD functionele circuitstructuren die relevant zijn voor besluitvorming en kan het offline berekend worden voorafgaand aan unlearning.

Betekenis en Claims
Het artikel claimt dat CUD een eerste stap vormt naar een principiële, interpreteerbare analyse van unlearning-moeilijkheid. Door het perspectief te verschuiven van data-zijde heuristieken naar model-interne mechanismen, demonstreert het werk dat unlearning-moeilijkheid fundamenteel verbonden is met de structurele paden (circuits) die de voorspellingen van een model ondersteunen.

De auteurs stellen dat dit mechanistische begrip de volgende zaken mogelijk maakt:

1. Proactieve Identificatie: Het vermogen om gemakkelijke en moeilijke samples te identificeren voordat de unlearning begint, zonder de unlearning-procedure uit te voeren.
2. Gerichte Interventie: Inzichten in welke lagen of modules (bijv. vroege MLP versus late logits) de resistentie tegen vergeten domineren, wat gerichte debugging faciliteert.
3. Method-Agnostische Benchmarking: De constructie van gecontroleerde, op moeilijkheid gestratificeerde forget-sets om unlearning-algoritmen strenger te testen dan standaard benchmarks toelaten.

Het artikel concludeert dat hoewel CUD momenteel computationele middelen vereist voor circuit-ontdekking, het een fundamenteel kader biedt voor de ontwikkeling van toekomstige unlearning-methoden die zich aanpassen aan intrinsieke sample-moeilijkheid in plaats van alle samples uniform te behandelen.