Technische Samenvatting: PREUNLEARN: Het auditeren van schade aan collaterale kennis vóór het 'unlearning' van Large Language Models

1. Probleemstelling

'Machine unlearning' voor Large Language Models (LLM's) heeft als doel specifieke, gevoelige of schadelijke kennis (de "forget set") te verwijderen, terwijl de algemene bruikbaarheid van het model behouden blijft. De grens tussen de kennis die vergeten moet worden en de kennis die behouden moet blijven, is echter vaak vaag vanwege de verstrengeling van gerelateerde en verre informatie binnen de modelparameters.

Huidige evaluatiepraktijken vertrouwen vaak op geaggregeerde bruikbaarheidsmetrieken of beperkte post-hoc probes, die er niet in slagen om de granulaire propagatie van schade vast te leggen. Specifiek gaan bestaande benchmarks er vaak van uit dat een forget set vaststaat en karakteriseren ze niet adequaat hoe de effecten van unlearning doorwerken van de doelset naar kennis binnen hetzelfde domein en verder naar kennis in verre domeinen. Bijgevolg blijven twee kritische vragen onverkend:

1. RQ.1: Hoe verspreidt de impact van unlearning zich van een forget set $X$ naar kennis in hetzelfde domein en naar kennis in verre domeinen $Y$?
2. RQ.2: Kunnen we de potentiële collaterale schade aan kennis $Y$ als gevolg van het unlearnen van $X$ voorspellen voordat het unlearning-proces wordt uitgevoerd?

2. Methodologie

2.1 Drielagig framework voor unlearning-impact

De auteurs stellen een datacentrisch evaluatieframework voor dat de degradatie van kennis na unlearning organiseert in drie semantische lagen ten opzichte van een forget set $D_f$:

• L1 (Beoogde degradatie): Prestaties op de forget set $D_f$ zelf.
• L2 (Schade in hetzelfde domein): Prestaties op uitgesloten passages die semantisch dicht bij het forget-domein liggen.
• L3 (Schade in verre domeinen): Prestaties op passages uit andere, ongerelateerde semantische domeinen.

De impact wordt gekwantificeerd met behulp van de Perplexity (PPL) Ratio: $R(S) = \text{PPL}(M^*_\theta, x) / \text{PPL}(M_\theta, x)$, waarbij $M^*_\theta$ het geunlearned model is en $M_\theta$ het originele model. Een ratio $>1.0$ duidt op prestatievermindering.

2.2 Experimentele opzet

• Dataset: WikiText-103, verwerkt in 10 goed gescheiden semantische clusters. Er zijn 100 unlearning-datasets geconstrueerd, elk met disjuncte forget- en retain-splits.
• Modellen: Llama-3.1-8B-Instruct en Qwen2.5-7B-Instruct.
• Algoritmen: Drie verschillende unlearning-methoden werden geëvalueerd:
  • Gradient Ascent (GA)
  • Negative Preference Optimization (NPO)
  • Unlearning via Self-Distillation on Adjusted Logits (UNDIAL)

2.3 Pre-Unlearning Auditing Formule

Het papier formuleert "forget-set auditing" als een gesuperviseerd regressieprobleem. Het doel is om de collaterale schadeverhouding ($\rho_{f,e}$) te voorspellen voor een paar van een kandidaat forget set ($D_f$) en een evaluatieset ($D_e$) voordat er enige modelupdates plaatsvinden.

• Doelvariabele: $\rho_{f,e} = \frac{\log(\text{PPL}_{na, e} / \text{PPL}_{voor, e})}{\log(\text{PPL}_{na, f} / \text{PPL}_{voor, f})}$. Dit normaliseert de degradatie op de evaluatieset door de bereikte kracht van het vergeten.
• Inputkenmerken: De auditor gebruikt uitsluitend pre-update kenmerken ($\phi(D_f, D_e, M_\theta)$) en heeft geen toegang tot gradiënten, checkpoints of post-unlearning metingen. Kenmerken zijn gecategoriseerd in:
  1. Intrinsieke kenmerken: Eigenschappen van $D_f$ en $D_e$ onafhankelijk van elkaar (bijv. lengte, diversiteit, dimensionaliteit).
  2. Interactiekenmerken: Geometrische relaties tussen de twee sets (bijv. Euclidische afstand van de zwaartepunten, cosinusgelijkenis, lexicale ratio's).
• Modellen: Ridge Regression, Random Forests en XGBoost werden getraind om $\rho_{f,e}$ te voorspellen.
• Evaluatie: De auditor werd getest met behulp van Leave-One-Domain-Out (LODO) kruisvalidatie en een volledig uitgesloten semantische domeintest om generalisatie buiten specifieke domeinidentiteiten te waarborgen.

3. Belangrijkste Resultaten

3.1 Drielagig impactpatroon (RQ.1)

• Vervalpatroon: Er werd een consistent vervalpatroon waargenomen over alle model- en algoritmecombinaties heen: $L1 > L2 > L3$. De impact van unlearning is het sterkst op de forget set, zwakker op kennis in hetzelfde domein, en zwakst (maar nog steeds aanwezig) op kennis in verre domeinen.
• Algoritmeafhankelijkheid: De omvang van de schade varieert aanzienlijk per algoritme. Gradient Ascent (GA) produceerde de meest agressieve impact (tot $12,85\times$ toename in PPL-ratio), terwijl NPO en UNDIAL binnen $1,05\text{--}1,65\times$ bleven.
• Variabiliteit van de Forget Set: Zelfs met vaste hyperparameters en algoritmen induceren verschillende forget sets substantieel verschillende impactprofielen. Deze variatie suggereert dat de keuze van de forget set zelf een cruciale ontwerpbeslissing is.
• Distributionele Scheiding: De degradatieverdelingen voor L1, L2 en L3 zijn duidelijk gescheiden, hoewel L3 een "rechter staart" vertoont, wat aangeeft dat ernstige collaterale schade zelfs op verre domeinen kan optreden.

3.2 Pre-Unlearning Auditing Prestaties (RQ.2)

• Voorspelbaarheid: De audit-taak is haalbaar. De beste regressoren bereikten Spearman-rangcorrelaties ($\rho$) van respectievelijk tot 0,93 (GA) en 0,90 (UNDIAL) onder LODO kruisvalidatie. De prestaties bleven informatief ($\rho \geq 0,51$) zelfs bij de moeilijkere NPO-doelstelling.
• Kenmerkbelang: De sterkste voorspellende signalen zijn interactiekenmerken tussen de forget set en de evaluatieset, specifiek:
  • Euclidische afstand van de zwaartepunten (negatieve correlatie met schade).
  • Cosinusgelijkenis van de zwaartepunten (positieve correlatie).
  • Lexicale en lengteverhoudingen tussen de sets.
  • Intrinsieke eigenschappen van de sets alleen waren minder voorspellend dan hun geometrische relatie.
• Stabiliteit: De rangschikkingskwaliteit van de auditor bleef stabiel over verschillende unlearning-algoritmen heen, wat sugggeert dat collaterale schade deels wordt bepaald door de vooraf bestaande geometrische koppeling tussen datasets.
• Gevoeligheid: De auditor reageerde correct op veranderingen in de risicosamenstelling van evaluatiesets, waarbij onderscheid werd gemaakt tussen hoog-risico en laag-risico blokken in plaats van te reageren op willekeurige ruis.

4. Betekenis en Claims

Het artikel positioneert forget-set auditing als een vroegtijdig waarschuwingsinstrument in plaats van een vervanging voor volledige evaluatie. De belangrijkste bijdragen en betekenis zijn:

1. Granulaire Karakterisering: Het stelt een drielagig framework vast dat aantoont dat unlearning-schade niet beperkt is tot het doel, maar afneemt met de semantische afstand en zelfs over domeingrenzen heen voortduurt.
2. Preventieve Risicoscreening: Het demonstreert dat collaterale schade voorspeld kan worden met behulp van enkel de data-geometrie (interactiekenmerken) voordat er een dure unlearning-optimalisatie wordt gedraaid.
3. Praktische Triage: De auditor stelt gebruikers in staat om risicovolle unlearning-runs te prioriteren, budgetten voor retain-data toe te wijzen aan kwetsbare domeinen, of risicovolle forget-set kandidaten vroegtijdig in de pijplijn af te wijzen.
4. Data-centrisch Inzicht: De bevindingen suggereren dat collaterale schade niet uitsluitend een functie is van de mechanica van het unlearning-algoritme, maar aanzienlijk wordt beïnvloed door de geometrische relatie tussen de data die vergeten moet worden en de data die behouden moet blijven.

De auteurs merken bescheiden de beperkingen op, waaronder het feit dat de studie een subset van unlearning-algoritmen en -modellen beslaat, en dat perplexity dient als een proxy voor gedragsmatige degradatie. Ze concluderen dat hoewel de auditor de definitieve evaluatie niet vervangt, het het proces transformeert van een puur post-hoc meting naar een goedkopere, risicogestuurde rangschikkingsprobleem.