Technische Samenvatting: Leak@k: Vergeten maakt LLM's niet vergeten onder probabilistische decoding

Probleemstelling

Grote Taalmodellen (LLMs) worden getraind op enorme webdatasets die privé, giftig, illegaal of auteursrechtelijk beschermd materiaal bevatten. Machine unlearning (vergeten) heeft tot doel deze specifieke kennis te verwijderen terwijl de algemene bruikbaarheid van het model behouden blijft. Echter, huidige evaluatieprotocollen voor vergeten vertrouwen bijna uitsluitend op deterministische (greedy) decoding (temperatuur $T=0$, top-$p=0$). In deze setting kiest het model bij elke stap het enkel meest waarschijnlijke token.

De auteurs identificeren een kritieke kloof: terwijl vergeten-methoden vaak succesvol lijken onder greedy decoding, falen ze om "echt vergeten" te bereiken onder probabilistische decoding (bijv. $T > 0$ of top-$p > 0$), wat standaard is in real-world implementaties zoals conversatieagenten en codegeneratie. Onder probabilistische bemonstering kan gevoelige informatie die in het greedy-pad onderdrukt werd, weer opduiken. Zodra een initieel gevoelig token wordt bemonsterd, verschuift de conditionele verdeling van het model vaak, waardoor daaropvolgende gevoelige tokens met hoge zekerheid worden gegenereerd. Dit creëert een veiligheidsblinde vlek waarbij "vergeten" modellen toch privé of schadelijke kennis kunnen lekken bij meervoudige queries of met stochastische parameters.

Methodologie

1. De Leak@k Meta-metriek

Om deze kwetsbaarheid rigoureus te kwantificeren, introduceert het artikel leak@k, een distributie-gebaseerde meta-metriek. In tegenstelling tot eerdere evaluaties die lekken meten per enkele generatie of middelen over generaties, kwantificeert leak@k de waarschijnlijkheid dat minstens één gevoelige respons voorkomt onder $k$ onafhankelijke steekproeven gegenereerd vanuit dezelfde prompt onder probabilistische decoding.

• Definitie: Voor een prompt $q$, laat $S_j$ een correctheidsscore zijn (bijv. ROUGE-L, Entailment Score, Accuracy) voor de $j$-de gegenereerde respons $f(q; \theta)$ tegen de ground truth. De metriek wordt gedefinieerd als de verwachte maximale score over $k$ steekproeven:
  $$\text{leak@k} := \mathbb{E}\left[\max_{1 \le j \le k} S_j\right]$$
• Schatting: De auteurs stellen een onbevooroordeelde schatter voor, $\widehat{\text{leak@k}}$, die $n \ge k$ steekproeven genereert en de maximale score berekent over alle mogelijke subsets van grootte $k$ om de variantie te verminderen in vergelijking met een naïeve "worst-of-$k$" aanpak.
• Vervalanalyse: Om te karakteriseren hoe lekken evolueert naarmate het bemonsteringsbudget groeit, passen de auteurs een log-log model: $L_k = 1 - (1 - L_1)k^{-\gamma}$. Hier vertegenwoordigt $L_1$ vroege-stadium lekken, en $\gamma$ vertegenwoordigt het vervaltempo van de resterende niet-gelekte massa. Een succesvolle vergeten-methode moet een kleine $L_1$ en een kleine $\gamma$ vertonen.

2. Het RULE-algoritme

Om het falen van statische vergeten-sets onder probabilistische decoding aan te pakken, stellen de auteurs Robust Unlearning under LEak@k metric (RULE) voor. Dit is een iteratief, meta-algoritme dat de vergeten-set dynamisch uitbreidt:

1. Meervoudige steekproefgeneratie: Met behulp van het huidige model en probabilistische decoding worden meerdere kandidaat-responsen gegenereerd voor queries in de vergeten-set.
2. Lekdetectie: Deze responsen worden gefilterd met een kernmetriek (bijv. Entailment Score). Responsen die gevoelige informatie succesvol onthullen (een drempel overschrijdend) worden geïdentificeerd.
3. Dataset-uitbreiding: Deze "lekende" responsen worden toegevoegd aan de vergeten-set, waardoor het model effectief leert niet alleen de originele ground truth te vergeten, maar ook de specifieke variaties en parafrases die het onder stochastische condities neigt te genereren.
4. Optimalisatie: Het model wordt hergetraind op deze uitgebreide vergeten-set. Dit proces wordt gedurende meerdere iteraties herhaald.

Belangrijkste Bijdragen

1. Introductie van Leak@k: Een nieuwe meta-metriek die het evaluatieparadigma verschuift van deterministische single-response checks naar probabilistische worst-case analyse over meerdere generaties.
2. Systematische Empirische Studie: De eerste grootschalige evaluatie van de betrouwbaarheid van vergeten over drie belangrijke benchmarks (TOFU, MUSE-News en WMDP) met behulp van diverse decoding-strategieën ($T, p$) en bemonsteringsbudgetten ($k$).
3. Demonstratie van Falen: De studie onthult dat state-of-the-art (SOTA) methoden (inclusief GradDiff, NPO, SimNPO, RMU en BLUR-NPO) slechts een "illusie van vergeten" bieden. Naarmate $k$ toeneemt, stijgt leak@k scherp voor alle bestaande methoden, wat aangeeft dat gevoelige kennis betrouwbaar weer opduikt onder realistische bemonstering.
4. Voorstel van RULE: Een dynamisch trainingsalgoritme dat informatielekken aanzienlijk reduceert. Op de TOFU-benchmark bereikt RULE een leak@k dicht bij nul zelfs voor $k=128$, en presteert het beter dan alle baselines. Op MUSE-News presteert het beter dan SOTA-methoden over de meeste bemonsteringsbudgetten.

Resultaten

• TOFU Benchmark: Met LLaMA-3.2-1B tonen de auteurs aan dat terwijl greedy decoding ($T=0, p=0$) succesvol vergeten suggereert voor methoden zoals NPO en BLUR-NPO, probabilistische decoding ($T=1.0, p=1.0$) ertoe leidt dat leak@k (gemeten via Entailment Score) nadert tot 1.0 naarmate $k$ toeneemt. De top-$p$ parameter bleek de primaire drijver van lekken te zijn, meer dan temperatuur.
• MUSE-News Benchmark: Vergelijkbare trends werden waargenomen met LLaMA2-7B. Bestaande methoden gaan over van veilige naar lekende outputs naarmate $p$ toeneemt of $k$ groeit. RULE-NPO demonstreerde superieure prestaties in het onderdrukken van lek-groeitempos ($\gamma$).
• WMDP Benchmark: Met Zephyr-7B-beta benadrukte de studie dat op nauwkeurigheid gebaseerde metriek misleidend kunnen zijn. Terwijl sommige methoden (zoals NPO) een lage nauwkeurigheid bereikten op meerkeuzevragen, genereerden ze vaak onzin of "te veel vergeten" (het selecteren van een weigeringsoptie), terwijl anderen (zoals RMU) duidelijke lek-trends vertoonden onder hoge willekeur wanneer geëvalueerd via LLM-as-Judge op vrije-vorm generaties.
• Behoud van Bruikbaarheid: Over alle benchmarks behielden de voorgestelde methoden (inclusief RULE) stabiele prestaties op de retain-set, wat aangeeft dat robuust vergeten niet noodzakelijkerwijs ten koste gaat van de algemene modelbruikbaarheid.

Betekenis en Beweringen

Het artikel beweert dat huidige vergeten-evaluaties fundamenteel gebrekkig zijn omdat ze de probabilistische aard van LLM's negeren, wat een vals gevoel van veiligheid creëert. De auteurs betogen dat vergeten moet worden geëvalueerd onder dezelfde probabilistische condities die in de implementatie worden gebruikt om veiligheid te waarborgen.

De betekenis van dit werk ligt in:

• Blootleggen van een Kritieke Kloof: Aantonen dat "succesvol" vergeten onder greedy decoding ontoereikend is voor naleving van regelgeving en ethische AI, aangezien gevoelige data kan worden teruggevonden via herhaalde bemonstering.
• Voorzien in een Robuust Evaluatiekader: Leak@k biedt een gestandaardiseerde, distributie-gebaseerde metriek om vergeten-methoden te vergelijken op basis van hun worst-case lekpotentieel in plaats van gemiddelde prestaties.
• Aanbieden van een Oplossing: RULE demonstreert dat het mogelijk is om robuust vergeten te bereiken door de vergeten-set iteratief te verfijnen op basis van de probabilistische fouten van het model zelf, verdergaand dan statische trainingssets.

De auteurs concluderen dat zonder dergelijke robuuste evaluatie- en trainingsmethoden, de implementatie van vergeten LLM's in hoog-risico omgevingen riskant blijft, aangezien adversariele gebruikers probabilistische decoding kunnen exploiteren om "vergeten" informatie te extraheren.