Technische Samenvatting: Standaard versus Modulaire Sampling: Best Practices voor Betrouwbaar LLM Unlearning

Probleemstelling

Grote taalmodellen (LLM's) die getraind zijn op enorme web-gescrapte datasets bevatten vaak gevoelige informatie, waaronder persoonsgegevens en auteursrechtelijk beschermde inhoud. Hoewel LLM Unlearning is voortgekomen als een techniek om specifieke kennis te verwijderen terwijl de algemene bruikbaarheid van het model behouden blijft, ontbreekt het het vakgebied aan gestandaardiseerde, op bewijs gebaseerde best practices voor datasetconstructie en samplingstrategieën.

Huidige benchmarks en methodologieën lijden onder twee primaire tekortkomingen:

1. Samenstelling van de Retain Set: De meeste bestaande werken vertrouwen op één enkel type "neighbor set" (directe of indirecte verbindingen met het forget target) gecombineerd met een algemene kennispool. Dit weerspieft niet de complexe, veelzijdige relaties in real-world data.
2. Samplingstrategieën: Het vakgebied leunt zwaar op de facto standaarden zoals 1:1 sampling (het matchen van één forget sample met één retain sample per epoch) of cyclische sampling (het itereren door alle retain samples terwijl men door de forget targets cyclust). De effectiviteit en stabiliteit van deze heuristieken zijn niet kritisch onderzocht, wat potentieel prestatie-afwegingen verbergt en verborgen risico's introduceert zoals catastrofale vergetelheid of instabiliteit.

Methodologie

De auteurs hebben een systematische evaluatie uitgevoerd om best practices voor LLM Unlearning vast te stellen, met de focus op Entity-Level Unlearning (het verwijderen van alle kennis over een specifieke entiteit, bijv. een persoon).

1. Datasetconstructie (Uitgebreide WPU)

De studie maakte gebruik van de Wikipedia Person Unlearning (WPU) dataset, die minder populaire figuren bevat om realistische unlearning-scenario's te simuleren. De auteurs hebben deze dataset uitgebreid met:

• Direct Neighbor Set ($N_d$): Entiteiten die direct verbonden zijn met het forget target (bijv. geboorteplaats, familie).
• Indirect Neighbor Set ($N_{ind}$): Entiteiten die semantische of contextuele relaties delen (bijv. hetzelfde beroep, historische periode), gegenereerd met een LLaMA 3.3 70B model om vergelijkbare beroepen voor de target entiteiten te vinden.
• Syntactische Gelijkenis ($N_s$): Zorgen dat Q&A-paren in de retain set dezelfde interrogatieve syntactische structuren deelden met de forget targets om controle te houden over syntactische invloed.
• Test Set ($D_t$): Een gebalanceerde mix van resterende indirecte buren en algemene kennis-samples om de Model Utility te evalueren.

2. Experimentele Opzet

De auteurs hebben LLaMA 3.1 8B Instruct gefinetuned en drie unlearning-algoritmen geëvalueerd:

• Gradient Difference (GD) en Negative Preference Optimization (NPO) voor on-targeted unlearning.
• Direct Preference Optimization (DPO) voor targeted unlearning.

Ze vergeleken zeven verschillende instellingen die data-praktijken en samplingstrategieën combineren:

• Data-praktijken: Het beperken van de retain set tot alleen Direct Neighbors, alleen Indirect Neighbors, of een Balanced mix van beide.
• Sampling-praktijken:
  • 1:1 Sequential: Het matchen van de top retain samples aan de forget samples.
  • 1:1 Random: Het willekeurig selecteren van een gelijk aantal retain samples per epoch.
  • Cyclic: Het cyclen door de volledige retain pool terwijl men door de forget targets iterat.
  • Modular Entity-Level Unlearning (MELU): Een voorgestelde strategie waarbij elk forget target uitsluitend wordt gekoppeld aan retain samples die behoren tot dezelfde specifieke entiteit, waardoor ongepaste koppelingen worden vermeden.

3. Evaluatiemetrieken

Prestaties werden gemeten met behulp van:

• Forget Efficacy (FE): Berekend als $1 - \text{Arithmetisch Gemiddelde}$ van ROUGE-L, Conditional Probability en Cosine Similarity op de forget set.
• Model Utility (MU-T): Harmonisch gemiddelde van dezelfde metrieken op de test set.
• Token Diversiteit: Gemeten via Distinct-N om modelinstorting of degeneratie te detecteren.
• Algemene Kennis: MMLU-scores om de bredere integriteit van het model te beoordelen.

Belangrijkste Bijdragen

1. Kritische Analyse van Data-praktijken: De studie toont aan dat het vertrouwen op een enkele neighbor set suboptimaal is. Een diverse retain set (combinatie van directe en indirecte buren) is cruciaal voor het balanceren van Forget Efficacy en Model Utility.
2. Inefficiëntie van 1:1 Sampling: De auteurs vonden dat standaard 1:1 sampling (zowel sequentieel als willekeurig) inefficiënt is, wat leidt tot slechte forgetting-resultaten en het niet benutten van het volledige potentieel van de retain set.
3. Voorstel van MELU: Het paper introduceert Modular Entity-Level Unlearning (MELU), een gestructureerde samplingstrategie waarbij forget targets exclusief worden gekoppeld aan hun respectieve entiteit-specifieke retain samples. Deze aanpak is effectiever en stabieler dan conventionele cyclische sampling.

Resultaten

• Data-compositie:

  • Direct vs. Indirect: Gradient-gebaseerde methoden (GD) vertoonden een hogere Forget Efficacy met Direct Neighbors, maar leden onder aanzienlijke dalingen in Model Utility. Omgekeerd behielden Indirect Neighbors de Model Utility beter, maar resulteerde dit soms in een lagere Forget Efficacy voor gradient-gebaseerde methoden.
  • Gebalanceerde Sets: Hoewel een gebalanceerde set niet altijd beide metrieken simultaan maximaliseerde, bood het een noodzakelijke afweging die de extreme utility-verlies voorkwam die bij Direct-only sets werd gezien.
  • Token Diversiteit: Indirecte en gebalanceerde sets behielden over het algemeen een hogere token diversiteit vergeleken met Direct sets, die vaak leidden tot modeldegeneratie (vooral bij GD).

• Samplingstrategieën:

  • 1:1 Sampling: Faalde consequent in het produceren van betekenisvolle vergetelheid over alle algoritmen heen, ongeacht het aantal epochs.
  • Cyclic vs. MELU: Zowel Cyclic als MELU presteerden aanzienlijk beter dan 1:1 sampling.
  • MELU Superioriteit: MELU demonstreerde superieure stabiliteit. Onder DPO verhoogde het de Forget Efficacy met 12% vergeleken met Cyclic sampling, terwijl een hoge Model Utility behouden bleef. Voor moeilijke targets (bijv. "Ted Kooser") bereikte MELU een Forget Efficacy > 0.50, terwijl 1:1 sampling faalde (< 0.10).
  • Stabiliteit: MELU bood een consistenter leer-signaal door de variantie te verminderen die wordt veroorzaakt door ongerelateerde forget-retain paren, wat leidde tot stabiele MMLU-scores en token diversiteit.

Betekenis en Claims

Het paper claimt dat de compositie van de retain set en de keuze van de samplingstrategie kritieke, maar vaak over het hoofd geziene factoren zijn bij LLM Unlearning. De auteurs stellen dat:

• Het vertrouwen op enkele neighbor sets of standaard 1:1 sampling verborgen risico's en prestatieplafonds introduceert.
• De voorgestelde MELU strategie, gecombineerd met robuuste algoritmen, een duidelijke en stabiele weg biedt naar effectieve unlearning.
• Dit werk een eerste bewijs-gebaseerde best practice biedt, en oproept tot een beweging naar meer diverse, realistische benchmark-datasets en gestructureerde samplingtechnieken in plaats van het vertrouwen op eenvoudige heuristieken.

De auteurs blijven bescheiden over hun claims en erkennen beperkingen zoals het gebruik van een "zus-model" voor datasetgeneratie (wat de generaliseerbaarheid over modelfamilies kan beperken) en het gebrek aan een diepe duik in de theoretische redenen achter de stabiliteit van MELU versus Cyclic sampling. Zij positioneren dit werk als een stap naar het vaststellen van rigoureuze protocollen voor toekomstig unlearning-onderzoek.