Technische Samenvatting: Onvergetelijke Generalisatie in Taalmodellen

Probleemstelling

Het artikel adresseert een kritieke kloof in het vakgebied van machine unlearning voor taalmodellen (LM's). Terwijl recent onderzoek zich heeft gericht op technieken om specifieke vaardigheden of declaratieve kennis uit LM's te verwijderen—vaak via fine-tuning op gerandomiseerde labels om een taak te "vergeten"—is er beperkt begrip van hoe dit vergeten generaliseert. Specifiek: wanneer een LM wordt getraind om een capaciteit te vergeten op een specifieke trainingsset, verandert het gedrag van het model dan voorspelbaar op ongeziene voorbeelden van dezelfde taak, of blijft het vergeten beperkt tot de trainingsdata? De auteurs onderzoeken of gerichte vaardigheidsverwijdering via fine-tuning resulteert in robuust, generaliserend vergeten, of dat het model het vermogen behoudt om de "vergeten" taak op nieuwe instanties uit te voeren.

Methodologie

De auteurs voeren een systematische studie uit met behulp van het Llama2 7-miljard parameters basismodel, met aanvullende validatie op GPT-J-6B en GPT-2. De experimentele opzet omvat 21 diverse meerkeuze-taken die variëren van commonsense reasoning (gezond verstand redeneren) en leesbegrip tot wiskunde, toxiciteitsdetectie en entailment-classificatie.

De kernprocedure volgt een driefasige pipeline:

1. Pre-training: Starten met een gepre-traind LM.
2. Fine-tuning: Het model wordt gefinetuned op een doeltaak ($T_{train}$) om de nauwkeurigheid te maximaliseren, waarmee een baseline van geleerde capaciteit wordt vastgesteld.
3. Vergeten: Het model wordt verder gefinetuned op dezelfde trainingsset ($T_{train}$), maar met labels die uniform willekeurig zijn gekozen. Dit is een standaardmethode om vergeten te induceren.

Metrieken:
Om het succes van het vergeten te kwantificeren, definiëren de auteurs twee metrieken:

• Forget Gap: Het verschil tussen de nauwkeurigheid na het vergeten en de verwachte willekeurige nauwkeurigheid (50% voor binaire taken). Een gap van 0 impliceert volledig vergeten.
• Forget Ratio: Een genormaliseerde maatstaf die de daling in nauwkeurigheid na het vergeten vergelijkt met de totale mogelijke winst uit de fine-tuning. Een ratio van 1 geeft volledig vergeten aan; 0 geeft geen vergeten aan.

Analysedimensies:
De studie evalueert vergeten over verschillende dimensies:

• Taak-niveau Generalisatie: Het vergelijken van de prestaties van het vergeten over verschillende typen taken.
• Cross-taak Vergeten: Fine-tuning op willekeurige labels van Taak A en evaluatie op Taak B.
• Voorspellers van Vergeten: Het analyseren van correlaties tussen het succes van het vergeten en taakmoeilijkheid, modelvertrouwen en de variantie van verborgen staat-representaties (hidden state representations).
• Volgorde van Leren versus Vergeten: Het onderzoeken van de relatie tussen de volgorde waarin voorbeelden worden geleerd en de volgorde waarin ze worden vergeten.
• Diepte van Vergeten: Het trainen van lineaire probes op de verborgen representaties van het model na de forgetting-procedure om te bepalen of de informatie werkelijk is gewist of slechts gecensureerd.

Belangrijkste Resultaten

1. Hoge Variabiliteit in Generalisatie

De primaire bevinding is dat de generalisatie van vergeten sterk taakafhankelijk en onvoorspelbaar is.

• Robuuste Taken: Taken die betrekking hebben op commonsense reasoning (bijv. PIQA, ARC) en wetenschappelijke vraagbeantwoording (bijv. SciQ, PubMedQA) zijn opmerkelijk veerkrachtig tegen vergeten. Zelfs na training op willekeurige labels behouden deze modellen vaak een hoge nauwkeurigheid op testvoorbeelden, waardoor ze effectief falen in het generaliseren van het "vergeten"-gedrag.
• Fragiele Taken: Lagere linguïstische taken, met name entailment classification (bijv. MNLI, RTE, CoLA) en grammaticale acceptabiliteit, worden gemakkelijk vergeten. Modellen die getraind zijn op willekeurige labels voor deze taken, neigen naar het produceren van bijna willekeurige voorspellingen op nieuwe testinstanties.

2. Evaluatietaak Bepaalt Succes

In cross-taak experimenten vonden de auteurs dat de effectiviteit van de forgetting-procedure grotendeels wordt bepaald door de taak die wordt geëvalueerd, en niet door de taak die voor de training werd gebruikt. Bijvoorbeeld: het trainen van een model om commonsense reasoning te vergeten, faalt vaak in het induceren van vergeten voor die specifieke taak, maar kan er onbedoeld toe leiden dat het model andere, ongerelateerde linguïstische taken vergeet.

3. Voorspellers van Vergeten

• Taakmoeilijkheid: In tegen tegen de intuïtie in is taakmoeilijkheid (gemeten via fine-tuned nauwkeurigheid) geen betrouwbare voorspeller van vergetelijkheid. Moeilijkere taken zijn niet noodzakelijkerwijs moeilijker te vergeten.
• Modelvertrouwen: Het artikel stelt expliciet in de conclusie dat datasetmoeilijkheid en modelvertrouwen niet voorspellend zijn voor of een taak wordt vergeten, ondanks het observeren van een zwakke correlatie in specifieke scatterplots.
• Representatievariantie: De totale variantie van de verborgen staten (specifiek het laatste token van de vraag in de penultieme laag) is een sterke voorspeller. Taken met een lagere variantie in hun trainingsdata-representaties zijn geassocieerd met een grotere generalisatie van vergeten. Dit suggereert dat "bredere" of diversere taken moeilijker te vergeten zijn.

4. Oppervlakkige Aard van Vergeten

Zelfs in gevallen waar het model schijnbaar een taak succesvol is vergeten (het produceren van willekeurige outputs), is de informatie niet werkelijk verwijderd. Lineaire probes getraind op de verborgen representaties van het model kunnen nog steeds met hoge nauwkeurigheid de correcte taaklabels herstellen. Dit wijst erop dat fine-tuning op willekeurige labels oppervlakkig vergeten induceert, wat effectief de output censureert zonder de onderliggende capaciteit uit de representaties van het model te wissen.

5. Robuustheid over Modellen en Methoden

De geobserveerde trends houden stand over verschillende modelarchitecturen (Llama2, GPT-J, GPT-2) en verschillende forgetting-strategieën (willekeurige labels versus geflipte labels), wat suggereert dat dit fundamentele eigenschappen zijn van hoe fine-tuning interageert met taakstructuren in plaats van artefacten van een specifiek model of methode.

Betekenis en Claims

Het artikel claimt de nadruk te leggen op de moeilijkheid en onvoorspelbaarheid van gerichte vaardigheidsverwijdering uit taalmodellen via standaard fine-tuning technieken.

• Onvoorspelbaarheid: De auteurs benadrukken dat men er niet vanuit kan gaan dat het trainen van een model om een vaardigheid te vergeten op een specifieke dataset, zal resulteren in het vergeten van die vaardigheid op nieuwe, vergelijkbare instanties. Het gedrag wordt beheerst door complexe, gestructureerde cross-taak variabiliteiten.
• Oppervlakkige Verwijdering: De studie daagt de effectiviteit van random-label fine-tuning uit als een echte "unlearning" mechanisme. Omdat lineaire probes de vergeten capaciteiten kunnen herstellen, verwijdert de methode de informatie niet uit de interne representaties van het model, wat zorgen oproept over de bruikbaarheid ervan voor privacy- of veiligheidstoepassingen waar werkelijke dataverwijdering vereist is.
• Taakafhankelijkheid: De bevindingen suggereren dat het succes van unlearning inherent is aan de aard van de taak die wordt geëvalueerd, in plaats van de specifieke trainingsdata die wordt gebruikt voor het unlearning-proces.

De auteurs concluderen dat hoewel fine-tuning op willekeurige labels een eenvoudige en veelgebruikte methode is voor vergeten, het resulteert in zeer variabele en vaak oppervlakkige uitkomsten, wat onderstreept dat er meer onderzoek nodig is naar de relatie tussen trainingsdata voor vergeten en de generalisatie van modelvoorspellingen.