Technische Samenvatting: Vergeet je Embeddings niet: Robuuste Kennisverwijdering via Precieze Bewerking van Embeddings

Probleemstelling

Naarmate taalmodellen (LM's) steeds vaker worden ingezet, is het vermogen om specifieke kennis permanent te wissen (bijv. privédata, auteursrechtelijk beschermde inhoud of veiligheidsgevoelige onderwerpen) cruciaal. Bestaande methoden voor persistente verwijdering richten zich primair op het bijwerken van de parameters van het model, specifiek binnen de Multi-Layer Perceptron (MLP) lagen, waarbij vaak gebruik wordt gemaakt van sparse autoencoders (SAE's) of weight steering. Deze methoden falen echter vaak in het bereiken van robuuste verwijdering. De doelgerichte kennis blijft vaak herstelbaar via adversariële prompting of opnieuw leren (fijn afstemmen op concept-gerelateerde data), en de effectiviteit van de verwijdering is vaak vormafhankelijk (het faalt in het generaliseren van meerkeuzevragen naar open eind generatie).

De auteurs hypothetiseren dat deze beperkingen voortkomen uit het feit dat bestaande technieken de token embedding laag over het hoofd zien. Hoewel MLP's er bekend staan een sleutelrol te spelen bij kennisherinnering, coderen LM's ook een niet-triviaal deel van hun kennis direct in hun token embeddings. Het negeren van deze laag laat een pad open waarlangs het model verwijderde concepten kan "opnieuw leren" en dwingt bestaande methoden om te vertrouwen op agressieve, brede parameter-updates die de algehele bruikbaarheid van het model degraderen.

Methodologie: EMBER

Het artikel introduceert EMBER (EMBedding ERasure), een plug-and-play module die ontworpen is om token embeddings precies te bewerken om bestaande MLP-gerichte verwijderingsmethoden aan te vullen. EMBER volgt een "localize-then-edit" benadering bestaande uit drie stadia:

1. Sparse Matrix Factorization (Sparse MF) voor Feature Lokalisatie:
   In plaats van SAE's te gebruiken, past EMBER Sparse Matrix Factorization direct toe op de embedding matrix $E$. Het deelt de embeddings van een specifieke set tokens (die voorkomen in concept-gerelateerde en neutrale zinnen) op in een factor-dictionary $Z$ (embedding features) en een coëfficiëntmatrix $Y$.

   • Sparsity Constraint: Om ervoor te zorgen dat features overeenkomen met gelokaliseerde, interpreteerbare concepten, wordt een "winner-takes-all" (WTA) constraint toegepast op de coëfficiënten $Y$, waarbij alleen de top 1% van de magnitudes per factor behouden blijft. Dit dwingt de factorisatie om features te identificeren die gedeeld worden door kleine, specifieke subsets van tokens.

2. Identificatie van Concept-Gerelateerde Features:
   De methode scoort de teruggevonden features om concept-specifieke features te onderscheiden van algemene features. Het berekent een massaverhouding-statistiek die de bijdrage van een feature aan concept-gelabelde tokens vergelijkt met neutrale tokens. Features met een hoge ratio worden verder gefilterd met behulp van een LLM-as-a-judge om te verifiëren dat de geassocieerde tokens semantisch overeenkomen met het doelconcept.

3. Precieze Verwijdering via Subtractie:
   Zodra concept-gerelateerde features ($F_C$) zijn geïdentificeerd, trekt EMBER hun bijdrage af van de embeddings van de relevante tokens. Voor een token embedding $e_t$ is de update:
   $$e_t \leftarrow e_t - \delta \sum_{i \in F_C} Y_{i,t} z_i$$
   waarbij $\delta$ een sterkte-hyperparameter is. Deze operatie verwijdert de concept-specifieke component terwijl de rest van de embedding intact blijft. De methode wordt alleen toegepast op tokens die niet-nul coëfficiënten hebben voor de geïdentificeerde concept-features.

EMBER is ontworpen om gecombineerd te worden met bestaande MLP-gebaseerde verwijderingsmethoden (bijv. RMU, CRISP, SNMF) om een ensemble te creëren dat zowel de embedding-laag als de MLP-lagen target.

Belangrijkste Bijdragen

• Identificatie van de Embedding Bottleneck: Het artikel biedt de eerste empirische studie die de embedding-laag als een kritieke bottleneck voor robuuste conceptverwijdering vaststelt. Het demonstreert dat het negeren van embeddings het model in staat stelt om verwijderde kennis gemakkelijker te herstellen.
• EMBER Algoritme: Een nieuwe methode die gebruik maakt van Sparse Matrix Factorization om concept-gerelateerde features te ontwarren en precies te verwijderen uit token embeddings zonder volledige model fine-tuning te vereisen.
• Plug-and-Play Augmentatie: EMBER is aangetoond compatibel te zijn met bestaande verwijderingsframeworks, wat de prestaties aanzienlijk verbetert zonder dat een volledige herontwerp van de verwijderingspipeline nodig is.

Experimentele Resultaten

De auteurs evalueerden EMBER op Gemma-2-2B-it en Llama-3.1-8B-Instruct over 18 diverse concepten (variërend van fictieve werken zoals Harry Potter tot veiligheidsonderwerpen zoals Cannabis).

• Effectiviteit en Specificiteit: Het aanvullen van bestaande methoden (RMU, CRISP, SNMF) met EMBER verbeterde consistent de verwijderingseffectiviteit (verlagen van concept-accuratesse) en specificiteit (behouden van prestaties op vergelijkbare domeinen en MMLU).
• Robuustheid tegen Opnieuw Leren: Dit is de primaire winst. EMBER reduceerde het vermogen van het model om verwijderde concepten opnieuw te leren drastisch.
  • Op Llama-3.1 werd de relearning accuracy voor eerdere methoden (RMU, CRISP) verminderd van 70%–76% naar 35% wanneer gecombineerd met EMBER (een reductie van ~50%).
  • Op Gemma werd de relearning accuracy verminderd met 16%–24%.
  • De volledige MF-gebaseerde pipeline (SNMF + EMBER) bereikte de laagste relearning accuracy (35% op Llama), waarmee het baselines significant verslaat.
• Coherentie en Lokalisatie: De kosten voor generatie-coherentie waren minimaal. Analyse toonde aan dat EMBER maximaal 0,14% van de vocabulaire per concept wijzigt. Coherentie-degradatie was sterk gelokaliseerd tot "concept-exclusieve" tokens (bijv. "Hogwarts" bij het verwijderen van Harry Potter), terwijl algemene tokens (bijv. "Harry" in de context van Prins Harry) grotendeels onaangetast bleven.
• Generalisatie: Hoewel hyperparameters werden afgestemd op meerkeuze-taken (MC), werden de verbeteringen effectief overgedragen naar open-eind (OE) vraagbeantwoording, wat suggereert dat de bewerkingen conceptuele kennis targeten in plaats van format-specifieke shortcuts.

Betekenis en Claims

Het artikel claimt dat precieze, gerichte bewerking van de embedding matrix fundamenteel is voor het bereiken van robuuste conceptverwijdering. Door de focus te verschuiven buiten de MLP-centrische visie van eerder werk, adresseert EMBER het probleem van "shallow unlearning", waarbij kennis slechts wordt onderdrukt in plaats van verwijderd.

De auteurs concluderen dat:

1. Interventies op embedding-niveau noodzakelijk zijn om relearning-aanvallen te voorkomen.
2. Bestaande verwijderingsmethoden aanzienlijk kunnen worden verbeterd door ze aan te vullen met embedding-niveau bewerkingen.
3. De trade-off tussen verwijderingseffectiviteit en modelbruikbaarheid (coherentie) kan worden verbeterd door bewerkingen te lokaliseren naar specifieke concept-gerelateerde features in plaats van brede gewichts-updates toe te passen.

Het werk vestigt een nieuwe richting voor modelbewerking, waarbij wordt benadrukt dat de embedding-laag een vitale, maar voorheen onderbelichte locus van kennisopslag is die moet worden geadresseerd voor veiligheids- en nalevingsapplicaties.