Technische Samenvatting: Consistency-Aware Editing voor Entity-level Unlearning in Taalmodellen

1. Probleemstelling

Grote taalmodellen (LLM's) memoriseren onbedoeld gevoelige, auteursrechtelijk beschermde of schadelijke informatie, wat privacy- en beveiligingsrisico's met zich meebrengt. Hoewel knowledge unlearning (kennis-ontleren) gericht is op het verwijderen van specifieke ongewenste kennis, kampen bestaande methoden met aanzienlijke beperkingen wanneer ze worden toegepast op entity-level unlearning (ontleren op entiteitsniveau).

Huidige benaderingen richten zich primair op instance-level unlearning, dat gericht is op het verwijderen van specifieke feiten of uitdrukkingen uit een gecureerde 'forget set'. Echter, entity-level unlearning vereist de volledige eliminatie van alle informatie die geassocieerd is met een specifieke entiteit (bijv. "Jackie Chan"), ongeacht de formulering of context. Bestaande technieken falen vaak in dit domein omdat:

• Overfitting op Oppervlaktevormen: Ze hebben de neiging te overfitten op de specifieke oppervlaktevorm van trainingsprompts, waardoor ze moeite hebben met het generaliseren over diverse linguïstische realisaties (parafrasen) van dezelfde entiteit.
• Inconsistentie in Editing: Op locatie gebaseerde model-editing methoden, die parameters aanpassen voor specifieke feiten, behandelen elke input doorgaans onafhankelijk. Wanneer deze worden toegepast op meerdere prompts gerelateerd aan dezelfde entiteit, resulteren deze onafhankelijke optimalisaties in inconsistente edit-richtingen. Updates voor verschillende feiten kunnen conflicteren of de doelgerichte kennis slechts gedeeltelijk wissen, wat leidt tot "lekken" waarbij het model nog steeds correct antwoordt op sommige geparafraseerde queries.
• Bijkomende Schade (Collateral Damage): Het uitbreiden van de 'forget set' om de dekking te verbeteren, resulteert vaak in substantiële degradatie van de prestaties van het model op ongerelateerde feiten of nauw verwante entiteiten.

2. Methodologie: Consistency-Aware Editing (CAE)

De auteurs stellen Consistency-Aware Editing (CAE) voor, een framework dat model-editing technieken aanpast voor effectieve entity-level unlearning. De kerninzicht is dat entiteitsgerelateerde kennis wordt opgeslagen in de MLP (Multi-Layer Perceptron) modules van de transformer, specifiek in de output-gewichten ($W_{out}$). CAE pakt het inconsistentieprobleem aan door updates over diverse prompts geassocieerd met een doelentiteit gezamenlijk te optimaliseren.

Belangrijke Componenten:

1. Data Aggregatie en Selectie:

   • De methode haalt een diverse set feiten over een doelentiteit op uit Wikidata en zet deze om in natuurlijke taalprompts ($T_e$).
   • Deze prompts worden verder uitgebreid via parafrasering met behulp van een tekstgeneratiemodel om een uitgebreide set ($T_g$) te creëren.
   • SVD-gebaseerde Selectie: Om redundantie en conflicterende updates te voorkomen, worden de sleutelvectoren ($K_f$) afgeleid van deze prompts verwerkt via Singular Value Decomposition (SVD). De methode selecteert de top-$r$ sleutelvectoren die de meest significante projectie-energie vastleggen, wat zorgt voor een compacte en informatieve subset voor editing.

2. Consistency-Aware Optimalisatie:

   • In plaats van elke prompt onafhankelijk te editen, introduceert CAE een consistentiebeperking (consistency constraint).
   • Voor elke prompt $x_j$ wordt een residuvector $\delta_j$ geoptimaliseerd om de feitelijke associaties van de entiteit te onderdrukken.
   • Een consistentieverlies ($L_{Cons}$) wordt toegevoegd aan de objectieve functie, die de variantie van de bijgewerkte verborgen toestanden ($h_j^L + \delta_j$) over de promptset minimaliseert. Dit dwingt alle residuen om in een gemeenschappelijke richting te wijzen, waardoor de parameterupdate coherent is over alle parafrasen van de entiteit.
   • De uiteindelijke objectieve functie combineert de negative log-likelihood loss (om onzekerheid op te wekken, bijv. "Ik weet het niet") met de consistentieregularisator.

3. Multi-Layer Propagatie:

   • De geoptimaliseerde residuen worden over opeenvolgende lagen verdeeld om ervoor te zorgen dat het onderdrukingseffect door het netwerk propageert.
   • Een low-rank update (rank-one modificatie) wordt toegepast op de $W_{out}$ matrices van de MLP-lagen, waardoor de kennis van de entiteit effectief wordt verwijderd zonder het hele model opnieuw te trainen.

3. Belangrijkste Bijdragen

1. Identificatie van Beperkingen: Het artikel onthult dat bestaande locatie-gebaseerde editing methoden falen bij entity-level unlearning vanwege de inconsistentie die wordt geïntroduceerd door het onafhankelijk editen van meerdere prompts geassocieerd met dezelfde entiteit. Het identificeert ook dat entiteitsgerelateerde kennis voornamelijk in MLP-modules wordt opgeslagen.
2. Nieuw Framework (CAE): De auteurs introduceren een consistency-aware editing framework dat waardevolle feiten gezamenlijk optimaliseert onder een consistentiebeperking. Dit maakt coherente en uitgebreide unlearning van een volledige entiteit mogelijk.
3. SVD-gebaseerde Fact Selectie: Er wordt een strategie voorgesteld om de meest waardevolle feiten voor een entiteit te selecteren met behulp van SVD, waardoor het aantal vereiste prompts wordt verminderd terwijl de effectiviteit van het unlearning wordt gemaximaliseerd.
4. Empirische Validatie: De methode wordt rigoureus geëvalueerd op twee uitdagende benchmarks, RWKU (100 entiteiten) en ToFU (20 entiteiten), waarbij superieure prestaties worden getoond ten opzichte van bestaande unlearning en editing baselines.

4. Experimentele Resultaten

De auteurs evalueerden CAE op LLaMA3-Instruct (8B) en LLaMA3.1-Instruct (8B), en vergeleken het met gradiënt-gebaseerde methoden (GA, DPO, NPO), prompt-gebaseerde methoden (ICU, RepE) en editing-gebaseerde methoden (MEMIT, EMMET, AlphaEdit).

• Vergeten Prestaties (Forgetting Performance): CAE behaalde de laagste scores op de 'forget sets' (wat duidt op succesvolle verwijdering van kennis) over Fill-in-the-Blank (FB), Question-Answer (QA) en Adversarial Attack (AA) probes. Bijvoorbeeld, op RWKU met LLaMA3 behaalde CAE een "All" forget score van 15.9, waarmee het de op één na beste editing methode (EMMET met 29.0) en de trainingsgebaseerde methoden versloeg.
• Robuustheid en Generalisatie: CAE behield een hoge prestatie op Neighbor Sets (ongerelateerde maar semantisch nabije feiten) en Utility Sets (algemene capaciteiten zoals MMLU, TruthfulQA). Het behaalde de hoogste Mean FN (een metriek die het evenwicht tussen vergeten en het behoud van buren balanceert), wat wijst op een superieur evenwicht tussen het wissen van de doelgerelateerde kennis en het behouden van nuttige context.
• Efficiëntie: CAE vereist aanzienlijk minder voorbeelden (zo weinig als 100, vaak minder) en minder computationele middelen (een enkele 40GB GPU) vergeleken met full fine-tuning benaderingen.
• Sequentiële Unlearning: De methode demonstreerde stabiliteit bij het sequentieel verwijderen van meerdere entiteiten, zonder de prestaties van eerder ontlerde entiteiten te verslechteren.
• Ablatie-studies:
  • Token Selectie: Het editen van de Last Subject Token (LST) bleek effectiever en stabieler dan het editen van de Last Token (LT).
  • Consistency Weight: De methode bleef robuust over verschillende gewichten voor de consistentiebeperking.
  • Data Bron: De methode generaliseerde goed wanneer LLM-gegenereerde synthetische data werd gebruikt in plaats van Wikidata.

5. Betekenis en Claims

Het artikel claimt dat Consistency-Aware Editing een significante vooruitgang vormt in het vakgebied van kennis-unlearning door de kloof te overbruggen tussen instance-level editing en de complexere vereisten van entity-level unlearning.

• Schaalbaarheid: CAE biedt een schaalbare oplossing voor het verwijderen van entiteiten met behulp van slechts tientallen zorgvuldig geselecteerde prompts, waardoor de computationele kosten van volledige hertraining worden vermeden.
• Precisie: Door de edit-richtingen af te stemmen via een consistentiebeperking, voorkomt CAE de "gedeeltelijke vergetelheid" en kennislekken die gebruikelijk zijn bij onafhankelijke editing-benaderingen.
• Inzicht: Het werk biedt inzichten in hoe entiteitsgerelateerde kennis intern wordt gerepresenteerd in LLM's (voornamelijk in MLP's) en hoe deze systematisch kan worden verwijderd.

De auteurs concluderen dat CAE een gunstiger en stabieler evenwicht biedt tussen vergeten en behouden, wat het een veelbelovende richting maakt voor de veilige en verantwoorde inzet van LLM's waarbij specifieke entiteiten uitgebreid ontlerd moeten worden.