Wisdom is Knowing What not to Say: Hallucination-Free LLMs Unlearning via Attention Shifting

Probleemstelling

Grote Taalmodellen (LLMs) lopen het risico gevoelige of privégegevens uit hun trainingsdata te memoriseren en later te reproduceren, wat in strijd is met privacyregels zoals de GDPR ("Recht op Vergetelheid"). Bestaande methoden voor machine unlearning (het verwijderen van specifieke kennis uit een model) zitten vast in een kritiek dilemma:

1. Aggressieve methoden (zoals Gradient Ascent): Verwijderen kennis effectief, maar leiden vaak tot een drastische daling van de algehele modelprestaties en vernietigen ook gerelateerde kennis.
2. Conservatieve methoden (zoals logit-manipulatie): Behouden de modelprestaties, maar riskeren hallucinaties. Het model weigert dan wel het specifieke antwoord, maar genereert wel valse, maar semantisch logische informatie over het onderwerp (bijvoorbeeld een verkeerde geboortedatum geven in plaats van "Ik weet het niet").

De uitdaging is om een evenwicht te vinden tussen het effectief vergeten van data, het behoud van de algemene bruikbaarheid van het model en het voorkomen van hallucinaties.

Methodologie: Attention Shifting (AS)

De auteurs stellen een nieuw raamwerk voor genaamd Attention Shifting (AS). In plaats van de output-logits direct te manipuleren of de modelparameters agressief te herschrijven, grijpt AS in op het attentie-niveau van de transformer-architectuur.

Kernprincipes:

• Contextbehoudende onderdrukking: Het model leert om de aandacht (attention weights) te verlagen voor tokens die feitelijke of gevoelige informatie dragen (bijv. namen, data, specifieke feiten) binnen de dataset die moet worden vergeten.
• Hallucinatie-resistente responsvorming: Door de aandacht voor feitelijke tokens te onderdrukken, wordt het model gedwongen om geen specifieke feiten meer te genereren. In plaats van een valse uitvinding te doen, leert het model om neutrale tokens te gebruiken of te verwijzen naar onbekendheid ("I don't know").
• Versterking van behouden kennis: Tegelijkertijd wordt de aandacht voor semantisch belangrijke tokens in de behouden dataset versterkt om de prestaties op niet-gerelateerde kennis te stabiliseren.

Technische Implementatie:

1. Token-Importance: De methode identificeert belangrijke tokens (bijv. zelfstandige naamwoorden, eigennamen) via een entropie-maatstaf of POS-tagging.
2. Adapter Modules: Er worden lichte adapter-modules (~12M parameters) toegevoegd aan de attention-heads van het model. Deze adapters moduleren de attention-weights zonder de oorspronkelijke modelparameters te bevriezen.
3. Dual-Loss Doelstelling: Het trainingsdoel bestaat uit twee delen die gezamenlijk worden geoptimaliseerd:
   • $L_{ASP}$ (Attention Suppression Loss): Minimaliseert de Kullback-Leibler (KL) divergentie tussen de huidige attention-verdeling en een doelpijl waarbij aandacht voor feitelijke tokens in de "vergeet-dataset" wordt onderdrukt.
   • $L_{AKL}$ (Attention Retention Loss): Minimaliseert de KL-divergentie voor de "behouden dataset", waarbij de aandacht voor semantisch cruciale tokens wordt versterkt om de modelbruikbaarheid te behouden.
   • De totale loss is een gewogen som: $L_{AS} = \alpha L_{ASP} + (1-\alpha) L_{AKL}$.

Belangrijkste Bijdragen

1. Nieuwe Paradigma: De introductie van Attention Shifting als een gecontroleerde vorm van agressief unlearning die hallucinaties structureel voorkomt door de toegang tot memoriseerde kennis te blokkeren in plaats van alleen de output te censureren.
2. Dual-Loss Framework: Een innovatieve aanpak die zowel onderdrukking als behoud tegelijkertijd reguleert via attention-modulatie, wat een "zachte grens" creëert tussen te vergeten en te behouden kennis.
3. Hallucinatie-Preventie: De methode zorgt ervoor dat het model niet valse feiten genereert, maar eerder een "weigerend" gedrag vertoont (bijv. "Niemand weet dit"), wat cruciaal is voor betrouwbare toepassingen.
4. Efficiëntie: De methode gebruikt lichte adapters, waardoor het volledige model niet opnieuw getraind hoeft te worden, wat rekenkracht bespaart.

Resultaten

De methode is getest op twee benchmarks: ToFU (vragen over fictieve auteurs) en TDEC (extractie van trainingsdata).

• Prestatiebehoud: AS behaalde tot 15% hogere nauwkeurigheid op de ToFU-benchmark en 10% hoger op de TDEC-benchmark vergeleken met de state-of-the-art methoden (zoals GA, NPO, IHL, ULD).
• Unlearning Effectiviteit: De methode bereikte een Top-k uitsluitingsrate (TR) van bijna 100%, wat betekent dat de vergeten tokens zelden in de top-5 voorspellingen van het model voorkomen.
• Hallucinatiereductie: In tegenstelling tot andere methoden die vaak valse alternatieven genereren, bereikte AS 0% hallucinatie en 0% reproductie van de vergeten data. Het model gaf correcte "onbekend"-antwoorden in plaats van valse feiten.
• Robuustheid: De methode presteerde consistent goed bij verschillende aantallen te vergeten samples en bij verschillende modelgroottes (van 125M tot 2.7B parameters), zelfs bij continue unlearning requests.

Betekenis en Conclusie

Dit paper biedt een praktische oplossing voor het privacy-dilemma in LLMs. De belangrijkste betekenis ligt in het feit dat AS gedragsmatig unlearning mogelijk maakt zonder de taalvaardigheid of algemene kennis van het model te beschadigen.

Door de aandacht van feitelijke tokens weg te halen, voorkomt het model dat het "weet" wat het moet vergeten, zonder dat het daardoor in de war raakt en valse informatie verzint. Dit maakt de methode bij uitstek geschikt voor scenario's waar privacy en betrouwbaarheid cruciaal zijn, zoals in juridische of medische toepassingen. De auteurs concluderen dat hun aanpak een betere balans biedt tussen effectiviteit, generalisatie en betrouwbaarheid dan bestaande technieken.