SEAT: Sparse Entity-Aware Tuning for Knowledge Adaptation while Preserving Epistemic Abstention

Probleemstelling: Het Verlies van Epistemische Abstentie

Grote Taalmodellen (LLMs) worden steeds vaker aangepast aan nieuwe, specifieke of tijdgebonden kennis via fine-tuning. Een kritieke foutmodus die hierbij optreedt, is het verlies van gealigneerde epistemische abstentie. Dit is het vermogen van een model om te erkennen wanneer het een vraag niet kan beantwoorden en in plaats van een antwoord te verzinnen (hallucineren), toe te geven dat het de informatie niet kent.

• De uitdaging: Standaard fine-tuningmethoden (zoals Full-FT of LoRA) vervangen vaak het oorspronkelijke gedrag van het model. Waar het basismodel correct zou antwoorden: "Ik weet dit niet", geeft het gefine-tuned model vaak een zelfverzekerd maar onjuist antwoord op vragen over data die buiten de trainingsset vallen.
• Gevolgen: In hoog-risico domeinen (zoals geneeskunde, recht of ondernemingszoekopdrachten) is dit gevaarlijk. Een model dat is getraind op specifieke dossiers mag geen details hallucineren over onbekende, maar gerelateerde gevallen.
• Oorzaak: Het paper stelt dat dit verlies wordt veroorzaakt door excessieve representatieve drift. Standaard fine-tuning verplaatst de interne activaties van het model zodanig dat de grens tussen "bekende" en "onbekende" input in de representatieruimte vervaagt. Onondersteunde queries worden dan onterecht als beantwoordbaar geclassificeerd.

Methodologie: SEAT (Sparse Entity-Aware Tuning)

De auteurs introduceren SEAT, een preventieve fine-tuning-methode die nieuwe kennis leert zonder de abstentie-gedrag te vernietigen. SEAT vereist geen extra aligneringsdata, geen expliciete grensonderzoek (probing) en geen post-hoc her-alignering. Het bestaat uit twee kerncomponenten:

1. Sparse Updating (Spaarzame Updates):

   • In plaats van alle parameters aan te passen, wordt een binair masker toegepast waarbij slechts een klein deel van de parameters (bijv. 20%) trainbaar is, terwijl de rest wordt bevroren.
   • Doel: Dit beperkt de globale drift van de residual stream-activaties. Door de vrijheidsgraden van de optimalisatie te beperken, blijft het model dichter bij de oorspronkelijke representatieruimte van het basismodel, wat helpt om het abstentie-gedrag voor onbekende data te behouden.

2. Entity-Perturbed Regularization (Entiteit-geperturbeerde Regularisatie):

   • Dit is een KL-divergentie regularisatie term die wordt toegepast op een geperturbeerde versie van de trainingsdata.
   • Mechanisme: De subject-entiteit in elke trainingsvoorbeeld wordt vervangen door een fictieve, willekeurige entiteit, terwijl de context behouden blijft. Het model wordt gestraft als het op deze nieuwe, onbekende entiteiten een ander gedrag vertoont dan het basismodel (dat zou abstineren).
   • Doel: Dit voorkomt lokale "spillover" of "kennisverstrengeling". Het zorgt ervoor dat het leren van feiten over entiteit A niet leidt tot het ten onrechte toepassen van die kennis op semantisch of token-gerelateerde entiteit B die niet in de trainingsset zat.

De totale loss functie is: $L_{SEAT} = L_{FT} + \gamma L_{KL}$, waarbij $L_{FT}$ de standaard fine-tuning loss is en $L_{KL}$ de regularisatie op de geperturbeerde data.

Belangrijkste Bijdragen

1. Identificatie van een nieuwe foutmodus: Het paper benadrukt dat "catastrophic forgetting" niet alleen gaat om het vergeten van oude taken, maar ook om het verlies van het vermogen om correct te abstineren op onbekende data.
2. Empirisch onderbouwde oplossing: SEAT biedt een eenvoudige, effectieve trainingsspecificatie die abstentie behoudt zonder extra data of complexe post-processing.
3. Validatie van het ontwerp: De auteurs tonen aan dat zowel sparse training als entity-perturbation essentieel zijn; alleen een van beide is onvoldoende voor optimale resultaten.

Resultaten

De auteurs hebben SEAT geëvalueerd op verschillende modellen (Llama3-8B-Instruct, Qwen2.5-7B-Instruct) en datasets (synthetisch: PISTOL, TOFU; real-world nieuws: RWD).

• Behoud van Abstentie: SEAT presteert aanzienlijk beter dan de sterkste baselines (zoals Full-FT, LoRA, EWC, R-tuning, Experience Replay).
  • Op onbekende queries verbeterde SEAT de menselijk geëvalueerde abstentie (IDKHA-score) met 18% tot 101% ten opzichte van de beste bestaande methoden.
  • Terwijl standaard fine-tuning de abstentie vaak naar <5% laat zakken, behoudt SEAT een abstentie-ratio van >95% op onbekende data.
• Kennisacquisitie: SEAT behoudt bijna perfecte prestaties op de doelkennis (FT-score ~1.0), wat aantoont dat de beperkingen de leercapaciteit niet belemmeren.
• Representatieruimte: PCA-visualisaties tonen aan dat SEAT de activaties van onbekende data (bijv. fictieve vragen) gescheiden houdt van de activaties van de nieuw geleerde kennis. Bij andere methoden vloeien deze samen, wat leidt tot hallucinaties.
• Kwaliteit van Antwoorden: SEAT produceert contextbewuste, dynamische weigeringen (bijv. "Ik heb geen toegang tot informatie over X") in plaats van stijve of generieke antwoorden, wat dicht bij het gedrag van het originele basismodel ligt.
• Downstream Utility: Het model behoudt zijn algemene vaardigheden (wiskunde, redeneren, feitelijke nauwkeurigheid) op andere taken.

Significantie

Dit onderzoek is van groot belang voor de veilige adaptatie van LLMs. Het stelt dat het behoud van epistemische abstentie een fundamenteel doel moet zijn bij kennisadaptatie, niet alleen een bijwerking.

• Praktische toepasbaarheid: Omdat SEAT geen dure aligneringsdata of extra re-aligneringstappen vereist, is het ideaal voor privacygevoelige en lichtgewicht scenario's waar organisaties nieuwe kennis willen integreren zonder het risico op hallucinaties te vergroten.
• Theoretisch inzicht: Het paper verbindt het gedrag van het model (hallucineren vs. abstineren) direct met de geometrie van de representatieruimte en laat zien dat het beperken van drift en het scherpen van lokale grenzen cruciaal is voor betrouwbaarheid.

Kortom, SEAT biedt een robuust kader om LLMs bij te werken met nieuwe feiten terwijl ze "eerlijk" blijven over wat ze niet weten.