CapTrack: Multifaceted Evaluation of Forgetting in LLM Post-Training

Dit paper introduceert CapTrack, een kadersysteem dat vergeten in LLMs na post-training definieert als systematische gedragsdrift in plaats van alleen feitelijke kennisverlies, en via een grote empirische studie aantoont dat instructie-finetuning de grootste drift veroorzaakt terwijl voorkeursoptimalisatie conservatiever is.

De kern

Titel: CapTrack: Waarom je slimme AI soms zijn geheugen (en zijn manieren) verliest

Stel je voor dat je een zeer intelligente, goed opgeleide assistent hebt. Deze assistent kent de hele wereld, kan wiskunde oplossen, verhalen schrijven en in tientallen talen praten. Hij is je "basismodel".

Nu wil je deze assistent specialiseren. Misschien wil je dat hij een jurist wordt die alleen over rechtspapers praat, of een arts die medische adviezen geeft. Om dit te doen, train je hem verder met specifieke data. Dit noemen onderzoekers "post-training" (na-training).

Het probleem? Tijdens het leren van deze nieuwe vakken, begint je assistent dingen te vergeten. Maar niet alleen feiten. Hij verandert ook zijn gedrag, zijn stijl en hoe hij met je omgaat.

Deze paper introduceert CapTrack, een nieuw systeem om te kijken wat er precies gebeurt. Hier is de uitleg in simpele taal:

1. Het probleem: Het is meer dan alleen vergeten feiten

Vroeger dachten onderzoekers: "Als mijn AI nog steeds weet wie de eerste president van de VS was, is hij niet vergeten."
Maar CapTrack zegt: "Nee, dat is te simpel."

Stel je voor dat je een vriend hebt die een nieuwe baan als accountant heeft. Hij is nu supergoed in belastingen, maar:

• Hij praat plotseling niet meer met je (hij is te kortaf).
• Hij weigert om grappige verhalen te vertellen (hij is te streng).
• Hij vergeet hoe je een gesprek voert als je twee keer achter elkaar iets vraagt (hij raakt de draad kwijt).
• Hij spreekt geen andere talen meer, alleen nog maar "accountantsjargon".

Dit is wat de auteurs CapTrack noemen: een manier om te meten of je AI zijn vaardigheden (wat hij kan), zijn gedrag (hoe hij zich gedraagt) en zijn discipline (hoe hij regels volgt) behoudt.

2. De drie categorieën van CapTrack

Om dit te meten, kijken ze naar drie dingen:

• CAN (Wat hij kan): Kan hij nog steeds rekenen? Kan hij nog steeds een verhaal schrijven? Kan hij nog steeds in het Frans praten?
  • Analogie: Is de motor van je auto nog steeds sterk genoeg om de berg op te rijden?
• WILL (Wat hij wil doen): Hoe gedraagt hij zich van nature? Is hij behulpzaam? Is hij te langdradig? Weigert hij vragen die hij niet mag beantwoorden?
  • Analogie: Is je chauffeur nog steeds beleefd en geduldig, of is hij plotseling agressief en kortaf?
• HOW (Hoe hij het doet): Volgt hij je instructies precies? Schrijft hij de juiste opmaak? Onthoudt hij wat je in het vorige gesprek zei?
  • Analogie: Luistert je chauffeur als je zegt "draai links" en doet hij dat precies zo, of rijdt hij door?

3. Wat hebben ze ontdekt? (De verrassingen)

De auteurs hebben gekeken naar verschillende manieren om AI's bij te schaven (zoals "Instruction Fine-Tuning" en "DPO"). Hier zijn de belangrijkste bevindingen:

• De "Leren-methode" maakt uit:

  • Als je de AI leert door hem voorbeelden te geven van wat hij moet zeggen (zoals een schoolmeester die voorleest), verliest hij vaak veel van zijn oude vaardigheden. Hij wordt heel goed in het nieuwe vak, maar vergeet zijn oude "manieren" en wordt soms zelfs onbeleefd of saai.
  • Als je de AI leert door te zeggen "dit antwoord is beter dan dat andere" (een soort feedback-systeem), is hij zachter. Hij vergeet minder en kan zelfs sommige dingen herstellen die hij door de eerste methode had vergeten.

• Grootte maakt niet alles uit:

  • Je zou denken dat een supergrote AI (met 80 miljard parameters) alles beter onthoudt dan een kleine. Maar nee! Soms vergeten de grote modellen net zo veel als de kleine, of zelfs meer, afhankelijk van hoe je ze traint.

• Er is geen "wondermiddel":

  • Mensen hopen vaak dat ze gewoon een beetje meer "algemene kennis" toevoegen aan de training om het vergeten te voorkomen. De paper zegt: Dat werkt niet echt.
  • Het is een afweging (een trade-off). Je kunt de AI niet tegelijkertijd perfect maken in zijn nieuwe vak én perfect laten blijven in alles wat hij al kon. Je moet kiezen.

4. Waarom is dit belangrijk voor jou?

Vroeger keken bedrijven alleen of de AI nog steeds goed kon rekenen of feiten wist. Maar als je een AI gebruikt in een ziekenhuis of een advocatenkantoor, is het gedrag minstens zo belangrijk.

• Als een medische AI feiten weet, maar weigert om een patiënt te helpen omdat hij te "veilig" is geworden, is hij nutteloos.
• Als een juridische AI goed kan redeneren, maar zijn antwoorden zo saai en saai worden dat niemand ze leest, is hij ook niet nuttig.

CapTrack is dus als een medische check-up voor AI's. In plaats van alleen te kijken of de AI "ziek" is (feiten vergeten), kijkt hij naar zijn hele gezondheid: zijn gedrag, zijn stijl en zijn betrouwbaarheid.

Conclusie in één zin

Als je je slimme AI verder traint voor een specifieke taak, moet je niet alleen kijken of hij de taak goed doet, maar ook of hij zijn goede manieren, zijn creativiteit en zijn betrouwbaarheid niet heeft ingewisseld voor die nieuwe kennis. CapTrack is het gereedschap om dat te zien.

Technische samenvatting

Probleemstelling

Het aanpassen van grote taalmodellen (LLM's) via post-training (zoals instructie-finetuning of preferentie-optimalisatie) is essentieel voor het verbeteren van vaardigheden, waarde-uitlijning en domeinaanpassing. Echter, dit proces is bekend om het veroorzaken van "vergeten" (forgetting). Traditioneel wordt vergeten gedefinieerd als het verlies van parametrische of feitelijke kennis, gemeten via dalingen in nauwkeurigheid op algemene benchmarks.

De auteurs betogen dat deze op nauwkeurigheid gerichte visie ontoereikend is voor moderne foundation modellen. Een model kan stabiel blijven op feitelijke tests, maar toch aanzienlijke drift vertonen in andere cruciale aspecten zoals robuustheid, standaardgedrag, veerkrachtigheid en protocolconformiteit. Deze drift heeft directe gevolgen voor de gebruikerservaring, maar wordt over het hoofd gezien door traditionele evaluaties die zich enkel richten op parametrische kennis.

Methodologie: CapTrack

Om dit probleem aan te pakken, stellen de auteurs CapTrack voor, een op vaardigheden (capability-centric) gericht framework voor het analyseren van vergeten in LLM's na post-training.

1. Taxonomie van Vaardigheden
CapTrack deconstructeert het modelgedrag in drie complementaire groepen, verder dan alleen feitelijke kennis:

• CAN (Latente Competentie): Wat het model kan doen onder ideale prompting. Dit omvat parametrische kennis, redenering, contextbegrip, epistemische trouw en robuustheid (bijv. tegen prompt-variaties, domeinverschuivingen en meertaligheid).
• WILL (Standaard Gedragsvoorkeuren): Wat het model zal doen bij standaard responsen, gevormd door uitlijning en instructie-tuning. Dit omvat bereidheid om te antwoorden (inclusief veiligheidsweigeren), nuttigheid, informatieve reikwijdte en stijl (bijv. woordkeuze, hedenheid, opmaak).
• HOW (Protocolconformiteit en Executie): Hoe betrouwbaar het model instructies uitvoert. Dit omvat instructie-opvolging, output-formaat trouw, tool-gebruik, multi-turn state-beheer, contextvenster-operaties en citatie-mechanismen.

2. Evaluatie Suite
CapTrack combineert deze taxonomie met een evaluatiesuite van 30 benchmarks en gerichte aanpassingen. In plaats van absolute prestaties te meten, vergelijkt CapTrack post-getrainde modellen met hun oorspronkelijke "Out-of-the-Box" (OOB) basis. Dit resulteert in een relatieve afwijking (drift) per vaardigheid. De suite is ontworpen om sample-efficiënt te zijn (~14.5k samples) en gebruikt zowel rule-based metingen als "LLM-as-a-judge" voor kwalitatieve aspecten.

3. Experimenteel Opzet
De auteurs voerden een grootschalige empirische studie uit over:

• Modellen: 7 modellen van drie families (Qwen 3, Gemma 3, LLaMA 3.1/3.3) met omvang tot 80B parameters.
• Domeinen: Juridisch en Medisch.
• Algoritmen: Instructie Finetuning (IFT) en Direct Preference Optimization (DPO), inclusief combinaties (IFT+DPO).
• Mitigatie: Analyse van datagebaseerde strategieën (generieke vs. domeinspecifieke data), architecturale interventies (model merging) en regularisatie (LoRA).

Belangrijkste Resultaten

1. Vergeten gaat verder dan feitelijke kennis
Vergeten is een veelomvattender fenomeen dan alleen het verlies van feitelijke kennis. De studie toont aan dat er significante drift optreedt in:

• Robuustheid: Vooral meertalige stabiliteit en domeinverschuivingen lijden onder post-training.
• Standaardgedrag (WILL): Modellen worden vaak minder bereid om vragen te beantwoorden (verhoogde weigering), minder uitgebreid in hun antwoorden (verminderde woordkeuze) en verliezen hun vermogen om formatteerregels te volgen.
• Executie: Multi-turn consistentie en citatie-mechanismen verslechteren aanzienlijk.

2. Invloed van Algoritmen

• IFT (Instructie Finetuning): Veroorzaakt de sterkste en meest alomvattende drift. Het leidt tot significante degradatie in zowel competentie als gedrag.
• DPO (Preferentie Optimalisatie): Is aanzienlijk conservatiever. Wanneer toegepast op een OOB-model, veroorzaakt het minder verlies. Wanneer DPO wordt toegepast na IFT, kan het gedeeltelijk verloren vaardigheden herstellen, vooral op het gebied van gedragsvoorkeuren (WILL).

3. Invloed van Modelfamilie en Grootte

• Er zijn duidelijke verschillen tussen modelfamilies. LLaMA en Gemma modellen vertonen vaak sterkere drift in latente competentie en gedrag, terwijl Qwen-modellen over het algemeen stabieler zijn (hoewel ze kwetsbaar blijven voor meertalige robuustheid).
• Er is geen consistente relatie tussen modelgrootte en vergeten. Grotere modellen zijn niet uniform beter in het behouden van vaardigheden; vergeten hangt meer af van de specifieke vaardigheid en de interactie met het trainingsdoel dan van de schaal alleen.

4. Beperkingen van Mitigatiestrategieën
De studie onderzocht drie klassieke aanpakken voor het verminderen van vergeten:

• Data: Het toevoegen van generieke data of het wisselen van domeinspecifieke data levert geen universele oplossing op. De effecten zijn gemengd en afhankelijk van de specifieke vaardigheid.
• Architectuur (Model Merging): Het samenvoegen van een getraind model met het OOB-model (bijv. via TIES) vermindert vergeten, maar komt altijd ten koste van de in-domein prestaties (plasticiteit).
• Regularisatie (LoRA): Het beperken van trainbare parameters (LoRA) werkt als een globale regularisator. Het vermindert vergeten, maar vermindert ook de aanpassingscapaciteit.

In alle gevallen werd een fundamentele stabiliteit-plasticiteit trade-off blootgelegd: het verbeteren van de stabiliteit (minder vergeten) gaat altijd ten koste van de plasticiteit (in-domein verbetering), en vice versa. Er bestaat geen "free lunch" oplossing.

Bijdragen

1. Conceptuele Uitbreiding: Het herdefiniëren van vergeten in LLM's van louter parametrisch kennisverlies naar een breder spectrum van systematische drift in competentie, gedrag en uitvoering.
2. CapTrack Framework: De introductie van een gestructureerde taxonomie (CAN, WILL, HOW) en een bijbehorende evaluatiesuite die een multifaceted analyse van post-training effecten mogelijk maakt.
3. Empirische Inzichten: Het ontrafelen van hoe algoritmen, data, modelfamilies en schaal vergeten beïnvloeden, met de ontdekking dat gedragsdrift vaak groter is dan kennisverlies.
4. Beoordeling van Mitigatie: Het aantonen dat bestaande mitigatiestrategieën voornamelijk een stabiliteit-plasticiteit trade-off beheren in plaats van vergeten volledig op te lossen, wat de noodzaak onderstreept van gerichte, vaardigheidsbewuste interventies.

Betekenis en Impact

De paper is van groot belang voor de gemeenschap van LLM-onderzoek en -toepassing omdat het aantoont dat het evalueren van post-training enkel op basis van algemene kennisbenchmarks (zoals MMLU) misleidend kan zijn. Modellen die "slimmer" lijken op feitelijke tests, kunnen in de praktijk onbetrouwbaar worden door verlies van robuustheid, stijfheid in gedrag of het niet naleven van protocollen.

CapTrack biedt een noodzakelijk diagnostisch instrument voor ontwikkelaars om de echte impact van aanpassingen op de gebruikerservaring te meten. Het onderstreept dat toekomstig onderzoek zich moet richten op gerichte, vaardigheidsbewuste strategieën om vergeten te mitigeren, in plaats van te vertrouwen op generieke regularisatie of data-mixes. Dit is essentieel voor het veilig en betrouwbaar inzetten van LLM's in kritieke domeinen zoals juridische en medische toepassingen.