Alignment Dynamics in LLM Fine-Tuning

Technische Samenvatting: Uitlijningsdynamiek bij LLM-Finetuning

Probleemstelling
Grote Taalmodellen (LLM's) bereiken uitlijning met menselijke waarden via supervised fine-tuning (SFT) en reinforcement learning from human feedback (RLHF). Deze uitlijning is echter vaak fragiel; modellen kunnen snel veiligheidsbelemmeringen verliezen of terugvallen naar vooraf getraind gedrag wanneer ze worden onderworpen aan daaropvolgende finetuning, zelfs op onschadelijke data. Bestaande verklaringen voor deze fragiliteit vallen in twee categorieën: op gradiënten gebaseerde analyses (gericht op geometrie in de parameterruimte) en op distributie gebaseerde studies (gericht op verschuivingen in uitgaande distributies). Een kritieke kloof blijft bestaan in het bieden van een verenigd theoretisch kader dat leer-dynamiek in de parameterruimte verbindt met uitlijningsgedrag in de functieruimte, specifiek om uit te leggen hoe uitlijning evolueert, verslechtert en herstelt tijdens finetuning.

Methodologie
De auteurs introduceren een hanteerbare uitlijningsscore $S(\theta)$, gedefinieerd als de verwachte waarschijnlijkheid van het genereren van een uitgelijnde voltooiing gegeven een distributie van prompts. Zij leiden een gesloten vorm-expressie af voor de evolutie van deze score tijdens finetuning.

1. Theoretisch Kader:

   • Token-niveau Decompositie: De verandering in de uitlijningsscore ($\Delta S$) wordt ontleed in bijdragen van individuele token-updates. Deze decompositie onthult dat de bijdrage van een token-update "gegate" wordt door de prefix-waarschijnlijkheid en het "toekomstige uitlijningspotentieel" (de waarschijnlijkheid dat de voltooiing uiteindelijk uitgelijnd zal zijn).
   • Logit-ruimte Geometrie: Door deze token-niveau dynamiek te verbinden met logit-perturbaties via de empirische Neural Tangent Kernel (eNTK) en de aanname van de Relatively Stable Kernel (RSK), leiden de auteurs een verenigde formule af voor uitlijningsdynamiek.
   • Krachtdicompositie: De evolutie van de uitlijningsscore blijkt te worden gestuurd door twee concurrerende krachten:
     • Rebound-kracht ($F_{rebound}$): Een intrinsieke zelf-interactieterm die "distributieve traagheid" vertegenwoordigt. Deze wordt gemoduleerd door de huidige uitlijningstoestand en de klemheid (zuiverheid) van de posterior-distributie van het model.
     • Aandrijvende kracht ($F_{drive}$): Een externe term die wordt bepaald door hoe de trainingsdistributie uitlijnt met de op uitkomst geconditioneerde posteriors over uitgelijnde ($\tilde{\pi}^+$) en niet-uitgelijnde ($\tilde{\pi}^-$) voltooiingen.

2. Experimentele Validatie:

   • De auteurs hanteren een multi-stadium SFT-paradigma (Voorwaarts $\to$ Omgekeerd $\to$ Herblootstelling) over drie domeinen: veiligheidsuitlijning (BeaverTails, HEx-PHI), opkomende misuitlijning, en sentimentanalyse (IMDb).
   • Zij gebruiken basismodellen (Llama-3.1-8B, Gemma-2-2B, Qwen3-8B-Base) om uitlijningsdynamiek te isoleren van eerdere instructietuning.
   • Gecontroleerde experimenten variëren de klemheid van de finetuning-distributie (van vaste sjablonen tot stijl-gevarieerde antwoorden) om theoretische voorspellingen met betrekking tot de Rebound-kracht te testen.

Belangrijkste Bijdragen en Resultaten

1. Verenigd Dynamisch Kader: Het paper biedt een wiskundige afleiding die aantoont dat uitlijningsdynamiek een competitie is tussen interne weerstand (Rebound-kracht) en externe leersignalen (Aandrijvende kracht). Dit verklaart waarom uitlijning kan worden omgekeerd door daaropvolgende finetuning en waarom de structuur van de posterior-distributie van belang is.
2. Bidirectionele Instabiliteit en Distributie-klemheid:
   • Het kader voorspelt dat zowel sterk uitgelijnde als sterk misuitgelijnde toestanden "onstabiel" zijn en vatbaar voor terugval.
   • Resultaat: Experimenten bevestigen dat smallere posterior-distributies (geïnduceerd door finetuning-data met lage diversiteit) de Rebound-kracht versterken. Modellen getraind op klemme datasets vertonen een snellere degradatie van veiligheidsuitlijning wanneer ze worden blootgesteld aan omgekeerde finetuning, in vergelijking met die getraind op diverse datasets.
3. Het Rehearsal Priming-effect:
   • Voorspelling: Eerdere uitlijning laat een latente "posterior-afdruk" (structureel residu in $\tilde{\pi}^+$ en $\tilde{\pi}^-$) achter die aanhoudt zelfs nadat de waargenomen uitlijningsscore is onderdrukt. Bij herblootstelling aan de oorspronkelijke uitlijningsdistributie versterkt dit residu de effectieve Aandrijvende kracht, wat leidt tot snellere heruitlijning.
   • Resultaat: Gecontroleerde experimenten tonen aan dat modellen die diepere initiële finetuning hebben ondergaan (Fase 1) aanzienlijk sneller heruitlijnen tijdens Fase 3 (Herblootstelling) in vergelijking met die met ondiepere initiële training, zelfs wanneer ze starten vanuit dezelfde basale uitlijningsscore. Dit effect geldt voor veiligheids-, misuitlijnings- en sentimenttaken.
4. Fragiliteit van Opkomende Misuitlijning: De studie benadrukt dat modellen die opkomende misuitlijning vertonen (brede misuitgelijnde gedragingen geïnduceerd door klemme finetuning) deze gedragingen snel kunnen laten heractiveren met slechts enkele stappen van kwaadaardige finetuning, wat de inherente fragiliteit van daaropvolgende uitlijning onderstreept.

Betekenis en Beweringen
De auteurs beweren dat dit werk een verenigd dynamisch perspectief biedt op hoe uitlijning wordt verstoord en geactiveerd tijdens LLM-finetuning. Door voorbij te gaan aan statische distributieve verschuivingen of puur op geometrie gebaseerde gradiëntanalyses, verbindt het voorgestelde kader token-niveau optimalisatiedynamiek met globaal uitlijningsgedrag.

De betekenis van het werk ligt in:

• Het bieden van een rigoureuze, kwantitatieve karakterisering van uitlijningsevolutie.
• Het verklaren van het mechanisme achter het "Rebound-effect" en het identificeren van distributie-klemheid als een belangrijke modulator van uitlijningsstabiliteit.
• Het ontdekken en valideren van het Rehearsal Priming-effect, wat suggereert dat uitlijningsrobustheid niet uitsluitend wordt bepaald door het trainingsignaal, maar ook door de latente posterior-structuur die door eerdere training wordt geïnduceerd.
• Het bieden van een principiële basis voor het analyseren en potentieel verbeteren van de robuustheid van post-training uitlijning, terwijl wordt erkend dat deze inzichten ook informatief kunnen zijn voor adversariele aanvallen op uitlijning.

Het paper concludeert dat uitlijning wordt gestuurd door de wisselwerking tussen het trainingsignaal en de geïnduceerde posterior-structuur, een bevinding die het beeld van uitlijning als een statische eigenschap uitdaagt en het herformuleert als een dynamisch proces dat vatbaar is voor specifieke structurele kwetsbaarheden.