Technische Samenvatting: Waarde-driften: Het traceren van waarde-alignement tijdens LLM post-training

Probleemstelling

Naarmate Large Language Models (LLM's) een integraal onderdeel worden van het maatschappelijk discours, is hun afstemming op menselijke waarden cruciaal. Hoewel standaard alignment-pipelines bestaan uit Supervised Fine-Tuning (SFT) gevolgd door Preference Optimization (bijv. RLHF, DPO), blijft de dynamiek van hoe en wanneer modellen specifieke waarden verwerven tijdens deze post-training fasen opaak. Voorgaand werk richt zich grotendeels op post-hoc evaluaties van volledig getrainde modellen, waarbij het onmogelijk is om de specifieke bijdragen van trainingsalgoritmen versus datasets te ontrafelen, of om de temporele evolutie van waarde-verwerving te traceren. Dit gebrek aan granulariteit belemmert het vermogen om data te cureren en algoritmen te selecteren die modellen effectief afstemmen op gewenste menselijke waardenstelsels.

Methodologie

De auteurs introduceren een framework om "waarde-driften" te traceren—verschuivingen in de geuite waarden van een model gedurende het verloop van de training.

1. Operationalisering van Waarden en Standpunten:

• Waarden: Gedefinieerd als latente, subjectieve posities die ten grondslag liggen aan reacties op waarde-geladen prompts (normatieve oordelen).
• Standpunten (Stances): De concrete manifestatie van waarden, gecategoriseerd als ondersteunen, neutraal of tegenhouden voor een gegeven onderwerp.
• Meting: De auteurs maken gebruik van V-PRISM, een gecureerde evaluatieset van 550 waarde-proberende prompts over 11 semantische categorieën (bijv. immigratie, abortus, klimaatverandering). Voor elk model-checkpoint worden reacties gegenereerd en geclassificeerd door een LLM (GPT-4o) om de distributie van standpunten te bepalen.

2. Metrieken:

• Drift Magnitude (Drift-omvang): De verandering in de verwachte kans op een standpunt tussen twee checkpoints (begin en eind van een trainingsfase).
• Drift Time (Drift-tijd): Het deel van de trainingsstappen dat vereist is voordat de kans op een standpunt zijn uiteindelijke extremum (piek of laag punt) bereikt binnen een trainingsfase.

3. Experimentele Opzet:

• Modellen: Llama-3 (3B, 8B) en Qwen-3 (4B, 8B).
• SFT Datasets: WildChat (echte mens-LLM conversaties) en Alpaca (synthetische instructie-volgende data).
• Preference Optimization Datasets: UltraFeedback en HH-RLHF.
• Algoritmen: Proximal Policy Optimization (PPO), Direct Preference Optimization (DPO), en Simple Preference Optimization (SIMPO).
• Synthetische Controle: Om het effect van algoritmen te isoleren van dataset-eigenschappen, hebben de auteurs een synthetische preference dataset geconstrueerd met een gecontroleerde, expliciete "waarde-kloof" (paren waarbij de ene respons een waarde sterk ondersteunt en de andere deze sterk tegenhoudt).

Belangrijkste Resultaten

1. SFT is de dominante drijfveer van Waarde-alignment

• Waarde-alignment vindt snel plaats tijdens de SFT-fase, vaak binnen de eerste paar honderd stappen.
• De keuze van de SFT-dataset laat een specifiek waarde-profiel op het model achter. Zo vertonen modellen getraind op WildChat (afgeleid van GPT-3.5 interacties) een overwegend neutraal standpunt (vaak door weigeringspatronen), terwijl modellen getraind op Alpaca een ondersteunende bias vertonen.
• Deze "waarde-imprinting" vestigt een sterk prior dat standhoudt tijdens de daaropvolgende trainingsfasen.

2. Standaard Preference Optimization induceert minimale Waarde-drift

• Wanneer standaard datasets (UltraFeedback, HH-RLHF) worden gebruikt, resulteren PPO, DPO en SIMPO in verwaarloosbare veranderingen in de waarde-profielen die tijdens SFT zijn vastgesteld.
• Oorzaak: De auteurs identificeren een "lage waarde-kloof" in standaard preference datasets. De "gekozen" en "afgewezen" responsen in deze datasets verschillen vaak primair in stilistische dimensies (toon, uitgebreidheid) in plaats van onderliggende standpunten of waarden. Bijgevolg is het optimalisatie-signaal te zwak om de waarde-prior van het model te hervormen.

3. Algoritmische verschillen komen naar voren bij Gecontroleerde Waarde-kloven

• Wanneer ze worden voorzien van een synthetische dataset met een duidelijke waarde-kloof, kunnen preference optimization algoritmen waarden verschuiven, maar zij doen dit verschillend:
  • PPO: Behoudt grotendeels de door SFT geïnduceerde waarden vanwege de KL-divergentie straf die het beleid (policy) verankert aan het referentiemodel. De drift magnitude is laag, tenzij de KL-coëfficiënt aanzienlijk wordt verlaagd.
  • DPO: Versterkt standpunten die overeenkomen met de SFT-prior. Als de SFT-prior een waarde tegenhoudt, heeft DPO moeite om het standpunt volledig om te keren, wat resulteert in slechts gedeeltelijke verschuivingen. Het is gevoelig voor de $\beta$ hyperparameter.
  • SIMPO: Produceert matige waarde-driften met tragere convergentie. De marge-gebaseerde objectieffunctie (die een vaste reward-marge vereist) zorgt ervoor dat optimalisatie-signalen afnemen zodmaal de marge is voldaan, wat leidt tot beperkte updates.

Betekenis en Claims

Het artikel beweert de eerste systematische kijk te bieden op de temporele dynamiek van waarde-verwerving tijdens post-training. De belangrijkste bijdragen zijn:

1. Herformulering van Waarde-vorming: Vaststellen dat SFT, en niet Preference Optimization, het primaire mechanisme is voor het instellen van specifie recente waarde-standpunten in LLM's.
2. Diagnose van Alignment-beperkingen: Identificeren dat het gebrek aan waarde-drift in standaard preference optimization geen inherente fout van de algoritmen (PPO/DPO/SIMPO) is, maar een gevolg van de "lage waarde-kloof" in veelgebruikte preference datasets.
3. Actiegerichte Inzichten:
   • Data Curatie: Om de waarden van een model te veranderen, moet de SFT-dataset worden gecureerd met de gewenste waarde-distributie, aangezien latere fasen deze priors zelden wijzigen.
   • Preference Data Design: Effectieve preference optimization vereist datasets met expliciete, hoge waarde-kloven tussen de gekozen en afgewezen responsen.
   • Algoritme Selectie: De keuze van het preference algoritme (PPO vs. DPO vs. SIMPO) heeft een significante impact op de graad en de richting van waarde-verschuivingen wanneer sterke signalen aanwezig zijn, met name in hoe zij interageren met SFT-priors.

De auteurs concluderen dat het verbeteren van model-alignment een verschuiving in focus vereist naar de curatie van SFT-data en de constructie van preference datasets die expliciet waarde-contrasten coderen, in plaats van te vertrouwen op standaard pipelines om waarden post-SFT te corrigeren of te verfijnen.