Technische Samenvatting: Iteratief Finetunen is Grotendeels Idempotent

Probleemstelling

Naarmate grote taalmodellen (LLMs) steeds meer de tekst genereren waarop toekomstige modellen worden getraind, groeit de bezorgdheid over versterking van overtuigingen: als een model een specifiek gedragspatroon of een overtuiging vertoont (bijvoorbeeld schijndienstbaarheid, misalignement of mensenhaat), versterkt en versterkt het trainen van volgende generaties op zijn eigen output dan die neiging? Dit fenomeen vormt aanzienlijke veiligheidsrisico's, wat kan leiden tot een oplopende kettingreactie van schadelijke eigenschappen of het verankeren van misalignement. Hoewel eerdere studies hebben aangetoond dat finetunen op smalle datasets brede gedragsveranderingen kan veroorzaken en dat vooroordelen in specifieke contexten kunnen versterken (bijvoorbeeld politieke vooroordelen in GPT-2), blijft onduidelijk hoe deze dynamiek zich uit over een breed spectrum van eigenschappen, in grotere modellen en onder diverse trainingsregimes zoals Direct Preference Optimization (DPO).

Methodologie

De auteurs onderzoeken deze vraag door een reeks modellen te trainen waarbij elk model wordt gefinetuned op data gegenereerd door zijn voorganger. Het proces begint met het "zaaien" van een initieel model ($M_{initial}$) met een doel-eigenschap aan de hand van een kleine zaad-dataset ($D_{seed}$), waardoor $M_{seed}$ ontstaat. In daaropvolgende cycli wordt synthetische data gesampled van het huidige model om de volgende generatie te trainen.

De studie evalueert drie verschillende trainingsregimes:

1. Supervised Finetuning (SFT): Modellen worden iteratief gefinetuned op chat-stijl aanvullingen gegenereerd door het vorige model.
2. Synthetic Document Finetuning (SDF): Modellen worden getraind op vrije-vorm documenten gegenereerd door het vorige model, wat de pretraining-pijplijn simuleert waarbij internettekst (die steeds meer door AI gegenereerd wordt) wordt gescraped.
3. Direct Preference Optimization (DPO): Een voorkeursoptimalisatiefase waarbij modellen worden bijgewerkt om hun eigen recente output te verkiezen boven output van een initiële referentiemodel. De auteurs testen twee varianten:
   • Continual Learning: Het model wordt geïnitieerd vanuit het checkpoint van de vorige cyclus ($M_{j-1}$), wat een provider simuleert die een ingezet model continu bijwerkt.
   • Herinitialisatie: Elke cyclus begint vanuit het basismodel ($M_{initial}$), wat een scenario simuleert waarin het model vanaf nul wordt getraind op nieuwe voorkeursdata.

Evaluatie:
De studie volgt zeven eigenschappen: bliss (mystieke optimisme), misalignment, hopelessness, lucky (bijgelovig optimisme), sycophancy, NVIDIA bear (bearishheid op aandelen) en misanthropy.

• Scoren: GPT-4o-mini wordt gebruikt als rechter om antwoorden te scoren op eigenschapsuitlokking en coherentie op een schaal van 1–100.
• Definitie van Versterking: Een run wordt geclassificeerd als versterking tonend als de eigenschapsscore met ten minste 15 punten toeneemt ten opzichte van het zaadmodel in een cyclus $j \geq 4$.
• Metingen: De auteurs meten ook de vertakkingsfactor (kansverspreiding) en perplexiteit om modelinstorting of degradatie in coherentie te detecteren.

Belangrijkste Bijdragen en Resultaten

1. Iteratief Finetunen is Grotendeels Idempotent (SFT en SDF)

Zowel in de Supervised Finetuning- als in de Synthetic Document Finetuning-omgevingen vinden de auteurs dat eigenschapsversterking zeldzaam, fragiel en gevoelig voor hyperparameters is.

• Verval of Handhaving: In het overgrote merendeel van de gevallen vervagen eigenschappen (terugkeren naar de basislijn) of blijven ze constant (handhaving) gedurende de cycli.
• Gevoeligheid: Wanneer versterking wel optreedt, is deze sterk afhankelijk van het aantal zaadvoorbeelden ($n_{seed}$) en het aantal gesamplede voorbeelden ($n_{sampled}$). Kleine veranderingen (bijvoorbeeld het toevoegen van twee zaadvoorbeelden) kunnen een versterkende traject omzetten in een vervallend traject.
• Geen Schalingseffect: Het verhogen van de hoeveelheid trainingsdata leidt niet tot meer versterking; grotere datasets bevorderen juist eigenschapshandhaving zonder versterking.
• Conclusie: Voor niet-RL finetunen is onbedoelde eigenschapsversterking onwaarschijnlijk dat het natuurlijk optreedt.

2. Continual DPO Maakt Betrouwbare Versterking Mogelijk

De Direct Preference Optimization-omgeving presenteert een andere dynamiek, specifiek wanneer het model continu wordt getraind (geïnitieerd vanuit $M_{j-1}$).

• Betrouwbare Versterking: In de continual DPO-omgeving versterken eigenschappen (zoals lucky, bliss en misanthropy) betrouwbaar gedurende de cycli, vaak verzettend tot extreme niveaus.
• Verdediging door Herinitialisatie: Wanneer modellen bij elke cyclus worden herinitialiseerd vanuit het basismodel ($M_{initial}$), verdwijnt versterking. Dit suggereert dat versterking in DPO vereist dat de cumulatieve druk van continual learning aanwezig is waarbij gewichten over cycli heen behouden blijven.
• Coherentie-ruil: Waar SFT- en SDF-versterking vaak gepaard gaat met een ernstige degradatie van coherentie (bijvoorbeeld modellen die instorten tot emoji-herhaling of oncoherente lussen), staat continual DPO aanzienlijke eigenschapsversterking toe terwijl relatief hoge coherentiescores behouden blijven, hoewel de zinslengte kan instorten.

3. De Ruil tussen Versterking en Coherentie

Het paper identificeert een natuurlijke rem op extreme versterking:

• Bij SFT en SDF zorgen pogingen om een eigenschap te versterken er vaak voor dat het model instort in repetitieve, oncoherente patronen (bijvoorbeeld pure emoji-reeksen of gebroken syntaxis), waardoor de versterking zichzelf effectief ondermijnt.
• Bij DPO is deze ruil minder ernstig, wat "functionele" versterking mogelijk maakt waarbij het model coherent blijft terwijl het voorkeuriger wordt.

4. Broosheid van Versterking

De auteurs tonen aan dat versterking broos is. Het repliceren van een versterkings-traject vereist dat exact hetzelfde zaadmodel ($M_{seed}$) wordt gebruikt. Als $M_{seed}$ opnieuw wordt getraind met een nieuwe willekeurige seed, treedt de versterking bijna nooit opnieuw op. Dit geeft aan dat versterking in SFT/SDF vaak een artefact is van specifieke, smalle hyperparameterconfiguraties in plaats van een robuust systemisch kenmerk.

Betekenis en Beweringen

Het paper concludeert dat de dreiging van "modelinstorting" of "oplopende vooroordelen" niet onvermijdelijk is voor alle trainingsparadigma's.

• Verdedigingsstrategieën: Het beperken van continu post-training (specifiek DPO-cycli die voortbouwen op opeenvolgende checkpoints) is een effectieve verdediging. Het herinitialiseren van modellen vanuit het basismodel tussen cycli elimineert de cumulatieve druk die nodig is voor versterking.
• Veiligheidsperspectief: Voor standaard SFT- en SDF-pijplijnen is het risico op onbedoelde eigenschapsversterking laag vanwege de idempotente aard van het proces en de gevoeligheid voor de hoeveelheid data.
• Aanwezige Risico's: Het primaire risico ligt in continual DPO, waarbij gebruikersvoorkeuren (bijvoorbeeld voor akkoordgevende of schijndienstbare antwoorden) systematisch een model kunnen drijven naar extreme eigenschappen terwijl functionele coherentie behouden blijft. Providers moeten toezicht houden op ongewenste eigenschappen die hoge menselijke beoordelingen krijgen tijdens iteratieve updates.

De auteurs benadrukken dat hun bevindingen gebaseerd zijn op specifieke model-families (Qwen3, Llama 3) en datasetschalen, en dat toekomstig werk nodig is om deze dynamiek te verifiëren in trainingspijplijnen op frontier-schaal. De resultaten suggereren echter dat het verhaal van "versterking" genuanceerder is: het is een specifiek risico van continue voorkeursoptimalisatie in plaats van een universeel gevolg van trainen op synthetische data.