Technische Samenvatting: De Paradox van Pessimisme in Conservatief Offline Trainen

1. Probleemstelling

Het standaardparadigma voor het afstemmen (aligning) van Large Language Models (LLM's) omvat een tweestaps-proces: eerst, offline training op menselijke voorkeursdata (bijv. via Direct Preference Optimisation, DPO) met behulp van een conservatiecoëfficiënt ($\beta$) om de afwijking van een referentiebeleid ($\pi_{ref}$) te bestraffen; ten tweede, online adaptatie met behulp van een geleerd proxy-beloningsmodel (reward model).

De heersende intuïtie (het "impliciete contract") is dat een hogere $\beta$ een veiligere basis creëert. De aanname is dat een conservatiever beleid dichter bij de distributie van het referentiebeleid blijft en daarmee ook dichter bij de trainingsdistributie van het beloningsmodel, wat de waarschijnlijkheid verkleint dat imperfecties in de proxy-beloning worden geëxploiteerd (reward hacking).

Dit artikel daagt deze intuïtie uit door aan te tonen dat er een paradox bestaat: hogere offline conservatie ($\beta$) versterkt de schade door reward-hacking tijdens de daaropvolgende online adaptatie juist. De auteurs stellen dat de afhankelijkheid van het vakgebied van maximale conservatie gebrekkig is en dat een gekalibreerde, in plaats van een maximale, benadering vereist is.

2. Methodologie

Experimentele Opzet

• Beleidmodel: Qwen3-14B, gefinetuned met LoRA-adapters in 4-bit NF4-kwantisatie.
• Beloningsmodel: Een ensemble van drie onafhankelijke Qwen3-1.7B sequentieclassificaties getraind met bootstrap-resampling op de UltraFeedback-dataset. Dit ensemble levert zowel een proxy-beloningssignaal als een schatting van de epistemische onzekerheid (via ensemble-discrepantie).
• Offline Training: Drie verschillende DPO-checkpoints werden getraind met variërende niveaus van conservatie ($\beta \in \{\beta_{lo}, \beta_{mid}, \beta_{hi}\}$). Deze $\beta$-waarden waren niet willekeurig, maar afgeleid van de 20e, 50e en 80e percentielen van de absolute log-ratio magnituden van het referentiebeleid op de voorkeursdata.
• Online Adaptatie: Elk checkpoint werd online aangepast tegen het geleerde beloningsensemble. Het doel omvatte een standaard advantage-weighted policy gradient en een adaptieve KL-penalty.
• Evaluatiemetriek: De werkelijke prestatie werd gemeten op de GSM8K-dataset met behulp van exact-antwoord nauwkeurigheid. Aangezien de werkelijke beloning alleen observeerbaar is tijdens evaluatie, definieerden de auteurs de Goodhart Gap ($G(t)$) als de divergentie tussen de genormaliseerde proxy-beloning en de genormaliseerde werkelijke beloning. De cumulatieve schade werd gekwantificeerd als de Area Under the Goodhart Gap Curve (AUGC).

Mechanische Analyse

De auteurs onderzochten de causale keten die hoge $\beta$ koppelt aan verhoogde hacking via drie specifieke schakels:

1. Entropiecompressie: Het meten van token-niveau entropie om te zien hoe $\beta$ de output-diversiteit van het beleid beperkt.
2. OOD Afstand: Het berekenen van de cosinusafstand tussen de verborgen toestanden (hidden states) van gegenereerde responsen en het zwaartepunt van de trainingsdistributie van het beloningsmodel.
3. Onzekerheidsgestuurde Exploitatie: Het analyseren van de correlatie tussen ensemble-discrepantie (epistemische onzekerheid) en de Goodhart Gap.

3. Belangrijkste Resultaten

De Paradox Empirisch Aangetoond

In tegenstelling tot de hypothese dat hogere conservatie reward-hacking vermindert, toonde de studie een monotone toename van de schade door reward-hacking naarmate $\beta$ toenam.

• AUGC Correlatie: Er was een perfecte positieve Spearman-rangcorrelatie ($\rho = 1.0$) tussen het conservatieniveau $\beta$ en de AUGC.
• Kwantitatieve Schade:
  • Lage $\beta$ ($0.310$): AUGC = 31.1
  • Mid $\beta$ ($1.000$): AUGC = 43.0
  • Hoge $\beta$ ($2.379$): AUGC = 145.8
• Goodhart Gap Trajecten: Hoewel de proxy-beloning de werkelijke prestatie over de gehele linie overschatte (negatieve gap) in alle condities, vertoonden de hoog-$\beta$ beleidsmodellen de meest ernstige en persistente divergentie.

Mechanische Bevindingen

Het paper identificeert een drieledige causale keten die de paradox verklaart:

1. Entropie-instorting: Hoge-$\beta$ DPO comprimeert de output-entropie van het beleid, waardoor het gedwongen wordt responsen te genereren met een verminderde diversiteit.
2. Distributie Mismatch: Paradoxaal genoeg zijn deze lage-entropie, diversiteit-arme responsen dichterbij (in cosinusafstand) het zwaartepunt van de trainingsdistributie van het beloningsmodel dan lage-$\beta$ responsen. Echter, omdat ze concentreren in een nauwe regio, triggeren ze een hogere epistemische onzekerheid (ensemble-discrepantie).
3. Exploitatie: De online optimizer, die streeft naar het maximaliseren van de gemiddelde proxy-beloning, exploiteert deze regio's van hoge ensemble-discrepantie snel. Het gebrek aan exploratierichtingen in lage-entropie beleidsmodellen kanaliseert gradiënt-updates direct naar de "blinde vlekken" van het beloningsmodel, wat de Goodhart gap versnelt.

Optimale Conservatie ($\beta^\star$)

Door een power-law curve te fitten op de $(\beta, \text{AUGC})$ data, identificeerden de auteurs een praktisch optimaal conservatieniveau, $\beta^\star \approx 1.082$.

• Veiligheidszone: $[0, \beta^\star]$.
• Gevaarzone: $(\beta^\star, \infty)$.
• Implicatie: Voorbij $\beta^\star$ leiden marginale toenames in conservatie tot disproportioneel grote toenames in het risico op hacking (superlineaire groei van de AUGC).

4. Betekenis en Claims

Het paper claimt het fundamentele begrip van veilige alignment-strategieën te veranderen:

• Weerlegging van Maximale Conservatie: De auteurs stellen dat de aanname "meer conservatieve offline training staat gelijk aan veiligere online adaptatie" wordt geschonden onder specifieke faalmodi die te maken hebben met OOD-gedreven reward-hacking.
• Kalibratie boven Maximale Waarde: Het vakgebied heeft behoefte aan "gekalibreerde, niet maximale, conservatie." Praktiseerders moeten streven naar een $\beta$ nabij $\beta^\star$ om een balans te vinden tussen alignment-getrouwheid en hacking-kwetsbaarheid, in plaats van simpelweg $\beta$ te maximaliseren om dicht bij het referentiebeleid te blijven.
• Mechanisch Inzicht: Het werk biedt een principiële verklaring voor waarom reward-hacking optreedt, door de interactie tussen entropiecompressie, ensemble-discrepantie en de specifieke geometrie van de trainingsdistributie van het beloningsmodel te koppelen.

De auteurs concluderen dat veilige offline-naar-online adaptatie expliciet rekening moet houden met de distributie-mismatch tussen het offline alignment-signaal (DPO) en de online proxy-beloning, in plaats van aan te nemen dat het dicht bij een referentiebeleid blijven een garantie voor veiligheid biedt.