Technische Samenvatting: Wanneer In-Distribution Winsten Falen: Evaluatie van Zwak-naar-Sterk Beloningsmodellen onder Preferentieverschuiving

1. Probleemdefinitie

Het artikel adresseert een kritieke kloof in Zwak-naar-Sterk (W2S) generalisatie voor schaalbaar toezicht. Waar W2S-kaders erop gericht zijn om een sterker studentmodel te trainen met behulp van labels van een zwakkere leraar om capaciteiten boven de eigen prestaties van de leraar te eliciteren, vertrouwen bestaande evaluaties doorgaans op overeenkomende train-test-verdelingen.

De auteurs betogen dat deze opzet de betrouwbaarheid van uitlijning in real-world implementaties overschat. Specifiek onderzoeken zij W2S-preferentieleren onder zero-shot distributieverplaatsing. Het kernprobleem is dat sterke studenten die zijn getraind op zwakke preferentielabels uit een bron-domein vaak succesvol lijken binnen de verdeling (ID), maar falen in het overdragen van hun geleerde uitlijningsgedrag naar onzichtbare doeldomeinen (buiten de verdeling, OOD).

Het artikel identificeert een specifiek faalpatroon: representatiefalen. Zwak-gesuperviseerde fine-tuning kan de interne representaties van het sterke model trekken naar bron-domeinspecifieke artefacten in plaats van breed overdraagbare preferentierepresentaties te behouden. Bijgevolg past het model zich aan de brondata aan maar verliest het generaliseerbaarheid.

2. Methodologie: Representatieverankering (ANCHOR)

Om representatieve drift te mitigeren, stellen de auteurs Representatieverankering (ANCHOR) voor, een regularisatietechniek die is ontworpen om het studentmodel tijdens zwak-gesuperviseerde fine-tuning te beperken.

Kernmechanisme

ANCHOR verrijkt de standaard zwak-naar-sterk preferentieleringsdoelstelling met een regularisator die de verborgen staten van de student dicht bij die van een bevroren vooraf getraind referentiemodel houdt (geïnitialiseerd vanuit hetzelfde checkpoint als de student voor fine-tuning).

De trainingsdoelstelling combineert twee termen:

1. Zwakke Preferentieverlies ($L_{w2s}$): Het standaard Bradley-Terry-verlies waarbij de sterke student leert om te matchen met de zachte preferentiekansen ($q_i$) gegenereerd door de zwakke leraar.
2. Verankeringsverlies ($L_{anchor}$): Een gemaskerde Gemiddelde Kwikkwaad (MSE) tussen de verborgen staten van het trainbare studentmodel en het bevroren referentiemodel. Dit verlies wordt alleen toegepast op antwoordtokens, exclusief prompt- en paddingtokens.

Het totale verlies voor een steekproef $i$ is:
$$L(i) = L_{w2s}(i) + \lambda L_{anchor}(i)$$
waarbij $\lambda$ de sterkte van de representatiebehoud regelt.

Varianten

De auteurs evalueren twee varianten gebaseerd op welke lagen worden verankerd:

• Laatste-Laag ANCHOR (Standaard): Past het verlies toe op de laatste transformerlaag. Dit is computatie-efficiënt en regulariseert direct de representatie die door de reward-kop wordt gebruikt.
• Midden-Laag ANCHOR: Past het verlies toe op intermediaire lagen (bijv. 50% en 75% van de lagen) om algemene kenmerken te behouden terwijl de laatste lagen meer flexibiliteit krijgen.

3. Evaluatieprotocol en Metrieken

Het artikel introduceert een zero-shot preferentiedomein-verschuivings-evaluatieprotocol. In plaats van standaard vastgehouden splitsen, worden modellen getraind op één dataset (bron-domein) en geëvalueerd op:

• In-Distribution (ID): Een vastgehouden testsplit van dezelfde brondataset.
• Out-of-Distribution (OOD): Testspitsen van verschillende datasets binnen dezelfde brede preferentiecategorie (bijv. trainen op HelpSteer3, testen op Anthropic Helpful of UltraFeedback).

Om prestaties te kwantificeren, stellen de auteurs drie Transfer-bewuste Metrieken voor:

1. Zwak-naar-Sterk Ruwe Winst (WRG): Meet ID-verbetering ten opzichte van de zwakke leraar ($Acc_{student} - Acc_{teacher}$ op bron).
2. Absolute OOD Winst (AOG): Meet overdracht naar een doeldomein ($Acc_{student} - Acc_{teacher}$ op doel).
3. Net Transfer Score (NTS): Een samengestelde metriek die regressie in het bron-domein bestraft.
   $$NTS = AOG - \max(0, Acc_{teacher}^{ID} - Acc_{student}^{ID})$$
   Dit zorgt ervoor dat winsten in OOD-domeinen niet worden bereikt ten koste van betrouwbaarheid in het bron-domein.

4. Belangrijkste Resultaten

Experimenten werden uitgevoerd over twee preferentiecategorieën (Helpful en Harmless) en twee modelfamilies (Llama en Qwen), met datasets zoals HelpSteer3, Anthropic Helpful/Harmless, UltraFeedback, PKU-SafeRLHF en RAIL.

• ID Succes Maskeert OOD Falen: Baseline-methoden (Naive W2S en Confidence-based W2S) bereiken vaak sterke ID-prestaties (hoge WRG) maar vertonen significante prestatiedalingen of negatieve overdracht in OOD-situaties. Bijvoorbeeld, een Naive-model getraind op HelpSteer3 toonde een daling van 20 punten in nauwkeurigheid bij evaluatie op Anthropic Helpful.
• SEAM Trade-off: De SEAM-baseline toonde een scherpe trade-off, waarbij concurrerende OOD-winsten werden behaald, maar vaak ten koste van ernstige ID-degradatie (negatieve WRG).
• ANCHOR Prestaties: ANCHOR behaalde consequent de meest gebalanceerde resultaten. Het behield concurrerende ID-prestaties terwijl het OOD-overdracht aanzienlijk verbeterde.
  • In de Llama/Helpful-instelling verbeterde ANCHOR de AOG op Anthropic Helpful van 0,60 (Naive) naar 4,41.
  • Het leverde de hoogste Net Transfer Scores op in de meeste configuraties, wat aantoont dat het succesvol bron-domeinbetrouwbaarheid behoudt terwijl het cross-domein generalisatie mogelijk maakt.
• Ablatiebevindingen:
  • Verankeringssterkte ($\lambda$): Een matige verankeringssterkte (bijv. $\lambda = 10^{-4}$) bood de beste balans. Sterkere beperkingen hinderden adaptatie aan het zwakke signaal, terwijl zwakkere beperkingen faalden om drift te voorkomen.
  • Lagkeuze: Laatste-Laag ANCHOR bood over het algemeen een betere algehele balans dan Midden-Laag ANCHOR, wat suggereert dat het regulariseren van de laatste representatie voldoende en efficiënter is voor deze taak.

5. Betekenis en Claims

Het artikel claimt drie primaire bijdragen:

1. Evaluatieprotocol: Het vestigt een rigoureus zero-shot preferentiedomein-verschuivingsprotocol, betogend dat ID-nauwkeurigheid alleen onvoldoende is voor het evalueren van W2S-beloningsmodellen.
2. Empirisch Bewijs: Het demonstreert dat huidige W2S-methoden fragiel zijn onder distributieverplaatsing, onthullend dat in-distribution-winsten de betrouwbaarheid van uitlijning kunnen overschatten.
3. Robuuste Methode: Het introduceert ANCHOR, een eenvoudige regularisatiemethode die representatiedrift effectief beperkt. De auteurs claimen dat dit een praktische weg biedt naar robuustere preferentie-overdracht zonder de inferentie-tijd architectuur te wijzigen.

De auteurs concluderen dat robuuste W2S-uitlijning niet alleen moet worden geëvalueerd aan de hand van of sterke modellen leren van zwakke supervisie, maar aan de hand van of de geleerde beloningsfunctie betrouwbaar blijft buiten het specifieke trainingsdomein.

6. Beperkingen

De auteurs erkennen verschillende beperkingen:

• Offline Proxy-metrieken: De evaluatie vertrouwt op offline paar-nauwkeurigheid, wat mogelijk niet volledig de nuances van downstream-implementatie vastlegt (bijv. best-of-n-selectie, online RLHF, of kwaliteit van open-eindige generatie).
• Rekenkosten: Hoewel inferentie standaard blijft, vereist training een extra forward-pass door het bevroren referentiemodel, wat de VRAM- en tijdseisen verhoogt.
• Scope: Experimenten zijn beperkt tot specifieke helpful/harmless-domeinen en modelschalen; bredere evaluatie over diverse taakdomeinen en grotere modelfamilies is nodig.