Technische Samenvatting: Genormaliseerde Beloningen voor Preferentie-optimalisatie

Probleemstelling

Directe Alignatie-algoritmen (DAA's), zoals Direct Preference Optimization (DPO) en SimPO, zijn de standaard geworden voor het afstemmen van Large Language Models (LLM's) op menselijke voorkeuren vanwege hun computationele efficiëntie vergeleken met Reinforcement Learning from Human Feedback (RLHF). Recente studies hebben echter een kritieke beperking geïdentificeerd: DAA's lijden vaak aan over-optimalisatie van hun impliciete beloningsmodellen.

Een primaire manifestatie hiervan is likelihood displacement (waarschijnlijkheidsverschuiving), een fenomeen waarbij de waarschijnlijkheden van zowel de geprefereerde als de niet-geprefereerde antwoorden tijdens de training gelijktijdig dalen. Dit gebeurt omdat standaard DAA-doelstellingen (DPO, SimPO) de verschillen in beloningen tussen respons-paren optimaliseren, waardoor de partitiefunctie $Z(x)$ wiskundig gezien wegvalt. Als gevolg hiervan heeft het model geen stimulans om een gekalibreerde schatting van de totale waarschijnlijkheidsmassa over de responsruimte te behouden. Dit gebrek aan normalisatie leidt tot spuriële (vals-positieve) waarschijnlijkheidsverschuivingen, met name voor "niet-geziene" responsen (die niet in het trainingspaar voorkomen), wat potentieel kan leiden tot ongewenst of schadelijk gedrag.

Bestaande hypothesen voor over-optimalisatie—zoals een hoge embedding-gelijkenis tussen paren of onvoldoende regularisatie—slagen er niet in om zowel referentie-gebaseerde (bijv. DPO) als referentie-vrije (bijv. SimPO) methoden te generaliseren. Bovendien richten eerdere analyses zich vaak op individuele instanties van DAA's in plaats van op het gedeelde mechanisme van normalisatie.

Methodologie

De auteurs stellen dat beloningsover-optimalisatie voortkomt uit een gebrek aan normalisatie in de impliciete beloning. Om dit tegen te gaan, introduceren zij een regularisatieterm die ontworpen is om de totale lengte-genormaliseerde waarschijnlijkheidsmassa van de gekozen ($y_w$) en de verworpen ($y_l$) responsen binnen een preferentie-paar te conserveren.

De Regularisatieterm

De kerninzicht is dat voor een geparametriseerd taalmodel dat softmax toepast, de outputdistributie gedurende de training genormaliseerd moet blijven (partitiefunctie = 1). Omdat het schatten van de volledige partitiefunctie over alle mogelijke responsen onhaalbaar is, dwingen de auteurs normalisatie af op de geziene responsen.

Zij definiëren een regularisatie-straf $R(\pi_\theta, \pi_{ref}, x, y_w, y_l)$:
$$R = \lambda \left( \log \frac{\bar{\pi}_\theta(y_w|x) + \bar{\pi}_\theta(y_l|x)}{\bar{\pi}_{ref}(y_w|x) + \bar{\pi}_{ref}(y_l|x)} \right)^2$$
Waarbij:

• $\bar{\pi}$ staat voor lengte-genormaliseerde waarschijnlijkheden (om lengte-bias te mitigeren).
• $\lambda$ een hyperparameter is.
• De term het kwadraat van de log-ratio minimaliseert van de totale waarschijnlijkheidsmassa die aan het paar wordt toegewezen door het huidige model versus het referentiemodel.

Deze straf wordt toegevoegd aan de standaard doelstellingen:

1. N-DPO: $L_{N-DPO} = L_{DPO} + R$
2. N-SimPO: $L_{N-SimPO} = L_{SimPO} + R$

Mechanische Analyse

Het artikel biedt een theoretische gradiëntanalyse van deze regularisatieterm. De gradiënt van $R$ met betrekking tot de modelparameters $\theta$ is omgekeerd evenredig met de waarschijnlijkheid van individuele tokens.

• Outlier Tokens: De analyse laat zien dat likelihood displacement wordt gedreven door een kleine set outlier tokens met zeer lage waarschijnlijkheden. Deze tokens domineren de gradiënt-updates.
• Mitigatie: Wanneer de totale respons-waarschijnlijkheid afneemt, genereert de regularisatieterm gradiënten die primair de waarschijnlijkheid van deze laag-waarschijnlijke outlier tokens verhogen. Dit hervormt de beloningsdistributie, waardoor de massale spuriële dalingen in waarschijnlijkheid geassocieerd met displacement worden voorkomen, terwijl er minimale veranderingen worden aangebracht aan hoog-waarschijnlijke tokens die relevant zijn voor generatie.

Belangrijkste Bijdragen

1. Identificatie van Normalisatie-tekort: De auteurs illustreren hoe het onvermogen om rekening te houden met de distributie van niet-geziene responsen (door het wegvallen van de partitiefunctie in standaard doelstellingen) leidt tot likelihood displacement.
2. Mechanische Verklaring: Zij verbinden likelihood displacement aan de concentratie van waarschijnlijkheidsverschuivingen op outlier tokens en demonstreren via gradiëntanalyse dat hun regularisator deze verschuivingen mitigeert door gebruik te maken van laag-waarschijnlijke tokens.
3. Nieuwe Doelstellingen: Zij stellen N-DPO en N-SimPO voor, die de voorgestelde regularisatieterm bevatten, toepasbaar op zowel referentie-gebaseerde als referentie-vrije alignatie-methoden.
4. Empirische Validatie: Zij tonen aan dat deze aangepaste doelstellingen de afweging tussen generatiekwaliteit en algemene benchmark-prestaties verbeteren.

Experimentele Resultaten

De auteurs evalueerden N-DPO en N-SimPO op Mistral-7B-Instruct, Llama-3.1-8B-Instruct en OLMo-7B-SFT met de UltraFeedback dataset.

• Generatiekwaliteit (AlpacaEval):

  • Op Llama-3.1-8B-Instruct behaalde N-DPO een relatieve toename van >20% in AlpacaEval2 (Length-Controlled) scores vergeleken met standaard DPO.
  • Op OLMo-7B-SFT vertoonde N-SimPO een relatieve toename van >75% in AlpacaEval2 (Raw Win-Rate) vergeleken met SimPO.
  • De voorgestelde methoden presteerden over het algemeen beter dan andere regularisatie-baselines zoals DPO+SFT en DPOP.

• Algemene Benchmark Prestaties:

  • In tegenstelling tot de typische afruil waarbij verbeterde generatie de algemene capaciteiten verslechtert, behielden N-DPO en N-SimPO of verbeterden zij de scores op algemene kennis en redeneer-benchmarks (MMLU, ARC, HellaSwag, etc.).
  • Voor Llama-3.1-8B-Instruct verbeterde N-DPO de gemiddelde benchmark-scores met meer dan 3%, terwijl de generatiekwaliteit tegelijkertijd verbeterde.

• Beloningsmodellering (Reward Modeling):

  • Modellen getraind met de regularisatieterm vertoonden verbeterde of vergelijkbare beloningsmodellering nauwkeurigheid op held-out datasets (HH-RLHF, HelpSteer2) vergeleken met standaard DPO/SimPO, terwijl DPO+SFT en DPOP significante dalingen in nauwkeurigheid vertoonden.

• Likelihood Dynamiek:

  • Trainingscurves bevestigden dat regularisatie likelihood displacement mitigeert. In N-DPO bleven de waarschijnlijkheden van de gekozen respons stabiel, terwijl ze in standaard DPO significant daalden.
  • Token-niveau analyse bevestigde dat de regularisatie specifiek de distributie van de minimale token-beloningen (outliers) target en corrigeert.

Betekenis en Claims

Het artikel claimt dat beloningsnormalisatie een cruciale, eerder over het hoofd geziene factor is voor het succes van Directe Alignatie-algoritmen. Door expliciet de conservering van de waarschijnlijkheidsmassa voor geziene responsen af te dwingen, stelt de voorgestelde methode in staat om:

1. Likelihood Displacement te Mitigeren: Het voorkomt spuriële waarschijnlijkheidsverschuivingen die kunnen leiden tot schadelijk gedrag, met name door het gedrag van outlier tokens te corrigeren.
2. Afruilen te Verbeteren: Het stelt modellen in staat om voorkeuren effectiever te leren zonder algemene capaciteiten op te offeren, waarmee het "over-optimalisatie"-probleem wordt aangepakt dat de betrouwbaarheid van DAA's heeft beperkt.
3. Te Generaliseren: De aanpak is effectief in zowel referentie-gebaseerde als referentie-vrije frameworks, wat wijst op een verenigd mechanisme voor over-optimalisatie.

De auteurs concluderen dat hun analyse licht werpt op waarom DAA's de generatiekwaliteit verbeteren ondanks dalende waarschijnlijkheden (door de verschuiving van outlier tokens) en demonstreren dat het gebruik van laag-waarschijnlijke tokens voor regularisatie een effectieve strategie is om beloningsdistributies te hervormen. Zij merken op dat hoewel hun huidige analyse zich richt op offline settings, de bevindingen motiveren tot verder onderzoek naar het fijnmazige gedrag van beloningsmodellen in preferentie-optimalisatie.