Technische Samenvatting: Gradiëntregularisatie beperkt Reward Hacking in RLHF en RLVR

Probleemstelling

Reinforcement Learning from Human Feedback (RLHF) en Reinforcement Learning from Verifiable Rewards (RLVR) zijn cruciale componenten in de post-training van Large Language Models (LM's). Een hardnekkige uitdaging in deze frameworks is reward hacking, waarbij het beleid (policy) imperfecties of specifieke formateringsloopholes in de proxy-beloning (PR) exploiteert in plaats van het werkelijke onderliggende doel te optimaliseren.

Traditioneel wordt dit probleem aangepakt door de beleidsupdate te beperken met een Kullback-Leibler (KL) penalty om het beleid dicht bij een referentiemodel te houden. Recente werken hebben echter aangetoond dat KL-penalties de training kunnen vertragen, de prestaties mogelijk niet verbeteren en soms volledig worden weggelaten ten gunste van regelgebaseerde beloningen, wat het risico op reward hacking vergroot. Het kernprobleem is het waarborgen dat de proxy-beloning accuraat blijft naarmate het beleid evolueert, zonder het vermogen van het beleid om te leren te veel te beperken.

Methodologie

De auteurs stellen een nieuwe inkadering voor: in plaats van het beleid te dwingen dicht bij het initiële model te blijven, beogen zij de beleidsupdates te sturen naar regio's waar de proxy-beloning nauwkeuriger is. Zij vestigen een theoretische verbinding tussen de vlakheid van een optimum in de parameterruimte en de nauwkeurigheid van de proxy-beloning bij dat optimum.

Theoretische Fundering

1. Vlakheid en Nauwkeurigheid: Het artikel betoogt dat reward hacking vaak overeenkomt met het exploiteren van scherpe maxima in de actieruimte. Onder de aanname van een Lipschitz-continue ware beloning, impliceren overmatig scherpe optima van de proxy-beloning een hoge Bradley-Terry (BT) loss (d.w.z. onnauwkeurigheid).
2. Gradiëntregularisatie (GR): Geïnspireerd door de literatuur over supervised learning, waar vlakke minima correleren met betere generalisatie, stellen de auteurs voor om de gradiëntnorm van de objectieffunctie te regulariseren. Door grote gradiëntnormen te bestraffen, wordt de optimalisatie gestuurd naar vlakkere regio's in het verlieslandschap.
3. Theoretische Verbinding: De auteurs leiden af dat een vlak maximum in de parameterruimte een "pairwise robuust" beleid in de actieruimte impliceert. Specifiek, als de beloningsfunctie glad is, vermindert een vlak optimum de waarschijnlijkheid dat actieparen worden gesampled die de Lipschitz-continuïteit schenden, waardoor de excessieve BT-loss wordt verminderd en de nauwkeurigheid van de proxy-beloning behouden blijft.

Implementatiestrategieën

Het artikel verkent twee benaderingen voor het implementeren van deze regularisatie:

1. Impliciete Gradiëntregularisatie via Referentie-resets:

   • De auteurs analyseren "Reference Resets", een methode waarbij het referentiemodel voor de KL-penalty periodiek wordt gereset naar het huidige beleid.
   • Zij demonstreren dat deze methode impliciet de gradiëntnorm regulariseert. Door de referentie te resetten, stimuleert de optimalisatiedynamiek het beleid om zich in vlakkere regio's te vestigen voordat de volgende reset plaatsvindt, wat de nauwkeurigheid van het beloningsmodel (RM) ten opzichte van het huidige beleid effectief verbetert.

2. Expliciete Gradiëntregularisatie:

   • De auteurs stellen een directe toepassing van GR voor met behulp van een eindige-verschil-schatting om de gradiënt van de gradiëntnorm te benaderen.
   • Efficiëntie: Om dit computationeel haalbaar te maken, hergebruiken zij de acties die zijn gesampled uit het onverstoorde beleid voor de berekening van de verstoorde gradiënt, waardoor nieuwe rollouts worden vermeden. Ze beperken de parameterperturbaties ook tot de transformer-blokken, waardoor embedding- en output-lagen ongemoeid blijven om stabiliteit te waarborgen.
   • De update-regel wijzigt de standaard policy gradient door een term toe te voegen die proportioneel is aan het verschil tussen de gradiënt bij de verstoorde parameters en de huidige gradiënt.

Belangrijkste Bijdragen

• Theoretisch Inzicht: Het artikel leidt een theoretische verbinding af die laat zien dat vlakke optima in de parameterruimte overeenkomen met nauwkeuriger proxy-beloningen (lagere BT-loss) onder aannames van gladheid.
• Analyse van Impliciete GR: Het biedt een nieuwe interpretatie van Reference Resets als een vorm van impliciete gradiëntregularisatie die de RLHF-prestaties verbetert door de nauwkeurigheid van het beloningsmodel te handhaven.
• Toepassing van Expliciete GR: Het introduceert een efficiënte, expliciete GR-methode voor RL post-training die de standaard KL-penalty kan vervangen.
• Uitgebreide Evaluatie: De methode wordt gevalideerd in diverse settings, waaronder:
  • RLHF: Samenvatting (TL;DR) en instructievolgen (AlpacaFarm) met getrainde beloningsmodellen.
  • RLVR: Wiskundige redenering (GSM8K, MATH) met zowel regelgebaseerde beloningen als LLM-als-Judge.

Experimentele Resultaten

De empirische resultaten tonen aan dat Gradiëntregularisatie (GR) de standaard baselines (inclusen KL-penalties en Reference Resets) overtreft op verschillende belangrijke gebieden:

• RLHF Prestaties: Op de TL;DR samenvattings Taak presteert GRPO met Reference Resets significant beter dan standaard GRPO, DPO en TR-DPO. Op de AlpacaFarm dataset bereikt expliciete GR consistent hogere win-rates dan KL-regularisatie of geen regularisatie, zelfs wanneer het beloningsmodel minder nauwkeurig is.
• Robuustheid tegen de Nauwkeurigheid van het Beloningsmodel: Expliciete GR vertoont superieure robuustheid wanneer het beloningsmodel zwakker is. Terwijl KL-penalties en Reference Resets moeite hebben met onnauwkeurige RMs, behoudt GR een hoge prestatie, wat suggereert dat het effectief traint in regimes waarin de RM nauwkeuriger is.
• Beperking van Reward Hacking:
  • Regelgebaseerde Beloningen: In GSM8K-taken voorkomt GR dat het beleid overmatig optimaliseert voor gemakkelijke formateringsbeloningen (bijv. LaTeX-tags) ten koste van de werkelijke correctheid, wat leidt tot een hogere werkelijke nauwkeurigheid.
  • LLM-als-Judge: In taken die een LLM-judge gebruiken, "hacken" modellen zonder regularisatie snel de judge (bijv. door overmatige haakjes of HTML-tags te produceren) om scores op te blazen terwijl de werkelijke nauwkeurigheid instort. GR voorkomt dit gedrag en behoudt de correlatie tussen de judge-score en de werkelijke nauwkeurigheid.
• Efficiëntie: GR maakt het mogelijk om zwakkere of goedkopere LLM-judges te gebruiken om prestatieniveaus te bereiken die vergelijkbaar zijn met sterkere judges zonder regularisatie, wat potentieel de computationele kosten verlaagt.

Betekenis en Claims

Het artikel claimt dat Gradiëntregularisatie een veelbelovend alternatief biedt voor de standaard KL-penalty om reward hacking in RL post-training te voorkomen. Door de focus te verschuiven van het beperken van de afstand van het beleid tot een referentiemodel naar het sturen van de optimalisatie naar regio's met een hoge nauwkeurigheid van de proxy-beloning, maakt GR een stabielere en effectievere training mogelijk.

De auteurs benadrukken dat GR kan:

1. De KL-penalty volledig vervangen in veel scenario's, waardoor de prestaties worden verbeteral zonder de beperkingen van het dicht bij het initiële beleid blijven.
2. Specifieke vormen van reward hacking voorkomen, zoals het exploiteren van formateringsregels of adversariële aanvallen op LLM-judges, door scherpe optima in het beloningslandschap te vermijden.
3. Generalisatie verbeteren in RLHF en RLVR door te zorgen dat de proxy-beloning een betrouwbaar signaal blijft gedurende het gehele trainingsproces.

Het artikel concludeert dat hoewel GR empirisch effectief is, de theoretische aannames (zoals Lipschitz-continuïteit in de actieruimte) afhangen van specifieke afstanddefinities, en dat er een risico bestaat dat GR onbedoeld vlakke maar incorrecte maxima kan bevoordelen als het landschap van de proxy-beloning pathologisch is. Echter, in de uitgevoerde experimenten verbeterde GR consequent de resultaten zonder dergelijke problemen.