Mitigating Reward Hacking in RLHF via Advantage Sign Robustness

Probleemstelling: Reward Hacking in RLHF

Reinforcement Learning from Human Feedback (RLHF) is de standaardparadigma voor het alignen van Large Language Models (LLMs) met menselijke intenties. Het proces omvat het trainen van een beloningsmodel (Reward Model, RM) op menselijke voorkeursdata, dat vervolgens fungeert als proxy voor de ware, onwaarneembare menselijke voorkeur tijdens de optimalisatie van het beleid (policy).

Het fundamentele probleem is reward hacking: omdat het RM een imperfecte proxy is, exploiteert het beleid lokale onnauwkeurigheden in de beloningslandschap. Hierdoor stijgt de proxy-beloning, terwijl de werkelijke kwaliteit van de output plat loopt of zelfs verslechtert. Dit gebeurt vooral wanneer het RM met beperkte data is getraind of wanneer het beleid afwijkt van de distributie waarop het RM is getraind.

Bestaande oplossingen zijn vaak zwaar (zoals ensemble-methoden die meerdere RMs vereisen) of vereisen toegang tot de oorspronkelijke trainingsdata van het RM, wat in de praktijk vaak niet beschikbaar is (bijvoorbeeld bij het gebruik van third-party RMs).

Methodologie: SignCert-PO

De auteurs stellen dat het cruciaal is of het RM de teken (sign) van het voordeel (advantage) van een specifieke reactie correct voorspelt. Een verkeerd teken leidt tot een update die de kans op een slechte reactie vergroot in plaats van verkleint.

De kern van de voorgestelde methode, Sign-Certified Policy Optimization (SignCert-PO), is het kwantificeren van de betrouwbaarheid van deze tekenvoorspelling per individuele reactie.

1. Gecertificeerde Tebehoudsradius (Certified Sign-Preservation Radius)

Inspiratie wordt gehaald uit Randomized Smoothing (RS). De auteurs definiëren de certified sign-preservation radius ($\Delta_j$) voor een reactie $j$ als de kleinste verstoring in de parameterruimte van het RM die nodig is om het teken van het voordeel ($A_j$) om te draaien.

• Een groot $\Delta_j$ betekent dat het teken robuust is (het RM moet sterk veranderen voordat de voorspelling omkeert).
• Een klein $\Delta_j$ betekent dat het teken fragiel is en de reactie onbetrouwbaar is.

2. Benadering via Lineaire Kop

Het exact berekenen van $\Delta_j$ voor alle parameters van het RM is computationeel onhaalbaar (vereist per-reactie gradiënten). De auteurs maken een cruciale vereenvoudiging: ze nemen aan dat de onzekerheid zich alleen voordoet in de lineaire kop (de laatste laag) van het RM, terwijl de feature-extractor (de backbone) vaststaat.
Onder deze aanname kan de radius in gesloten vorm worden berekend:
$$\Delta_j = \frac{|A_j|}{\|h_j - \bar{h}\|_2}$$
Waarbij:

• $A_j$ het voordeel is van reactie $j$.
• $h_j$ de feature-vector is van reactie $j$.
• $\bar{h}$ het gemiddelde van de feature-vectors binnen de groep is.

Dit betekent dat reacties die statistische uitschieters zijn in de feature-ruimte (grote afwijking van het gemiddelde) een kleine radius krijgen en dus als onbetrouwbaar worden beschouwd.

3. Herweging van de Policy Gradient

SignCert-PO past een conservatieve benadering toe op de policy gradient update. In plaats van alle reacties gelijk te behandelen, wordt de bijdrage van elke reactie gewogen met een factor $\rho^*_j$:
$$\rho^*_j = 1 - \frac{\epsilon}{\Delta_j}$$
Hierbij is $\epsilon$ een drempelwaarde (bepaald adaptief op basis van de verdeling van de ratio's in de batch).

• Als $\Delta_j$ klein is (onbetrouwbaar teken), wordt $\rho^*_j$ klein of negatief, waardoor de update voor die reactie wordt onderdrukt of omgekeerd.
• Als $\Delta_j$ groot is, blijft de update grotendeels intact.

Dit resulteert in een nieuwe gradiëntupdate die alleen betrouwbare richtingen volgt en "reward hacking" door onbetrouwbare signalen voorkomt.

Belangrijkste Bijdragen

1. Nieuw Perspectief op Robuustheid: De auteurs verschuiven de focus van globale onzekerheid naar per-completion sign-robustheid. Ze tonen aan dat het belangrijk is om te weten of het teken van het voordeel specifiek voor die reactie stabiel is.
2. Lightweight Post-Hoc Methode: SignCert-PO vereist geen hertraining van het RM, geen ensemble-methoden en geen toegang tot de oorspronkelijke trainingsdata. Het werkt puur tijdens de policy-optimalisatie met alleen de huidige RM-parameters en on-policy reacties.
3. Efficiënte Berekening: Door de focus te leggen op perturbaties van de lineaire kop, wordt een gesloten vorm afgeleid die computatie-efficiënt is en geen extra VRAM-gebruik vereist vergeleken met standaard GRPO.
4. Theoretische Onderbouwing: Het paper levert een formele connectie met Randomized Smoothing en toont aan dat globale robustheids-objectives (die één straf voor alle reacties gebruiken) te pessimistisch zijn en niet kunnen onderscheiden tussen betrouwbare en onbetrouwbare reacties.

Resultaten

De methode is geëvalueerd op twee benchmarks: TL;DR (samenvatting) en AlpacaFarm, met modellen uit de Pythia en Qwen2.5 families.

• Win-rate: SignCert-PO behaalde consistent de hoogste win-rate (beoordeeld door een "gold" RM) in de meeste settings, vaak significant beter dan baselines zoals Dr.GRPO, UWO (Uncertainty Weighted Optimization), BSPO en AdvPO.
• Mitigatie van Reward Hacking: In tegenstelling tot baselines waarbij de proxy-beloning blijft stijgen terwijl de echte kwaliteit daalt, behoudt SignCert-PO een hoge correlatie met de echte kwaliteit. Het houdt het beleid in gebieden waar het proxy-RM nog betrouwbaar is.
• Efficiëntie: De methode voegt verwaarloosbare rekentijd toe aan Dr.GRPO (slechts het berekenen van de wegingsfactoren op basis van reeds gegenereerde features).
• Data-efficiëntie: De voordelen van SignCert-PO zijn het grootst wanneer het proxy-RM is getraind met beperkte voorkeursdata (bijv. 1 epoch), wat de meest praktische scenario's zijn waar reward hacking vaak optreedt.

Betekenis en Conclusie

SignCert-PO biedt een elegante en praktische oplossing voor het veelvoorkomende probleem van reward hacking in RLHF. Door te focussen op de robustheid van het teken van het voordeel per individuele reactie, kunnen modellen veiliger worden geoptimaliseerd zonder de complexiteit van ensemble-methoden of de noodzaak tot extra data.

De studie benadrukt dat niet alle updates even betrouwbaar zijn; sommige reacties zijn "uiterst gevoelig" voor kleine veranderingen in het RM en moeten daarom worden onderdrukt. Deze aanpak maakt het mogelijk om bestaande RLHF-pipelines te verbeteren met minimale overhead, wat essentieel is voor de schaalbare en betrouwbare ontwikkeling van gealigneerde taalmodellen.