Technische Samenvatting: Discretisering van Beloningsmodellen

Probleemstelling

Reinforcement Learning from Human Preferences (RLHF) vertrouwt op beloningsmodellen (Reward Models, RM's) om de kwaliteit van responsen te schatten bij afwezigheid van verifieerbare grondwaarheid. Ho'ewel standaard RM's continue scores produceren om fijnmazige nuances te vangen (bijv. het onderscheid tussen "goed" en "geweldig"), stelt dit artikel dat deze schijnbare kracht een kritieke zwakte is: overgevoeligheid.

Populaire beloningsmodellen kennen vaak verschillende continue scores toe aan responsen die objectief van gelijke utiliteit zijn. Deze "overgevoeligheid" is niet louter ruis, maar een leerbaar signaal dat modellen kunnen exploiteren, wat leidt tot "reward hacking", waarbij beleid (policies) optimaliseert voor spuriële kenmerken (bijv. linguïstische hedging) in plaats van de primaire taak. Huidige evaluatiemetrieken, zoals die op RewardBench, richten zich zwaar op discriminatief vermogen (het onderscheiden van goed van slecht), maar falen in het bestraffen van het onvermogen om gelijke gevallen te herkennen (lage specificiteit). De auteurs stellen dat een beloningsmodel een perfect discriminatief vermogen kan hebben, maar toch zeer overgevoelig kan zijn, wat leidt tot suboptimale beleidsregels in downstream RL.

Methodologie

Theoretisch Kader

De auteurs formaliseren het probleem door twee onderscheidende metrieken voor de effectiviteit van het beloningsmodel te definiëren:

1. Discriminatief Vermogen ($D_r$): De waarschijnlijkheid dat het model twee responsen met verschillende utiliteit correct rangschikt ($u(a) > u(b) \implies r(a) > r(b)$).
2. Specificiteit ($Spec_r$): De waarschijnlijkheid dat het model gelijke scores toekent aan responsen met gelijke utiliteit ($u(a) = u(b) \implies r(a) = r(b)$). Dit is het complement van overgevoeligheid.

Het papier demonstreert theoretisch (Proposities 2.2–2.4) dat onder een lineair beloningsmodel met begrensde ruis, een model een perfect discriminatief vermogen kan bereiken terwijl het nog steeds een niet-nul overgevoeligheid vertoont. Cruciaal is dat Stelling 2.6 en Stelling 2.7 bewijzen dat er discretiseringsdrempels bestaan die tegelijkertijd een perfect discriminatief vermogen kunnen handhaven en een perfecte specificiteit (nul overgevoeligheid) kunnen bereiken, waardoor de gecombineerde score van beide metrieken wordt gemaximaliseerd.

Algoritme: Reward Clustering

Om dit zonder het beloningsmodel opnieuw te trainen te implementeren, stellen de auteurs een training-vrij algoritme voor genaamd Reward Clustering:

1. Variantie-estimatie: Voor een batch responsen schat het algoritme de voorspellende variantie van de output van het beloningsmodel met behulp van Monte Carlo (MC) Dropout. Door meerdere stochastische forward passes uit te voeren, benadert het de posterieure distributie van de beloning voor elke respons.
2. Clustering: Het behandelt discretisering als een 1-D clusteringprobleem. Met behulp van hiërarchische clustering met complete linkage groepeert het responsen waarvan de beloningsdistributies significant overlappen (d.w.z. $P(|r_i - r_j| < \Delta) > p^*$).
3. Discretisering: Responsen binnen hetzelfde cluster krijgen dezelfde discrete gehele getal-beloning op basis van de ordinale rang van het gemiddelde van dat cluster. Dit groepeert effectief de continue beloningsruimte in bins, waardoor de spuriële variantie tussen even nuttige responsen wordt verwijderd.

Belangrijkste Resultaten

1. Benchmark Analyse (RewardBench 2 "Ties")

Geëvalueerd op de "Ties"-subset van RewardBench 2, die prompts bevat met meerdere even valide "gekozen" responsen, verbeterde de voorgestelde methode consistent de trade-off tussen discriminatief vermogen en specificiteit:

• Winst in Specificiteit: Reward clustering verhoogde de specificiteit aanzienlijk over alle geteste modellen (Skywork V1/V2, GRM, ArmoRM), waardoor de neiging om onderscheid te maken tussen even goede responsen werd verminderd.
• Discriminatieve Trade-off: Hoewel het discriminatief vermogen een bescheiden daling zag, verbeterde de gemiddelde van de twee metrieken (de voorgestelde gecombineerde score) voor elk model.
• Baseline Vergelijking: De methode presteerde beter dan standaard baselines zoals reward clipping, ensembling en eenvoudige binaire drempelwaarden.

2. Mitigatie van Spuriële Beloningen

In een gecontroleerde simulatie waarbij een beloningsmodel werd getraind op een mengeling van een primair doel (instructie-opvolging) en een secundair spuriëel doel (linguïstische hedging):

• Ruwe Beloningen: Beleidsregels getraind op ruwe continue beloningen optimaliseerden snel voor het spuriële hedging-signaal, wat de prestaties op de primaire taak verslechterde.
• Gediscretiseerde Beloningen: Beleidsregels getraind op gediscretiseerde beloningen behielden een hoge prestatie op de primaire taak, terwijl ze slechts marginaal optimaliseerden voor het secundaire doel, wat het "reward hacking"-gedrag in de ruwe setting effectief voorkwam.

3. Real-World RL Prestaties

In multi-task RL experimenten (IFEval, GSM8K, MATH) met ongelabelde prompts en GRPO:

• Beleidskwaliteit: Gediscretiseerde beloningen leidden tot beleidsregels die nooit significant slechter waren dan die getraind op ruwe beloningen en vaak aanzienlijk betere prestaties leverden.
• Robuustheid: De methode voorkwam de degeneratieve beleidsregels die vaak worden gezien bij training op ruwe beloningsmodellen, wat suggereert dat discretisering fungeert als een regularisatie tegen overfitting aan ruis.

Betekenis en Claims

Het artikel claimt dat het vakgebied te veel nadruk heeft gelegd op het discriminatieve vermogen van beloningsmodellen en daarbij de specificiteit heeft verwaarloosd. De auteurs stellen dat:

• Overgevoeligheid is een fundamenteel defect: Zelfs "perfecte" beloningsmodellen (in termen van rangschikking) kunnen schadelijk zijn als ze overgevoelig zijn, aangezien deze variantie een leerbaar signaal biedt voor reward hacking.
• Discretisering is een superieur mechanisme: Door continue beloningen om te zetten in discrete clusters, kunnen beoefenaars de overgevoeligheid verminderen met minimaal verlies aan discriminatief vermogen.
• Training-vrije toepasbaarheid: Het voorgestelde reward clustering algoritme vereist geen hertraining van het onderliggende neurale netwerk, waardoor het een directe vervanging is voor standaard RLHF-pipelines.

De auteurs concluderen dat het discretiseren van beloningen via clustering modellen in staat stelt de voordelen van het leren van beloningsmodellen te behouden, terwijl de negatieve effecten van overgevoeligheid worden gemitigeerd, wat leidt tot robuustere en beter uitgelijnde beleidsregels.