Technische Samenvatting: Bayesiaanse Voorkeurslering voor Stuurbare Beloningsmodellen op Testtijd

Probleemstelling

Beloningsmodellen (RMs) zijn centraal in het afstemmen van taalkundige modellen op menselijke voorkeuren via Reinforcement Learning from Human Feedback (RLHF). Traditioneel worden classifier-RMs getraind als statische schatters van de parameters van het Bradley-Terry (BT)-model, gebruikmakend van een vast dataset. Eenmaal getraind, missen deze modellen aanpassingsvermogen; ze kunnen zich niet aanpassen aan ongezette voorkeursverdelingen of dynamische afwegingen (bijvoorbeeld het balanceren van nuttigheid versus veiligheid) zonder hertraining. Bovendien zijn standaard classifier-RMs vatbaar voor "over-optimalisatie", waarbij voorkeurskansen naar 1 convergeren, wat leidt tot lokale optima die de werkelijke complexiteit van menselijke voorkeuren niet vastleggen. Hoewel "LLM-as-a-Judge"-benaderingen flexibiliteit bieden, vertrouwen ze vaak op propriëtaire modellen met hoge rekenkosten. Het artikel adresseert de behoefte aan een efficiënt, op classifiers gebaseerd RM dat op testtijd aanpasbaar blijft en over-optimalisatie voorkomt.

Methodologie: Variational In-Context Reward Modeling (ICRM)

De auteurs stellen Variational In-Context Reward Modeling (ICRM) voor, een Bayesiaans kader dat beloningsmodellering behandelt als geamortiseerde variational inference over een latente voorkeurskans.

Kernformulering

1. Definitie van Latente Variabele: Het model introduceert een latente stochastische variabele $z \in [0, 1]$ die de kans voorstelt dat een gekozen antwoord $y_w$ wordt verkiezen boven een verworpen antwoord $y_l$, gegeven een prompt $x$ en een set in-context demonstraties $C$.
2. Beta-Prior en Posterior:
   • Het BT-model is gespecialiseerd voor $N=2$ (één paar), waarbij de waarschijnlijkheid van het voorkeursresultaat een Bernoulli-verdeling volgt, geparametriseerd door $z$.
   • Een Beta-prior $p(z) = \text{Beta}(\alpha_0, \beta_0)$ wordt gelegd op $z$. De auteurs gebruiken doorgaans een uniforme prior $(\alpha_0, \beta_0) = (1, 1)$ om een oninformatief startpunt te vertegenwoordigen.
   • De benaderde posterior $q_\theta(z | x, y_w, y_l, C)$ wordt geparametriseerd door een neurale netwerk met een tweedimensionale projectiekop, die een utility-score $u_\theta$ en een confidence-score (evidence) $s_\theta$ output.
   • De posterior wordt gereparameteriseerd als $\text{Beta}(\alpha_q, \beta_q)$ waarbij:
     • $\mu = \sigma(u_w - u_l)$ de posterior-middellijn voorstelt (voorkeurskans).
     • $\tau = \text{Softplus}(s_w) + \text{Softplus}(s_l) + 1$ de concentratie (vertrouwen) voorstelt.
     • $\alpha_q = \mu\tau$ en $\beta_q = (1-\mu)\tau$.

Leerdoel

Het model wordt getraind door de Evidence Lower Bound (ELBO) te maximaliseren, wat neerkomt op het minimaliseren van de negatieve ELBO-verliesfunctie:
$$\mathcal{L}_{ICRM} = -\mathbb{E}_{q_\theta}[\log z] + \lambda(N) D_{KL}(q_\theta(z|\cdot) \parallel p(z))$$

• Reconstructieterm: De eerste term meet hoe goed de posterior de waargenomen voorkeur verklaart. Voor een Beta-verdeling heeft dit een gesloten vorm die de digamma-functie $\psi$ bevat. Het minimaliseren hiervan duwt $\mu$ naar 1 voor het gekozen antwoord.
• Regularisatieterm: De tweede term is de KL-divergentie tussen de geleerde posterior en de vaste prior. De hyperparameter $\lambda(N)$ is een monotoon dalende functie van het aantal in-context demonstraties $N$.
  • Wanneer $N$ klein is, is $\lambda(N)$ groot, waardoor de posterior dicht bij de prior blijft (hoge onzekerheid).
  • Naarmate $N$ toeneemt, neemt $\lambda(N)$ af, waardoor de reconstructieterm de overhand krijgt en het model een zelfverzekerde, datagedreven posterior kan vormen.

Theoretische Garanties

De auteurs bewijzen dat de KL-geregulariseerde doelstelling de "over-optimalisatie"-faalmodus voorkomt die gebruikelijk is in standaard BT-modellen.

• Lemma 3.1: Naarmate de voorkeurskans $\mu \to 1$, wordt de gradiënt van het verlies met betrekking tot de utility-score bestraft met een factor evenredig aan $1/\epsilon$ (waarbij $\epsilon = 1-\mu$), wat ongecontroleerde maximalisatie voorkomt.
• Stelling 3.2: De globale minimizer van de verliesfunctie is gegarandeerd gelegen in het inwendige van het domein ($0 < \mu^* < 1$ en $0 < \tau^* < \infty$), wat garandeert dat het model niet instort naar randoplossingen.

Belangrijkste Bijdragen

1. Principiële Variational Voorkeurslering: ICRM stelt RMs in staat om voorkeuren op testtijd af te leiden uit few-shot in-context samples. De KL-geregulariseerde doelstelling garandeert een globaal inwendig optimum, waardoor overmatige maximalisatie van voorkeursmiddelen wordt getemperd.
2. Enkel- en Meer-Doelsturing: Het variational ontwerp maakt zowel directionele stuurbaarheid (aanpassing aan specifieke voorkeursrichtingen) als gekalibreerde stuurbaarheid (codering van de mate van voorkeursverschuiving) mogelijk. Het breidt zich uit tot meer-doelstellingen, waardoor het model afwegingen tussen conflicterende doelen (bijvoorbeeld veiligheid versus nuttigheid) kan navigeren door in-context demonstraties te mixen.
3. Parametrisatie van Verifieerbare Beloningen: Het kader wordt toegepast op Reinforcement Learning with Verifiable Rewards (RLVR). Het model interpreteert de utility- en confidence-scores om een beloningssignaal te genereren dat zowel directioneel is als gekalibreerd aan de betrouwbaarheid van de context, en presteert beter dan standaard verifiers en BT-modellen in wiskundige redeneertaken.

Experimentele Resultaten

De auteurs evalueerden ICRM met Qwen3-4B en Llama-3.2-3B backbones tegen baselines waaronder standaard classifier-RMs (BTRM, ArmoRM, GRM) en generatieve judges (LLM-as-a-Judge, GRAM-r2).

• Gekalibreerde Stuurbaarheid: Op morele dilemma-voorkeursparen toonde ICRM het vermogen om de mate van voorkeursverschuiving te volgen die wordt gespecificeerd door de samenstelling van in-context demonstraties. Naarmate het aantal demonstraties ($N$) toenam van 8 naar 64, daalde de Expected Calibration Error (ECE) van 0,099 naar 0,076, wat beter presteerde dan de LLM-as-a-Judge-baseline.
• Directionele Stuurbaarheid: Op benchmarks zoals SafeRLHF en HHH-Alignment paste ICRM zich aan aan "omgekeerde" voorkeurslabels (waarbij schadelijke antwoorden als gekozen werden gelabeld) met hoge nauwkeurigheid (tot 89%), terwijl statische baselines faalden in aanpassing.
• RM-Bench Prestaties: Het verhogen van het aantal in-context demonstraties verbeterde de RM-Bench-nauwkeurigheid aanzienlijk. Met $N=64$ bereikte ICRM een gemiddelde nauwkeurigheid van 70,8%, een stijging van 60,5% bij $N=1$, en versloeg de LLM-as-a-Judge-baseline (70,3%).
• Meer-Doel Afwegingen: In het RM-Bench Safety-domein produceerde ICRM gladde Pareto-fronten tussen "Should Respond" en "Should Refuse" gedrag. Het hypervolume (HV) van deze fronten nam toe met $N$, wat aantoont dat ICRM het bereik van haalbare afwegingen kan uitbreiden, een vermogen dat statische RMs missen.
• RLVR Toepassing: In wiskundige redeneertaken met de INTELLECT-MATH dataset, bereikte een beleid getraind met ICRM-beloningen 53,8% nauwkeurigheid op MATH-500, wat beter presteerde dan beleidsplannen getraind met een gouden verifier (50,4%) en een standaard BT-beloningsmodel (51,4%).

Betekenis en Claims

Het artikel beweert dat ICRM een theoretisch onderbouwde en praktisch effectieve route biedt naar beloningsmodellen die zich na training kunnen aanpassen aan ongezette voorkeursstandaarden. Door voorkeuren te behandelen als latente kansen met Beta-posteriors die afhankelijk zijn van in-context demonstraties, verenigt ICRM Bayesiaanse regularisatie met in-context stuurbaarheid.

De auteurs benadrukken dat deze aanpak:

• De statische aard van traditionele classifier-RMs oplost zonder de rekenoverhead van propriëtaire generatieve judges.
• Een principiële mechanisme biedt om beloningsover-optimalisatie te mitigeren via KL-regularisatie.
• Dynamische, testtijd-controle over meer-doelstellingen mogelijk maakt, waardoor continue navigatie door voorkeursruimtes mogelijk is in plaats van vaste operationele punten.

Het werk suggereert dat toekomstige beloningsmodellering kan bewegen van vaste datasets naar dynamische, demonstratie-gedreven afstemming, hoewel de auteurs beperkingen opmerken met betrekking tot contextlengtebeperkingen en de noodzaak van veiligheidsmaatregelen om modellen te voorkomen dat ze naar schadelijk gedrag worden gestuurd.