Personalized RewardBench: Evaluating Reward Models with Human Aligned Personalization

Probleemstelling

Hoewel Large Language Models (LLMs) succesvol worden afgestemd op algemene menselijke waarden (zoals correctheid, relevantie en nuttigheid) via Reinforcement Learning from Human Feedback (RLHF), blijft er een significant gat in de personalisatie. Bestaande reward modellen (RMs) en benchmarks falen vaak in het onderscheiden van individuele gebruikersvoorkeuren.

• Moeilijkheid: Een antwoord dat algemeen als "goed" wordt beschouwd, kan suboptimaal zijn voor een specifieke gebruiker als het hun unieke voorkennis, stijlvoorkeuren of specifieke beperkingen negeert.
• Lekkage in benchmarks: Bestaande benchmarks gebruiken vaak negatieve voorbeelden die opzettelijk van lage kwaliteit zijn (bijv. fouten bevatten of van een kleiner model komen). Hierdoor test een RM voornamelijk op algemene kwaliteit in plaats van op de nuance van persoonlijke voorkeuren.
• Proxy-gat: Er is vaak geen sterke correlatie tussen de nauwkeurigheid van een RM op een statische benchmark en de prestaties van het beleid (policy) in downstream taken (zoals Best-of-N of PPO).

Methodologie: Personalized RewardBench

De auteurs introduceren Personalized RewardBench, een nieuw benchmarkkader dat specifiek is ontworpen om de capaciteit van reward modellen te evalueren om gepersonaliseerde voorkeuren te modelleren.

1. Dataset Constructie:

• Bron: De dataset is gebaseerd op LaMP-QA, een dataset voor gepersonaliseerd vraag-antwoord.
• Structuur: Elke data-instantie is een tuple $(q, u, y_c, y_r)$ bestaande uit een query ($q$), een gebruikersprofiel ($u$), een gekozen antwoord ($y_c$) en een verworpen antwoord ($y_r$).
• Generatie van voorkeursparen: In plaats van willekeurige fouten te injecteren, worden de antwoorden gegenereerd op basis van strikte persoonlijke rubrieken (rubric aspects).
  • Gekozen antwoord ($y_c$): Wordt gegenereerd door een LLM dat strikt adhereert aan de specifieke rubrieken van de gebruiker.
  • Verworpen antwoord ($y_r$): Wordt gegenereerd door een LLM dat deze specifieke rubrieken bewust negeert, hoewel het antwoord over het algemeen van hoge kwaliteit is (correct, relevant, nuttig).
• Doel: Dit zorgt ervoor dat het enige onderscheidende factor tussen de twee antwoorden de persoonlijke uitlijning is, niet de algemene kwaliteit.

2. Validatie:

• Menselijke evaluatie: Menselijke beoordelaars hebben bevestigd dat zowel de gekozen als de verworpen antwoorden hoge scores behalen op algemene kwaliteitsmaten (feitelijkheid, relevantie, hulpvaardigheid). Het grote verschil zit uitsluitend in de naleving van de persoonlijke rubrieken.
• User Profile Integratie: Omdat standaard reward modellen moeite hebben met ruwe gebruikersprofielen, gebruiken de auteurs een planner-module. Deze module infereert gestructureerde rubrieken uit het gebruikersprofiel, wat de prestaties van de reward modellen aanzienlijk verbetert ten opzichte van het direct injecteren van profielen.

3. Downstream Validatie:
Om de praktische bruikbaarheid te testen, evalueren de auteurs de correlatie tussen de benchmark-ranglijst en de prestaties in downstream taken:

• Best-of-N (BoN): Selectie van het beste antwoord uit $N$ gegenereerde opties.
• Proximal Policy Optimization (PPO): Fine-tuning van een beleid met behulp van het reward model.
• Judge: Een sterke LLM (Qwen2.5-32B) fungeert als rechter om de kwaliteit van de gegenereerde antwoorden te beoordelen op basis van de persoonlijke rubrieken.

Belangrijkste Resultaten

1. Prestaties van State-of-the-Art (SOTA) Modellen:

• Bestaande reward modellen (zowel scalair als generatief) worstelen significant met personalisatie.
• Het beste model (Gemini-3-Flash) bereikt slechts een nauwkeurigheid van 75,94%.
• Er is geen duidelijke correlatie tussen modelgrootte en personalisatieprestaties; grotere modellen (bijv. 20B) presteren soms slechter dan kleinere (7B), wat suggereert dat personalisatie specifieke trainingsdoelen vereist en niet alleen schaal.

2. Correlatie met Downstream Taken:

• Personalized RewardBench toont een significante hogere correlatie met downstream prestaties (zowel BoN als PPO) dan bestaande benchmarks (zoals Chatbot Arena-Personalized en PRISM).
• Top-tier identificatie: De benchmark slaagt erin om de beste modellen voor downstream taken correct te identificeren (NDCG van 0,9180 voor BoN), terwijl andere benchmarks zelfs negatieve correlaties vertonen.
• Dit bewijst dat de benchmark een robuuste proxy is voor de daadwerkelijke bruikbaarheid van een reward model in real-world scenario's.

3. Effect van User Profiles:

• Het gebruik van een planner om rubrieken af te leiden uit gebruikersprofielen leidt tot betere prestaties dan het negeren van profielen of het direct injecteren van ruwe profieldata (wat vaak leidt tot train-test misalignement).

Bijdragen

1. Personalized RewardBench: Een nieuw, rigoureus benchmarkkader dat gebruikersprofielen en persoonlijke rubrieken integreert om reward modellen te testen op hun vermogen tot personalisatie, in plaats van alleen op algemene kwaliteit.
2. Validatie van Design: Bewijs via menselijke evaluatie dat de gekozen en verworpen antwoorden gelijkwaardig zijn in algemene kwaliteit, waardoor de "personalisatie-gap" puur wordt geïsoleerd.
3. Empirische Validatie: Demonstratie dat de prestaties op deze benchmark sterk correleren met downstream beleidsoptimalisatie (BoN en PPO), wat een nieuwe standaard zet voor het evalueren van gepersonaliseerde reward mechanisms.
4. Inzicht in de Lucht: Het paper onthult een kritieke kloof in de huidige state-of-the-art, waarbij zelfs de beste modellen moeite hebben om persoonlijke nuances te onderscheiden van algemene kwaliteit.

Betekenis

Dit werk is van cruciaal belang voor de toekomst van LLM-uitlijning. Het verschuift de focus van "algemeen nuttig" naar "individueel relevant". Door aan te tonen dat bestaande benchmarks tekortschieten in het voorspellen van gepersonaliseerde prestaties, biedt Personalized RewardBench een essentieel hulpmiddel voor onderzoekers om betere, meer mensgerichte reward modellen te ontwikkelen. Het legt de basis voor LLM's die niet alleen correct antwoorden, maar antwoorden die echt aansluiten bij de unieke behoeften en voorkeuren van elke individuele gebruiker.