Technische Samenvatting: OPENREWARD

Probleemstelling

Reward Models (RM's) zijn cruciaal voor het afstemmen (aligning) van Large Language Models (LLM's) tijdens zowel de training als de inferentie, waarbij ze dienen als schaalbare proxies voor menselijke evaluatie. De huidige RM's, of ze nu getraind zijn als binaire voorkeursclassificators of gebruikmaken van het "LLM-as-a-Judge"-paradigma, hebben echter aanzienlijke moeite met open eind, kennisintensieve, langere taken. Het evalueren van dergelijke inhoud (bijv. medische rapporten, reisroutes of diepgaande onderzoeksresultaten) vereist vaak verankering in externe informatie die de interne parametrische kennis van het model overstijgt. Huidige benaderingen vertrouwen ofwel op het prompten van commerciële LLM's met zoekmachines (wat een gebrek aan flexibiliteit heeft) of gebruiken eenvoudige tool-interacties voor kortstondige verificatie, waardoor er een gat ontstaat in het effectief evalueren van complexe, langere reacties in open-domein settings.

Methodologie

Het artikel stelt OPENREWARD voor, een tool-geaugmenteerd reward modeling framework dat adaptief redeneert en externe tools aanroept om bewijs te verzamelen voordat het een oordeel velt.

1. Agentic Reward Framework

OPENREWARD werkt als een sequentieel besluitvormingsproces. Gegeven een query $q$ en twee kandidaat-reacties ($x_1, x_2$):

• Tool Invocation: Het model beslist iteratief welke tool aangeroepen moet worden (bijv. Wikipedia Zoeken, arXiv Zoeken, PubMed Zoeken) op basis van de huidige context.
• Evidence Gathering: Geselecteerde tools worden uitgevoerd om externe resultaten ($e_i$) op te halen, die aan de context worden toegevoegd om het daaropvolgende redeneren te sturen.
• Final Judgment: Na het verzamelen van voldoende bewijs selecteert het model de betere reactie ($y$) en geeft een verklaring.

2. Training via Reinforcement Learning (RL)

Om het model te trainen om effectief tools te gebruiken en accurate oordelen te vellen, maken de auteurs gebruik van Group Relative Policy Optimization (GRPO).

• Training Signal: Een samengestelde beloningsfunctie $R$ is ontworig om zowel intermediair gedrag als uiteindelijke uitkomsten te superviseren:
  $$R = R_{EM} + \text{sign}(R_{EM}) \cdot \lambda \cdot R_{tool}$$
  • $R_{EM}$ (Outcome Accuracy): Een binaire beloning (1 of 0) gebaseerd op of het uiteindelijke oordeel overeenkomt met de grondwaarheid (ground truth).
  • $R_{tool}$ (Tool Usage): Een beloning van +1 voor correcte toolselectie en 0 voor onjuiste/irrelevante aanroepen.
  • Cruciaal Ontwerp: De tool-beloning wordt afgeschermd door de uiteindelijke nauwkeurigheid van de uitkomst ($\text{sign}(R_{EM})$). Dit voorkomt "reward hacking", waarbij het model kan leren om veel tools aan te roepen maar nog steeds niet in staat is om correct te antwoorden.
• Optimale Optimalisatie: GRPO berekent groep-relatieve voordelen door trajecten binnen een groep te vergelijken, wat het ontdekken van effectieve multi-step redeneerstrategieën door middel van trial-and-error stimuleert.

3. Controleerbare Datasynthese (OPENRM-LIB)

Om de schaarste aan betrouwbare paarvormige data (pairwise data) voor langere taken aan te pakken, introduceren de auteurs OPENRM-LIB, een framework voor ongesuperviseerde datasynthese:

• Target-aware Query Generation: Een sterke LLM genereert queries vanuit gesamplede documenten (bijv. Wikipedia, arXiv).
• Constructie van Positieve/Negatieve Paren:
  • Positieve Reactie: Gegenereerd door een LLM met toegang tot het referentiedocument.
  • Negatieve Reactie: Gegenereerd door dezelfde LLM zonder toegang tot het referentiedocument.
• Deze contrastieve opzet zorgt voor een duidelijk kwaliteitsverschil (geankerd versus gehallucineerd/onvolledig) zonder handmatige annotatie, wat resulteert in meer dan 27.000 hoogwaardige trainingsparen.

Belangrijkste Bijdragen

1. OPENREWARD Framework: Introductie van een tool-geaugmenteerd RM dat autonoom externe bewijslast kan ophalen om complexe, langere reacties te beoordelen, waarmee de beperkingen van statische interne kennis worden aangepakt.
2. Controleerbare Datasynthese: Een nieuwe strategie (OPENRM-LIB) om 27K+ hoogwaardige paarvormige trainingsdata op ongesuperviseerde wijze te genereren, wat de databottlenecks voor evaluatie van langere teksten overwint.
3. RLVR Training Strategie: Een samengestelde beloningsfunctie met behulp van GRPO die zowel de nauwkeurigheid van de toolselectie als de correctheid van het uiteindelijke oordeel gezamenlijk optimaliseert, wat "reward hacking" effectief voorkomt.
4. Empirische Validatie: Uitgebreide evaluatie die aantoont dat OPENREWARD bestaande baselines (inclusief LLM-as-a-Judge en andere getrainde RM's) overtreft over meerdere domeinen.

Experimentele Resultaten

Het artikel evalueert OPENREWARD op drie nieuw verzamelde in-domain datasets (Wikipedia, Scientific, Medical) en twee out-of-domain benchmarks (RewardBench, PandaLM).

• In-Domain Prestaties: OPENREWARD (gebaseerd op Qwen-2.5-7B) behaalt een gemiddelde nauwkeurigheid van 91,33% op de nieuwe datasets, waarmee het sterk presteert ten opzichte van sterke baselines zoals GPT-4o (62,80%), Claude-Opus (63,23%) en andere getrainde RM's (bijv. RM-R1 met 54,32%).
• Out-of-Domain Generalisatie: Ondanks dat het getraind is op slechts 27K voorbeelden (vergeleken met 100K+ voor sommige baselines), bereikt OPENREWARD een gemiddelde nauwkeurigheid van 78,54% op RewardBench en PandaLM, waarmee het modellen overtreft die getraind zijn op aanzienlijk grotere datasets. De auteurs schrijven dit toe aan het vermogen van het model om te redeneren over opgehaald bewijs in plaats van het memoriseren van trainingsdistributies.
• Ablatie-studies:
  • Het verwijderen van het tool-beloningssignaal leidt tot "lui zoeken" (leunen op interne kennis).
  • Het ontkoppelen van tool-beloningen van de uiteindelijke nauwkeurigheid leidt tot "reward hacking" (overmatig zoeken zonder correcte oordelen).
  • Het afgeschermde beloningsontwerp is essentieel voor het balanceren van redeneren en toolgebruik.
• Downstream Nut:
  • Data Selectie: Het gebruik van OPENREWARD om trainingsdata voor DPO te filteren levert een hogere selectienauwkeurigheid op (75,18%) vergeleken met RM-R1 (68,87%).
  • Model Alignment: LLM's die zijn afgestemd met door OPENREWARD geselecteerde data vertonen consistente prestatiewinsten (bijv. +4,57% gemiddeld voor het 7B model) ten opzichte van diegene die zijn afgestemd met bestaande RM's.

Betekenis

Het artikel stelt dat tool-geaugmenteerde reward modeling een belangrijke stap voorwaarts is voor betrouwbare evaluatie en post-training alignment van LLM's. Door RM's in staat te stellen te fungeren als agentische systemen die claims verifiëren tegen extern bewijs, pakt OPENREWARD de fundamentele beperking van standaard RM's aan in kennisintensieve scenario's. Het werk demonstreert dat het integreren van externe tools met reinforcement learning niet alleen de nauwkeurigheid van het reward model zelf verbetert, maar ook de kwaliteit van downstream LLM-alignment verhoogt, wat wijst op een schaalbaar pad naar meer betrouwbare AI-systemen.