VerifyBench: Benchmarking Reference-based Reward Systems for Large Language Models

Probleemstelling

Grote redeneringsmodellen (Large Reasoning Models - LRMs), zoals OpenAI o1 en DeepSeek-R1, hebben opmerkelijke prestaties geleverd in complexe redeneertaken. Een cruciaal onderdeel van hun training is het gebruik van referentie-gebaseerde beloningssystemen (reference-based reward systems) binnen Reinforcement Learning (RL). In deze systemen worden modeloutputten geëvalueerd tegen de hand van grondwaarheid-referentieantwoorden (ground truth), in plaats van op basis van relatieve voorkeuren tussen twee antwoorden.

Het huidige probleem is dat bestaande benchmarks voor beloningsmodellen (reward models) zich bijna uitsluitend richten op voorkeursvergelijkingen (pairwise comparisons): ze beoordelen welk van twee antwoorden beter is. Er is echter een kritieke lacune in de literatuur: er ontbreekt een gestandaardiseerde manier om systemen te evalueren die moeten verifiëren of een enkel antwoord correct is in relatie tot een referentieantwoord. Dit beperkt de mogelijkheid om de verificatiemethoden die worden gebruikt bij het trainen van redenerende modellen effectief te beoordelen en te verbeteren.

Methodologie

De auteurs introduceren VerifyBench en de uitdagendere variant VerifyBench-Hard. Deze benchmarks zijn specifiek ontworpen om de nauwkeurigheid van referentie-gebaseerde beloningssystemen te testen.

1. Data Collectie en Constructie:

• Bronnen: De datasets zijn samengesteld uit 41 verschillende open-source datasets, gedekt over drie domeinen: algemeen redeneren, logisch redeneren en wiskundig redeneren.
• Generatie: Voor elke vraag werden antwoorden gegenereerd door 22 verschillende open-source en gesloten LLM's (waaronder DeepSeek-R1, GPT-4o, Qwen-serie, Llama-serie).
• Labeling: De correctheid van elke generatie werd bepaald door zowel geautomatiseerde modellen als menselijke annotatoren. Elke instantie werd door minstens twee mensen gecontroleerd om consistentie te garanderen.

2. Benchmark Variaties:

• VerifyBench: Ontworpen om natuurlijk verdeelde data te reflecteren. Het bevat 1.000 unieke vragen, elk gepaard met precies één correct en één incorrect antwoord (totaal 2.000 completions). De data is gebalanceerd over vier antwoordtypes: numerieke waarden, algebraïsche expressies, meerkeuzevragen en vrije tekst (strings).
• VerifyBench-Hard: Een moeilijkere variant die zich richt op gevallen waarbij top-modellen het oneens zijn over de correctheid van een antwoord. Deze dataset is geselecteerd op basis van hoge onenigheid (disagreement) tussen meerdere modellen, wat resulteert in een dataset met een hoger aandeel lastige te verifiëren voorbeelden (meer incorrecte antwoorden die als correct worden gemarkeerd door grote modellen).

3. Evaluatie Framework:
De auteurs evalueren drie soorten verificators:

• Rule-based: (bijv. math-verify) die patronen en logica gebruiken.
• LLM-as-a-judge: Algemene LLM's die de output vergelijken met het referentieantwoord.
• Model-based Verifiers: Specifiek getrainde modellen voor verificatietaken.

De prestaties worden gemeten aan de hand van de nauwkeurigheid bij het voorspellen van de binaire correctheid (True/False) van een antwoord gegeven een vraag en een referentie.

Belangrijkste Bijdragen

1. VerifyBench en VerifyBench-Hard: De eerste benchmarks die specifiek zijn ontworpen voor het evalueren van referentie-gebaseerde reward systems, in plaats van voorkeursgebaseerde systemen.
2. Gedetailleerde Taxonomie: Een fijnmazige classificatie van antwoordtypes (bijv. onderverdeling van numerieke waarden in gehele getallen, complexe getallen, breuken, etc.) om specifieke foutpatronen te analyseren.
3. Correlatie met RL: Een empirisch bewijs dat de prestaties van een verifier op deze benchmark direct correleren met de verbetering van een model tijdens RL-training.
4. Openbare Beschikbaarheid: De dataset, code en prompts zijn openbaar beschikbaar gesteld voor de gemeenschap.

Resultaten

De evaluatie leverde enkele cruciale inzichten op:

• Prestatieverschil: Modellen presteren goed op de standaard VerifyBench (bijv. GPT-4o-mini haalt ~92,85% en Qwen3-32B ~95,8%), maar de prestaties dalen aanzienlijk op VerifyBench-Hard (de beste prestatie is ~72,4%). Dit toont aan dat er nog veel ruimte is voor verbetering in het verifiëren van complexe of ambiguïe gevallen.
• Rol van Referentieantwoorden: Een ablatiestudie toonde aan dat het weglaten van het referentieantwoord uit de prompt de prestaties van LLM-verificators met 5-18% doet dalen. Dit bevestigt dat referentieantwoorden essentieel zijn voor betrouwbare verificatie in RLVR (Reinforcement Learning with Verifiable Rewards).
• Grootte van het Model: Kleinere modellen (<3B parameters) presteren aanzienlijk slechter dan grotere modellen op deze taken, wat een uitdaging vormt voor efficiënte RL-training waar kleine reward modellen vaak worden gebruikt.
• Foutanalyse: Modellen falen vaak bij:
  • Complexe numerieke waarden (bijv. volgorde van getallen die niet relevant is).
  • Algebraïsche expressies (waarbij wiskundige equivalentie wordt gemist omdat de vorm verschilt).
  • Semantische consistentie in vrije tekst.
• RL Correlatie: Experimenten waarbij modellen met verschillende prestaties op VerifyBench werden gebruikt als reward systemen voor RL-training, toonden aan dat betere verificators leiden tot grotere verbeteringen in downstream taken (zoals MATH500 en AMC23). Slechte verificators kunnen zelfs leiden tot degradatie van het model door onnauwkeurige supervisie.

Betekenis en Impact

Dit paper vult een kritieke kloof in de evaluatielandschap voor Large Reasoning Models. Door een gestandaardiseerd kader te bieden voor het testen van referentie-gebaseerde verificatie, stelt het onderzoekers in staat om:

1. De nauwkeurigheid van reward systems objectief te meten.
2. Inzicht te krijgen in waarom bestaande systemen falen bij complexe redeneertaken.
3. Effectievere RL-training te ontwikkelen, wat essentieel is voor de volgende generatie AI-modellen die complexe problemen moeten oplossen.

De conclusie is dat hoewel huidige systemen veelbelovend zijn, er aanzienlijke ruimte voor verbetering blijft, vooral bij het omgaan met moeilijke gevallen en het gebruik van kleinere, efficiëntere modellen voor verificatie.