Rationale Matters: Learning Transferable Rubrics via Proxy-Guided Critique for VLMReward Models

1. Het Probleem

Generatieve beloningsmodellen (Generative Reward Models - GRMs) voor Vision-Language Models (VLMs) evalueren outputs via een drie-staps proces: het genereren van een rubric (beoordelingscriteria), het toepassen van deze criteria voor een gedetailleerde evaluatie, en het geven van een definitief oordeel (verdict).

Het fundamentele probleem dat dit paper aanpakt, is dat de kwaliteit van de tussenliggende rubric zelden direct wordt geoptimaliseerd. Bestaande methoden trainen modellen uitsluitend op het eindresultaat (het juiste oordeel), waardoor de rubric onbeheerd blijft. Dit leidt tot twee belangrijke tekortkomingen:

1. Post-hoc rationalisatie: Modellen leren rubrics die slechts dienen om een vooraf bepaald antwoord te rechtvaardigen, in plaats van een eerlijke, gestructureerde evaluatie te bieden.
2. Gebrek aan overdraagbaarheid (Transferability): De gegenereerde rubrics zijn vaak vaag, incompleet of vertekend. Wanneer een onafhankelijke evaluator of een ander model deze rubrics probeert te gebruiken, falen ze vaak in het geven van het juiste oordeel.

Bestaande oplossingen zoals "LLM-as-a-Judge" (een extern model laten beoordelen) zijn te duur voor training en bieden geen differentieerbaar signaal voor Reinforcement Learning (RL), waardoor de rubric-kwaliteit in een "open-loop" blijft.

2. Methodologie: Proxy-GRM

De auteurs stellen Proxy-GRM voor, een framework dat een gespecialiseerd "proxy-agent" introduceert om de kwaliteit van rubrics tijdens het trainingsproces te verifiëren en te belonen.

Kerncomponenten:

• Proxy-Agent Training: Er worden twee lichte proxy-agenten getraind (Proxy-SFT en Proxy-RL) die alleen rubrics verwerken, niet genereren.
  • Input: De proxy ontvangt de originele vraag, het beeld, de twee kandidaat-antwoorden en een externe rubric.
  • Taak: De proxy moet, uitsluitend gebaseerd op de rubric, het juiste voorkeursorde (welk antwoord is beter) voorspellen.
  • Signaal: De nauwkeurigheid van deze voorspelling dient als maatstaf voor de kwaliteit van de rubric. Als de proxy de juiste keuze maakt op basis van de rubric, is de rubric "overdraagbaar" en van hoge kwaliteit.
• Policy Model Training (Proxy-GRM): Het hoofdmot (de GRM) wordt getraind met Reinforcement Learning (GRPO) met een samengestelde beloningsfunctie:
  1. Accuracy Reward ($r_{acc}$): Is het eindoordeel correct?
  2. Format Reward ($r_{format}$): Volgt de output de juiste XML-structuur?
  3. Proxy Reward ($r_{proxy}$): Kan de bevroren proxy-agent, gebruikmakend van de gegenereerde rubric, het juiste antwoord voorspellen?

Belangrijkste Inzicht: De proxy-agent fungeert als een onafhankelijke "verificator". Door de proxy-reward in de RL-lus op te nemen, wordt het model gestimuleerd om rubrics te genereren die logisch consistent en bruikbaar zijn voor anderen, niet alleen voor zichzelf.

3. Belangrijkste Bijdragen

1. Proxy-Guided Verification: Het introduceren van een gespecialiseerd proxy-agent als een trainingslus-component om rubric-kwaliteit te meten en te optimaliseren, wat een oplossing biedt voor het gebrek aan supervisie op het procesniveau.
2. SFT vs. RL voor Proxy Agents: Een verrassende bevinding is dat een proxy-agent getraind met Supervised Fine-Tuning (Proxy-SFT) beter presteert dan een getraind met Reinforcement Learning (Proxy-RL). RL-trained agents lijken te leren om het juiste antwoord te voorspellen via inconsistente redeneringen, wat leidt tot ruis in de rubric-verificatie. SFT zorgt voor een meer betrouwbare, proces-georiënteerde evaluatie.
3. Data-efficiëntie: Het framework bereikt state-of-the-art resultaten met slechts ~50.000 trainingsmonsters, wat ongeveer 4 keer minder is dan vergelijkbare methoden (zoals R1-Reward of Unified-Reward) die >200k monsters nodig hebben.
4. Overdraagbaarheid: De geleerde rubrics zijn echt overdraagbaar; ze verbeteren de prestaties van onbekende evaluatiemodellen zonder dat deze modellen opnieuw getraind hoeven te worden.

4. Resultaten

Het model werd getest op drie belangrijke benchmarks: VL-RewardBench, Multimodal Reward Bench, en MM-RLHF-Reward Bench.

• Prestaties: Proxy-GRM (met Proxy-SFT als proxy) behaalde state-of-the-art resultaten op alle drie de benchmarks.
  • Op VL-RewardBench: 75,22% overall accuracy (versus 73,8% voor de vorige beste open-source methode).
  • Op Multimodal Reward Bench: 85,62% overall accuracy (versus 82,2% voor R1-Reward).
  • Op MM-RLHF-Reward Bench: 82,94% accuracy.
• Data-efficiëntie: Het presteerde beter dan methoden die met 4x meer data zijn getraind.
• Transferability: Wanneer rubrics gegenereerd door Proxy-GRM werden gebruikt door andere modellen (zoals Qwen2.5-VL-32B of Unified-Reward-SFT), steeg hun beoordelingsnauwkeurigheid aanzienlijk (bijv. +3,76 punten op VL-RewardBench). Dit bewijst dat de rubrics universele evaluatieprincipes bevatten en geen "model-specifieke shortcuts".
• Ablatie-studies:
  • Het gebruik van meerdere proxy-agenten tegelijk (ensemble) leidde tot slechtere prestaties door conflicterende signalen. Een enkele, goed afgestemde proxy is superieur.
  • De grootste proxy-agent (32B) was niet per se beter dan de gespecialiseerde 7B Proxy-SFT, wat aantoont dat gespecialiseerde training belangrijker is dan pure modelgrootte voor deze taak.

5. Betekenis en Impact

Dit paper biedt een paradigmaverschuiving in het trainen van generatieve beloningsmodellen voor multimodale taken.

• Van Outcome naar Process Supervision: Het verlegt de focus van het alleen belonen van het eindantwoord naar het actief optimaliseren van het redeneerproces (de rubric).
• Betrouwbaarheid en Interpretatie: Door te eisen dat rubrics overdraagbaar zijn naar onafhankelijke agents, worden "post-hoc rationalisaties" onderdrukt. Dit maakt de evaluatie van VLMs betrouwbaarder en transparanter.
• Efficiëntie: Het toont aan dat kwalitatief hoogwaardige, overdraagbare rubrics efficiënter te leren zijn via proxy-verificatie dan door simpelweg de trainingsdata te vergroten.

Kortom, Proxy-GRM lost het probleem op dat rubrics vaak slechts decoratie zijn, door ze te transformeren in een kerncomponent van het leerproces die direct bijdraagt aan de nauwkeurigheid en generalisatie van het beloningsmodel.