Rationale Matters: Learning Transferable Rubrics via Proxy-Guided Critique for VLMReward Models

1. Problemstellung

Generative Reward Models (GRMs) für Vision-Language Models (VLMs) bewerten Ausgaben typischerweise in einer dreistufigen Pipeline:

1. Rubrik-Generierung: Erstellen von Bewertungskriterien ($R$).
2. Kriterienbasierte Bewertung: Detaillierte Analyse basierend auf der Rubrik ($E$).
3. Endgültiges Urteil: Treffen einer Präferenzentscheidung ($A$).

Das zentrale Problem besteht darin, dass der erste Schritt – die Generierung der Rubrik – in bisherigen Ansätzen kaum optimiert wird. Die Modelle werden ausschließlich auf das Endergebnis (das Urteil $A$) hin trainiert, während die Qualität der dazwischenliegenden Rubrik unbeaufsichtigt bleibt. Dies führt dazu, dass Modelle oft Rubriken generieren, die nur dazu dienen, ein bereits feststehendes Ergebnis zu rationalisieren (Post-hoc-Rationalisierung), anstatt eine prinzipielle, überprüfbare Bewertung zu liefern.

Herkömmliche Lösungen wie "LLM-as-a-Judge" (ein externes Modell bewertet die Rubrik) sind rechenintensiv und bieten kein differenzierbares Signal für das Training, da sie den Lernprozess nicht schließen (Open-Loop). Es fehlt also an einer Methode, die Rubrik-Qualität direkt in den Reinforcement-Learning-(RL)-Lernzyklus zu integrieren.

2. Methodik: Proxy-GRM

Die Autoren stellen Proxy-GRM vor, einen Framework, der eine Proxy-gesteuerte Rubrik-Verifizierung in den RL-Prozess integriert. Das Ziel ist es, Rubriken zu lernen, die "transferierbar" sind – d. h., sie müssen so klar und informativ sein, dass ein unabhängiges Modell (der Proxy) allein basierend auf dieser Rubrik die korrekte Präferenzentscheidung treffen kann.

Der Ansatz besteht aus zwei Hauptkomponenten:

A. Training des Proxy-Agents

Es wird ein dedizierter Proxy-Agent trainiert, dessen einzige Aufgabe es ist, Rubriken zu verbrauchen (zu bewerten), nicht sie zu generieren.

• Input: Die ursprüngliche Anfrage, das Bild, die beiden Antwortkandidaten und eine extern bereitgestellte Rubrik.
• Output: Eine Bewertung und ein Urteil, basierend nur auf der Rubrik.
• Varianten:
  • Proxy-SFT: Ein Modell (Qwen2.5-VL-7B), das durch Supervised Fine-Tuning (SFT) auf 5.000 hochwertigen Daten gelernt hat, Rubriken strikt zu befolgen.
  • Proxy-RL: Ein Modell, das durch RL auf 10.000 Daten weiter trainiert wurde, um die Robustheit gegenüber verschiedenen Rubrik-Formulierungen zu erhöhen.
• Erkenntnis: Proxy-SFT erwies sich als überlegener Verifizierer als Proxy-RL, da RL-basierte Modelle oft inkonsistente Bewertungsprozesse entwickeln, die das Signal für die Rubrik-Qualität verrauschen.

B. Training des Policy-Modells (Proxy-GRM)

Das eigentliche Reward-Modell wird in zwei Stufen trainiert:

1. Cold-Start (SFT): Das Basismodell wird auf strukturierte Ausgaben (Rubrik, Bewertung, Urteil) feinabgestimmt.
2. Proxy-Guided Reinforcement Learning (GRPO): Das Modell wird mit einer zusammengesetzten Belohnungsfunktion trainiert:
   • $r_{acc}$: Richtigkeit des finalen Urteils.
   • $r_{format}$: Einhaltung des XML-Formats.
   • $r_{proxy}$ (Kerninnovation): Die Rubrik wird an den eingefrorenen Proxy-Agenten gesendet. Wenn der Proxy basierend auf dieser Rubrik das korrekte Urteil trifft, erhält das Policy-Modell eine positive Belohnung. Dies zwingt das Modell, Rubriken zu generieren, die für Dritte verständlich und überprüfbar sind.

3. Schlüsselbeiträge

1. Rubrik-Transferierbarkeit als Metrik: Die Autoren definieren Rubrik-Transferierbarkeit als kritische Dimension für die Qualität von GRMs und schlagen eine proxy-basierte Verifizierung als skalierbare Lösung vor.
2. Closed-Loop Framework: Im Gegensatz zu "LLM-as-a-Judge" wird das Verifizierungssignal direkt als differenzierbare Belohnung in den RL-Loop integriert.
3. SFT vs. RL für Verifizierer: Eine überraschende Erkenntnis ist, dass SFT-basierte Proxy-Agenten (Proxy-SFT) RL-basierte (Proxy-RL) als Verifizierer übertreffen. Dies deutet darauf hin, dass reine Ergebnis-Optimierung (Outcome-only RL) die Prozess-Genauigkeit (Process Fidelity) bei der Bewertung beeinträchtigen kann.
4. Daten-Effizienz: Das Modell erreicht State-of-the-Art-Ergebnisse mit nur ~50.000 Trainingsdaten, was etwa ein Viertel der Datenmenge ist, die vergleichbare Methoden (wie R1-Reward oder Unified-Reward) benötigen.

4. Ergebnisse

Die Evaluation erfolgte auf drei etablierten Benchmarks: VL-RewardBench, Multimodal Reward Bench und MM-RLHF-Reward Bench.

• Performance: Proxy-GRM mit Proxy-SFT als Verifizierer erreicht auf allen Benchmarks die besten Ergebnisse.
  • Auf VL-RewardBench: 75,22% Gesamtgenauigkeit (Verbesserung von +1,42% gegenüber dem vorherigen Bestwert Unified-Reward-Think).
  • Auf Multimodal Reward Bench: 85,62% (Übertrifft R1-Reward um +3,42% und auch proprietäre Modelle wie GPT-4o und Claude-3.7).
• Daten-Effizienz: Trotz der Nutzung von nur 50k Daten (vs. >200k bei Baselines) übertrifft das Modell alle Vergleichsmodelle.
• Transferierbarkeit: Die gelernten Rubriken funktionieren hervorragend auf unbekannten Evaluatoren. Wenn Rubriken von Proxy-GRM an andere Modelle (z. B. Qwen2.5-VL-32B oder Unified-Reward-SFT) weitergegeben werden, verbessert sich deren Genauigkeit signifikant (z. B. +3,76% auf VL-RewardBench). Dies beweist, dass die Rubriken universelle Bewertungsprinzipien erfassen und nicht nur interne "Tricks" des Generators sind.
• Ablationsstudien:
  • Die Verwendung mehrerer Proxy-Agenten (Ensemble) verschlechterte die Leistung aufgrund von widersprüchlichen Gradienten.
  • Eine einfache additive Aggregation der Belohnungen ($r_{acc} + r_{proxy}$) war effektiver als komplexe, explizite Modifikationen der Genauigkeits-Belohnung.

5. Bedeutung und Fazit

Das Paper adressiert ein fundamentales Defizit in der Entwicklung von Reward Models: Die mangelnde Überprüfbarkeit der Zwischenschritte (Rationale/Rubrik). Durch die Einführung von Proxy-GRM wird sichergestellt, dass die Begründungen (Rubriken) nicht nur für das generierende Modell, sondern für unabhängige Agenten sinnvoll sind.

Die Arbeit zeigt, dass:

1. Die Qualität der Begründung (Rationale) genauso wichtig ist wie das Endergebnis.
2. Spezifisch trainierte SFT-Verifizierer robuster sind als RL-basierte Verifizierer für diese Aufgabe.
3. Hohe Datenmengen nicht zwingend notwendig sind, wenn der Lernsignal (Rubrik-Verifizierung) qualitativ hochwertig ist.

Dieser Ansatz stellt einen wichtigen Schritt hin zu transparenteren, zuverlässigeren und interpretierbaren Bewertungssystemen für multimodale KI-Modelle dar, die auch in kritischen Anwendungen eingesetzt werden können.