Rationale Matters: Learning Transferable Rubrics via Proxy-Guided Critique for VLMReward Models

1. Il Problema

I modelli generativi di ricompensa (Generative Reward Models - GRM) per i Modelli Linguistici Visivi (VLM) stanno diventando fondamentali per allineare le risposte dei modelli alle preferenze umane. Il pipeline standard per i GRM segue tre fasi:

1. Generazione della rubrica (R): Creazione di criteri di valutazione strutturati.
2. Valutazione basata sui criteri (E): Applicazione dei criteri per analizzare le risposte.
3. Verdetto finale (A): Scelta della risposta preferita.

Tuttavia, il paper identifica un problema critico: la qualità della rubrica intermedia (R) è scarsamente ottimizzata.

• I metodi esistenti ottimizzano esclusivamente il verdetto finale, lasciando la generazione della rubrica non supervisionata. Questo porta a rubriche vaghe, incomplete o che agiscono come "razionalizzazioni post-hoc" (giustificazioni create dopo aver deciso la risposta corretta) invece che come guide reali.
• Le soluzioni attuali basate su "LLM-as-a-Judge" (usare un altro LLM per valutare la rubrica) sono costose computazionalmente e, soprattutto, non forniscono un segnale differenziabile per l'addestramento del modello GRM, rendendo il processo di ottimizzazione della rubrica un "loop aperto".

2. Metodologia: Proxy-GRM

Gli autori propongono Proxy-GRM, un framework che introduce un agente "proxy" per verificare la qualità e la trasferibilità della rubrica durante il ciclo di Reinforcement Learning (RL).

Componenti Chiave:

1. Agente Proxy (Proxy-SFT e Proxy-RL):

   • È un modello addestrato specificamente per consumare rubriche, non per generarle.
   • Riceve in input la query originale, le immagini, le risposte candidate e una rubrica generata esternamente.
   • Il suo compito è predire l'ordine di preferenza basandosi solo sulla rubrica fornita.
   • Proxy-SFT: Addestrato tramite Supervised Fine-Tuning (SFT) su dati distillati di alta qualità.
   • Proxy-RL: Addestrato ulteriormente con RL per migliorare la robustezza.
   • Scoperta fondamentale: Gli autori trovano che Proxy-SFT supera Proxy-RL come valutatore, suggerendo che l'ottimizzazione RL basata solo sul risultato finale può degradare la fedeltà del processo di valutazione.

2. Training del Modello Policy (Proxy-GRM):

   • Il modello GRM viene addestrato in due fasi:
     • Cold-Start (SFT): Inizializzazione su dati distillati per imparare il formato strutturato.
     • Reinforcement Learning (RL): Utilizza l'algoritmo GRPO (Group Relative Policy Optimization).
   • Funzione di Ricompensa Composita: La ricompensa totale ($r$) è la somma di tre componenti:
     • $r_{acc}$: Accuratezza del verdetto finale (corrisponde alla preferenza umana).
     • $r_{format}$: Correttezza del formato XML strutturato.
     • $r_{proxy}$ (Nuovo): Misura la trasferibilità della rubrica. Se l'agente proxy, usando solo la rubrica generata dal modello, riesce a indovinare correttamente la risposta preferita, il modello riceve una ricompensa positiva. Questo incentiva la generazione di rubriche che sono internamente coerenti e comprensibili da altri agenti.

3. Inferenza:

   • Il modello può operare in modalità standard o in modalità "verificata dal proxy", dove il disaccordo tra policy e proxy può essere segnalato per analisi.

3. Contributi Chiave

• Definizione e Ottimizzazione della Trasferibilità: Identificano la "trasferibilità della rubrica" (la capacità di una rubrica di guidare un valutatore indipendente verso la risposta corretta) come una dimensione critica della qualità dei GRM, finora trascurata.
• Framework Closed-Loop: Propongono un metodo per integrare la verifica della rubrica direttamente nel ciclo di RL, superando i limiti dei metodi "LLM-as-a-Judge" che non sono differenziabili.
• Scoperta sull'Addestramento degli Agenti: Dimostrano che gli agenti proxy addestrati con SFT (che imitano fedelmente un processo di valutazione) sono superiori a quelli addestrati con RL per il compito di valutazione, evidenziando una tensione tra ottimizzazione del risultato e fedeltà del processo.
• Efficienza dei Dati: Raggiungono prestazioni state-of-the-art con solo ~50k campioni di addestramento, circa 4 volte meno rispetto ai metodi concorrenti (che usano >200k campioni).

4. Risultati Sperimentali

Il metodo è stato valutato su tre benchmark principali: VL-RewardBench, Multimodal Reward Bench e MM-RLHF-Reward Bench.

• Prestazioni Superiori: Proxy-GRM con Proxy-SFT ottiene i migliori risultati su tutti i benchmark, superando modelli proprietari (come GPT-4o, Claude-3.7) e modelli open-source avanzati (come R1-Reward e Unified-Reward-Think).
  • Esempio su VL-RewardBench: 75.22% di accuratezza globale (vs 73.80% di Unified-Reward-Think).
  • Esempio su Multimodal Reward Bench: 85.62% (vs 82.20% di R1-Reward).
• Efficienza dei Dati: Nonostante l'uso di un dataset di addestramento 4 volte più piccolo, il metodo supera i baselines addestrati su dati massicci.
• Trasferibilità delle Rubriche: Le rubriche generate da Proxy-GRM migliorano significativamente l'accuratezza di modelli valutatori esterni (inclusi modelli di dimensioni diverse e architetture diverse) senza bisogno di riaddestramento. Questo conferma che le rubriche catturano principi di valutazione universali e non solo pattern specifici del modello generatore.
• Analisi Ablative:
  • L'aggregazione implicita delle ricompense (somma semplice) funziona meglio della modifica esplicita della ricompensa di accuratezza basata sul feedback del proxy.
  • L'uso di agenti proxy multipli (ensemble) peggiora le prestazioni a causa di segnali conflittuali; un singolo agente proxy ben calibrato è preferibile.
  • Agenti proxy troppo piccoli (es. 3B) introducono rumore dannoso, mentre quelli specializzati (Proxy-SFT 7B) sono ottimali.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo verso la creazione di sistemi di valutazione più affidabili e interpretabili per i modelli multimodali.

• Interpretabilità: Sposta il focus dalla semplice predizione della risposta corretta alla generazione di criteri di valutazione solidi e verificabili.
• Affidabilità: La capacità di generare rubriche trasferibili riduce il rischio di "razionalizzazioni ingannevoli" (post-hoc rationalization), rendendo i modelli più sicuri e allineati.
• Scalabilità: Dimostra che è possibile ottenere prestazioni di punta con meno dati, rendendo l'addestramento di reward models avanzati più accessibile ed efficiente.
• Principio di Verificabilità Esterna: Introduce un paradigma dove i "artefatti di ragionamento intermedio" (le rubriche) vengono ottimizzati per essere utili ad agenti indipendenti, un concetto che potrebbe essere applicato ad altri domini oltre ai VLM.

In sintesi, Proxy-GRM risolve il problema della "scatola nera" nella generazione delle rubriche, trasformando la valutazione in un processo iterativo e verificabile che migliora sia la qualità della risposta finale che la trasparenza del processo decisionale.