Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation

Sintesi Tecnica: Ripensare la Supervisione del Premio: Auto-distillazione Condizionata da Rubriche

Definizione del Problema

Il post-training dei modelli di linguaggio per il ragionamento (LLM) si affida attualmente pesantemente a due paradigmi, entrambi i quali soffrono di limitazioni significative nel fornire un feedback granulare:

1. Apprendimento per Rinforzo con Premi Verificabili (RLVR): Metodi come Group Relative Policy Optimization (GRPO) tipicamente comprimono il feedback valutativo in un segnale scalare sparso (ad esempio, correttezza binaria o un punteggio singolo). Sebbene efficaci per compiti verificabili, questo approccio oscura il perché una traiettoria sia riuscita o fallita, creando un "collo di bottiglia dell'assegnazione del credito" dove il modello non può distinguere tra passi di ragionamento intermedi corretti e incorretti.
2. Auto-distillazione On-Policy (OPSD): Questi metodi sostituiscono i premi sparsi con una guida densa a livello di token fornita da un modello teacher. Tuttavia, gli approcci esistenti condizionano il teacher su una singola traiettoria di riferimento privilegiata (una specifica soluzione d'oro). Ciò lega la supervisione a un percorso di ragionamento specifico, rischiando di sovra-specificare come debba essere prodotta una risposta e ignorando lo spazio di derivazioni alternative valide. Inoltre, se lo studente devia leggermente da questo singolo percorso, il teacher potrebbe incoraggiare una revisione globale piuttosto che una correzione localizzata.

Inoltre, sebbene le rubriche (criteri di valutazione strutturati) offrano una rappresentazione della qualità più ricca e interpretabile rispetto a un punteggio scalare, il lavoro precedente ha ampiamente scartato questa struttura durante l'ottimizzazione, aggregando i giudizi della rubrica in un unico premio scalare.

Metodologia: Auto-distillazione Condizionata da Rubriche (RCSD)

Gli autori propongono la Rubric-Conditioned Self-Distillation (RCSD), un framework che tratta le rubriche come una supervisione strutturata e privilegiata lato teacher per l'auto-distillazione on-policy. Invece di collassare il feedback della rubrica in uno scalare, RCSD condiziona il modello teacher sulle informazioni della rubrica a livello di criterio per fornire una guida densa a livello di token sulle traiettorie campionate dallo studente stesso.

Il framework opera tramite una pipeline in due fasi:

Fase I: Apprendimento di un Generatore di Rubriche

Per affrontare l'alto costo di ottenimento di rubriche specifiche per ogni istanza, gli autori addestrano un generatore di rubriche dedicato.

• Politica Teacher: Riceve la domanda ($x$) e una risposta di riferimento ($y^\star$) come input privilegiato per inferire i criteri di valutazione appropriati.
• Politica Studente: Osserva solo la domanda ($x$) e impara a generare una rubrica ($r$) che approssimi i criteri del teacher.
• Obiettivo: Lo studente viene addestrato tramite distillazione on-policy per corrispondere alla distribuzione di token del teacher lungo la propria traiettoria di rubrica campionata. Questo ammortizza la generazione di criteri specifici per istanza in un modello riutilizzabile.

Fase II: Ragionamento Condizionato da Rubrica

Il generatore di rubriche addestrato viene utilizzato per guidare l'addestramento del modello di ragionamento.

• Politica Teacher: Riceve la domanda ($x$) e la rubrica generata ($r$) come contesto privilegiato.
• Politica Studente: Osserva solo la domanda ($x$) e genera una traiettoria di ragionamento ($\hat{y}$).
• Obiettivo: Lo studente minimizza la divergenza di Kullback-Leibler (KL) tra la propria distribuzione e la distribuzione del teacher, dove il teacher è condizionato dalla rubrica.
  $$\mathcal{L}_{reason} = \mathbb{E}_{\hat{y} \sim p_S} \left[ \sum_{t=1}^{|\hat{y}|} D_{KL} \left( p_T(\cdot \mid x, r, \hat{y}_{<t}) \parallel p_S(\cdot \mid x, \hat{y}_{<t}) \right) \right]$$
• Design Chiave: Condizionando sulla rubrica invece che su una singola risposta di riferimento, il teacher fornisce una guida consapevole dei criteri. Ciò consente al segnale di ottimizzazione di distinguere diversi livelli di correttezza parziale (ad esempio, un passo corretto seguito da un errore locale) piuttosto che comprimerli in un singolo punteggio o in un singolo percorso di riferimento. Gli autori utilizzano la divergenza Forward KL per incoraggiare lo studente a coprire il supporto della distribuzione del teacher condizionata dalla rubrica, preservando la diversità tra i vari percorsi di ragionamento validi.

Contributi Chiave

1. Nuova Interfaccia di Supervisione: RCSD riformula le rubriche non solo come strumenti di punteggio, ma come interfacce di supervisione strutturate che modellano l'apprendimento a livello di token durante l'ottimizzazione.
2. Pipeline in Due Fasi: Gli autori introducono un metodo scalabile per apprendere automaticamente rubriche specifiche per il compito (Fase I) e poi usarle per guidare il ragionamento (Fase II), rimuovendo la dipendenza dalla annotazione manuale delle rubriche o da premi costosi basati su "LLM-as-a-Judge" durante la fase di distillazione.
3. Apprendimento On-Policy Consapevole dei Criteri: A differenza della standard OPSD che condiziona su una singola traiettoria, RCSD condiziona sui criteri, consentendo un'assegnazione del credito fine-grained che penalizza errori locali specifici preservando al contempo i passi corretti, anche sulle proprie traiettorie campionate dallo studente.

Risultati Sperimentali

Il metodo è stato valutato su una suite diversificata di benchmark di ragionamento scientifico, inclusi compiti verificabili (GPQA-DIAMOND, SciBench, PIQA) e compiti non verificabili e aperti (ResearchQA, RubricHub).

• Performance: RCSD ha ottenuto il miglior punteggio medio complessivo (70.6) attraverso i benchmark. Ha superato il modello base Qwen3-8B di 4.7 punti, superando GRPO di 1.0 punto e OPSD di 0.9 punti in media.
• Specificità del Dominio: I guadagni sono stati più pronunciati nei compiti di ragionamento scientifico e basati su rubriche (ad esempio, +8.2 punti su ResearchQA, +4.9 punti su RubricHub), dove i premi scalari spesso falliscono nel catturare la qualità della risposta.
• Generalizzazione: Il metodo ha dimostrato una robusta generalizzazione a benchmark medici fuori dominio (MedMCQA, PubMedQA) senza dimenticanza catastrofica, suggerando che i criteri appresi catturano strutture di ragionamento generali.
• Studi di Ablazione:
  • Tipo di Perdita (Loss): La Forward KL è risultata l'obiettivo più efficace, producendo la prestazione media più elevata e mantenendo una maggiore entropia (diversità) dello studente rispetto a Reverse KL o JS Divergence.
  • Fonte della Rubrica: L'uso di rubriche generate dal generatore appreso nella Fase I ha prodotto risultati competitivi con l'uso di rubriche di riferimento ground-truth, validando la scalabilità dell'approccio in due fasi.
  • Robustezza: Il metodo è rimasto efficace anche con input di rubrica degradati (generici, rumorosi o ridotti), sebbene le rubriche specifiche per istanza apprese fornissero la supervisione più forte.

Significato e Rivendicazioni

Il paper sostiene che RCSD offre un approccio privo di verificatore (verifier-free) per il post-training di modelli di ragionamento aperti. Preservando la struttura a livello di criterio durante l'ottimizzazione e convertendo le rubriche in una guida densa a livello di token, il metodo affronta il collo di bottiglia dell'assegnazione del credito inerente all'ottimizzazione del premio scalare e il bias specifico del percorso della distillazione condizionata da riferimento.

Gli autori pongono l'accento sul fatto che RCSD sia particolarmente significativo per compiti in cui risposte di alta qualità non possono essere pienamente catturate dalla verifica automatica (risposte exact-match o unit test) o da premi basati sull'esito scalare. Consentendo al modello di apprendere cosa proprietà una risposta debba soddisfare (tramite le rubriche) piuttosto che come imitare un percorso di soluzione specifico, RCSD facilita miglioramenti del ragionamento più flessibili e robusti. Il lavoro suggerisce che il feedback strutturato e multidimensionale è un segnale di supervisione superiore per compiti di ragionamento complessi rispetto sia ai premi sparsi che alla distillazione su singola traiettoria.