Riepilogo Tecnico: Compute as Teacher (CaT)

Enunciato del Problema

L'addestramento post-training di grandi modelli linguistici (LLM) per competenze specializzate si basa tipicamente sul Fine-Tuning Supervisionato (SFT) con risposte di riferimento etichettate da umani o sul Reinforcement Learning (RL) con ricompense verificabili provenienti da controllori programmatici. Sebbene efficaci per domini come la matematica e il codice, questi approcci falliscono nei domini non verificabili (ad esempio, orientamento sanitario, scrittura creativa, dialogo libero) dove:

1. Esistono molteplici risposte valide e gli esperti possono non essere d'accordo.
2. Il controllo tramite regole deterministiche è impraticabile.
3. L'annotazione umana è costosa, difficile da scalare o non disponibile.

Le alternative esistenti, come l'uso di un LLM come giudice per valutare output liberi, soffrono di incoerenza, bias verso la verbosità e hacking delle ricompense. Il documento si chiede: Il calcolo al momento dell'inferenza può sostituire la supervisione mancante?

Metodologia: Compute as Teacher (CaT)

Gli autori propongono Compute as Teacher (CaT), un framework che converte il calcolo al momento dell'inferenza in segnali di supervisione per l'addestramento RL senza richiedere etichette di verità fondamentale. Il framework opera in due fasi principali, sfruttando rollout paralleli generati dalla politica corrente $\pi_t$.

1. Stima del Riferimento

Invece di affidarsi a un riferimento fornito da un umano, CaT aggrega $G$ rollout paralleli ($o_{1:G}$) generati per un prompt $q$ in un pseudo-riferimento ($s$). Questa aggregazione cattura l'incertezza del modello, poiché i rollout spesso differiscono proprio nei punti in cui il modello è insicuro.

• Strategie di Aggregazione: Il framework è agnostico rispetto al metodo. Esplora la Sintesi, in cui una politica di ancoraggio congelata ($\pi_0$) condiziona l'insieme dei rollout per generare una nuova risposta riconciliata. Ciò permette al sistema di combinare frammenti corretti da diversi rollout (ad esempio, passaggi intermedi corretti da uno e una conclusione valida da un altro).
• Alternative: Strategie di selezione come il Voto di Maggioranza o Best-of-N sono anch'esse compatibili, sebbene la sintesi sia evidenziata per la sua capacità di costruire risposte al di fuori della distribuzione originale dei rollout.

2. Derivazione della Ricompensa

Il pseudo-riferimento $s$ viene utilizzato per derivare ricompense per i singoli rollout al fine di aggiornare la politica tramite Group Relative Policy Optimization (GRPO). Il meccanismo differisce in base alla verificabilità del dominio:

• Domini Verificabili (es. Matematica, Codice): Le ricompense sono binarie, basate sul fatto che la risposta finale di un rollout corrisponda alla risposta del pseudo-riferimento.
• Domini Non Verificabili (es. Sanità): Il documento introduce Rubriche Auto-Proposte.
  • La politica di ancoraggio $\pi_0$ genera un insieme di criteri binari e verificabili ($R = \{r_1, \dots, r_n\}$) derivati specificamente dal pseudo-riferimento $s$ (ad esempio, "consiglia di consultare un professionista medico").
  • Un modello giudice indipendente ($\pi_J$) valuta ogni rollout contro questi criteri.
  • La ricompensa è la frazione di criteri soddisfatti. Ciò scompone giudizi qualitativi vaghi in controlli binari specifici e auditabili, mitigando l'instabilità della valutazione diretta tramite "LLM come giudice".

Ciclo di Addestramento

Il processo è iterativo: la politica genera rollout $\to$ la stima del riferimento crea $s$ $\to$ la derivazione della ricompensa valuta i rollout contro $s$ $\to$ GRPO aggiorna la politica. Crucialmente, il framework ammortizza il costo computazionale della generazione di più rollout e della loro aggregazione durante l'addestramento, permettendo alla politica finale addestrata di produrre singoli output di alta qualità al momento dell'inferenza.

Contributi Chiave

1. Rubriche Auto-Proposte: Un nuovo meccanismo di ricompensa per RL non verificabile che scompone il giudizio in criteri binari generati da pseudo-riferimenti, eliminando la necessità di rubriche o risposte di riferimento annotate da umani.
2. Framework Compute as Teacher (CaT): Un paradigma generale per trasformare il calcolo inferenziale in supervisione tramite stima del riferimento e derivazione della ricompensa. Dimostra che la sintesi (aggregazione generativa) può superare le baseline basate sulla selezione riconciliando informazioni distribuite tra i rollout.
3. Validazione Empirica: Esperimenti completi su tre famiglie di modelli (Gemma 3 4B, Qwen 3 4B, Llama 3.1 8B) sia su domini non verificabili (HealthBench) che verificabili (MATH-500).

Risultati

• Miglioramenti delle Prestazioni: I modelli addestrati con CaT raggiungono fino a un +30% di miglioramento relativo su HealthBench e +33% su MATH-500 rispetto alla politica iniziale non addestrata.
• Efficienza: I modelli addestrati eguagliano o superano la qualità dell'aggregazione al momento dell'inferenza (ad esempio, sintesi) utilizzando 9 volte meno calcolo al momento del test. Il modello impara a interiorizzare la capacità di aggregazione, richiedendo un solo passaggio in avanti al momento dell'inferenza.
• Domini Non Verificabili: Le rubriche auto-proposte performano in modo comparabile alle rubriche annotate da medici esperti su HealthBench e superano significativamente la valutazione diretta "Modello come Giudice".
• Sintesi vs. Selezione: La stima del riferimento basata sulla sintesi supera le baseline di selezione (Voto di Maggioranza, Best-of-N) nei domini non verificabili. Nei casi in cui la sintesi non concorda con il consenso, è corretta nel 70–86% dei casi, correggendo spesso errori presenti in tutti i singoli rollout.
• RL vs. SFT: L'RL con ricompense basate su rubriche supera costantemente il Fine-Tuning Supervisionato (SFT) su riferimenti sintetizzati, suggerendo che l'RL generalizza meglio da dati limitati e sintetizzati.

Significato e Affermazioni

Il documento afferma che CaT fornisce una soluzione pratica e "plug-and-play" per l'addestramento post-training degli LLM in domini dove le risposte di riferimento sono scarse, costose o inesistenti. Sfruttando il calcolo inferenziale per generare la propria supervisione, il framework:

• Colma il divario tra RL verificabile e non verificabile, funzionando come un approccio unificato.
• Riduce la dipendenza dall'annotazione umana, offrendo una strada avanti per domini specializzati dove l'etichettatura esperta è un collo di bottiglia.
• Ammortizza i costi computazionali, spostando il lavoro pesante dell'aggregazione dal momento dell'inferenza (ripetutamente) al momento dell'addestramento (una volta), risultando in un deployment più efficiente.

Gli autori notano limitazioni, inclusa la dipendenza dalla capacità del modello di base di generare rollout diversificati e il potenziale di plateau delle prestazioni man mano che i rollout convergono (collasso dell'entropia). Tuttavia, posizionano CaT come un passo significativo verso l'abilitazione dell'apprendimento senza riferimento in domini complessi e qualitativi.