Riepilogo Tecnico: Progettazione di Reward Basata sulla Verosimiglianza per il Ragionamento Generale degli LLM

Definizione del Problem

Il fine-tuning dei Large Language Models (LLM) per compiti di ragionamento tramite Reinforcement Learning (RL) si basa tipicamente su funzioni di reward binari (0/1 per la correttezza) derivate da verità fondamentali verificabili (ad esempio, risposte matematiche). Questo paradigma affronta due limitazioni primarie:

1. Dipendenza dalla Progettazione del Reward: Richiede verificatori specifici per ogni benchmark, che non sono disponibili per domini non verificabili come dimostrazioni a lungo termine o generazione aperta.
2. Scarsità del Reward (Reward Sparsity): I reward binari forniscono segnali sparsi, il che può ostacolare un apprendimento efficiente, specialmente in catene di ragionamento complesse.

Sebbene lavori recenti abbiano proposto reward intrinseci o meccanismi di auto-ricompensa, questi spesso non riescono a superare l'addestramento basato sulla correttezza o soffrono di reward hacking e collasso della diversità. Inoltre, i metodi esistenti che utilizzano la probabilità delle risposte di riferimento (come VeriFree, JEPO, RLPR) hanno mostrato risultati contrastanti, fallendo in particolare nei contesti non verificabili a causa delle probabilità evanescenti di sequenze lunghe e di corrispondenza esatta.

Metodologia

Gli autori investigano i reward basati sulla verosimiglianza (likelihood-based rewards) derivati direttamente dalla probabilità o dal log-probabilità di emettere una risposta di riferimento (o qualsiasi continuazione del prompt presente nei dati) dato un Chain-of-Thought (CoT) generato. Questo approccio evita l'uso di verificatori esterni e sfrutta segnali disponibili su larga scala.

Lo studio confronta sistematicamente diverse varianti di reward rispetto ai baseline standard (Supervised Fine-Tuning senza CoT, e RL standard con reward binari):

• Base RL: RL standard utilizzando un reward binario (1 se la risposta corrisponde alla verità fondamentale, 0 altrimenti).
• Probabilità (VeriFree): Il reward è uguale alla probabilità grezza $\pi_\theta(a^*|p, z)$.
• Log-prob: Il reward è uguale alla log-probabilità $\log \pi_\theta(a^*|p, z)$.
• Average Log-prob: Log-probabilità normalizzata per la lunghezza della risposta $\frac{1}{|a^*|} \log \pi_\theta(a^*|p, z)$.
• JEPO: Una variante della perdita ELBO basata su Jensen utilizzando reward a livello di gruppo.
• SFT: Standard supervised fine-tuning che predice direttamente la risposta senza CoT.

Gli esperimenti utilizzano l'algoritmo RLOO (Reinforce Leave-One-Out) per la stima dell'advantage. La valutazione copre:

• Domini Verificabili: Benchmark MATH e DeepScaleR (problemi a risposta breve).
• Domini Non-Verificabili: Alpaca e NuminaProof (risposte a lungo termine e dimostrazioni di teoremi).
• Modelli: Llama-3.2-3B-Instruct e Qwen-2.5-3B-Instruct.

Contributi Chiave e Risultati

1. Universalità dei Reward di Log-Probabilità

Il risultato centrale è che i reward di log-probabilità sono l'unica variante che performa in modo robusto in tutti i setting.

• Nei Domini Verificabili: I reward di log-probabilità ottengono tassi di successo comparabili o superiori ai baseline di RL binario standard. Fondamentalmente, producono una perplessità significativamente migliore rispetto al RL binario, allineando l'obiettivo di addestramento al criterio di pre-training (next-token prediction).
• Nei Domini Non-Verificabili: Mentre i reward basati sulla probabilità (come VeriFree) e il RL standard collassano a causa delle probabilità estremamente piccole di generare corrispondenze esatte di forme lunghe, i reward di log-probabilità rimangono vitali. Essi performano al pari del Supervised Fine-Tuning (SFT), mentre altri metodi basati sulla probabilità falliscono nel migliorare il modello base.

2. Il Fenomeno del "Collasso del CoT"

Un'osservazione significativa è il comportamento della lunghezza del CoT durante l'addestramento:

• Settings Verificabili: I reward di log-probabilità causano inizialmente un accorciamento del CoT, ma la lunghezza si recupera man mano che l'addestramento procede.
• Settings Non-Verificabili: I reward di log-probabilità portano a un "collasso" permanente del CoT, riducendo la traccia di ragionamento a una lunghezza minima (circa 10 token). In questo regime, il metodo di log-prob si comporta efficacemente come SFT.
• Meccanismo: Gli autori ipotizzano che all'inizio dell'addestramento, CoT più brevi siano correlati a log-probabilità più alte della risposta corretta (probabilmente perché il modello base non è ancora adattato a lunghe tracce di ragionamento). Questa correlazione negativa spinge l'agente RL ad accorciare il CoT. I tentativi di mitigare ciò tramite regolarizzazione KL o penalità sulla lunghezza hanno impedito il collasso ma hanno causato una degradazione delle prestazioni, suggerendo che per i domini non verificabili, l'RL con reward di log-prob attualmente eguaglia le prestazioni di SFT solo eliminando il CoT.

3. Confronto con Altri Metodi

• Probabilità vs. Log-Probabilità: I reward di probabilità grezza (VeriFree) falliscono nei setting non verificabili perché la probabilità di una corrispondenza esatta per risposte lunghe è vicina allo zero, non fornendo alcun segnale di apprendimento. La log-probabilità, essendo una somma su più token, fornisce un segnale più denso che non svanisce in modo altrettanto severo.
• Perplessità vs. Tasso di Successo: Nei domini verificabili, il RL binario ottimizza il tasso di successo ma degrada la perplessità (il modello diventa "sicuro di sé ma errato" sui percorsi incorretti). I reward di log-prob ottimizzano entrambi, mantenendo una distribuzione meno sicura sulle risposte errate, preservando così una migliore qualità complessiva del modello linguistico.

Significato

Il paper stabilisce i reward di log-probabilità come un segnale di addestramento unificato capace di colmare il divario tra compiti di ragionamento verificabili e non verificabili senza dipendere da etichette di correttezza esterne.

• Dimostra che un singolo criterio (massimizzare la log-verosimiglianza della risposta di riferimento dato un CoT) può essere applicato attraverso l'intero spettro di tipi di risposta, dalle brevi problematiche matematiche alle lunghe dimostrazioni di teoremi.
• Evidenzia un compromesso: sebbene i reward di log-prob migliorino la perplessità e la generalizzabilità, attualmente non superano l'SFT nei domini non verificabili a meno che il CoT non venga preservato (il che richiede ulteriori indagini sulla dinamica di addestramento o sulla scalabilità del calcolo).
• Il lavoro suggerisce che, per i domini non verificabili, il "problema dell'assegnazione del credito" (credit assignment problem) in RL possa essere troppo severo per CoT lunghi sotto gli attuali budget di addestramento, e che i benefici del CoT in questi setting possano richiedere un addestramento significativamente più lungo o strategie di inizializzazione differenti (ad esempio, il warm-starting).

Gli autori concludono che i reward di log-verosimiglianza offrono una ricetta semplice e generale per il post-training di modelli di ragionamento LLM, valida attraverso diversi tipi di risposta, sebbene il meccanismo per sostenere CoT lunghi nei setting non verificabili rimanga una sfida aperta.