Sintesi Tecnica: Bias Distribuzionali nel Post-Training: Un'Analisi Markoviana delle Traiettorie di Ragionamento

Definizione del Problema

I modelli di fondazione possiedono una conoscenza ampia ma spesso esibiscono un ragionamento specifico per il compito limitato. Sebbene le strategie di post-training come il Reinforcement Learning con Ricompense Verificabili (RLVR) e lo scaling dell'inferenza (utilizzando Outcome Reward Models [ORM] o Process Reward Models [PRM]) mirino a creare esperti specifici per il compito, le osservazioni empiriche rivelano un paradosso. Questi metodi tipicamente rinforzano i percorsi di ragionamento esistenti piuttosto che espandere l'ambito del ragionamento. In particolare, tendono a "schiacciare" la distribuzione delle traiettorie di Chain-of-Thought (CoT), favorendo schemi di ragionamento frequenti e facili, mentre dimenticano passaggi di ragionamento rari ma cruciali necessari per istanze difficili. Ciò solleva la questione di come le strategie di esplorazione possano essere efficaci se il post-training non può esplorare oltre l'esistente ambito dell'albero del modello base.

Metodologia

Gli autori propongono un quadro teorico trattabile basato su Catene di Markov Strutturate ad Albero (TMC) per modellare le capacità di ragionamento dei modelli di fondazione.

1. Formulazione del Modello:

   • Framework TMC: Il ragionamento è astratto come un processo di Markov discreto dove gli stati rappresentano asserzioni logiche (ad esempio, espressioni matematiche) anziché token superficiali. Lo spazio degli stati è stratificato ($S_1$ a $S_L$), con transizioni che rappresentano i passaggi di ragionamento.
   • Definizione del Compito: I compiti sono definiti da coppie domanda-risposta $(q, a, k)$. Un compito è "comune" se ammette almeno una CoT "facile da ragionare" (transizioni ad alta probabilità), e "raro" se si basa esclusivamente su CoT "difficili da ragionare" (che coinvolgono transizioni sparse e a bassa probabilità).
   • Modello Base: Il modello base pre-addestrato è modellato come un predittore softmax lineare addestrato tramite cross-entropy, che converge alle vere probabilità di transizione della TMC.
   • Segnali di Ricompensa: Il documento distingue tra correttezza a livello di istanza (ricompensa 0/1) e ricompense a livello di popolazione (accuratezza attesa), che vengono utilizzate da ORM e PRM.

2. Analisi Teorica:

   • Gli autori analizzano la dinamica del gradiente degli algoritmi standard di RLVR (REINFORCE, RAFT, PPO, GRPO) e dei metodi di scaling dell'inferenza (ORM/PRM con Best-of-N o Beam Search) all'interno di questo setting TMC.
   • Derivano l' "Advantage Gap" tra CoT facili e difficili, dimostrando che gli obiettivi standard assegnano intrinsecamente vantaggi (advantages) più elevati alle CoT facili a causa della loro maggiore probabilità di essere corrette attraverso la distribuzione della popolazione.

Contributi Chiave

1. Formalizzazione di Tre Fenomeni Empirici

Il documento prova rigorosamente tre fenomeni osservati nella pratica:

• Fenomeno 1 (Effetto di Schiacciamento di RLVR): I metodi RLVR (REINFORCE, RAFT, PPO, GRPO) favoriscono intrinsecamente le CoT facili da ragionare. L'analisi teorica mostra che gli aggiornamenti guidati dall'advantage causano il decadimento della massa di probabilità delle CoT difficili da ragionare, portando al loro eventuale oblio.
• Fenomeno 2 (Bias di Coerenza del Verificatore Neurale): Lo scaling dell'inferenza con ORM/PRM si basa su ricompense di popolazione (accuratezza attesa). Gli autori dimostrano che queste ricompense favoriscono sistematicamente le CoT facili perché hanno una maggiore probabilità di essere corrette in media, anche se sono errate per specifiche istanze difficili. Di conseguenza, la ricerca guidata da ORM/PRM (BoN, Beam Search) non riesce a selezionare le CoT difficili.
• Fenomeno 3 (Meriti delle CoT Rare): Le istanze difficili nei dataset di ragionamento (es. GSM8K, AQuA) corrispondono spesso a CoT rare con bassa confidenza del modello base. I metodi standard di post-training che collassano la distribuzione sulle CoT facili falliscono nel risolvere queste istanze.

2. Giustificazione Teorica per le Strategie di Esplorazione

Il documento fornisce garanzie provabili per le strategie che mitigano il bias di semplicità:

• Rifiuto delle Istanze Facili (RL-rej): Rifiutando le istanze di addestramento in cui il modello genera già risposte corrette con alta confidenza (ovvero istanze risolvibili tramite CoT facili), il segnale di addestramento sposta il focus sulle CoT difficili. Gli autori dimostrano che questo permette al modello di apprendere CoT difficili valide pur mantenendo le prestazioni.
  la regolarizzazione KL (come in GRPO) impedisce alla distribuzione di collassare interamente sulle CoT facili. La soluzione ottimale sotto regolarizzazione KL è una distribuzione di Gibbs che preserva le ampie capacità del modello base, permettendo il campionamento di CoT difficili e mantenendo le prestazioni multi-task.
• DPRM indotto da Doob's h-Transform: Per lo scaling dell'inferenza, gli autori propongono un PRM teoricamente fondato sulla trasformazione h di Doob. Questo metodo genera una ricompensa di processo che, quando utilizzata con il campionamento (Soft-BoN), è asintoticamente equivalente alla distribuzione di Gibbs ottimale. A differenza dei PRM standard basati sulla verosimiglianza, DPRM preserva la diversità del modello base ed evita il bias verso le CoT facili.

Risultati

Gli autori validano i loro risultati teorici attraverso simulazioni empiriche su una TMC multi-task sintetica con due compiti (uno comune, uno raro).

• Fallimento del RLVR Standard: Metodi come REINFORCE, RAFT e PPO hanno favorito pesantemente le CoT facili (tasso di generazione del 90-95%) e hanno soppresso le CoT difficili. Ciò ha portato a un calo significativo delle prestazioni sul compito raro (Task 2), dimostrando il fenomeno dell' "oblio".
• Fallimento dello Scaling dell'Inferenza: ORM-BoN e il PRM standard-BoN hanno anch'essi sovra-favorito le CoT facili, fallendo nel risolvere le istanze difficili che richiedevano percorsi di ragionamento rari.
• Successo dei Metodi Proposti:
  • RL-rej e GRPO-KL: Questi metodi hanno bilanciato con successo la generazione di CoT facili e difficili, migliorando significativamente le prestazioni sul compito raro pur mantenendo le prestazioni sul compito comune.
  • DPRM-AS: Il campionamento basato sulla trasformazione h di Doob ha ottenuto un'elevata copertura delle CoT difficili e ha preservato le capacità multi-task, superando gli approcci PRM standard.

Significato e Rivendicazioni

Il documento sostiene di offrire la prima riconciliazione teorica tra i benefici osservati dell'esplorazione e la natura di "schiacciamento" di RLVR e dello scaling dell'inferenza.

• Intuizione Teorica: Il lavoro dimostra che il "bias di semplicità" è una proprietà intrinseca degli stimatori di ricompensa basati sulla popolazione e degli aggiornamenti guidati dall'advantage in un contesto multi-task. Spiega perché il post-training standard spesso fallisce nell'espandere le capacità di ragionamento oltre i percorsi ad alta probabilità esistenti del modello base.
• Guida Pratica: Gli autori forniscono una base teorica per le pratiche empiriche esistenti, come il rifiuto delle domande facili e l'uso della regolarizzazione KL, mostrando perché funzionano: impediscono il collasso della distribuzione sulle CoT facili, preservando così le CoT rare necessarie per il ragionamento difficile.
• Limitazioni e Ambito: Gli autori sono modesti nelle loro rivendicazioni, riconoscendo che il loro framework TMC è un'astrazione. Notano che il modello assume predittori softmax lineari e non cattura completamente le complessità dei Transformer non lineari su larga scala, degli oracle di ricompensa rumorosi o dell'hacking della ricompensa. Tuttavia, sostengono che le intuizioni fondamentali riguardanti il bias distribuzionale e la necessità di strategie di esplorazione rimangono rilevanti per comprendere i limiti dell'attuale fine-tuning basato su RL e dello scaling dell'inferenza negli LLM.

In sintesi, il documento argomenta che per ottenere un ragionamento robusto, le strategie di post-training devono contrastare esplicitamente la naturale tendenza dell'ottimizzazione basata sulla ricompensa a collassare su schemi semplici e ad alta frequenza, e che le tecniche che preservano la diversità distribuzionale (come la regolarizzazione KL e le trasformazioni h) sono teoricamente necessarie per risolvere compiti di ragionamento difficili.