Sintesi Tecnica: CARE-RFT

Definizione del Problema

Il Reinforcement Finetuning (RFT) è emerso come un paradigma cruciale per sbloccare le capacità di ragionamento emergente nei Large Language Models (LLM), come esemplificato dai modelli DeepSeek-R1-Zero. Tuttavia, gli autori identificano un critico compromesso tra performance di ragionamento e affidabilità del modello:

1. RFT non vincolato: Sebbene algoritmi come il Group Relative Policy Optimization (GRPO) senza vincoli raggiungano una superiore accuratezza nel ragionamento, essi compromettono gravemente l'affidabilità del modello. La rimozione dei vincoli porta a un "rinforzo indiscriminato", dove il modello rinforza intere catene di pensiero (inclusi passaggi intermedi logicamente errati) se l'esito finale è corretto. Ciò si traduce in un aumento dei tassi di allucinazione, una degradazione della fattualità nei benchmark di recupero e una scarsa calibrazione (alto Expected Calibration Error, o ECE).
2. RFT vincolato da RKL: Per mitigare le allucinazioni, gli approcci standard impongono una penalità di divergenza Reverse Kullback–Leibler (RKL) per mantenere la policy addestrata ($\pi_\theta$) vicina a una policy di riferimento ($\pi_{ref}$). Sebbene ciò preservi la calibrazione e la fattualità, la penalità RKL è illimitata. Essa impone penalità infinite sui token in cui il modello di riferimento assegna una bassa probabilità, ostacolando di fatto l'esplorazione di nuovi percorsi di ragionamento ad alto rendimento che deviano dal modello base. Di conseguenza, i guadagni nel ragionamento sono limitati rispetto all'RFT non vincolato.

La sfida centrale consiste nel progettare un metodo di regolarizzazione che permetta l'esplorazione necessaria per il ragionamento, prevenendo al contempo le deviazioni non ancorate che causano allucinazioni e scarsa calibrazione.

Metodologia: CARE-RFT

Gli autori propongono CARE-RFT (Confidence-Anchored Regularized Reinforcement Finetuning), che sostituisce la standard penalità RKL con una divergenza Skew Reverse KL (SRKL).

Fondamento Teorico

La divergenza RKL standard ($D_{RKL}$) penalizza le deviazioni in cui $\pi_\theta$ assegna probabilità a token che $\pi_{ref}$ ritiene improbabili. Questa penalità cresce in modo illimitato quando $\pi_{ref}(o_t) \to 0$, impedendo al modello di esplorare strategie di ragionamento a bassa probabilità ma potenzialmente corrette.

CARE-RFT introduce un parametro di skew $\alpha \in (0, 1)$ per definire una distribuzione mista. La divergenza SRKL è definita come:
$$D_{SRKL}^\alpha (\pi_{ref} \| \pi_\theta) = \sum_{o_t \in V} \pi_\theta(o_t) \log \frac{\pi_\theta(o_t)}{\alpha \pi_\theta(o_t) + (1-\alpha)\pi_{ref}(o_t)}$$

Meccanismi Chiave

1. Penalità ancorata alla confidenza: La penalità SRKL è sensibile alla confidenza.
   • Deviazioni verso l'alto (Esplorazione): Quando il modello è fiducioso ($\pi_\theta$ è elevata) e costantemente premiato, la penalità per l'aumento della probabilità su un token è limitata. Il termine $\log(1/\alpha)$ funge da limite superiore finito. Ciò consente al modello di accumulare massa di probabilità su nuovi pattern di ragionamento ad alto rendimento senza essere soppresso dal bassa probabilità del modello di riferimento.
   • Deviazioni verso il basso (Preservazione): Quando il modello tenta di ridurre la probabilità sui token che il modello di riferimento favorisce (o quando il modello è incerto), la penalità rimane illimitata (divergendo a $-\infty$ man mano che il rapporto si avvicina a 0). Ciò assicura che il modello non si discosti dai priori ben calibrati del modello base, preservando l'ancoraggio fattuale.
2. Stabilità del Gradiente: Il coefficiente del gradiente di SRKL è limitato per i movimenti verso l'alto, mitigando il "gradient blow-up" e la varianza dello stimatore spesso visti con la RKL standard quando il modello di riferimento assegna una probabilità prossima allo zero ai token campionati.

Setup Sperimentale

Gli autori hanno valutato CARE-RFT attraverso molteplici scale di modello (Qwen2.5-3B e 7B) e tre distinti algoritmi RFT:

• GRPO: Il fondamento dell'ottimizzazione della policy relativa al gruppo.
• DAPO: Una variante aggressiva e priva di vincoli.
• GSPO: Un recente approccio di ottimizzazione a livello di sequenza.

Benchmark:

• Ragionamento: MATH e GSM8K (misurati tramite Pass@4).
• Affidabilità/Fattualità: TruthfulQA e SelfAware (misurati tramite Pass@1).
• Calibrazione: Expected Calibration Error (ECE) su TruthfulQA.

Risultati Chiave

Gli esperimenti dimostrano che CARE-RFT riesce a rompere il compromesso tra accuratezza e calibrazione:

1. Performance di Ragionamento: CARE-RFT eguaglia la performance di ragionamento dell'RFT non vincolato. Ad esempio, usando GRPO su Qwen2.5-3B, CARE-RFT ha ottenuto un punteggio MATH di 0.600, quasi identico alla versione non vincolata (0.610) e significativamente superiore al GRPO vincolato da RKL (0.510).
2. Affidabilità e Calibrazione: A differenza dell'RFT non vincolato, che ha subito gravi cali nell'accuratezza di TruthfulQA e un alto ECE, CARE-RFT ha recuperato l'affidabilità del modello base.
   • TruthfulQA: CARE-GRPO ha ottenuto 0.465, vicino al modello base (0.489) e al RKL-GRPO (0.480), mentre l'unconstrained GRPO è sceso a 0.350.
   • ECE: CARE-RFT ha mantenuto un basso ECE (0.132), comparabile ai metodi vincolati da RKL (0.125) e significativamente migliore rispetto ai metodi non vincolati (0.210).
3. Dinamiche di Addestramento: L'analisi dell'entropia dei token ha rivelato che l'RFT non vincolato porta a un collasso catastrofico dell'entropia (overconfidence), mentre la RKL mantiene un'entropia alta ma limita l'affilamento. CARE-RFT ottiene una riduzione controllata dell'entropia, permettendo al modello di affinare le distribuzioni per il ragionamento senza collassare nella overconfidence.

Significato e Rivendicazioni

L'articolo sostiene che una regolarizzazione attenta e consapevole della confidenza è la chiave per costruire modelli di ragionamento sia capaci che affidabili.

• Risoluzione del Compromesso: CARE-RFT risolve la tensione tra la necessità di esplorazione (per sbloccare il ragionamento) e la necessità di vincolo (per prevenire le allucinazioni) introducendo una penalità unidirezionale e limitata.
• Generalizzabilità: Il metodo è presentato come uno strato di regolarizzazione "drop-in" compatibile con vari algoritmi RFT (GRPO, DAPO, GSPO) e scale di modello.
• Intuizione Meccanicistica: Il lavoro stabilisce che il fallimento dell'RFT non vincolato non è semplicemente dovuto alla mancanza di vincoli, ma specificamente alla natura indiscriminata dei premi a livello di esito. Spostandosi verso vincoli a livello di token e consapevoli della confidenza, il modello può apprendere pattern di ragionamento complessi senza sacrificare i priori fattuali del modello base.

Gli autori concludono che il loro approccio consente ai modelli di raggiungere il "momento aha" del ragionamento emergente pur mantenendo l'affidabilità richiesta per applicazioni ad alto rischio, senza richiedere le penalità illimitate che soffocano l'apprendimento nella tradizionale RFT vincolata da RKL.