🤖 machine learning

Reward Granularity in RLVR: Comparing Process and Outcome Reward Structures for Mathematical Reasoning in Small Language Models

Questo articolo dimostra che per i piccoli modelli linguistici addestrati con RLVR su compiti di ragionamento matematico, la supervisione del premio a livello di processo supera significativamente la supervisione basata solo sull'esito sia in termini di accuratezza che di fedeltà della traccia di ragionamento, mentre le strutture di premio ibride beneficiano generalmente di pesi del processo più elevati.

Autori originali: Anagha Radhakrishna Palandye, Rebecca Glick, Osheen Kaul

Pubblicato 2026-07-07

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Anagha Radhakrishna Palandye, Rebecca Glick, Osheen Kaul

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a uno studente molto giovane ed entusiasta (un piccolo modello di IA) come risolvere problemi matematici con parole. Vuoi che ottenga la risposta corretta, ma vuoi anche che impari come pensare, non solo a indovinare.

Questo articolo è come un insegnante che confronta due diversi modi di valutare quello studente: controllare solo la risposta finale rispetto al controllare ogni singolo passaggio del suo lavoro.

Ecco la suddivisione del loro esperimento in termini semplici:

L'Inquadramento: Lo Studente con il "Cervellino"

I ricercatori hanno utilizzato un modello di IA molto piccolo (chiamato Qwen2.5-0.5B). Pensa a questo modello come a un bambino intelligente ma piccolo che non ha una memoria enorme o molta potenza cerebrale. Essendo piccolo, può confondersi facilmente se le istruzioni non sono chiare.

Hanno dato a questo studente 1.319 problemi matematici da risolvere (da un dataset chiamato GSM8K). Lo hanno addestrato usando un metodo chiamato "Apprendimento per Rinforzo" (Reinforcement Learning), che è fondamentalmente un sistema di ricompense: "Bravo!" per le risposte giuste e "Riprova" per quelle sbagliate.

I Due Stili di Insegnamento (Strutture di Ricompensa)

I ricercatori hanno testato cinque modi diversi di dare queste ricompense:

L'Allenatore "Solo sul Risultato" (Il Voto Finale):
- Come funziona: L'insegnante guarda solo il numero finale nel riquadro. Se la risposta è giusta, lo studente riceve una stella d'oro. Se è sbagliata, non riceve nulla.
- Il Risultato: Lo studente ha imparato a ottenere la risposta corretta circa il 54% delle volte.
- Il Problema: Lo studente ha iniziato a "barare" o a indovinare. Saltava direttamente alla risposta, saltava i passaggi o inventava una logica solo per ottenere la stella d'oro. Il suo ragionamento era disordinato e spesso errato, anche se il numero finale era frutto della fortuna.
L'Allenatore "Solo sul Processo" (Il Valutatore Passo dopo Passo):
- Come funziona: L'insegnante controlla ogni singolo passaggio che lo studente scrive. Ha sommato correttamente? Ha definito le sue variabili? Se un passaggio è giusto, riceve un punto. Se un passaggio è sbagliato, perde un punto.
- Il Risultato: Lo studente ha ottenuto la risposta corretta il 64% delle volte.
- Il Beneficio: Il suo pensiero è diventato molto più logico e fondato. Ha effettivamente imparato come risolvere il problema.
- L'Effetto Collaterale: Lo studente è diventato un po' chiacchierone. A volte scriveva troppi passaggi o si ripeteva, come uno studente che ha così tanta paura di sbagliare da scrivere un romanzo solo per risolvere $2+2$ .
Gli Allenatori "Ibridi" (Mescolando gli Stili):
- I ricercatori hanno provato a mescolare i due stili. Hanno dato allo studente un punteggio basato principalmente sui passaggi, con un piccolo peso sulla risposta finale (o viceversa).
- La Sorpresa: La combinazione migliore è stata 90% di attenzione ai passaggi, 10% alla risposta finale. Questo studente è stato quasi altrettanto bravo dello studente "Solo sul Processo" (61% di precisione), ma scriveva risposte più pulite e concise.
- L'Avvertimento: Quando hanno provato una miscela che era 90% focalizzata sulla risposta finale e solo il 10% sui passaggi, lo studente è andato peggio rispetto allo studente "Solo sul Risultato". Sembra che quando la ricompensa per la "risposta finale" è troppo forte, confonde lo studente e rende inutili le istruzioni "passo dopo passo".

Cosa Hanno Scoperto? (L'Analogia)

Pensa all'IA come a un escursionista che cerca di raggiungere la cima di una montagna (la risposta corretta).

Solo sul Risultato: Dici all'escursionista: "Se raggiungi la cima, ricevi un premio". L'escursionista potrebbe prendere una scorciatoia, scivolare giù da una scogliera o perdersi, ma se arriva alla cima per fortuna, vince. Non impara il sentiero.
Solo sul Processo: Dici all'escursionista: "Ogni volta che fai un passo sicuro e corretto sul sentiero, ricevi uno spuntino". L'escursionista impara il sentiero perfettamente. Potrebbe fare qualche passo in più per sicurezza, ma arriva a destinazione in modo affidabile.
L'Ibrido: Dai degli spuntini per i passi sicuri, ma dai anche un grande premio per aver raggiunto la cima. Se il premio è troppo grande rispetto agli spuntini, l'escursionista ignora il sentiero e prova a volare o a saltare, fallendo più spesso.

La Grande Conclusione

L'articolo conclude che il modo in cui valuti conta più di quanto pensi.

Per i piccoli modelli di IA, premiare semplicemente la risposta finale non è sufficiente. Crea "allucinazioni" (logica falsa) dove il modello inventa passaggi solo per ottenere il numero giusto. Per ottenere un modello che pensi davvero in modo corretto, devi premiare il processo (i passaggi) pesantemente.

L'approccio "Solo sul Processo" ha reso il modello significativamente più intelligente e accurato, dimostrando che per i cervelli piccoli, mostrare i passaggi è importante quanto ottenere la risposta corretta.

Sintesi Tecnica: Granularità della Ricompensa nel RLVR per Small Language Models

Definizione del Problema

L'Apprendimento per Rinforzo con Ricompense Verificabili (RLVR) è emerso come un paradigma per potenziare il ragionamento matematico nei modelli linguistici, basandosi tipicamente su ricompense basate sull'esito (correttezza della risposta finale). Tuttavia, l'impatto della supervisione a livello di processo (ricompense passo-passo) rimane poco esplorato, in particolare per i modelli linguistici piccoli (SLM) come Qwen2.5-0.5B. Questi modelli più piccoli spesso mancano della capacità interna di autocorrezione quando vengono forniti con feedback sparsi basati solo sull'esito, portando a tracce di ragionamento che possono essere logicamente incoerenti, allucinate o strutturalmente fragili, anche quando la risposta finale è corretta. La domanda centrale di ricerca è se le ricompense di processo migliorino la coerenza e la validità delle tracce di ragionamento e se strutture di ricompensa ibride producano un ragionamento più stabile rispetto a ciascun approccio preso singolarmente.

Metodologia

Gli autori hanno condotto uno studio empirico controllato utilizzando Qwen2.5-0.5B, un modello transformer compatto, sottoposto a fine-tuning sul dataset GSM8K (problemi matematici di grado elementare) tramite Group Relative Policy Optimization (GRPO).

Configurazione Sperimentale

Baseline: Un modello pre-addestrato valutato in un setting di risposta diretta (senza Chain-of-Thought), che ha raggiunto un'accuratezza del 33,13%.
Regimi di Ricompensa: Sono state confrontate cinque distinte condizioni di ricompensa:
1. Solo Processo: Ricompense assegnate a ogni passaggio intermedio se corrisponde al calcolo della verità fondamentale (entro una tolleranza numerica). Viene applicata una penalità se la catena generata supera 1,5× il numero di passaggi della verità fondamentale.
2. Solo Esito: Ricompensa binaria basata esclusivamente sulla correttezza della risposta numerica finale.
3. Configurazioni Ibride: Combinazioni pesate di ricompense di processo e di esito ( $R = \lambda \cdot R_{process} + (1-\lambda) \cdot R_{outcome}$ ) con $\lambda \in \{0,9; 0,5; 0,1\}$ .
Strategia di Valutazione:
- Accuratezza: Misurata sull'intero set di test di 1.319 domande.
- Fedeltà del Ragionamento: Valutata su un segmento stratificato di 45 domande (15 facili, 15 medie, 15 difficili) utilizzando quattro metriche:
  - CoT-Pass@1: Tasso di successo di una singola traccia campionata.
  - Validità della Traccia: Coerenza logica (assenza di contraddizioni o trasformazioni non valide).
  - Deviazione della Lunghezza della Catena: Differenza tra il numero di passaggi generati e quelli della verità fondamentale.
  - Rapporto dei Passaggi di Processo: Proporzione di passaggi che si allineano con il ragionamento della verità fondamentale.
- Analisi degli Errori: GPT-4o è stato utilizzato come giudice per categorizzare le modalità di fallimento (es. derivazione errata, errori di calcolo, passaggi mancanti, contraddizioni).

Risultati Chiave

1. Guadagni di Accuratezza

La supervisione solo di processo ha ottenuto l'accuratezza di test più elevata al 63,73%, rappresentando un miglioramento del +30,60% rispetto alla baseline. Questo ha superato significativamente la supervisione solo di esito (53,75%, un miglioramento del +20,62%).

Performance Ibride: La configurazione ibrida con alto peso del processo ( $\lambda=0,9$ ) ha raggiunto un'accuratezza del 61,10%.
Anomalia: La configurazione con basso processo/alto esito ( $\lambda=0,1$ ) è stata inferiore alla pura supervisione di esito (49,30%), suggerendo che segnali di ottimizzazione contrastanti in questa specifica ponderazione degradano le prestazioni.

2. Fedeltà e Stabilità del Ragionamento

Validità della Traccia: Il modello ibrido $\lambda=0,9$ ha ottenuto la massima validità della traccia (0,60), seguito dal solo esito (0,40) e dal solo processo (0,22).
Lunghezza della Catena: I modelli di solo processo hanno mostrato la maggiore deviazione dalle lunghezze delle catene della verità fondamentale (6,49), indicando una tendenza verso un ragionamento verboso o ridondante. I modelli di solo esito hanno prodotto tracce più concise (deviazione 3,64).
Rapporto dei Passaggi di Processo: Il modello ibrido $\lambda=0,9$ ha ottenuto il rapporto più elevato (0,84), indicando il miglior allineamento con i passaggi intermedi della verità fondamentale.

3. Analisi Qualitativa ed Errore

Modelli di Solo Processo: Hanno generato tracce strutturalmente incoerenti ma aritmeticamente fondate. Hanno spesso introdotto incoerenze strutturali e contraddizioni, probabilmente a causa dell'incentivo a produrre catene lunghe di passaggi localmente plausibili.
Modelli di Solo Esito: Hanno prodotto catene concise ma sono stati soggetti ad errori di derivazione e aritmetici, riflettendo un debole radicamento intermedio e una tendenza a "saltare" tra i punti di ragionamento.
Modelli Ibridi: Hanno esibito il flusso di ragionamento più simile a quello umano, bilanciando la continuità dei passaggi con la necessaria brevità, e hanno mostrato la distribuzione più uniforme dei tipi di errore con meno fallimenti catastrofici.

Significato e Contributi

Il documento sostiene che la granularità della ricompensa è una decisione di progettazione di primo ordine per il RLVR, piuttosto che un dettaglio minore di implementazione. I contributi chiave sono:

Confronto Sistematico: Fornire un confronto controllato di cinque condizioni di ricompensa su un modello piccolo, dimostrando che i segnali di processo densi forniscono una guida più informativa rispetto al feedback sparso dell'esito per gli SLM.
Oltre l'Accuratezza: Stabilire che l'accuratezza da sola è insufficiente; la supervisione di processo migliora sostanzialmente la fedeltà della traccia e la validità dei passaggi, mentre la supervisione basata solo sull'esito può portare a un ragionamento "instabile".
Dinamiche Ibride: Identificare che, sebbene le ricompense ibride siano generalmente correlate positivamente con il peso del processo, specifiche configurazioni a basso processo possono creare segnali contrastanti che danneggiano le prestazioni.
Caratterizzazione delle Modalità di Fallimento: Utilizzare l'LLM-come-giudice per rivelare distribuzioni di errore distinte: i modelli di processo soffrono di incoerenza strutturale, mentre i modelli di esito soffrono di errori di derivazione.

Gli autori concludono che per sviluppare modelli che non solo rispondano correttamente ma che ragionino anche in modo affidabile, è essenziale supervisionare sia il processo che l'esito del ragionamento. Il divario di quasi 10 punti percentuali di accuratezza tra la supervisione di solo processo e quella di solo esito sottolinea l'importanza critica della granularità della ricompensa nei piccoli modelli linguistici.