💻 computer science

Learning Reasoning Reward Models from Expert Demonstration via Inverse Reinforcement Learning

Il paper propone un framework di apprendimento inverso per rinforzo avversariale (AIRL) che deriva modelli di ricompensa per il ragionamento direttamente dalle dimostrazioni di esperti, superando i limiti dell'imitazione e dell'apprendimento per rinforzo basato su risultati finali per migliorare le capacità di ragionamento dei modelli linguistici su diversi compiti e granularità.

Autori originali: Claudio Fanconi, Nicolás Astorga, Mihaela van der Schaar

Pubblicato 2026-04-24

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Claudio Fanconi, Nicolás Astorga, Mihaela van der Schaar

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di voler insegnare a un robot (un'intelligenza artificiale) a risolvere problemi complessi, come equazioni matematiche o diagnosi mediche. Fino a poco tempo fa, c'erano due modi principali per farlo, ma entrambi avevano dei difetti:

L'imitazione cieca (SFT): Gli dai un libro di esercizi con le soluzioni già scritte da un genio e gli dici: "Copia esattamente quello che ho scritto". Il robot impara a ripetere le frasi giuste, ma se si trova di fronte a un problema nuovo che non ha mai visto nel libro, si blocca. Non ha imparato come pensare, solo cosa dire.
Il premio alla fine (RL): Gli fai provare a risolvere il problema da solo. Se alla fine indovina la risposta giusta, gli dai un premio (un "caramella"). Se sbaglia, niente premio. Il problema è che il robot non sa dove ha sbagliato nel mezzo del ragionamento. Potrebbe aver fatto 100 passi giusti e uno sbagliato, ma riceve lo stesso "zero" di chi ha sbagliato tutto dall'inizio.

La soluzione: Il "Maestro Invisibile" (AIRL)

Gli autori di questo paper hanno pensato: "E se invece di farci copiare le soluzioni o di aspettare la fine per premiare, imparassimo a creare un giudice che sa riconoscere un buon ragionamento passo dopo passo?"

Hanno usato una tecnica chiamata Apprendimento per Rinverso Adversariale (AIRL). Ecco come funziona, con un'analogia semplice:

Immagina di avere un Maestro (le dimostrazioni esperte) e un Allievo (il modello AI).

Invece di far copiare all'Allievo le parole del Maestro, crei un Giudice (il "Reward Model").
Il Giudice guarda le soluzioni del Maestro e quelle dell'Allievo.
Il suo compito è dire: "Questa parte del ragionamento è intelligente come quella del Maestro, oppure è una scemenza?"
Se l'Allievo fa un passo giusto, il Giudice gli dà un punto. Se sbaglia, gli toglie punti.
L'Allievo impara a fare ragionamenti che piacciono al Giudice, non a copiare il Maestro.

I tre superpoteri di questo metodo

Il paper mostra che questo "Giudice" imparato è utile in tre modi magici:

L'allenatore (Training): Quando l'Allievo si allena, il Giudice lo corregge passo dopo passo. Risultato? L'Allievo diventa più intelligente di chi ha solo copiato le soluzioni, specialmente in matematica e scienza.
Il selezionatore (Inference): Quando l'Allievo deve rispondere a una domanda, invece di dare la prima risposta che gli viene in mente, ne genera 16 diverse. Il Giudice le legge tutte e sceglie quella migliore. È come avere un revisore che ti dice: "Di queste 16 bozze, la numero 7 è l'unica che ha senso". Questo aumenta drasticamente la precisione.
Il detective (Diagnosi): Se l'Allievo sbaglia, il Giudice può indicare esattamente dove si è inceppato. "Ehi, i primi 5 passi erano perfetti, ma al sesto hai diviso per zero invece che per due". Questo aiuta a capire perché il ragionamento è fallito.

Il segreto: Quanto deve essere preciso il Giudice?

Gli autori hanno scoperto che c'è un equilibrio delicato, come quando si siede un bambino a tavola:

Premio "Raro" (Sparse): Il Giudice parla solo alla fine ("Bravo" o "Boh"). È facile da gestire, ma non ti dice dove hai sbagliato.
Premio "Densissimo" (Dense): Il Giudice parla ad ogni singola parola ("Bravo", "Bravo", "Attenzione qui!", "No!"). È molto preciso, ma se il Giudice è troppo severo o confuso, l'Allievo va in panico e impara male.
Il compromesso: Hanno trovato che un livello intermedio (premi ogni tanto, ma frequenti) funziona spesso meglio, dando abbastanza guida senza sopraffare il sistema.

In sintesi

Questo studio ci dice che non dobbiamo solo far "copiare" alle intelligenze artificiali le risposte giuste, né aspettare la fine per premiarle. Possiamo insegnar loro a pensare creando un "sensore di qualità" che valuta ogni singolo passo del ragionamento. È come passare da un insegnante che ti fa memorizzare la formula, a uno che ti guarda mentre fai gli esercizi e ti corregge la mano mentre muovi la penna.

Il risultato? Un'IA che non solo sa la risposta, ma sa ragionare per arrivarci, e sa anche spiegare dove ha sbagliato se non ci riesce.

1. Il Problema

I metodi attuali per migliorare il ragionamento nei Large Language Models (LLM) si basano principalmente su due approcci, entrambi con limitazioni fondamentali:

Supervised Fine-Tuning (SFT): I modelli vengono addestrati imitando le tracce di ragionamento degli esperti. Sebbene efficace, è puramente imitativo: il modello apprende a replicare i token osservati ma non sviluppa un obiettivo a livello di singolo passo per valutare ragionamenti alternativi quando si trova in stati non presenti nei dati di addestramento.
Reinforcement Learning (RL) basato su reward di risultato: Utilizza funzioni di reward definite esternamente (verificatori) che assegnano un punteggio solo alla risposta finale. Questo approccio richiede un verificatore ben specificato per ogni compito e non fornisce feedback sul processo intermedio, rendendo difficile localizzare gli errori di ragionamento.

Esiste quindi un vuoto: manca un metodo per apprendere reward di ragionamento densi e riutilizzabili direttamente dalle dimostrazioni degli esperti, senza dipendere da verificatori esterni o da funzioni di reward ingegnerizzate a mano.

2. Metodologia: Adversarial Inverse Reinforcement Learning (AIRL)

Gli autori propongono un framework basato sull'Adversarial Inverse Reinforcement Learning (AIRL) per inferire una funzione di reward dal comportamento degli esperti.

Formulazione del Problema

Il ragionamento è modellato come un processo di generazione autoregressiva. L'obiettivo è apprendere un modello di reward denso $r_\phi(y_t | x, y_{<t})$ che assegna un punteggio a ogni token o passo intermedio, distinguendo le tracce di ragionamento corrette da quelle errate.
Il problema è formulato come un gioco minimax:

Discriminatore ( $D_\phi$ ): Impara a distinguere le tracce degli esperti ( $y_E$ ) da quelle generate dalla politica corrente ( $y \sim \pi_\theta$ ).
Politica ( $\pi_\theta$ ): Viene ottimizzata per massimizzare il reward cumulativo previsto dal discriminatore.

Componenti Chiave

Definizione dei Dati Positivi e Negativi:
- Invece di trattare tutte le tracce degli esperti come positive e tutte quelle della politica come negative (rischio di imparare artefatti stilistici), il metodo utilizza la coerenza della risposta finale.
- L'insieme positivo ( $D_{pos}$ ) include le tracce degli esperti e le tracce della politica che producono la stessa risposta corretta dell'esperto.
- L'insieme negativo ( $D_{neg}$ ) include le tracce della politica con risposte errate e tracce degli esperti "corrotte" sinteticamente (es. numeri invertiti, operatori cambiati) per aumentare la robustezza.
Granularità del Reward:
Il framework valuta diverse risoluzioni di assegnazione del credito (credit assignment):
- Sparse: Reward solo alla fine della sequenza (simile al RL tradizionale).
- Interval: Reward assegnato ogni $k$ token.
- Dense: Reward assegnato a ogni token o passo logico.
- Per le granularità sparse/interval, i reward vengono "densificati" (backfilling) assegnando il reward del prossimo checkpoint supervisionato a tutti i token intermedi.
Ottimizzazione e Stabilità:
- L'addestramento avviene in modo alternato: il discriminatore viene aggiornato più volte per ogni passo della politica.
- Viene utilizzata la Group Relative Policy Optimization (GRPO) per aggiornare la politica, standardizzando i reward all'interno di gruppi di campioni per ridurre la varianza.
- Per evitare l'instabilità numerica e l'"reward hacking", i reward densi vengono clipati a un intervallo simmetrico.
- Vengono utilizzati replay buffer per stabilizzare l'addestramento del discriminatore, prevenendo il collasso delle modalità (mode collapse).

3. Contributi Chiave

Adattamento dell'AIRL per LLM: Applicazione dell'Adversarial IRL per apprendere reward di ragionamento a più granularità direttamente dalle dimostrazioni, senza verificatori esterni.
Riutilizzo del Reward: Dimostrazione che un singolo reward appreso può essere utilizzato efficacemente sia come segnale di addestramento per la politica (sostituendo o affiancando l'SFT) sia come strumento di reranking a tempo di inferenza.
Localizzazione degli Errori: Il reward denso appreso è in grado di identificare il preciso passo in cui una traiettoria di ragionamento devia dal percorso corretto, fornendo diagnostica a livello di token.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre benchmark: GSM8K (matematica), MEDREASON (ragionamento medico) e MMLU-PRO (scienze generali), utilizzando diversi backbones (Qwen2.5, Llama3).

Come Segnale di Addestramento (D1):
- Le reward apprese superano spesso l'SFT puro. In 8 su 9 configurazioni (backbone-dataset), la variante AIRL ha ottenuto prestazioni migliori dell'SFT.
- La granularità Sparse si è rivelata la più stabile e robusta. Le reward Dense, sebbene potenti, sono più sensibili all'instabilità dell'addestramento avversario e possono portare a collassi in alcuni scenari.
- Esempio: Su GSM8K con Qwen2.5-7B, la reward Sparse ha raggiunto l'85.8% (vs 70.1% SFT).
Assistenza a Tempo di Inferenza (D2):
- Utilizzando il reward per il reranking di 16 campioni generati (Best-of-16), si ottengono guadagni significativi.
- Il miglioramento massimo è stato di +17.4 punti percentuali (da 38.4% a 55.7% su GSM8K con reward Dense).
- Il reward funziona bene anche combinato con il voto a maggioranza (Majority Voting).
Generalizzazione e Localizzazione (D3):
- Transfer Learning: I reward appresi su un compito (es. GSM8K) o su un modello (es. Llama) trasferiscono efficacemente ad altri compiti e backbones, indicando che catturano principi di ragionamento riutilizzabili.
- Diagnostica: Le visualizzazioni mostrano che il reward rimane positivo durante i passi corretti e crolla bruscamente esattamente al primo passo errato, permettendo di isolare il punto di fallimento del ragionamento.

5. Significato e Implicazioni

Questo lavoro colma il divario tra l'imitazione pura (SFT) e l'ottimizzazione guidata dal reward (RL).

Indipendenza dai Verificatori: Permette di ottenere reward di processo densi senza bisogno di costruire costosi verificatori specifici per ogni task.
Interpretabilità: Fornisce uno strumento per diagnosticare perché un modello fallisce, non solo se fallisce.
Efficienza: Un unico modello di reward appreso può servire sia per migliorare le capacità di ragionamento durante l'addestramento sia per selezionare le migliori risposte durante l'inferenza, ottimizzando l'uso delle risorse computazionali.

In sintesi, il paper dimostra che è possibile estrarre un "senso critico" di ragionamento intermedio dalle sole dimostrazioni umane, creando un framework unificato per l'addestramento, la verifica e la diagnosi dei LLM.