Generalization of RLVR Using Causal Reasoning as a Testbed

Questo studio dimostra che il Reinforcement Learning con ricompense verificabili (RLVR) migliora la generalizzazione nel ragionamento causale rispetto al fine-tuning supervisionato, ma solo quando applicato a modelli con competenza iniziale sufficiente, ottimizzando strategie di marginalizzazione e riducendo errori nei calcoli probabilistici intermedi.

L'essenziale

🌟 Il Titolo: "Come insegnare a un'intelligenza artificiale a ragionare davvero (senza solo memorizzare)"

Immagina di avere un cuoco molto bravo (l'Intelligenza Artificiale o LLM). Questo cuoco ha letto milioni di ricette e può ricreare piatti complessi a memoria. Ma c'è un problema: se gli chiedi di cucinare qualcosa che non ha mai visto prima, o se gli dai ingredienti leggermente diversi, spesso si blocca o inventa cose che non hanno senso.

Questo studio (pubblicato alla conferenza ICLR 2026) vuole capire come trasformare questo cuoco da un semplice "copista di ricette" a un vero "chef creativo" capace di ragionare su cause ed effetti, anche in situazioni nuove.

---

🧠 Il Problema: Due modi per imparare

Gli scienziati hanno testato due metodi per addestrare il cuoco:

1. L'Apprendimento Supervisionato (SFT) - "Il metodo del Copione":
   Immagina che un insegnante mostri al cuoco la ricetta perfetta e gli dica: "Fai esattamente questo, passo dopo passo, e scrivi solo il risultato finale". Il cuoco impara a ripetere la sequenza. È come imparare a memoria una poesia: funziona bene se la poesia è quella, ma se cambi una parola, il cuoco si perde.

2. L'Apprendimento con Ricompense Verificabili (RLVR) - "Il metodo del Gioco di Ruolo":
   Qui, invece di dare la ricetta, l'insegnante dice: "Ecco gli ingredienti e il piatto che vuoi. Prova a cucinarlo. Se il piatto è buono (la risposta è corretta), ti do un punto. Se è bruciato, no". Il cuoco deve sperimentare, sbagliare, correggersi e capire perché un certo passaggio funziona. Non impara solo cosa fare, ma come ragionare per arrivare alla soluzione.

---

🧪 La Prova: Il "Gioco del Detective Causale"

Per testare questi metodi, gli autori hanno creato un gioco molto difficile basato sulla causalità (la relazione tra causa ed effetto).

Immagina un labirinto di ingranaggi (un grafo causale):

• Se giri l'ingranaggio A, muove B.
• Se muovi B, cambia C.
• Ma c'è anche un ingranaggio D che influenza tutto.

Il gioco ha tre livelli di difficoltà:

1. Osservazione (Associazione): "Se vedo che l'ingranaggio A gira, cosa sta facendo B?" (È facile, basta guardare).
2. Intervento: "Se io forzo l'ingranaggio A a girare, cosa succede a B?" (Qui devi immaginare di rompere le regole naturali e spingere l'ingranaggio a mano).
3. Controfattuale (Il livello "God Mode"): "Se avessi non girato l'ingranaggio A, ma avessi visto che B era fermo, cosa sarebbe successo?" (Qui devi viaggiare nel tempo e immaginare un universo alternativo).

Hanno dato questo gioco a cuochi di diverse dimensioni (piccoli da 3 miliardi di parametri, medi da 7, grandi da 32) e hanno visto chi vinceva.

---

🔍 Cosa hanno scoperto? (Le Sorprese)

Ecco i risultati principali, spiegati con metafore:

1. La dimensione conta, ma non basta

• I cuochi piccoli (3B): Anche con il metodo del "Gioco di Ruolo" (RLVR), i cuochi piccoli erano troppo confusi. Cercavano di ragionare, ma si perdevano nei passaggi. Alla fine, hanno smesso di ragionare e hanno iniziato a indovinare a caso. Morale: Se il cervello è troppo piccolo, non puoi insegnargli a ragionare con la forza bruta.
• I cuochi grandi (7B e 32B): Questi hanno brillato! Il metodo RLVR li ha trasformati. Non solo hanno imparato a risolvere il gioco, ma hanno sviluppato una strategia intelligente: invece di calcolare tutto in un colpo solo (come un calcolo matematico enorme e rischioso), hanno imparato a fare piccoli passi, un ingranaggio alla volta.

2. Il "Punto di Partenza" è fondamentale

Il paper scopre una cosa cruciale: il metodo RLVR funziona solo se il cuoco sa già un po' cucinare.
Se il cuoco è completamente ignorante prima di iniziare, il gioco di ruolo non serve a nulla. Ma se ha già una base di ragionamento (come i modelli da 7B e 32B), il RLVR agisce come un acceleratore:

• Riduce gli errori di logica (es. "Oh, ho dimenticato che questo ingranaggio dipende da quello!").
• Riduce gli errori di calcolo (es. "Ho sbagliato a sommare i numeri").
• Migliora la precisione, specialmente nei livelli più difficili.

3. Generalizzazione: Saper fare di tutto

Il vero test era vedere se il cuoco poteva cucinare un piatto che non aveva mai visto prima.

• Metodo Copione (SFT): Se addestrato sul livello "Osservazione", fallisce miseramente sul livello "Intervento". È come un cuoco che sa fare solo la pasta, ma se gli chiedi il risotto, non sa da che parte iniziare.
• Metodo Gioco di Ruolo (RLVR): Se addestrato sul livello "Osservazione", riesce sorprendentemente bene anche sul livello "Intervento" e "Controfattuale". Ha imparato il principio del ragionamento, non solo la ricetta specifica.

---

💡 La Metafora Finale: L'Atleta vs. Il Robot

• SFT (Supervised Fine-Tuning) è come addestrare un robot a seguire un percorso di ostacoli preciso. Se sposti un ostacolo di un centimetro, il robot si scontra.
• RLVR (Reinforcement Learning) è come addestrare un atleta. Gli dai un campo di allenamento e gli dici "Corri e supera gli ostacoli". L'atleta impara a saltare, a cambiare direzione e a usare la forza. Quando lo porti su un campo nuovo, l'atleta sa adattarsi perché ha imparato a correre, non solo a seguire una linea.

🚀 Conclusione Semplice

Questo studio ci dice che per rendere le Intelligenze Artificiali più intelligenti e capaci di ragionare su cose nuove (come la medicina o la scienza), non basta farle leggere milioni di esempi corretti. Bisogna farle praticare, farle sbagliare e farle correggere da sole (con un sistema di ricompensa), MA solo se partiamo da un modello che ha già una certa "maturità" di ragionamento.

Se il modello è troppo piccolo o troppo stupido all'inizio, il metodo non funziona. Ma se ha le basi, il RLVR lo trasforma in un vero genio del ragionamento, capace di risolvere problemi complessi che prima sembravano impossibili.

Sommario tecnico

1. Il Problema

Il Reinforcement Learning con Ricompense Verificabili (RLVR) è emerso come un paradigma promettente per il post-addestramento dei Large Language Models (LLM) su compiti di ragionamento complesso, come la risoluzione di problemi matematici o la dimostrazione di teoremi. Tuttavia, le condizioni specifiche in cui l'RLVR garantisce una generalizzazione robusta (sia all'interno dello stesso livello di difficoltà che attraverso livelli diversi) rimangono poco esplorate.
Mentre l'addestramento supervisionato (SFT) è efficace per la memorizzazione e l'apprendimento di pattern, l'RLVR dovrebbe teoricamente migliorare la capacità di generalizzazione. Il paper si pone l'obiettivo di investigare i limiti e i meccanismi di questa generalizzazione utilizzando l'inferenza probabilistica su modelli grafici causali come banco di prova controllato e rigoroso.

2. Metodologia

Dataset e Task: RLCausal

Gli autori hanno costruito un nuovo dataset chiamato RLCausal, basato su Grafi Causali Strutturali (SCM) completamente specificati.

• Input: Una descrizione di un grafo causale (variabili binarie, struttura DAG, parametrizzazione delle tabelle di probabilità condizionate - CPT) e una query.
• Output: Una distribuzione di probabilità finale.
• Livelli di Query (Scala Causale): Il dataset copre tre livelli di ragionamento causale, ciascuno con requisiti di inferenza diversi:
  1. Associazione: $P(V_i | V_j = v_j)$ (osservazione).
  2. Intervento: $P(V_i | do(V_j = c))$ (modifica del grafo, rimozione degli archi in entrata).
  3. Controfattuale: $P(V_i(V_j=c) | V_k = v_k)$ (ipotetico: richiede la costruzione di un "twin network" e inferenza su un mondo alternativo).
• Complessità: La difficoltà è misurata dalla dimensione del sotto-grafo rilevante ($|V_{rel}|$), ovvero il numero di nodi necessari per calcolare la risposta, che varia da piccoli a grandi grafi (fino a 10 nodi).

Setup Sperimentale

• Modelli: La famiglia Qwen2.5-Instruct è stata utilizzata con tre dimensioni: 3B, 7B e 32B.
• Metodi di Addestramento:
  • RLVR: Utilizzo di algoritmi come GRPO e DAPO. Il modello genera una catena di ragionamento (CoT) seguita dalla risposta. La ricompensa è basata sulla correttezza della distribuzione finale (distanza di variazione totale) e sul formato.
  • SFT (Baseline): Addestramento supervisionato diretto sulla distribuzione di probabilità corretta, senza richiedere esplicitamente una catena di ragionamento (o con CoT generati offline).
• Variabili: Gli esperimenti hanno variato la dimensione del modello e il livello di query utilizzato durante l'addestramento per testare la generalizzazione within-level (stesso livello) e across-level (livelli diversi).

3. Contributi Chiave e Risultati

A. Generalizzazione: RLVR vs SFT

• Modelli Grandi (≥7B): L'RLVR supera significativamente l'SFT sia nella generalizzazione within-level che across-level per le query di associazione e intervento. L'RLVR mostra una maggiore precisione, specialmente su query complesse.
• Modelli Piccoli (3B): L'RLVR fallisce nel migliorare le prestazioni rispetto all'SFT o addirittura peggiora le capacità di ragionamento. I modelli 3B tendono a "regredire" verso la previsione diretta della risposta senza eseguire il ragionamento esplicito richiesto.
• Livello Controfattuale: Nessun metodo (né RLVR né SFT) ha mostrato una generalizzazione affidabile su query controfattuali complesse, indipendentemente dalla dimensione del modello. Questo suggerisce che il ragionamento controfattuale formale è attualmente al di là delle capacità di questi modelli.

B. Il Ruolo della Competenza Iniziale (Reasoning Prior)

Un risultato fondamentale è che l'efficacia dell'RLVR dipende criticamente dalla competenza di ragionamento iniziale del modello base.

• I modelli 3B non possiedono una competenza di ragionamento sufficiente prima dell'addestramento; tentano di marginalizzare ma falliscono quasi sempre, portando l'RLVR a imparare a evitare il ragionamento.
• I modelli 7B e 32B hanno una competenza iniziale più alta. L'RLVR riesce a raffinare questa competenza, spostando la strategia verso una marginalizzazione incrementale (somma passo-passo) invece che "brute-force" (somma di tutte le variabili insieme), riducendo gli errori.

C. Analisi degli Errori

L'analisi dettagliata delle tracce di ragionamento (tramite un LLM judge) rivela che:

1. Strategia di Marginalizzazione: L'RLVR su modelli grandi spinge il modello ad adottare strategie incrementali più robuste, riducendo gli errori derivanti da formule di somma troppo lunghe.
2. Errori di Derivazione: L'RLVR riduce significativamente gli errori astratti di ragionamento (es. assumere indipendenze errate, confondere intervento con osservazione, applicare male le regole di Bayes).
3. Errori di Calcolo: Sebbene gli errori aritmetici e di copia dei dati diminuiscano, rimangono presenti. Tuttavia, l'RLVR è più efficace nel correggere gli errori logici rispetto all'SFT.
4. Precisione: I modelli addestrati con RLVR tendono a produrre risposte più precise (vicine al valore vero) rispetto all'SFT, che spesso produce risposte "approssimativamente corrette" ma con deviazioni maggiori.

4. Significato e Implicazioni

Questo studio offre intuizioni critiche sul futuro dell'addestramento degli LLM per il ragionamento:

1. Non è una soluzione magica: L'RLVR non migliora automaticamente tutti i modelli. È necessario un "punto di partenza" (cold start) con una competenza di ragionamento minima. Senza di essa, l'RLVR può portare a un collasso delle strategie di ragionamento.
2. Specificità del Dominio: Mentre l'RLVR eccelle su compiti con ricompense verificabili e logica formale (come la matematica), la sua efficacia è limitata da compiti che richiedono capacità di astrazione complesse (come il ragionamento controfattuale formale su grafi grandi), dove i modelli attuali faticano anche con l'addestramento supervisionato.
3. Scalabilità: La scalabilità dei modelli (da 3B a 32B) è fondamentale, ma il guadagno è amplificato quando combinato con un addestramento che incoraggia il ragionamento (RLVR) su modelli che già possiedono una base di ragionamento solida.
4. Implicazioni per la Ricerca: Il lavoro suggerisce che per migliorare il ragionamento causale, è necessario prima potenziare le capacità di base del modello (tramite pre-training o SFT mirato) prima di applicare l'RLVR. Inoltre, evidenzia la necessità di nuovi approcci per affrontare il livello controfattuale della scala causale.

In sintesi, il paper dimostra che l'RLVR è uno strumento potente per affinare le capacità di ragionamento di modelli sufficientemente grandi, migliorando la loro strategia di risoluzione e riducendo errori logici, ma fallisce se applicato a modelli che non possiedono le fondamenta necessarie per eseguire il ragionamento richiesto.