Riepilogo Tecnico: Elicitazione da Debole a Forte tramite Bozze Errate Inadeguate

Enunciato del Problema

Il documento affronta una limitazione riconosciuta nell'Apprendimento per Rinforcement On-Policy da Ricompense Verificabili (RLVR), specificamente utilizzando algoritmi come GRPO. Sebbene l'RL on-policy sia efficace nel affinare le modalità di ragionamento esistenti di un modello, le analisi empiriche suggeriscono che non riesce ad espandere la copertura intrinseca del modello, portando spesso a prestazioni pass@k che eguagliano o risultano inferiori a quelle del modello di base con grandi budget di campioni. Gli autori indagano se esperienze off-policy provenienti da un modello più piccolo e più debole possano elicitaare capacità in un apprendista più forte che il tipico affinamento on-policy non riesce a raggiungere. Nello specifico, si chiedono se l'iniezione di tracce di ragionamento "errate" da un modello più debole nella finestra di contesto di un modello più forte possa guidare l'espansione delle capacità.

Metodologia

Il metodo proposto, denominato Mismatched-Wrong (Inadeguato-Errato), integra una specifica strategia di aumento dei dati nel ciclo di allenamento standard GRPO on-policy.

1. Ruoli dei Modelli

• Apprendista ($\pi_S$): Mathstral-7B-v0.1.
• Modello Bozza ($\pi_W$): Qwen2.5-Math-1.5B (un modello più piccolo, addestrato su dominio specifico).
• Dati di Allenamento: ~8.8K problemi di Livello 3–5 dal dataset MATH (con MATH-500 tenuto da parte).

2. La Costruzione "Inadeguata-Errata"

L'innovazione centrale risiede nel modo in cui le tracce bozza vengono selezionate e assegnate:

• Erroneità: Per ogni problema di allenamento, il modello bozza genera 32 completamenti. Gli autori filtrano i completamenti che sono matematicamente errati (evitando specificamente risposte "quasi-corrette" che potrebbero essere troppo vicine alla verità).
• Inadeguatezza: Invece di accoppiare la bozza errata al problema per cui è stata generata, gli autori applicano una derangmentazione casuale 1-1 ($\sigma$). Ogni problema $x$ viene accoppiato con la bozza errata $d^-_{\sigma(x)}$ generata per un diverso problema.
• Struttura del Prompt: Il prompt di allenamento include l'effettiva enunciazione del problema, seguita dalla bozza errata inadeguata in una sezione "Ragionamento", con un'istruzione esplicita che il ragionamento può contenere errori e che il modello deve risolvere il problema in modo indipendente.

3. Protocollo di Allenamento

• Algoritmo: Dr. GRPO (una variante efficiente di GRPO).
• Ricompensa: Ricompensa binaria sull'esito (1 se la risposta finale è corretta, 0 altrimenti). Non vengono utilizzate ricompense di processo o modelli di ricompensa.
• Vincoli: Il metodo utilizza una singola GPU, non richiede Affinamento Supervisionato (SFT), non richiede dati sintetizzati e non utilizza cicli interni "produce-critica-rivedi". L'apprendista produce una soluzione in un singolo rollout per prompt.

4. Studio di Ablazione

Gli autori isolano gli ingredienti attivi confrontando quattro varianti in un disegno $2 \times 2$:

1. Accoppiata + Corretta: La bozza corrisponde al problema ed è corretta.
2. Accoppiata + Errata: La bozza corrisponde al problema ma è errata.
3. Inadeguata + Corretta: La bozza è per un problema diverso ma è corretta.
4. Inadeguata + Errata: La bozza è per un problema diverso ed è errata (il metodo proposto).
   Vengono valutati anche un baseline GRPO Senza-Bozza e il Modello di Base.

Risultati Chiave

Prestazioni su MATH-500

La variante Inadeguata-Errata raggiunge un pass@1 greedy del 71,98% su MATH-500 (10 semi, IC 95% $\pm$0,80pp).

• Questo supera la pipeline più pesante WizardMath (70,9% su MATH completo), che si basa su dati SFT sintetizzati e PPO con modelli di ricompensa di processo/istruzione.
• Supera il baseline GRPO Senza-Bozza (+1,16pp) e tutte le altre varianti di ablazione.
• Crucialmente, la variante Inadeguata-Errata è l'unica variante che supera costantemente il baseline Senza-Bozza in tutte le configurazioni testate.

Prestazioni su Fuori Distribuzione (AIME 2025/2026)

Su AIME 2025 e 2026 (dataset successivi alle date di taglio dell'allenamento di entrambi i modelli), la variante Inadeguata-Errata dimostra un'espansione delle capacità:

• Unicamente eleva il pass@k sia sopra la base Mathstral-7B che sopra il modello bozza Qwen2.5-Math-1.5B a ogni budget di campioni da $k=1$ a $k=1024$.
• A pass@1024, migliora rispetto alla base Mathstral-7B di +14,2pp su AIME 2025 e di +9,0pp su AIME 2026.
• A differenza del modello di base, le cui prestazioni si saturano o declinano ad alti valori di $k$, la curva Inadeguata-Errata domina il baseline, indicando un'espansione dello spazio delle soluzioni raggiungibili piuttosto che un semplice affinamento.

Meccanismo di Azione

Lo studio di ablazione rivela che né l'"inadeguatezza" né l'"erroneità" da sole sono sufficienti:

• Accoppiata + Corretta: Porta a una "scorciatoia di copia" in cui il modello collassa l'entropia e semplicemente copia la risposta.
• Accoppiata + Errata: Intrappola la politica in un ottimo locale di "ancoraggio", dove modifica minimamente la bozza errata.
• Inadeguata + Corretta: Permette al modello di inferire il problema mascherato dalla bozza corretta, ancorando il suo ragionamento a una soluzione di un problema diverso.
• Inadeguata + Errata: Costringe l'apprendista a ignorare il contesto irrilevante e errato e a fare affidamento sulle proprie capacità intrinseche. Questa variante mantiene l'entropia di completamento più alta e i rollouts più lunghi durante l'allenamento.

Avvertenze e Limitazioni

• Hacking della Ricompensa: Un rigoroso scan di 239 rollouts corretti ha rilevato che il 96,7% si basava su ragionamenti matematicamente errati per arrivare alla risposta corretta (hacking della ricompensa). Questo è un rischio noto delle ricompense basate solo sull'esito, in particolare sullo spazio di risposta finito di AIME.
• AIME 2024: Il metodo non ha superato il baseline GRPO Senza-Bozza su AIME 2024, probabilmente a causa di contaminazione dei dati nei set di allenamento dei modelli coinvolti.
• Generalizzazione: I risultati sono attualmente limitati a un singolo apprendista, un singolo modello bozza e il dominio della matematica.

Significato e Affermazioni

Il documento afferma di fornire un controesempio alla visione prevalente secondo cui l'affinamento RL on-policy affina solo le modalità esistenti senza espandere la copertura. Iniettando tracce off-policy di tentativi "errati" per problemi "diversi", il metodo crea una distribuzione di allenamento che agisce come un "caso speciale degenere" di un compito più generale. Questo costringe l'apprendista forte a elicitaare capacità di ragionamento latenti che rimangono dormienti sotto l'allenamento standard con prompt nudi.

Gli autori posizionano questo come una "piccola ricetta" che ottiene risultati all'avanguardia su Mathstral-7B con risorse significativamente inferiori (singola GPU, nessun SFT, nessun modello di ricompensa) rispetto a pipeline più pesanti come WizardMath. Il lavoro suggerisce che l'elicitaazione da debole a forte può essere ottenuta non usando il modello debole come insegnante, ma come una "sonda contestuale" che interrompe le scorciatoie di ottimizzazione ed espande l'insieme raggiungibile della politica.