💬 NLP

QuestA: Expanding Reasoning Capacity in LLMs via Question Augmentation

Il paper presenta QuestA, un metodo che potenzia le capacità di ragionamento dei modelli linguistici di grandi dimensioni tramite l'aumento delle domande con soluzioni parziali durante l'addestramento per rinforzo, ottenendo risultati all'avanguardia su benchmark matematici complessi anche con modelli di piccole dimensioni.

Autori originali: Jiazheng Li, Hongzhou Lin, Hong Lu, Kaiyue Wen, Zaiwen Yang, Jiaxuan Gao, Yi Wu, Jingzhao Zhang

Pubblicato 2026-04-01

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Jiazheng Li, Hongzhou Lin, Hong Lu, Kaiyue Wen, Zaiwen Yang, Jiaxuan Gao, Yi Wu, Jingzhao Zhang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di voler insegnare a un bambino (o a un'intelligenza artificiale) a risolvere problemi di matematica molto difficili, come quelli di un'olimpiade.

Il Problema: La "Sala d'Attesa" della Frustrazione

Fino a poco tempo fa, il metodo migliore per addestrare queste intelligenze artificiali (chiamate LLM) era un po' come metterle in una stanza buia e dire: "Risolvi questo problema!".

Se il problema era troppo facile, l'IA lo risolveva subito, ma non imparava nulla di nuovo. Era come ripetere sempre la stessa canzone che già conoscevi.
Se il problema era troppo difficile, l'IA si bloccava. Provava e riprovava, ma non riceveva mai un "bravo" (una ricompensa) perché non trovava mai la soluzione. Alla fine, si arrendeva o imparava a fare a caso, senza migliorare davvero.

Gli scienziati hanno notato che, se si spingeva l'IA solo su problemi difficili, spesso diventava "stupida" su tutto il resto, o peggio, smetteva di provare nuove strade perché si sentiva in colpa per non riuscire a risolvere nulla.

La Soluzione: QUESTA (Il "Trucco del Semiprezzo")

Gli autori di QUESTA hanno avuto un'idea geniale, simile a quando un insegnante ti aiuta a risolvere un esercizio difficile. Invece di darti solo la domanda, ti dice: "Ehi, guarda, il primo passo è questo...".

QUESTA (Question Augmentation) funziona esattamente così:

Prende un problema matematico impossibile.
Aggiunge un "indizio" (Hint): scrive la prima parte della soluzione (ad esempio, il 50% del ragionamento) direttamente nella domanda.
Chiede all'IA di completare il resto.

È come se, invece di chiedere a un arrampicatore di scalare una montagna verticale da solo, gli dessi una scala che arriva fino a metà della parete. Lui deve ancora fare la fatica di salire fino in cima, ma parte da una posizione molto più sicura e ha più probabilità di riuscirci.

Perché è Magico? (L'Analogia del Viaggio)

Immagina che l'IA stia cercando di trovare una strada in una città sconosciuta (il problema matematico).

Senza QUESTA: L'IA gira in tondo per ore, si perde, si stanca e alla fine si siede per non muoversi più. Non impara la strada.
Con QUESTA: Le diciamo: "La strada giusta passa per il parco, poi gira a destra". L'IA capisce subito che la direzione è giusta, si sente motivata, e impara a riconoscere i punti di riferimento per il futuro.

Grazie a questo metodo, l'IA impara a pensare davvero, non solo a indovinare.

I Risultati: Un Piccolo Gigante

La cosa incredibile è che QUESTA ha funzionato su un modello di intelligenza artificiale piccolissimo (con solo 1,5 miliardi di parametri, che è come un "nano" nel mondo dell'IA).

Questo "nano", dopo aver imparato con QUESTA, è diventato più forte di modelli giganti (con 32 miliardi di parametri) su test di matematica molto difficili.
È come se un bambino di 5 anni, dopo aver ricevuto il giusto aiuto per imparare a leggere, riuscisse a battere un adulto che non ha mai ricevuto quel tipo di insegnamento.

In Sintesi

QUESTA è come un tutor personale che non fa i compiti al posto dell'IA, ma le dà quel piccolo aiuto iniziale per sbloccare la sua capacità di ragionare.

Prima: L'IA si bloccava sui problemi difficili.
Ora: L'IA impara a risolverli, diventa più intelligente, più creativa e riesce a superare problemi che prima sembravano impossibili, tutto questo senza cambiare la sua architettura interna, ma solo cambiando come le vengono presentati i compiti.

È una prova che, a volte, per diventare più intelligenti, non serve essere più grandi, serve solo ricevere il giusto aiuto al momento giusto.

1. Il Problema: Limiti dell'Apprendimento per Rinforzo (RL) nel Ragionamento

L'apprendimento per rinforzo (RL), in particolare con ricompense verificabili (RLVR), è diventato il paradigma dominante per addestrare i Large Language Models (LLM) su compiti di ragionamento complesso (es. matematica). Tuttavia, la ricerca recente ha evidenziato due problemi critici:

Incapacità di espandere la capacità intrinseca: L'RL tende a sfruttare le conoscenze preesistenti del modello base piuttosto che espandere la sua capacità di ragionamento su problemi nuovi o estremamente difficili.
Il dilemma della difficoltà dei prompt:
- Addestrare su prompt facili porta a un sovrainvestimento su pattern superficiali, causando un collasso dell'entropia e una diminuzione delle prestazioni su compiti difficili (misurato tramite pass@k per $k$ elevati).
- Addestrare direttamente su prompt difficili è inefficiente: i segnali di ricompensa sono troppo sparsi (sparse rewards), rendendo l'apprendimento estremamente lento e spesso bloccando il modello in stati in cui non riesce a generare alcuna soluzione corretta.

Il paper si pone la domanda: Come può l'RL essere adattato per risolvere problemi di ragionamento più difficili in modo efficiente, espandendo realmente la capacità del modello?

2. Metodologia: QUESTA (Question Augmentation)

Gli autori propongono QUESTA, una strategia semplice ma efficace di aumentazione dei dati che introduce soluzioni parziali (hint) durante la fase di addestramento RL.

Meccanismo di Funzionamento

Selezione dei Problemi Difficili: Il metodo si concentra esclusivamente sui problemi per cui il modello base ha un tasso di successo vicino allo zero.
Aumentazione con Soluzioni Parziali: Per ogni problema difficile $q$ $q$ , viene preposta una porzione della soluzione corretta (es. i primi 25% o 50% dei token della soluzione) come "hint" o suggerimento.
- Questo trasforma il prompt originale in una variante più gestibile, fornendo al modello un punto di partenza che riduce la difficoltà del compito.
Curriculum Dinamico: L'addestramento segue un approccio a due stadi:
- Fase 1 (Hint alto): Si addestra con una percentuale maggiore di soluzione fornita (es. $p=50\%$ ) per stabilizzare l'apprendimento e fornire segnali di ricompensa più densi.
- Fase 2 (Hint ridotto): Si riduce gradualmente la percentuale di hint (es. $p=25\%$ ) per forzare il modello a diventare progressivamente più autonomo, avvicinandosi alla distribuzione di valutazione finale (dove non ci sono hint).

Integrazione con RL

QUESTA è ortogonale agli algoritmi RL sottostanti (come GRPO o DAPO). Non modifica la funzione di ricompensa o l'architettura del modello, ma agisce a livello di input, sostituendo semplicemente il dataset di rollout con quello aumentato.

3. Contributi Chiave e Analisi Teorica

Analisi Empirica della Capacità: Gli autori dimostrano attraverso esperimenti controllati che l'RL su prompt facili degrada le prestazioni su compiti difficili (collasso di pass@k), mentre l'RL su prompt difficili è troppo lento. QUESTA risolve questo compromesso.
Giustificazione Teorica: Il paper fornisce un'analisi teorica (Teoremi 4.4 e 4.6) che dimostra come l'aumentazione con hint migliori l'efficienza del campionamento.
- Senza hint, se la capacità del modello non interseca l'insieme delle soluzioni, l'RL non riceve gradienti utili e si blocca.
- Con un hint, la probabilità di campionare una traiettoria corretta aumenta drasticamente (da $\delta_p$ a $\sqrt{\delta_p}$ ), rendendo il problema "imparabile" con un budget di campionamento molto inferiore.
Prevenzione del Collasso dell'Entropia: A differenza dell'RL standard su prompt difficili che può portare a un collasso dell'entropia (il modello diventa troppo sicuro e perde diversità), QUESTA mantiene un'entropia stabile, preservando la capacità di esplorazione del modello.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli di piccole dimensioni (1.5B parametri) utilizzando dataset matematici di alto livello (AIME24, AIME25, HMMT25, Olympiad Bench).

Performance Record: Il modello QUESTA-Nemotron-1.5B ha raggiunto risultati State-of-the-Art (SOTA) tra i modelli da 1.5B parametri:
- AIME24: 72.50% (+10.73% rispetto alla baseline).
- AIME25: 62.29% (+12.79%).
- HMMT25: 41.67% (+10.11%).
Superiorità rispetto a Modelli Più Grandi: Sorprendentemente, QUESTA-Nemotron-1.5B supera o eguaglia le prestazioni di modelli molto più grandi, come DeepSeek-R1-Distill-32B (che ha 20 volte più parametri) su diverse benchmark, dimostrando l'efficacia della strategia di addestramento.
Miglioramento di Pass@k: A differenza dell'RL standard che vede un calo delle prestazioni all'aumentare di $k$ (numero di tentativi), QUESTA mantiene o migliora le curve pass@k, indicando una maggiore diversità nelle soluzioni generate e una minore sovrapposizione su un singolo percorso.
Generalizzazione: Il metodo funziona anche su dataset diversi (OpenMathReasoning) e su diversi backbones (DeepScaleR-1.5B), confermando la sua robustezza.

5. Significato e Impatto

Il lavoro di QUESTA è significativo per diversi motivi:

Efficienza dei Dati: Dimostra che è possibile addestrare modelli piccoli su problemi estremamente difficili senza bisogno di risorse computazionali massive, semplicemente "impalcando" (scaffolding) il processo di apprendimento con soluzioni parziali.
Superamento del Limite della Capacità Intrinseca: Fornisce prove concrete che l'RL può espandere la capacità di ragionamento oltre ciò che è codificato nel modello base, a patto di gestire correttamente la difficoltà del curriculum di addestramento.
Semplicità e Applicabilità: Essendo un metodo di aumentazione dei dati che non richiede modifiche agli algoritmi RL complessi, è facilmente integrabile in pipeline esistenti e scalabile ad altri domini come la programmazione competitiva o l'ingegneria del software.

In sintesi, QUESTA risolve il collo di bottiglia dell'efficienza nell'RL per il ragionamento, permettendo ai modelli di "imparare a risolvere" problemi che altrimenti sarebbero irraggiungibili, trasformando i segnali di ricompensa sparsi in segnali densi e guidati.