💻 computer science

Aryabhata 2: Scaling Reinforcement Learning for Advanced STEM Reasoning

Il documento presenta Aryabhata 2, un modello linguistico addestrato con apprendimento per rinforzo basato su GPT-OSS-20B che ottiene prestazioni superiori e una maggiore efficienza nei token negli esami competitivi STEM come JEE e NEET, sfruttando un curriculum di alta qualità e un'esplorazione con rollout progressivo.

Autori originali: Ritvik Rastogi, Vishal Singh, Tejas Chaudhari, Sandeep Varma

Pubblicato 2026-05-29

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Ritvik Rastogi, Vishal Singh, Tejas Chaudhari, Sandeep Varma

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere uno studente brillante ma leggermente disorganizzato di nome GPT-OSS-20B. Questo studente ha letto una biblioteca immensa di libri e conosce molti fatti, ma quando gli chiedi di risolvere un problema di matematica o scienze complesso e articolato in più passaggi (come quelli presenti nei più difficili esami di ammissione universitaria dell'India), a volte divaga, si confonde o impiega un'eternità per scrivere la risposta. Potrebbero ottenere la risposta corretta, ma utilizzano molta "inchiostro" (token informatici) per farlo, il che è costoso e lento.

Gli autori di questo articolo volevano trasformare questo studente in un campione nella risoluzione di problemi senza acquistare un cervello più grande (un modello più grande). Hanno creato un nuovo studente chiamato Aryabhata 2.

Ecco come hanno fatto, spiegato attraverso semplici analogie:

1. Il Campo di Addestramento: Un Allenatore Severo

Invece di lasciare semplicemente che lo studente leggesse più libri (ciò che fa l'addestramento standard), i ricercatori hanno agito come un allenatore severo utilizzando l'Apprendimento per Rinforzo.

Il Sistema di Ricompensa: Immagina un videogioco in cui ottieni punti solo se risolvi un puzzle correttamente E lo spieghi chiaramente. Se lo studente sbaglia la risposta, ottiene zero punti. Se ottiene la risposta giusta ma scrive un saggio di 10 pagine quando basterebbe una spiegazione di un paragrafo, ottiene un punteggio inferiore.
Il "Giudice": L'allenatore non si è fidato ciecamente della parola dello studente. Ha utilizzato un "Giudice" super-intelligente (un'altra IA) per controllare ogni singolo passaggio. Se la matematica non tornava o la logica era difettosa, la risposta veniva rifiutata immediatamente.

2. Il Programma di Studi: Dal Facile all'Impossibile

I ricercatori non hanno lanciato lo studente nella parte profonda della piscina immediatamente. Hanno costruito un campo di addestramento a tre livelli:

Livello 1 (Formattazione): Prima, hanno insegnato allo studente come impugnare correttamente la penna. Si sono concentrati sull'assicurarsi che la risposta apparisse ordinata e seguisse una struttura specifica.
Livello 2 (La Fatica): Poi, hanno dato allo studente migliaia di problemi di pratica. Man mano che lo studente migliorava, l'allenatore rendeva i problemi più difficili. Se lo studente continuava a ottenere il 70% di risposte corrette, l'allenatore sostituiva le domande con altre ancora più insidiose.
Livello 3 (La Jolly): Infine, hanno lasciato che lo studente provasse molti modi diversi per risolvere lo stesso problema difficile contemporaneamente. Immagina di chiedere allo studente di provare 128 percorsi diversi per risolvere un labirinto simultaneamente. Questo ha aiutato a scoprire scorciatoie intelligenti che non aveva mai visto prima.

3. La Salsa Segreta: "Esplorazione Ampliata"

Di solito, quando si addestra un'IA, le si chiede di risolvere un problema una sola volta. Aryabhata 2 è stato addestrato a generare molti tentativi diversi per ogni singola domanda.

L'Analogia: Pensa a un detective che risolve un crimine. Invece di seguire un solo indizio, il detective invia 128 squadre diverse a cercare indizi. Se anche una squadra trova l'indizio giusto, il caso è risolto. Questo metodo ha aiutato il modello a trovare la "strada d'oro" verso la risposta molto più velocemente e in modo più affidabile.

4. I Risultati: Più Veloce, Più Intelligente e Più Snello

Quando hanno testato Aryabhata 2 su esami reali (come JEE e NEET) e persino su competizioni matematiche super-difficili (come AIME), i risultati sono stati impressionanti:

Maggiore Accuratezza: Ha risolto più problemi correttamente rispetto al suo modello "genitore" (GPT-OSS-20B) e ha persino battuto alcuni modelli molto più grandi e costosi.
Risparmio di "Token": Questa è la vittoria più grande. Il modello originale spesso scriveva spiegazioni lunghe e tortuose. Aryabhata 2 ha imparato a essere conciso. Ha utilizzato fino al 64% in meno di parole (token) per ottenere lo stesso risultato (o migliore).
- Analogia: Se il vecchio modello era come un turista che scatta 100 foto per trovare lo scatto perfetto, Aryabhata 2 è come un fotografo professionista che scatta lo scatto perfetto con un solo click.

La Conclusione

L'articolo afferma che utilizzando un set molto specifico e di alta qualità di domande di pratica e un metodo di addestramento intelligente e multistadio, hanno trasformato un'IA standard da 20 miliardi di parametri in un esperto specializzato nel ragionamento STEM. Non aveva bisogno di essere un modello gigante per essere intelligente; aveva solo bisogno del tipo giusto di pratica e di un allenatore che sapesse esattamente come premiare il buon comportamento.

Cosa non hanno affermato:
L'articolo non afferma che questa IA possa sostituire gli insegnanti umani, diagnosticare condizioni mediche o essere utilizzata per conversazioni generali. È costruita specificamente per risolvere problemi di scienze, matematica e ingegneria presenti negli esami competitivi, agendo come un tutor altamente efficiente per quelle specifiche materie.

Riepilogo Tecnico: Aryabhata 2 – Scalare l'Apprendimento per Rinforzo per il Ragionamento Avanzato in STEM

1. Enunciato del Problema

Gli esami competitivi STEM, in particolare la Joint Entrance Examination (JEE) e il National Eligibility cum Entrance Test (NEET) in India, presentano una sfida unica per i Modelli Linguistici di Grande Dimensione (LLM). Questi esami richiedono ragionamento simbolico multi-step, calcolo numerico preciso e una profonda comprensione concettuale in fisica, chimica e matematica. A differenza dei benchmark standard, questi problemi sono attentamente costruiti per testare la profondità concettuale sotto vincoli rigorosi.

Sebbene i recenti LLM dimostrino prestazioni solide sui benchmark di ragionamento generale, affrontano ostacoli significativi nel dispiegamento educativo reale:

Scalabilità: Il dispiegamento di modelli all'avanguardia su larga scala per gestire milioni di dubbi degli studenti è proibitivo a causa degli elevati costi di inferenza e della tariffazione per token.
Efficienza: I modelli open-source spesso richiedono un elevato numero di parametri e generano catene di pensiero eccessivamente lunghe, portando a latenza elevata e consumo di token.
Specificità di Dominio: I modelli generali spesso mancano della copertura specifica del programma di studi e dell'allineamento passo-passo richiesti per le strategie di esame competitivo.

Gli autori identificano un divario tra modelli ad alte prestazioni ma costosi e soluzioni efficienti e specifiche per il dominio, capaci di fornire spiegazioni accurate, concise e strutturate per i dubbi degli studenti.

2. Metodologia

Il documento introduce Aryabhata 2, un modello linguistico focalizzato sul ragionamento addestrato tramite post-addestramento con apprendimento per rinforzo (RL). La metodologia si basa su una pipeline unificata, esclusivamente RL, progettata per massimizzare le capacità di ragionamento sotto risorse computazionali vincolate.

2.1 Modello Base e Architettura

Modello Base: Il sistema è costruito su GPT-OSS-20B, un modello open-source Mixture of Experts (MoE) da 20 miliardi di parametri con 3,6 miliardi di parametri attivi.
Fine-Tuning Efficiente in Parametri (PEFT): Per gestire i vincoli di memoria (utilizzando due GPU NVIDIA H100 NVL), gli autori impiegano Low-Rank Adaptation (LoRA). Gli adattatori vengono inseriti negli strati di proiezione dell'attenzione ( $q, k, v, o$ ) e nello strato di embedding dei token. Ciò risulta in circa lo 0,15% dei parametri addestrabili (31,8M su 20,9B), riducendo significativamente l'ingombro di memoria preservando al contempo la capacità di adattamento.

2.2 Curatela e Verifica dei Dati

Il corpus di addestramento è derivato dalle banche dati interne di PhysicsWallah, inizialmente contenenti 1,78 milioni di domande.

Pipeline di Pulizia: Una pipeline deterministica rimuove gli artefatti HTML (in particolare i tag <img>), convalida la sintassi LaTeX utilizzando pdflatex, filtra le domande incomplete tramite un classificatore LLM e rimuove i contenuti non STEM. Ciò riduce il dataset a 1,25 milioni di domande di alta qualità.
Verifica delle Risposte: Per garantire segnali di ricompensa affidabili, viene impiegata una pipeline di verifica automatizzata che utilizza un Modello Policy (GPT-OSS-120B) e un Modello Giudice (Qwen/Qwen3-30B-A3B-Thinking).
- Campionamento Multi-Pass: Le domande vengono verificate in fasi (1, 4 o 16 campioni). Una domanda viene accettata se qualsiasi soluzione generata è giudicata corretta, assicurando che il curriculum contenga traiettorie di ragionamento valide.
Costruzione del Curriculum: Le domande sono categorizzate per difficoltà (Triviale, Apprendibile, Sfida) in base al tasso di successo di generazione del modello base. Le domande di chimica vengono sovracampionate per affrontare gli squilibri iniziali di prestazioni.

2.3 Framework di Apprendimento per Rinforzo

L'addestramento utilizza Group Relative Policy Optimization (GRPO) con modifiche specifiche per adattarsi ai vincoli hardware e di compito:

Addestramento KL-Free: I modelli di riferimento sono omessi per risparmiare memoria GPU; la regolarizzazione KL è rimossa.
Obiettivo: Viene utilizzato un obiettivo troncato in stile DAPO con una soglia di troncamento superiore asimmetrica.
Funzione di Ricompensa: Viene impiegata una ricompensa moltiplicativa $R = R_{accuracy} \times R_{format}$ $R = R_{a cc u r a cy} \times R_{f or ma t}$ :
- Ricompensa di Accuratezza ( $R_{accuracy}$ ): Calcolata tramite una cascata di corrispondenza di stringhe, corrispondenza di tolleranza numerica ed equivalenza simbolica (utilizzando math-verify). Viene assegnato un credito parziale (0,5) per il testo dell'opzione corretto nelle MCQ a risposta singola anche se l'etichetta è errata.
- Ricompensa di Formato ( $R_{format}$ ): Incoraggia risposte finali sufficientemente dettagliate ( $S_{len}$ ) e un rapporto equilibrato tra lunghezza del ragionamento e lunghezza della soluzione ( $S_{ratio}$ ), prevenendo output eccessivamente brevi o eccessivamente lunghi.

2.4 Fasi di Addestramento

L'addestramento procede in tre fasi sequenziali per bilanciare stabilità ed esplorazione:

Fase 1 (Allineamento del Formato): 300 step con una dimensione del gruppo di 8. Si concentra sull'allineare il modello alla struttura di output desiderata utilizzando un mix di domande triviali e apprendibili.
Fase 2 (RL Prolungato): ~5.000 step. La dimensione del gruppo aumenta da 8 a 16. Il curriculum si sposta adattivamente verso domande più difficili man mano che l'accuratezza migliora. Viene utilizzata la fusione dei checkpoint basata su EMA per stabilizzare l'addestramento quando le ricompense si stabilizzano.
Fase 3 (RL Ampliato): ~700 step. La dimensione del gruppo si espande significativamente (da 64 a 128) per ampliare l'esplorazione delle traiettorie di ragionamento e scoprire strategie di soluzione alternative.

3. Contributi Chiave

Modello Aryabhata 2: Un modello da 20 miliardi di parametri specificamente ottimizzato per il ragionamento STEM competitivo, che dimostra come un RL mirato su curricula specifici per il dominio possa superare modelli base significativamente più grandi.
Pipeline RL Unificata: Una strategia di addestramento innovativa che combina una rigorosa verifica dei dati, una costruzione del curriculum consapevole della difficoltà e RL a fasi (ottimizzazione prolungata + esplorazione ampliata), che opera efficacemente su hardware limitato (2x H100).
Guadagni di Efficienza: Il modello raggiunge prestazioni all'avanguardia tra i modelli open-source generando sostanzialmente meno token (fino al 64% in meno rispetto al modello base), affrontando la barriera dei costi per il dispiegamento educativo su larga scala.
Valutazione Completa: Validazione su esami competitivi in-distribution (JEE Main/Advanced, NEET) e benchmark di ragionamento out-of-distribution (AIME, HMMT, MMLU-Pro, GPQA).

4. Risultati

4.1 Prestazioni In-Distribution

Sui benchmark di esami competitivi (JEE Main 2025/2026, JEE Advanced 2025, NEET 2025), Aryabhata 2 raggiunge una media Pass@1 dell'88,95%, superando il GPT-OSS-20B base (83,00%) e competendo con modelli molto più grandi come GPT-OSS-120B (88,28%) e Qwen3-30B-A3B (88,55%).

Efficienza dei Token: Aryabhata 2 riduce i token di output del 52–64% rispetto a GPT-OSS-20B.
Accuratezza per Token: Raggiunge 42,31 Acc./1K token, significativamente superiore a GPT-OSS-20B (15,68) e GPT-OSS-120B (26,66).

4.2 Prestazioni Out-of-Distribution

Sui benchmark di ragionamento generale (AIME, HMMT, GPQA, MMLU-Pro, MMLU-Redux 2.0), Aryabhata 2 raggiunge una media Pass@1 dell'87,64%.

Migliora rispetto a GPT-OSS-20B (84,95%) e Nemotron 3 Nano (83,48%).
Mostra guadagni significativi su HMMT (+1,54 rispetto al base) e GPQA (+4,35 rispetto al base).
Sebbene rimanga al di sotto dei modelli proprietari all'avanguardia (ad es. GPT-5 Mini, Gemini 2.5 Flash), dimostra una forte generalizzazione per un modello da 20 miliardi di parametri.

4.3 Confronto di Efficienza

Su tutti i benchmark Out-of-Distribution (OOD), Aryabhata 2 riduce i token di output del 24–71% rispetto a GPT-OSS-20B, raggiungendo un'accuratezza OOD di 39,58 Acc./1K token.

5. Significato e Affermazioni

Il documento afferma che l'apprendimento per rinforzo mirato su curricula specifici per il dominio è una strategia efficace per scalare sistemi pratici di ragionamento STEM. Il significato del lavoro risiede nel dimostrare che:

Specializzazione su Scala: Un modello più piccolo, addestrato in modo efficiente, può superare modelli base più grandi su compiti specifici di ragionamento ad alto rischio.
Fattibilità di Dispersione: Combinando una rigorosa curatela dei dati con un RL a fasi, è possibile addestrare modelli di ragionamento di alta qualità su hardware vincolato (2x H100), rendendo il tutoring AI avanzato fattibile per sistemi educativi su larga scala con milioni di utenti.
Efficienza dei Token: L'approccio non solo migliora l'accuratezza ma riduce drasticamente i costi di inferenza generando catene di ragionamento più concise e strutturate, affrontando direttamente le barriere economiche al dispiegamento di LLM nell'istruzione.

Gli autori concludono che la loro pipeline consente un addestramento stabile sotto vincoli computazionali preservando al contempo una forte qualità di ragionamento, offrendo una via percorribile per carichi di lavoro educativi reali.