Sintesi Tecnica: PCL-Reasoner-V1.5

Definizione del Problema

Il ragionamento matematico rimane un banco di prova rigoroso per i Large Language Models (LLM), richiedendo una deduzione logica precisa e una risoluzione dei problemi strutturata. Sebbene i recenti progressi come DeepSeek-R1 abbiano dimostrato che l'Apprendimento per Rinforzo (RL) combinato con la Chain-of-Thought (CoT) può far emergere un ragionamento superiore, il paradigma prevalente si basa pesantemente su metodi di RL online (ad esempio, Group Relative Policy Optimization o GRPO). Questi approcci online introducono sfide tecniche significative, tra cui l'instabilità dell'addestramento, il collasso della ricompensa (reward collapse) e un elevato overhead computazionale dovuto al forte accoppiamento tra inferenza e addestramento. Inoltre, la complessa orchestrazione richiesta per i rollout in tempo reale e gli aggiornamenti dei gradienti distribuiti aumenta la complessità ingegneristica e i costi di sperimentazione.

Metodologia

Gli autori introducono PCL-Reasoner-V1.5, un LLM da 32 miliardi di parametri costruito sulla base dell'architettura Qwen2.5-32B. Il modello viene perfezionato attraverso una pipeline a due stadi: Supervised Fine-Tuning (SFT) seguito da un nuovo approccio di RL Offline.

1. Supervised Fine-Tuning (SFT)

• Modello Base: Qwen2.5-32B.
• Dati: 666K campioni dal sottoinsieme matematico di AM-DeepSeek-R1-0528-Distilled. I dati sono stati filtrati per rimuovere le sequenze che superavano i 32K token.
• Configurazione dell'Addestramento: Dimensione del batch globale di 128, tasso di apprendimento di $6 \times 10^{-5}$ (decadimento coseno) e 4 epoche. Gli autori hanno utilizzato il data packing per concatenare campioni di lunghezza variabile in sequenze da 32K, eliminando la ridondanza del padding.
• Prompting: È stato utilizzato un template specifico per imporre una struttura CoT, richiedendo al modello di produrre il ragionamento all'interno dei tag <thought> e la risposta finale all'interno dei tag <answer>.

2. Reinforcement Learning Offline

A differenza del RL online, che campiona e addestra iterativamente, questo approccio disaccoppia l'inferenza dall'addestramento.

• Curatela dei Dati: Il dataset è derivato da Nemotron-Post-Training-Dataset-v1. Gli autori hanno filtrato per compiti ad alta difficoltà mantenendo le domande in cui la lunghezza media della risposta inferita era >32K token e non tutte le 8 risposte candidate erano corrette. Ciò ha portato a 6.068 domande difficili.
• Fase di Inferenza: Il modello SFT (PCL-Reasoner-V1) ha generato 8 risposte candidate per domanda utilizzando il decoding basato su campionamento (top-k=40, top-p=0.95, temperatura=0.6) su NPU Huawei Ascend 910C.
• Verifica e Filtraggio: Un modello di verifica separato (Qwen3-32B) ha assegnato ricompense binarie ($R=1$ per corretto, $R=-1$ per errato).
  • Le domande con varianza della ricompensa pari a zero (tutte corrette o tutte errate) sono state escluse per emulare il meccanismo interno di GRPO.
  • I campioni positivi che superavano i 48K token sono stati scartati per prevenire il bias di lunghezza.
  • Il dataset finale conteneva 30.215 campioni (14.512 positivi, 15.703 negativi).
• Obiettivo di Addestramento: Il modello di policy è stato addestrato per minimizzare la perdita RL $L(\theta) = -\sum R_i \pi_\theta(y_i|x_i)$, dove $\pi_\theta$ è definita come la media geometrica delle probabilità a livello di token. L'importance sampling è stata esplicitamente omessa sulla base di precedenti risultati che ne dimostravano l'inefficacia nei contesti di RL per LLM.
• Infrastruttura: L'addestramento ha utilizzato 8 nodi di calcolo con 8 NPU Ascend 910C ciascuno, impiegando il parallelismo tensoriale (grado 8) e il parallelismo di pipeline (grado 4) tramite il framework MindSpeed-LLM.

Contributi Chiave

1. Paradigma RL Offline: Il paper propone e valida il RL offline come un'alternativa stabile ed efficiente al RL online (GRPO) per i compiti di ragionamento. Sostiene che il disaccoppiamento tra inferenza e addestramento elimina i cicli di feedback che causano instabilità e consente flussi di lavoro "inferisci una volta, addestra molte volte", riducendo significativamente i costi di sperimentazione.
2. Prestazioni State-of-the-Art: PCL-Reasoner-V1.5 raggiunge nuovi risultati state-of-the-art tra i modelli post-addestrati su Qwen2.5-32B.
3. Efficienza Hardware: Tutti gli esperimenti sono stati condotti con successo su NPU Huawei Ascend 1.5, dimostrando la validità di questo hardware per l'addestramento di modelli di ragionamento su larga scala.
4. Rilascio Open: Gli autori hanno rilasciato il modello, i dati di addestramento e il codice (inclusi i processi di elaborazione dei dati e gli script di valutazione) per facilitare la riproducibilità.

Risultati Sperimentali

Il modello è stato valutato sui benchmark AIME 2024 e AIME 2025 (30 problemi ciascuno).

• Accuratezza (pass@1):
  • AIME 2024: 90.9%
  • AIME 2025: 85.6%
  • Questi risultati superano altri derivati di Qwen2.5-32B (ad esempio, DeepSeek-R1-Distill-Qwen-32B con il 72.6% su AIME 2024) e competono con modelli molto più grandi come OpenAI-o3 (91.6%) e DeepSeek-R1-0528 (91.4%).
• Analisi del Comportamento:
  • Lunghezza della Risposta: L'addestramento RL ha aumentato significativamente la lunghezza media della risposta (da ~22.5K a ~30.5K token su AIME 2024), suggerendo che il modello si impegna in un ragionamento più esteso.
  • Capacità Long-CoT: L'analisi disaggregata mostra che mentre il modello SFT fatica con problemi che richiedono CoT lunghe ($\ge$32K token), il modello addestrato con RL mostra miglioramenti drammatici dell'accuratezza proprio in questo intervallo, indicando una maggiore capacità di ragionamento complesso e sostenuto.

Significato e Rivendicazioni

Gli autori sostengono che il RL offline sia un paradigma robusto per far avanzare il ragionamento degli LLM, offrendo vantaggi distinti rispetto ai metodi online:

• Stabilità: Addestrando su un dataset statico fisso, il metodo evita il collasso della ricompensa e la divergenza spesso visti nel RL online a causa dell'interazione dinamica tra inferenza e addestramento.
• Efficienza: Il disaccoppiamento consente l'ottimizzazione indipendente dell'inferenza (utilizzando framework ad alto throughput come vLLM) e dell'addestramento, massimizzando l'utilizzo dell'hardware e riducendo l'overhead di latenza dalla sincronizzazione.
• Semplicità: Il flusso di lavoro semplifica l'ingegneria eliminando la necessità di complessi framework di orchestrazione in tempo reale.

Il paper conclude che, sebbene il RL offline sia limitato dalla qualità del suo dataset statico e non possa scoprire iterativamente nuovi percorsi di ragionamento come lo stile "R1-Zero" di auto-correzione, è altamente efficace per perfezionare modelli con basi solide. Il lavoro mette in discussione la necessità del RL online per un ragionamento ad alte prestazioni, dimostrando che un approccio offline, stabile e computazionalmente efficiente, può fornire risultati competitivi e state-of-the-art.