Technische Samenvatting: PCL-Reasoner-V1.5

Probleemstelling

Wiskundig redeneren blijft een rigoureuze benchmark voor Large Language Models (LLM's), wat precieze logische deductie en gestructureerde probleemoplossing vereist. Hoewel recente doorbraken zoals DeepSeek-R1 hebben aangetoond dat Reinforcement Learning (RL) gecombineerd met Chain-of-Thought (CoT) superieure redeneerkracht kan oproepen, leunt het heersende paradigma zwaar op online RL-methoden (bijv. Group Relative Policy Optimization of GRPO). Deze online benaderingen introduceren significante technische uitdagingen, waaronder trainingsinstabiliteit, beloningsinstorting (reward collapse) en een hoge computationele overhead door de nauwe koppeling van inferentie en training. Bovendien verhoogt de complexe orchestratie die nodig is voor real-time rollouts en gedistribueerde gradiëntupdates de engineeringcomplexiteit en de kosten van experimentatie.

Methodologie

De auteurs introduceren PCL-Reasoner-V1.5, een LLM met 32 miljard parameters gebouwd op de Qwen2.5-32B architectuur. Het model wordt verfijnd via een tweefasige pijplijn: Supervised Fine-Tuning (SFT) gevolgd door een nieuwe Offline RL-benadering.

1. Supervised Fine-Tuning (SFT)

• Basemodel: Qwen2.5-32B.
• Data: 666K samples uit de wiskundige subset van AM-DeepSeek-R1-0528-Distilled. De data werd gefilterd om sequenties te verwijderen die de 32K tokens overschreden.
• Trainingsconfiguratie: Globale batchgrootte van 128, leersnelheid van $6 \times 10^{-5}$ (cosine decay), en 4 epochs. De auteurs maakten gebruik van data packing om variabel lengte samples samen te voegen tot 32K sequenties, waardoor padding-redundantie werd geëlimineerd.
• Prompting: Een specifiek template werd gebruikt om een CoT-structuur af te dwingen, waarbij het model wordt vereist om te redeneren binnen <thought> tags en het uiteindelijke antwoord binnen <answer> tags.

2. Offline Reinforcement Learning

In tegenstelling tot online RL, dat iteratief samplet en traint, ontkoppelt deze benadering inferentie van training.

• Data Curatie: De dataset werd afgeleid van Nemotron-Post-Training-Dataset-v1. De auteurs filterden op taken met een hoge moeilijkheidsgraad door vragen te behouden waar de gemiddelde geïnferreerde antwoordlengte >32K tokens was en niet alle 8 kandidaat-antwoorden correct waren. Dit resulteerde in 6.068 moeilijke vragen.
• Inferentiefase: Het SFT-model (PCL-Reasoner-V1) genereerde 8 kandidaat-antwoorden per vraag met behulp van sampling-gebaseerde decoding (top-k=40, top-p=0.95, temperatuur=0.6) op Huawei Ascend 910C NPUs.
• Verificatie & Filtering: Een apart verificatiemodel (Qwen3-32B) voerde binaire beloningen toe ($R=1$ voor correct, $R=-1$ voor incorrect).
  • Vragen met nul beloningsvariantie (allemaal correct of allemaal incorrect) werden uitgesloten om de interne mechanismen van GRPO na te bootsen.
  • Positieve samples die de 48K tokens overschreden, werden weggegooid om lengtebias te voorkomen.
  • De uiteindelijke dataset bevatte 30.215 samples (14.512 positief, 15.703 negatief).
• Trainingsdoel: Het policy-model werd getraind om de RL-loss $L(\theta) = -\sum R_i \pi_\theta(y_i|x_i)$ te minimaliseren, waarbij $\pi_\theta$ wordt gedefinieerd als het geometrisch gemiddelde van token-niveau waarschijnlijkheden. Importance sampling werd expliciet weggelaten op basis van eerdere bevindingen dat dit ineffectief is in LLM RL-omgevingen.
• Infrastructuur: De training maakte gebruik van 8 compute nodes met elk 8 Ascend 910C NPUs, waarbij gebruik werd gemaakt van tensorparallelisme (graad 8) en pipelineparallelisme (graad 4) via het MindSpeed-LLM framework.

Belangrijkste Bijdragen

1. Offline RL Paradigma: Het artikel stelt een offline RL-paradigma voor en valideert dit als een stabiel en efficiënt alternatief voor online RL (GRPO) voor redeneertaken. Het beargumenteert dat het ontkoppelen van inferentie en training de feedbackloops elimineert die instabiliteit veroorzaken en een "infer once, train many" workflow mogelijk maakt, wat de experimentatiekosten aanzienlijk verlaagt.
2. State-of-the-Art Prestaties: PCL-Reasoner-V1.5 bereikt nieuwe state-of-the-art resultaten onder modellen die post-getraind zijn op Qwen2.5-32B.
3. Hardware Efficiëntie: Alle experimenten werden succesvol uitgevoerd op Huawei Ascend 910C NPUs, wat de levensvatbaarheid van deze hardware voor grootschalige training van redeneermodellen aantoont.
4. Open Release: De auteurs hebben het model, de trainingsdata en de code (inclusclusief dataverwerking en evaluatiescripts) vrijgegeven om reproduceerbaarheid te faciliteren.

Experimentele Resultaten

Het model werd geëvalueerd op de AIME 2024 en AIME 2025 benchmarks (30 problemen elk).

• Nauwkeurigheid (pass@1):
  • AIME 2024: 90,9%
  • AIME 2025: 85,6%
  • Deze resultaten overtreffen andere Qwen2.5-32B derivaten (bijv. DeepSeek-R1-Distill-Qwen-32B met 72,6% op AIME 2024) en concurreren met veel grotere modellen zoals OpenAI-o3 (91,6%) en DeepSeek-R1-0528 (91,4%).
• Gedragsanalyse:
  • Respons Lengte: RL-training heeft de gemiddelde responslengte aanzienlijk verhoogd (van ~22,5K naar ~30,5K tokens op AIME 2024), wat suggereert dat het model meer uitgebreid redeneert.
  • Long-CoT Capaciteit: Disgeaggregeerde analyse laat zien dat terwijl het SFT-model moeite heeft met problemen die lange CoTs ($\ge$32K tokens) vereisen, het RL-getrainde model dramatische verbeteringen in nauwkeurigheid vertoont, speciferlijk in dit bereik, wat wijst op een verbeterde capaciteit voor langdurig, complex redeneren.

Betekenis en Claims

De auteurs beweren dat offline RL een robuust paradigma is voor het verbeteren van LLM-redeneren, met duidelijke voordelen ten opzichte van online methoden:

• Stabiliteit: Door te trainen op een vaste statische dataset, vermijdt de methode de beloningsinstorting en divergentie die vaak bij online RL optreden door de dynamische interactie tussen inferentie en training.
• Efficiëntie: Ontkoppeling maakt onafhankelijke optimalisatie van inferentie (met behulp van high-throughput frameworks zoals vLLM) en training mogelijk, waardoor hardware-utilisatie wordt gemaximaliseerd en de latency-overhead van synchronisatie wordt verminderd.
• Eenvoud: De workflow vereenvoudigt de engineering door de noodzaak voor complexe real-time orchestratie frameworks te verwijderen.

Het artikel concludeert dat hoewel offline RL begrensd wordt door de kwaliteit van de statische dataset en niet iteratief nieuwe redeneerpaden kan ontdekken zoals "R1-Zero" stijl zelfcorrectie, het zeer effectief is voor het verfijnen van modellen met sterke baselines. Het werk daagt de noodzaak van online RL voor high-performance redeneren uit, door aan te tonen dat een stabiele, computationeel efficiënte offline benadering concurrerende, state-of-the-art resultaten kan opleveren.