💬 NLP

PCL-Reasoner-V1.5: Advancing Math Reasoning with Offline Reinforcement Learning

PCL-Reasoner-V1.5 एक 32-बिलियन-पैरामीटर वाला गणितीय तर्क मॉडल है जो Qwen2.5-32B पर आधारित है और जो ऑनलाइन RL दृष्टिकोणों की तुलना में बेहतर प्रशिक्षण स्थिरता और दक्षता के साथ AIME बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त करने के लिए एक नवीन ऑफलाइन सुदृढीकरण शिक्षण (reinforcement learning) पद्धति का लाभ उठाता है।

मूल लेखक: Yao Lu, Dengdong Fan, Jianzheng Nie, Fan Xu, Jie Chen, Bin Zhou, Yonghong Tian

प्रकाशित 2026-01-22

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yao Lu, Dengdong Fan, Jianzheng Nie, Fan Xu, Jie Chen, Bin Zhou, Yonghong Tian

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ PCL-Reasoner-V1.5 पेपर का विवरण दिया गया है, जिसे सरल अवधारणाओं और रोज़मर्रा के उदाहरणों के साथ समझाया गया है।

बड़ी तस्वीर: एक डाइट पर गणित का जादूगर

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान छात्र (AI मॉडल) है जो पहले से ही गणित में अच्छा है लेकिन वह एक विश्व-स्तरीय चैंपियन बनना चाहता है। Peng Cheng Laboratory और Peking University के शोधकर्ताओं ने एक शक्तिशाली छात्र Qwen2.5-32B को लिया और उसे एक विशेष ट्रेनिंग कैंप में भेजा ताकि PCL-Reasoner-V1.5 बनाया जा सके।

परिणाम? यह नया मॉडल वर्तमान में इस विशिष्ट "छात्र" आधार पर बने मॉडलों में कठिन गणितीय समस्याओं को हल करने में सर्वश्रेष्ठ है। इसने 2024 की एक गणित प्रतियोगिता में 90.9% और 2025 के एक संस्करण में 85.6% अंक प्राप्त किए।

सीक्रेट सॉस: दो-चरणीय प्रशिक्षण (Two-Step Training)

शोधकर्ताओं ने मॉडल को केवल एक रैंडम प्रैक्टिस सेशन में नहीं डाला। उन्होंने एक दो-चरणीय प्रक्रिया का उपयोग किया:

सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) – "टेक्स्टबुक चरण":
सबसे पहले, उन्होंने मॉडल को उच्च गुणवत्ता वाले गणित के प्रश्नों और उनके चरण-दर-चरण समाधानों (जिसे Chain-of-Thought कहा जाता है) के एक विशाल पुस्तकालय का उपयोग करके सिखाया। इसे ऐसे समझें जैसे छात्र सबसे अच्छी टेक्स्टबुक्स पढ़ रहा हो और समस्याओं को सही ढंग से हल करने का तरीका याद कर रहा हो। इससे एक मध्यवर्ती मॉडल बना जिसे PCL-Reasoner-V1 कहा गया।
ऑफलाइन रीइन्फोर्समेंट लर्निंग (RL) – "प्रैक्टिस एग्जाम चरण":
यहीं पर यह पेपर अभिनव (innovative) है। आमतौर पर, AI मॉडल एक टेस्ट देते हैं, तुरंत ग्रेड प्राप्त करते हैं, और फिर दोबारा प्रयास करते हैं जबकि शिक्षक उन्हें देख रहा होता है (इसे Online RL कहा जाता है)। यह एक छात्र की तरह है जो एक टेस्ट देता है, एक ग्रेड पाता है, और फिर अपनी गलती सुधारने के लिए तुरंत अपने दिमाग को बदल लेता है, और यह सब रियल-टाइम में होता है। यह अराजक और धीमा हो सकता है।

PCL-Reasoner-V1.5 ने इसके बजाय Offline RL का उपयोग किया। यहाँ इसका उदाहरण दिया गया है:
- पुराना तरीका (Online RL): छात्र एक टेस्ट देता है, शिक्षक ग्रेड देता है, छात्र अपने दिमाग को बदलता है, और फिर वह तुरंत अगला टेस्ट देता है। यदि शिक्षक थक जाता है या ग्रेडिंग सिस्टम में कोई गड़बड़ी आती है, तो पूरी प्रक्रिया क्रैश हो जाती है।
- नया तरीका (Offline RL): छात्र एक साथ अभ्यास परीक्षाओं का एक बड़ा ढेर लेता है और अपने सभी उत्तर लिख देता है। शिक्षक उस पूरे ढेर को बाद में ग्रेड करता है और एक एकल, पूर्ण "उत्तर कुंजी" (Answer Key) पुस्तक बनाता है। छात्र फिर केवल इसी स्थिर पुस्तक से अध्ययन करता है। वे अध्ययन के दौरान नए टेस्ट नहीं लेते; वे बस इस निश्चित डेटा से सीखते हैं।

"ऑफलाइन" बेहतर क्यों है?

पेपर का तर्क है कि यह "उत्तर कुंजी" दृष्टिकोण (Offline RL) तीन मुख्य कारणों से बेहतर है:

स्थिरता (कोई रोलरकोस्टर नहीं): ऑनलाइन लर्निंग वैसी ही है जैसे इंजन को फिर से बनाते समय कार चलाना। यह अस्थिर है और क्रैश हो सकती है। ऑफलाइन लर्निंग एक शांत लाइब्रेरी में अध्ययन करने जैसा है; डेटा बदलता नहीं है, इसलिए सीखने की प्रक्रिया सुचारू और अनुमानित होती है।
दक्षता (एक असेंबली लाइन): ऑनलाइन विधि में, कंप्यूटर को लगातार रुकना, सोचना, ग्रेड करना और अपडेट करना पड़ता है। ऑफलाइन विधि में, कंप्यूटर एक ही बार में सभी उत्तरों को एक बड़े, कुशल विस्फोट (जैसे फैक्ट्री असेंबली लाइन) में उत्पन्न कर सकता है, और फिर प्रशिक्षण अलग से होता है। इससे बहुत समय और कंप्यूटिंग पावर बचती है।
सरलता: इसे प्रबंधित करना आसान है। आपको रियल-टाइम ग्रेडिंग और लर्निंग को समन्वयित करने के लिए एक जटिल प्रणाली की आवश्यकता नहीं है। आप बस डेटा जेनरेट करते हैं, उसे सहेजते हैं, और बाद में उस पर प्रशिक्षण लेते हैं।

मॉडल ने वास्तव में क्या सीखा?

शोधकर्ताओं ने गौर किया कि मॉडल में सुधार कैसे हुआ।

पहले (PCL-Reasoner-V1): मॉडल समस्याओं को जल्दी हल करने की कोशिश करता था। यदि किसी समस्या के लिए बहुत लंबी, जटिल तर्क श्रृंखला (जैसे 30,000 शब्दों की विचार प्रक्रिया) की आवश्यकता होती थी, तो मॉडल अक्सर हार मान लेता था या गलतियाँ करता था।
बाद में (PCL-Reasoner-V1.5): मॉडल ने लंबे समय तक सोचने के लिए सीखा। इसने बहुत लंबे, विस्तृत तर्क चरण लिखना शुरू कर दिया। इसने सीखा कि कठिन समस्याओं के लिए, आप जल्दबाजी नहीं कर सकते; आपको हर रास्ते को सावधानीपूर्वक खोजना होगा।

निचोड़ (The Bottom Line)

पेपर का दावा है कि शानदार परिणाम प्राप्त करने के लिए आपको उन जटिल, अस्थिर, रियल-टाइम "ऑनलाइन" प्रशिक्षण विधियों की आवश्यकता नहीं है जिनका उपयोग अन्य सभी कर रहे हैं। एक सरल, अधिक स्थिर "ऑफलाइन" विधि का उपयोग करके—जहाँ आप उत्तरों का एक निश्चित डेटासेट जेनरेट करते हैं और फिर उस पर प्रशिक्षण लेते हैं—मॉडल गणित का चैंपियन बन गया।

मुख्य बात: कभी-कभी, सीखने का सबसे अच्छा तरीका यह नहीं है कि आप टेस्ट देते रहें जब शिक्षक आपको देख रहा हो। यह है कि अभ्यास टेस्टों का एक बड़ा बैच लें, एक पूर्ण उत्तर कुंजी प्राप्त करें, और उस कुंजी का पूरी गहराई से अध्ययन करें। इस दृष्टिकोण ने PCL-Reasoner-V1.5 को उसके वर्ग में नया शीर्ष प्रदर्शन करने वाला बना दिया।

तकनीकी सारांश: PCL-Reasoner-V1.5

समस्या विवरण

गणितीय तर्क (Mathematical reasoning) लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए एक कठोर बेंचमार्क बना हुआ है, जो सटीक तार्किक निष्कर्ष और संरचित समस्या-समाधान की मांग करता है। जबकि हालिया सफलताओं जैसे कि DeepSeek-R1 ने प्रदर्शित किया है कि Reinforcement Learning (RL) को Chain-of-Thought (CoT) के साथ मिलाने से बेहतर तर्क क्षमता प्राप्त की जा सकती है, प्रचलित प्रतिमान (paradigm) मुख्य रूप से ऑनलाइन RL विधियों (जैसे, Group Relative Policy Optimization या GRPO) पर निर्भर करता है। ये ऑनलाइन दृष्टिकोण महत्वपूर्ण तकनीकी चुनौतियां पेश करते हैं, जिनमें प्रशिक्षण अस्थिरता (training instability), रिवॉर्ड कोलैप्स (reward collapse), और इन्फरेंस एवं ट्रेनिंग लूप के बीच घनिष्ठ जुड़ाव के कारण उच्च कम्प्यूटेशनल ओवरहेड शामिल है। इसके अलावा, रीयल-टाइम रोलआउट और वितरित ग्रेडिएंट अपडेट के लिए आवश्यक जटिल ऑर्केस्ट्रेशन इंजीनियरिंग जटिलता और प्रयोग की लागत को बढ़ाता है।

कार्यप्रणाली (Methodology)

लेखक PCL-Reasoner-V1.5 प्रस्तुत करते हैं, जो Qwen2.5-32B आर्किटेक्चर पर आधारित एक 32-बिलियन पैरामीटर वाला LLM है। इस मॉडल को एक दो-चरणीय पाइपलाइन के माध्यम से परिष्कृत किया गया है: सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) के बाद एक नवीन ऑफलाइन RL दृष्टिकोण।

1. सुपरवाइज्ड फाइन-ट्यूनिंग (SFT)

बेस मॉडल: Qwen2.5-32B।
डेटा: AM-DeepSeek-R1-0528-Distilled के गणितीय उपसमुच्चय (subset) से 666K नमूने। 32K टोकन से अधिक लंबी अनुक्रमों (sequences) को हटाने के लिए डेटा को फ़िल्टर किया गया था।
प्रशिक्षण कॉन्फ़िगरेशन: ग्लोबल बैच साइज 128, लर्निंग रेट $6 \times 10^{-5}$ (कोसाइन डिके), और 4 इपोक। लेखकों ने वेरिएबल-लेंथ नमूनों को 32K अनुक्रमों में जोड़ने के लिए डेटा पैकिंग का उपयोग किया, जिससे पैडिंग की रेडंडेंसी समाप्त हो गई।
प्रॉम्प्टिंग: CoT संरचना को लागू करने के लिए एक विशिष्ट टेम्पलेट का उपयोग किया गया, जिसमें मॉडल को <thought> टैग के भीतर तर्क और <answer> टैग के भीतर अंतिम उत्तर देने की आवश्यकता होती है।

2. ऑफलाइन सुदृढीकरण शिक्षण (Offline Reinforcement Learning)

ऑनलाइन RL के विपरीत, जो पुनरावृत्ति (iteratively) के साथ सैंपलिंग और ट्रेनिंग करता है, यह दृष्टिकोण इन्फरेंस को ट्रेनिंग से अलग (decouple) करता है।

डेटा क्यूरेशन: डेटासेट Nemotron-Post-Training-Dataset-v1 से लिया गया था। लेखकों ने उच्च-कठिनाई वाले कार्यों के लिए डेटा को फ़िल्टर किया, जिसमें उन प्रश्नों को रखा गया जहाँ औसत अनुमानित उत्तर की लंबाई >32K टोकन थी और सभी 8 कैंडिडेट उत्तर सही नहीं थे। इसके परिणामस्वरूप 6,068 कठिन प्रश्न प्राप्त हुए।
इन्फरेंस चरण: SFT मॉडल (PCL-Reasoner-V1) ने Huawei Ascend 910C NPUs पर सैंपलिंग-आधारित डिकोडिंग (top-k=40, top-p=0.95, temperature=0.6) का उपयोग करके प्रति प्रश्न 8 कैंडिडेट उत्तर उत्पन्न किए।
सत्यापन और फ़िल्टरिंग: एक अलग वर्िफायर मॉडल (Qwen3-32B) ने बाइनरी रिवॉर्ड्स ( $R=1$ $R = 1$ सही के लिए, $R=-1$ $R = - 1$ गलत के लिए) असाइन किए।
- शून्य रिवॉर्ड वेरिएंस (सभी सही या सभी गलत) वाले प्रश्नों को GRPO के आंतरिक तंत्र की नकल करने के लिए बाहर कर दिया गया।
- लेंथ बायस (length bias) को रोकने के लिए 48K टोकन से अधिक के पॉजिटिव नमूनों को हटा दिया गया।
- अंतिम डेटासेट में 30,215 नमूने (14,512 पॉजिटिव, 15,703 नेगेटिव) शामिल थे।
प्रशिक्षण उद्देश्य: पॉलिसी मॉडल को RL लॉस $L(\theta) = -\sum R_i \pi_\theta(y_i|x_i)$ को कम करने के लिए प्रशिक्षित किया गया था, जहाँ $\pi_\theta$ को टोकन-लेवल प्रोबेबिलिटी के ज्यामितीय माध्य (geometric mean) के रूप में परिभाषित किया गया है। पूर्व निष्कर्षों के आधार पर इम्पॉर्टेंस सैंपलिंग को स्पष्ट रूप से छोड़ दिया गया क्योंकि यह LLM RL सेटिंग्स में अप्रभावी पाई गई थी।
इंफ्रास्ट्रक्चर: प्रशिक्षण में 8 कंप्यूट नोड्स का उपयोग किया गया, जिनमें प्रत्येक में 8 Ascend 910C NPUs थे, और MindSpeed-LLM फ्रेमवर्क के माध्यम से टेंसर पैरेललिज्म (डिग्री 8) और पाइपलाइन पैरेललिज्म (डिग्री 4) का उपयोग किया गया।

प्रमुख योगदान

ऑफलाइन RL प्रतिमान: यह पेपर तर्क संबंधी कार्यों के लिए ऑनलाइन RL (GRPO) के एक स्थिर और कुशल विकल्प के रूप में ऑफलाइन RL का प्रस्ताव और सत्यापन करता है। यह तर्क देता है कि इन्फरेंस को ट्रेनिंग से अलग करने से वे फीडबैक लूप समाप्त हो जाते हैं जो अस्थिरता का कारण बनते हैं और यह "एक बार इन्फर, कई बार ट्रेन" वर्कफ़्लो की अनुमति देता है, जिससे प्रयोग की लागत काफी कम हो जाती है।
स्टेट-ऑफ-द-आर्ट प्रदर्शन: PCL-Reasoner-V1.5, Qwen2.5-32B पर पोस्ट-ट्रेन किए गए मॉडल्स के बीच नए स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त करता है।
हार्डवेयर दक्षता: सभी प्रयोग सफलतापूर्वक Huawei Ascend 910C NPUs पर संचालित किए गए, जो बड़े पैमाने पर रीजनिंग मॉडल ट्रेनिंग के लिए इस हार्डवेयर की व्यवहार्यता को प्रदर्शित करते हैं।
ओपन रिलीज़: लेखक पुनरुत्पादकता (reproducibility) को सुगम बनाने के लिए मॉडल, ट्रेनिंग डेटा और कोड (डेटा प्रोसेसिंग और इवैल्यूएशन स्क्रिप्ट सहित) को रिलीज़ कर चुके हैं।

प्रयोगात्मक परिणाम

मॉडल का मूल्यांकन AIME 2024 और AIME 2025 बेंचमार्क (प्रत्येक में 30 समस्याएं) पर किया गया।

सटीकता (pass@1):
- AIME 2024: 90.9%
- AIME 2025: 85.6%
- ये परिणाम अन्य Qwen2.5-32B डेरिवेटिव्स (जैसे, AIME 2024 पर 72.6% के साथ DeepSeek-R1-Distill-Qwen-32B) से बेहतर हैं और OpenAI-o3 (91.6%) और DeepSeek-R1-0528 (91.4%) जैसे बहुत बड़े मॉडल्स के साथ प्रतिस्पर्धा करते हैं।
व्यवहार विश्लेषण:
- रिस्पॉन्स लेंथ: RL ट्रेनिंग ने औसत रिस्पॉन्स लेंथ को काफी बढ़ा दिया (AIME 2024 पर ~22.5K से ~30.5K टोकन), जो यह दर्शाता है कि मॉडल अधिक विस्तृत तर्क (reasoning) में संलग्न होता है।
- Long-CoT क्षमता: विलगित विश्लेषण (Disaggregated analysis) दिखाता है कि जबकि SFT मॉडल उन समस्याओं के साथ संघर्ष करता है जिनमें लंबे CoT ( $\ge$ 32K टोकन) की आवश्यकता होती है, RL-ट्रेन्ड मॉडल विशेष रूप से इस रेंज में नाटकीय सटीकता सुधार दिखाता है, जो निरंतर, जटिल तर्क के लिए बढ़ी हुई क्षमता का संकेत देता है।

महत्व और दावे

लेखक दावा करते हैं कि ऑफलाइन RL LLM रीजनिंग को आगे बढ़ाने के लिए एक मजबूत प्रतिमान है, जो ऑनलाइन विधियों की तुलना में विशिष्ट लाभ प्रदान करता है:

स्थिरता: एक निश्चित स्टैटिक डेटासेट पर प्रशिक्षण देकर, यह विधि डायनेमिक इन्फरेंस-ट्रेनिंग इंटरप्ले के कारण होने वाले रिवॉर्ड कोलैप्स और विचलन (divergence) से बचती है।
दक्षता: पृथक्करण (Decoupling) इन्फरेंस (vLLM जैसे हाई-थ्रूपुट फ्रेमवर्क का उपयोग करके) और ट्रेनिंग के स्वतंत्र अनुकूलन की अनुमति देता है, जिससे हार्डवेयर उपयोगिता अधिकतम होती है और सिंक्रोनाइज़ेशन से होने वाला लेटेंसी ओवरहेड कम होता है।
सरलता: यह वर्कफ़्लो जटिल रीयल-टाइम ऑर्केस्ट्रेशन फ्रेमवर्क की आवश्यकता को हटाकर इंजीनियरिंग को सरल बनाता है।

पेपर निष्कर्ष निकालता है कि हालांकि ऑफलाइन RL अपने स्टैटिक डेटासेट की गुणवत्ता द्वारा सीमित है और "R1-Zero" शैली के सेल्फ-करेक्शन की तरह नए तर्क पथों की खोज नहीं कर सकता है, फिर भी यह मजबूत बेसलाइन वाले मॉडल्स को परिष्कृत करने के लिए अत्यधिक प्रभावी है। यह कार्य उच्च-प्रदर्शन वाले तर्क के लिए ऑनलाइन RL की आवश्यकता को चुनौती देता है, यह प्रदर्शित करते हुए कि एक स्थिर, कम्प्यूटेशनल रूप से कुशल ऑफलाइन दृष्टिकोण प्रतिस्पर्धी, स्टेट-ऑफ-द-आर्ट परिणाम दे सकता है।