Klear-Reasoner: Advancing Reasoning Capability via Gradient-Preserving Clipping Policy Optimization
Klear-Reasoner एक उच्च-प्रदर्शन वाला रीजनिंग मॉडल है जो उच्च-गुणवत्ता वाले लंबे चेन-ऑफ-थॉट सुपरवाइज्ड फाइन-ट्यूनिंग के वर्कफ़्लो और एक नवीन ग्रेडिएंट-प्रिजर्विंग क्लिपिंग पॉलिसी ऑप्टिमाइज़ेशन (GPPO) पद्धति का उपयोग करके गणित और प्रोग्रामिंग में अत्याधुनिक परिणाम प्राप्त करता है, जो अन्वेषण और नकारात्मक नमूनों से सीखने को बढ़ाने के लिए मानक क्लिपिंग तंत्र की सीमाओं को कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन थोड़े नादान छात्र (AI मॉडल) को दुनिया की सबसे कठिन गणितीय समस्याओं को हल करना और जटिल कंप्यूटर कोड लिखना सिखाने की कोशिश कर रहे हैं। लक्ष्य इस छात्र को एक ग्रैंडमास्टर बनाना है जो गहराई से सोच सके, अपनी गलतियों से सीख सके और अंततः हर बार सही समाधान खोज सके।
यह पेपर, "Klear-Reasoner," इस बात की रिपोर्ट कार्ड और लेसन प्लान है कि कैसे कुआइशौ (Kuaishou) की टीम ने इसे हासिल किया। उन्होंने केवल छात्र को अधिक डेटा नहीं दिया; उन्होंने यह बदल दिया कि छात्र कैसे सीखता है।
यहाँ उनके "सीक्रेट सॉस" का विवरण दिया गया, जिसे सरल उपमाओं के साथ समझाया गया है:
1. समस्या: "शोर वाला क्लासरूम"
आमतौर पर, AI को प्रशिक्षित करते समय, लोग सिस्टम में डेटा के विशाल ढेर डाल देते हैं, इस उम्मीद में कि अच्छी चीजें खराब चीजों से अधिक प्रभावी होंगी। लेखकों ने महसूस किया कि यह एक ऐसे छात्र को पढ़ाने जैसा है जहाँ आधे छात्र बकवास चिल्ला रहे हों।
- अंतर्दृष्टि (Insight): उन्होंने पाया कि मात्रा से अधिक गुणवत्ता (Quality beats Quantity) मायने रखती है। 1,000 अलग-अलग पाठ्यपुस्तकों के बजाय, उन्होंने केवल कुछ ही 'परफेक्ट' किताबों का उपयोग किया।
- गलतियों पर नया दृष्टिकोण: उन्होंने कुछ ऐसा भी खोजा जो विरोधाभासी था। आसान समस्याओं के लिए, आप चाहते हैं कि छात्र केवल सही उत्तर देखे। लेकिन कठिन समस्याओं के लिए, छात्र को गलत उत्तर (गलतियाँ) दिखाना वास्तव में मदद करता है! यह एक शतरंज खिलाड़ी को हार चुके खेल दिखाने जैसा है, ताकि वह देख सके कि एक चाल गलत क्यों थी। "गलत" उत्तर छात्र को यह सिखाते हैं कि क्या नहीं करना है, जो नए समाधानों की खोज के लिए महत्वपूर्ण है।
2. प्रशिक्षण विधि: "लॉन्ग चेन-ऑफ-थॉट" (गहराई में उतरना)
इससे पहले कि AI तर्क करना सीख पाता, उन्हें इसे "सोचकर बोलना" सिखाना था।
- उपमा: कल्पना कीजिए कि आप एक गणित के विशेषज्ञ से पूछते हैं, "2+2 क्या है?" वे शायद सिर्फ "4" कहेंगे। लेकिन यदि आप उन्हें एक जटिल भौतिकी (physics) की समस्या हल करने के लिए कहते हैं, तो उन्हें हर चरण को विस्तार से लिखना होगा: "पहले, मुझे बल (force) खोजना होगा, फिर द्रव्यमान (mass)..."
- रणनीति: टीम ने AI को एक सुपर-स्मार्ट टीचर मॉडल (DeepSeek-R1) का उपयोग करके इन लंबे, चरण-दर-चरण "विचार श्रृंखलाओं" (thought chains) को उत्पन्न करने के लिए प्रशिक्षित किया। उन्होंने केवल सही उत्तरों को फ़िल्टर नहीं किया; उन्होंने AI को कठिन और उलझी हुई तर्क प्रक्रियाओं से भी सीखने दिया, बशर्ते कि शिक्षक उच्च श्रेणी का हो।
3. बड़ी नवाचार: GPPO ("कोमल धक्का" बनाम "कठोर रोक")
यह सबसे तकनीकी हिस्सा है, लेकिन यहाँ इसका सरल संस्करण है।
जब एक AI सीखता है, तो वह अलग-अलग उत्तरों को आज़माता है। यदि उत्तर अच्छा है, तो उसे "हाई फाइव" (सकारात्मक इनाम) मिलता है। यदि वह बुरा है, तो उसे "थम्ब्स डाउन" (नकारात्मक इनाम) मिलता है।
- पुराना तरीका (Clipping): मानक प्रशिक्षण में, यदि AI किसी नए विचार (एक "हाई-एंट्रॉपी" टोकन) के बारे में बहुत उत्साहित हो जाता है या किसी गलती से बहुत डर जाता है, तो सिस्टम उस पर एक "गति सीमा" लगा देता है। यह सीधे तौर पर सीखने के संकेत को काट देता है।
- समस्या: यह एक शिक्षक द्वारा छात्र के हाथ को ठीक उसी समय थप्पड़ मारकर रोकने जैसा है जब वह किसी समस्या को हल करने का एक शानदार नया तरीका खोजने ही वाला होता है। यह AI को अन्वेषण (exploration) करने से रोकता है। यह AI को गलत उदाहरणों को बहुत जल्दी अनदेखा करने पर भी मजबूर करता है, जिससे सीखना धीमा हो जाता है।
- नया तरीका (GPPO - ग्रेडिएंट-प्रिजर्विंग क्लिपिंग): क्लीयर टीम ने GPPO नामक एक नया नियम बनाया।
- उपमा: छात्र के हाथ को थप्पड़ मारकर रोकने के बजाय, शिक्षक कहता है, "ठीक है, यह विचार जोखिम भरा है, लेकिन आइए इसे ध्यान से देखते हैं। हम तुम्हें बेकाबू नहीं होने देंगे, लेकिन हम तुम्हें अनदेखा भी नहीं करेंगे।"
- यह कैसे काम करता है: भले ही AI का आत्मविश्वास बहुत अधिक या बहुत कम हो, GPPO "लर्निंग सिग्नल" को बहने देता है, लेकिन यह उसे धीरे से स्केल (कम) कर देता है। यह उस सूचना को सुरक्षित रखता है जिसे AI सीखने की कोशिश कर रहा है, बस बिना उन खतरनाक "विस्फोटक" अपडेट्स के जो प्रशिक्षण को क्रैश कर सकते हैं।
- परिणाम: AI नए समाधानों की खोज करने में अधिक साहसी हो जाता है (क्योंकि उसे 'क्लिपिंग' का डर नहीं है) और अपनी गलतियों से तेज़ी से सीखता है (क्योंकि वह "थम्ब्स डाउन" को अनदेखा नहीं करता)।
4. रिवॉर्ड सिस्टम: कोड के लिए "सॉफ्ट रिवॉर्ड्स"
जब कोड सिखाया जाता था, तो पुराना तरीका बाइनरी (दो विकल्पों वाला) था: "क्या कोड ने सभी टेस्ट पास किए? हाँ = अच्छा, नहीं = बुरा।"
- समस्या: यदि कोई छात्र ऐसा कोड लिखता है जो 16 में से 15 टेस्ट पास करता है, तो पुराना सिस्टम कहता है "FAIL"। यह हतोत्साहित करने वाला और अनुपयोगी है।
- समाधान: उन्होंने सॉफ्ट रिवॉर्ड्स (Soft Rewards) पेश किए। यदि कोड 15/16 टेस्ट पास करता है, तो AI को 0.94 का स्कोर मिलता है। यह एक "आंशिक हाई फाइव" है। यह AI को बताता है, "तुम लगभग पहुँच गए हो, बस इसमें थोड़ा सा बदलाव करो।" यह एक मृत अंत (dead end) को एक सीढ़ी में बदल देता है।
5. परिणाम: ग्रैंडमास्टर का उदय
इन तकनीकों को जोड़कर—उच्च गुणवत्ता वाला डेटा, कठिन गलतियों से सीखना, GPPO का "कोमल धक्का", और कोड के लिए आंशिक क्रेडिट—Klear-Reasoner मॉडल एक शक्तिशाली रूप बन गया।
- इसने AIME 2024 गणित प्रतियोगिता में 90.5% स्कोर किया (लगभग सभी को पीछे छोड़ते हुए)।
- इसने 2025 के संस्करण में 83.2% स्कोर किया।
- इसने LiveCodeBench जैसे कोडिंग बेंचमार्क को ध्वस्त कर दिया।
सारांश
Klear-Reasoner टीम को एक ओलंपिक टीम के कोच के रूप में देखें।
- उन्होंने रैंडम अभ्यास ड्रिल का उपयोग करना बंद कर दिया और कुलीन, केंद्रित प्रशिक्षण (गुणवत्तापूर्ण डेटा) पर स्विच किया।
- उन्होंने अपने एथलीटों को कठिन दिनों में अपनी विफलताओं का अध्ययन करने दिया (अनफिल्टर्ड हार्ड सैंपल्स)।
- उन्होंने नए विचारों पर "स्टॉप साइन" को एक स्पीड बम्प (गति अवरोधक) से बदल दिया जो एथलीट को सुरक्षित रखते हुए भी आगे बढ़ाता रहता है (GPPO)।
- उन्होंने मनोबल बनाए रखने के लिए लगभग पूर्ण प्रदर्शन के लिए आंशिक क्रेडिट दिया (सॉफ्ट रिवॉर्ड्स)।
परिणाम? एक ऐसा मॉडल जो केवल उत्तरों को याद नहीं करता, बल्कि वास्तव में दुनिया की सबसे कठिन समस्याओं के माध्यम से तर्क (reasoning) करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।