Ring-Zero: Scaling Zero RL to a Trillion Parameters for Emergent Reasoning
"रिंग-ज़ीरो" (Ring-Zero) नामक शोध पत्र एक स्थिर और कुशल प्रशिक्षण पाइपलाइन प्रस्तुत करता है जो ज़ीरो-शॉट सुदृढीकरण लर्निंग (zero-shot reinforcement learning) को 1 ट्रिलियन पैरामीटर्स तक स्केल करता है, जिससे यह पता चलता है कि बड़े पैमाने के मॉडल स्वतः ही उन्नत तर्क व्यवहार विकसित कर लेते हैं और गणितीय बेंचमार्क पर छोटे मॉडलों से बेहतर प्रदर्शन करते हैं, जबकि वे हस्तनिर्मित ह्यूरिस्टिक्स (hand-crafted heuristics) को अनावश्यक बना देते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक विशाल, सुपर-स्मार्ट दिमाग है (एक 1-ट्रिलियन पैरामीटर वाला AI मॉडल) जो बहुत सारे तथ्य जानता है, लेकिन उसने कभी भी किसी कठिन गणित की समस्या को चरण-दर-चरण सोचने का तरीका नहीं सीखा है। आमतौर पर, इसे सिखाने के लिए, इंसानों को हजारों आदर्श उदाहरण लिखने पड़ते हैं, जैसे एक शिक्षक छात्र को समीकरण हल करना सिखाता है। लेकिन यह शोध पत्र एक जंगली सवाल पूछता है: क्या होगा अगर हम इस दिमाग को बिना किसी मानवीय मदद के, केवल परीक्षण और त्रुटि (trial and error) के माध्यम से खुद ही सब कुछ समझने दें?
शोधकर्ता इसे "जीरो आरएल" (Zero RL - Zero Reinforcement Learning) कहते हैं। उन्होंने एक खेल सेट किया जहाँ AI गणित की समस्याओं को हल करने की कोशिश करता है। यदि वह उत्तर सही पाता है, तो उसे एक अंक मिलता है। यदि वह गलत है, तो उसे कुछ नहीं मिलता। कोई मानव शिक्षक नहीं, कोई चीट शीट नहीं, बस AI अनुमान लगाता है, असफल होता है, सीखता है और फिर से प्रयास करता है।
बड़ी हैरानी: बड़ा होना बेहतर है (और सरल भी)
इस शोध पत्र का मुख्य निष्कर्ष एक बहुत बड़ा "अहा!" क्षण है जो AI के एक प्रसिद्ध विचार को पुष्ट करता है जिसे "बिटर लेसन" (bitter lesson) कहा जाता है। यह सबक कहता है कि कच्ची कंप्यूटिंग शक्ति और पैमाना (scale) अक्सर चतुर मानवीय युक्तियों को मात देते हैं।
वर्षों से, शोधकर्ता AI को बेहतर सोचने के लिए मजबूर करने हेतु जटिल नियम बनाने की कोशिश कर रहे थे। उन्होंने विशेष प्रॉम्प्ट लिखे, शानदार रिवॉर्ड सिस्टम डिज़ाइन किए, और फैंसी पाइपलाइन बनाईं ताकि AI अपने काम की जांच कर सके या अपने उत्तरों को अच्छे से फॉर्मेट कर सके। लेखकों ने पाया कि जब उन्होंने अपने मॉडल को एक विशाल 1-ट्रिलियन पैरामीटर्स तक बढ़ाया, तो उन्हें अब उन फैंसी मानवीय नियमों की आवश्यकता नहीं रही। विशाल मॉडल ने यह सब खुद ही समझ लिया।
वास्तव में, शोध पत्र स्पष्ट रूप से इस विचार के खिलाफ तर्क देता है कि उच्च गुणवत्ता वाले तर्क (reasoning) के लिए हमें जटिल, मानव-निर्मित प्रणालियों की आवश्यकता है। उन्होंने पाया कि 1-ट्रिलियन पैरामीटर वाले मॉडल के लिए, काम करने के लिए साधारण बदलाव पर्याप्त थे, जबकि एक छोटा मॉडल (104 बिलियन पैरामीटर) अभी भी उन मानवीय बैसाखियों पर निर्भर था। दिमाग जितना बड़ा होगा, उसे हाथ पकड़ने के लिए इंसान की उतनी ही कम जरूरत होगी।
उन्होंने इस विशालकाय को कैसे वश में किया
1-ट्रिलियन पैरामीटर वाले मॉडल को प्रशिक्षित करना एक ड्रैगन को महल जलाए बिना आग उगलना सिखाने जैसा है। यदि आप इसे बस खुला छोड़ देंगे, तो यह अस्त-व्यस्त हो जाएगा। लेखकों ने देखा कि AI अजीब चीजें करने लगा:
- यह बहुत ज्यादा बातें करने लगा: यह "2 + 2 = 4" कहने के लिए हजारों शब्द लिख देता था, जिससे समय और ऊर्जा बर्बाद होती थी।
- यह भ्रमित होने लगा: कंप्यूटर के अंदर का गणित (प्रशिक्षण इंजन) और बाहर का गणित (इन्फरेंस इंजन) थोड़ा अलग था, जिससे AI क्रैश हो गया।
इसे ठीक करने के लिए, उन्होंने कोई बहुत जटिल नई प्रणाली नहीं बनाई। उन्होंने बस तीन सरल बदलाव किए:
- क्लिप्ड इम्पोर्टेंस सैंपलिंग (Clipped Importance Sampling): उन्होंने AI को बताया, "अपने ही अनुमानों को लेकर बहुत उत्साहित न हों; अपने आत्मविश्वास को नियंत्रण में रखें।"
- ट्रेनिंग-इन्फरेंस रेशियो करेक्शन (Training-Inference Ratio Correction): उन्होंने दोनों इंजनों के बीच गणित के सूक्ष्म अंतर को ठीक किया ताकि AI चक्कर न खाए।
- मिक्सड-प्रिसिजन कंट्रोल (Mixed-Precision Control): उन्होंने गणित के कठिन हिस्सों के लिए एक सुपर-सटीक कैलकुलेटर का उपयोग किया ताकि छोटी गलतियाँ बड़ी आपदाओं में न बदल जाएं।
इन सरल सुधारों के साथ, उन्होंने मॉडल को तीन चरणों में प्रशिक्षित किया:
- डिस्कवरी (Discovery): AI ने अनुमान लगाना शुरू किया और समस्याओं को हल करने के नए तरीके खोजे।
- शार्पनिंग (Sharpening): एक बार जब उसने कोई तरीका खोज लिया, तो वह उस विशिष्ट तरीके का उपयोग करने में बहुत कुशल हो गया।
- एडैप्टेशन (Adaptation): AI ने आसान सवालों के लिए संक्षिप्त और सटीक रहना और कठिन सवालों के लिए लंबा और विस्तृत होना सीखा।
वे जादुई ट्रिक्स जो AI ने खुद सीख लीं
इस शोध पत्र का सबसे दिलचस्प हिस्सा वह है जो AI ने स्वतः रूप से करना शुरू कर दिया। इसने न केवल गणित में सुधार किया; इसने ऐसे "संज्ञानात्मक व्यवहार" (cognitive behaviors) विकसित किए जिन्हें आमतौर पर इंसान प्रोग्राम करते हैं। शोध पत्र सुझाव देता है कि ये व्यवहार स्वाभाविक रूप से उभरे क्योंकि गेम जीतने का यही सबसे कुशल तरीका था:
- एंथ्रोपोमोर्फिज्म (मानव जैसा व्यवहार): AI एक बुरे दिन का सामना कर रहे व्यक्ति की तरह बात करने लगा। वह कह सकता था, "रुको, शायद मेरा दिमाग काम नहीं कर रहा," या "मैं बस अंदाज़े से कर लूंगा," या "शानदार विचार!" उसने मानवीय हताशा और आत्म-प्रशंसा की नकल की, संभवतः क्योंकि उसने अपने प्रशिक्षण डेटा में इन पैटर्न को देखा था।
- स्ट्रक्चर्ड फॉर्मेटिंग (संरचित प्रारूप): बिना बताए, AI ने अपने चरणों को नंबर देना ("चरण 1," "चरण 2") और स्पष्ट हेडर का उपयोग करना शुरू कर दिया। उसने महसूस किया कि अपने विचारों को व्यवस्थित करने से सही उत्तर ढूंढना आसान हो जाता है।
- सेल्फ-वेरिफिकेशन (स्व-सत्यापन): AI ने अपने काम की जांच करना शुरू कर दिया। वह एक समस्या को हल करेगा, फिर कहेगा, "रुको, मुझे इसे दोबारा चेक करने दो," और यह सुनिश्चित करने के लिए आंकड़े फिर से चलाएगा कि उसने कोई गलती तो नहीं की।
- पैरेलल रीजनिंग (समानांतर तर्क): केवल एक रास्ते का पालन करने के बजाय, AI एक ही समय में समस्या को हल करने के दो अलग-अलग तरीके आज़माएगा, उनकी तुलना करेगा, और विजेता को चुनेगा।
- कॉन्टेक्स्ट एंग्जायटी (संदर्भ संबंधी चिंता): यह एक मजेदार बात है। जैसे-जैसे AI अपनी अधिकतम मेमोरी सीमा (वह बिंदु जहाँ वह बोलना बंद कर देता है) के करीब पहुँचता, वह घबरा जाता। वह महसूस करता, "ओह नहीं, मेरे पास जगह खत्म हो रही है! बेहतर होगा कि मैं अभी उत्तर का अनुमान लगा लूँ वरना मुझे शून्य अंक मिलेंगे!" इसलिए वह अपने लंबे, जटिल तर्क को रोक देता और समय पर समाप्त करने के लिए बस अनुमान लगा लेता।
क्या यह वास्तव में काम कर गया?
शोध पत्र ने सात कठिन गणितीय बेंचमार्क (जैसे AIME और HMMT) पर इसे मापा। परिणाम दुनिया के सर्वश्रेष्ठ मॉडलों के साथ प्रतिस्पर्धी थे।
- 1-ट्रिलियन पैरामीटर वाले मॉडल (Ring-2.5-1T-Zero) ने अपने प्रशिक्षण के पहले चरण में ही AIME 2026 टेस्ट पर 84.2% सटीकता प्राप्त की, और बाद के चरणों के बाद और भी अधिक।
- लेखकों ने यह भी जांचा कि क्या AI की सोचने की प्रक्रिया को पढ़ना आसान है। उन्होंने पाया कि अन्य शीर्ष मॉडलों की तुलना में AI का तर्क अधिक बोधगम्य (इंसानों के लिए समझना आसान), अधिक पुनरुत्पादनीय (छोटे मॉडलों को सिखाना आसान), और अधिक कुशल (कम शब्दों का उपयोग) था।
वह क्या है जो यह शोध पत्र कहता है कि हमें नहीं करना चाहिए
शोध पत्र बहुत स्पष्ट है कि इस स्तर पर क्या काम नहीं करता या जिसकी आवश्यकता नहीं है:
- मानव-एनोटेटेड डेटा पर भरोसा न करें: आपको इंसानों को सोचने के चरणों को लिखने की आवश्यकता नहीं है। AI अकेले अंतिम उत्तर से सीख सकता है।
- ओवर-इंजीनियरिंग न करें: आपको AI को अपने उत्तरों को फॉर्मेट करने या अपने काम को सत्यापित करने के लिए मजबूर करने हेतु जटिल, हाथ से बनाए गए नियमों की आवश्यकता नहीं है। यदि AI पर्याप्त बड़ा है, तो वह इसे स्वाभाविक रूप से कर लेगा।
- "वन-साइज़-फिट्स-ऑल" दृष्टिकोण का उपयोग न करें: शोध पत्र दिखाता है कि आसान और कठिन सवालों के लिए AI को समान मात्रा में सोचने के लिए मजबूर करना बर्बादी है। AI ने कठिनाई के आधार पर अपने प्रयास को अनुकूलित करना स्वाभाविक रूप से सीख लिया।
निचोड़
यह शोध पत्र सुझाव देता है कि यदि आप एक विशाल AI को पर्याप्त कंप्यूटिंग शक्ति देते हैं और उसे मानवीय हस्तक्षेप के बिना "अनुमान लगाओ और जांचो" के खेल को खेलने देते हैं, तो वह न केवल कठिन गणित की समस्याओं को हल करना सीख जाएगा, बल्कि ऐसा करने के लिए अपनी खुद की चतुर रणनीतियाँ भी विकसित करेगा। यह साबित करता है कि पैमाना (scale) एक महाशक्ति है: एक 1-ट्रिलियन पैरामीटर वाला मॉडल इतना सक्षम है कि उसे यह बताने के लिए किसी इंसान की ज़रूरत नहीं है कि कैसे सोचना है; वह इसे खुद ही समझ लेता है।
लेखकों ने वास्तविक गणित परीक्षणों पर इसे मापा और पाया कि मॉडल काम करता है, लेकिन वे यह भी नोट करते हैं कि "बिटर लेसन" (कि पैमाना मानवीय युक्तियों से बेहतर है) एक मजबूत प्रवृत्ति है जिसे उन्होंने देखा है, न कि अनिवार्य रूप से भौतिकी का कोई नियम जो भविष्य के हर एकल परिदृश्य पर लागू होता है। हालाँकि, गणितीय तर्क के इस विशिष्ट कार्य के लिए, साक्ष्य मजबूत हैं: बड़े मॉडल, सरल नियम, और शून्य मानवीय मदद = अद्भुत परिणाम।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।