Aryabhata 2: Scaling Reinforcement Learning for Advanced STEM Reasoning
यह शोध पत्र आर्यभट्ट 2 का परिचय देता है, जो GPT-OSS-20B पर आधारित एक सुदृढीकरण शिक्षण (reinforcement learning) द्वारा प्रशिक्षित भाषा मॉडल है, जो एक उच्च-गुणवत्ता वाले पाठ्यक्रम और प्रगतिशील रोलआउट अन्वेषण (progressive rollout exploration) का लाभ उठाकर JEE और NEET जैसी प्रतिस्पर्धी STEM परीक्षाओं पर उत्कृष्ट प्रदर्शन और अधिक टोकन दक्षता प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक प्रतिभाशाली लेकिन थोड़ा बिखरा हुआ छात्र है जिसका नाम GPT-OSS-20B है। इस छात्र ने किताबों की एक विशाल लाइब्रेरी पढ़ ली है और उसे बहुत सी बातें पता हैं, लेकिन जब आप उनसे कोई कठिन, बहु-चरणीय (multi-step) गणित या विज्ञान का सवाल हल करने को कहते हैं (जैसे कि भारत की सबसे कठिन कॉलेज प्रवेश परीक्षाओं में पाए जाते हैं), तो वे कभी-कभी बड़बड़ाने लगते हैं, भ्रमित हो जाते हैं, या उत्तर लिखने में बहुत समय लेते हैं। वे सही उत्तर तो पा सकते हैं, लेकिन इसके लिए वे बहुत अधिक "स्याही" (कंप्यूटर टोकन) का उपयोग करते हैं, जो महंगा और धीमा होता है।
इन शोधकर्ताओं ने इस छात्र को एक बड़ा दिमाग खरीदे बिना (एक बड़े मॉडल के बिना), एक समस्या सुलझाने वाले चैंपियन में बदलने का लक्ष्य रखा। उन्होंने एक नया छात्र बनाया जिसे Aryabhata 2 कहा जाता है।
उन्होंने इसे कैसे किया, इसे सरल उपमाओं (analogies) के माध्यम से यहाँ समझाया गया है:
1. प्रशिक्षण का मैदान: एक सख्त कोच
केवल छात्र को और अधिक किताबें पढ़ने देने के बजाय (जो कि मानक प्रशिक्षण करता है), शोधकर्ताओं ने रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) का उपयोग करके एक सख्त कोच की भूमिका निभाई।
- पुरस्कार प्रणाली (The Reward System): एक वीडियो गेम की कल्पना करें जहाँ आपको अंक तभी मिलते हैं जब आप किसी पहेली को सही ढंग से और स्पष्ट रूप से हल करते हैं। यदि छात्र उत्तर गलत देता है, तो उसे शून्य अंक मिलते हैं। यदि वह उत्तर सही देता है लेकिन एक-पैराग्राफ के स्पष्टीकरण के बजाय 10 पन्नों का निबंध लिख देता है, तो उसे कम स्कोर मिलता है।
- "जज" (The Judge): कोच ने केवल छात्र की बात पर भरोसा नहीं किया। उन्होंने हर एक चरण की जांच करने के लिए एक सुपर-स्मार्ट "जज" (एक अन्य AI) का उपयोग किया। यदि गणित मेल नहीं खाता था या तर्क में दोष था, तो उत्तर को तुरंत खारिज कर दिया जाता था।
2. पाठ्यक्रम: आसान से असंभव तक
शोधकर्ताओं ने छात्र को तुरंत गहरे पानी में नहीं फेंका। उन्होंने एक तीन-स्तरीय प्रशिक्षण शिविर बनाया:
- स्तर 1 (फॉर्मेटिंग): पहले, उन्होंने छात्र को पेन पकड़ना सिखाया। उनका ध्यान इस बात पर था कि उत्तर व्यवस्थित दिखे और एक विशिष्ट संरचना का पालन करे।
- स्तर 2 (कड़ी मेहनत): फिर, उन्होंने छात्र को हजारों अभ्यास प्रश्न दिए। जैसे-जैसे छात्र बेहतर होता गया, कोच ने समस्याओं को कठिन बनाना शुरू कर दिया। यदि छात्र लगातार 70% सही उत्तर दे रहा था, तो कोच और भी पेचीदा सवाल शामिल कर देता था।
- स्तर 3 (वाइल्डकार्ड): अंत में, उन्होंने छात्र को एक ही कठिन समस्या को हल करने के कई अलग-अलग तरीके आज़माने दिया। कल्पना कीजिए कि छात्र से एक साथ एक ही भूलभुलैया (maze) को हल करने के 128 अलग-अलग रास्ते खोजने के लिए कहा गया है। इससे उन्हें वे चतुर शॉर्टकट खोजने में मदद मिली जो उन्होंने पहले नहीं देखे थे।
3. गुप्त नुस्खा: "व्यापक अन्वेषण" (Broadened Exploration)
आमतौर पर, AI को प्रशिक्षित करते समय, आप उससे एक समस्या को एक बार हल करने के लिए कह सकते हैं। Aryabhata 2 को हर एक प्रश्न के लिए कई अलग-अलग प्रयास उत्पन्न करने के लिए प्रशिक्षित किया गया था।
- उपमा: इसे एक अपराध को सुलझाने वाले जासूस की तरह समझें। केवल एक संदेह का पीछा करने के बजाय, जासूस सुराग खोजने के लिए 128 अलग-अलग टीमें भेजता है। यदि एक भी टीम सही सुराग ढूंढ लेती है, तो मामला सुलझ जाता है। इस पद्धति ने मॉडल को उत्तर तक पहुँचने के लिए "स्वर्ण पथ" (golden path) को बहुत तेज़ी से और अधिक विश्वसनीय रूप से खोजने में मदद की।
4. परिणाम: तेज़, स्मार्ट और चुस्त
जब उन्होंने वास्तविक परीक्षाओं (जैसे JEE और NEET) और यहाँ तक कि सुपर-हार्ड मैथ कॉम्पिटिशन (जैसे AIME) पर Aryabhata 2 का परीक्षण किया, तो परिणाम प्रभावशाली थे:
- बेहतर सटीकता: इसने अपने "मूल" मॉडल (GPT-OSS-20B) की तुलना में अधिक समस्याओं को सही ढंग से हल किया और यहाँ तक कि कुछ बहुत बड़े और महंगे मॉडलों को भी पीछे छोड़ दिया।
- "टोकन" की बचत: यह सबसे बड़ी जीत है। मूल मॉडल अक्सर लंबे, घुमावदार स्पष्टीकरण लिखता था। Aryabhata 2 ने संक्षिप्त (concise) होना सीख लिया। समान (या बेहतर) परिणाम प्राप्त करने के लिए इसने 64% तक कम शब्द (टोकन) का उपयोग किया।
- उपमा: यदि पुराना मॉडल एक पर्यटक की तरह था जो एक बेहतरीन शॉट खोजने के लिए 100 फोटो खींचता है, तो Aryabhata 2 एक पेशेवर फोटोग्राफर की तरह है जो एक ही क्लिक में परफेक्ट शॉट लेता है।
निचोड़ (The Bottom Line)
यह पेपर दावा करता है कि एक बहुत ही विशिष्ट, उच्च-गुणवत्ता वाले अभ्यास प्रश्नों के सेट और एक स्मार्ट, बहु-चरणीय प्रशिक्षण पद्धति का उपयोग करके, उन्होंने एक मानक 20-बिलियन-पैरामीटर वाले AI को एक विशेष STEM रीजनिंग विशेषज्ञ में बदल दिया। स्मार्ट होने के लिए इसे एक विशाल मॉडल की आवश्यकता नहीं थी; इसे बस सही प्रकार के अभ्यास और एक ऐसे कोच की आवश्यकता थी जो अच्छे व्यवहार को ठीक से पुरस्कृत करना जानता हो।
उन्होंने क्या दावा नहीं किया:
यह पेपर यह दावा नहीं करता है कि यह AI मानव शिक्षकों की जगह ले सकता है, चिकित्सा स्थितियों का निदान कर सकता है, या सामान्य बातचीत के लिए उपयोग किया जा सकता है। यह विशेष रूप से विज्ञान, गणित और इंजीनियरिंग की समस्याओं को हल करने के लिए बनाया गया है जो प्रतिस्पर्धी परीक्षाओं में पाई जाती हैं, जो इन विशिष्ट विषयों के लिए एक अत्यधिक कुशल ट्यूटर के रूप में कार्य करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।