Nanbeige4.2-3B: Unlocking Agentic Capabilities in a Compact Mode
यह शोध पत्र Nanbeige4.2-3B को प्रस्तुत करता है, जो एक कॉम्पैक्ट 3B-पैरामीटर वाला सामान्य एजेंटिक मॉडल है जिसे Looped Transformer आर्किटेक्चर और उन्नत RL प्रशिक्षण के साथ 28T टोकन पर प्रीट्रेन किया गया है, जो विविध एजेंटिक बेंचमार्क पर Qwen3.5-9B और Gemma4-12B जैसे काफी बड़े मॉडलों को पीछे छोड़ते हुए मजबूत तर्क क्षमता बनाए रखता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ कंप्यूटर विशाल, अत्यंत बुद्धिमान पुस्तकालयों की तरह हैं। लंबे समय तक, इन पुस्तकालयों से वास्तव में अच्छा उत्तर प्राप्त करने का एकमात्र तरीका उन्हें बड़ा और बड़ा बनाना था, उनमें अधिक से अधिक किताबें (डेटा) और अधिक से अधिक अलमारियाँ (पैरामीटर्स) भरना था। विचार सरल था: यदि आप एक जीनियस चाहते हैं, तो आपको एक विशाल मस्तिष्क की आवश्यकता है। लेकिन क्या होगा यदि आप एक छोटा, जेब में समा जाने वाला जीनियस बना सकें? यह वर्तमान में आर्टिफिशियल इंटेलिजेंस के क्षेत्र में एक बड़ा सवाल है: क्या हम छोटे, कुशल AI मॉडल बना सकते हैं जो विशाल, ऊर्जा-खपत करने वाले दिग्गजों जितने ही जटिल समस्याओं को हल करने में सक्षम हों?
इस चुनौती को समझने के लिए, एक AI मॉडल को एक छात्र की तरह समझें। एक "रीजनिंग" (तर्क करने वाला) छात्र गणित और तर्क पहेलियों में अच्छा होता है, जबकि एक "एजेंटिक" (कार्य करने वाला) छात्र वास्तव में चीजें करने में अच्छा होता है—जैसे कैलकुलेटर का उपयोग करना, इंटरनेट खोजना, या रिपोर्ट लिखना। आमतौर पर, छोटे छात्र एक चीज़ में बहुत अच्छे होते हैं लेकिन दूसरी में बहुत खराब। वे गणित के उस्ताद हो सकते हैं जो कंप्यूटर का उपयोग नहीं कर सकते, या वे बटन दबाने में अच्छे हो सकते हैं लेकिन कार्य के पीछे के तर्क को नहीं समझ सकते। इस शोध का लक्ष्य यह देखना है कि क्या हम एक ही छोटे छात्र को तर्क और क्रिया दोनों में माहिर बना सकते हैं, बिना किसी विशाल मस्तिष्क की आवश्यकता के।
यहाँ Nanbeige4.2-3B आता है, जो Nanbeige LLM Lab का एक नया मॉडल है जो इस पहेली को सुलझाने की कोशिश करता है। इस मॉडल को एक "कॉम्पैक्ट जनरल एजेंट" के रूप में सोचें—एक छोटा, 3-बिलियन-पैरामीटर वाला मस्तिष्क जो अपने आकार से सीमित होने से इनकार करता है। शोधकर्ताओं ने पाया कि मॉडल को स्मार्ट बनाने के लिए आपको उसे बड़ा करने की आवश्यकता नहीं है; आपको बस उसे अपने मस्तिष्क का अधिक कुशलता से उपयोग करना सिखाने की आवश्यकता है।
गुप्त नुस्खा: "लूप वाला" मस्तिष्क
पहला ट्रिक जो Nanbeige4.2-3B उपयोग करता है, वह एक चतुर आर्किटेक्चरल हैक है जिसे Looped Transformer कहा जाता है। एक मानक AI मॉडल की कल्पना एक फैक्ट्री असेंबली लाइन के रूप में करें जिसमें 30 स्टेशन हैं। डेटा का एक टुकड़ा (जैसे एक प्रश्न) स्टेशन 1 से गुजरता है, फिर 2, फिर 3, और स्टेशन 30 तक जाता है, और फिर यह समाप्त हो जाता है। फैक्ट्री को स्मार्ट बनाने के लिए, आप आमतौर पर केवल और अधिक स्टेशन जोड़ते हैं, जिससे फैक्ट्री विशाल और महंगी हो जाती है।
हालाँकि, Nanbeige ने फैक्ट्री को छोटा रखने का फैसला किया लेकिन उसके श्रमिकों को अधिक मेहनत करने के लिए प्रेरित किया। नए स्टेशन जोड़ने के बजाय, उन्होंने एक "लूप" बनाया। डेटा जब 30 स्टेशनों से एक बार गुजर जाता है, तो इसे वापस शुरुआत में भेज दिया जाता है और यह उन्हीं 30 स्टेशनों से दूसरी बार गुजरता है। यह एक छात्र द्वारा एक कठिन पैराग्राफ को पढ़ने, फिर उन विवरणों को पकड़ने के लिए उसे दोबारा पढ़ने जैसा है जिन्हें उसने पहली बार में छोड़ दिया था। यह "लूप" मॉडल को बिना किसी नए हिस्से को जोड़े जानकारी को बहुत गहराई से संसाधित करने की अनुमति देता है। पेपर में पाया गया कि इस लूप के साथ मॉडल को शुरू से प्रशिक्षित करना (केवल मौजूदा मॉडल में लूप जोड़ने के बजाय) ही इसे काम करने की कुंजी थी।
जेब वाले जीनियस को प्रशिक्षित करना
एक बार जब उन्होंने मस्तिष्क बना लिया, तो उन्हें इसे सिखाना था। शोधकर्ताओं ने केवल मॉडल को याद तथ्य नहीं खिलाए; उन्होंने तीन अलग-अलग चरणों वाला एक कठोर प्रशिक्षण शिविर बनाया, जो एक स्पोर्ट्स टीम के प्रशिक्षण कार्यक्रम की तरह है।
चरण 1: आधार (प्री-ट्रेनिंग)
कार्य करने से पहले, मॉडल ने 28 ट्रिलियन टोकन (एक टोकन टेक्स्ट का एक हिस्सा है, जैसे एक शब्द या शब्द का एक हिस्सा) का एक विशाल पुस्तकालय पढ़ा। उन्होंने विशेष रूप से इस रीडिंग लिस्ट को गणित, कोड और विज्ञान के साथ ट्यून किया, यह सुनिश्चित करते हुए कि मॉडल के पास एक मजबूत तार्किक आधार हो।
चरण 2: अभ्यास ड्रिल (सुपरवाइज्ड फाइन-ट्यूनिंग)
इसके बाद, उन्होंने मॉडल को वास्तव में चीजें करना सिखाया। उन्होंने "ट्रैजेक्टरीज" (मार्गों) का एक विशाल संग्रह बनाया—समस्याओं को हल करने के चरण-दर-चरण रिकॉर्ड। ये केवल सरल प्रश्न नहीं थे; ये जटिल परिदृश्य थे जैसे टूटे हुए कंप्यूटर प्रोग्राम को ठीक करना, एक अस्त-व्यस्त कार्यालय को व्यवस्थित करना, या जानकारी खोजने के लिए विभिन्न उपकरणों का उपयोग करना।
- रणनीति: उन्होंने छोटे, तार्किक प्रश्नों (64K कॉन्टेक्स्ट) से शुरुआत की और धीरे-धीरे लंबी, अधिक जटिल कार्यों (256K टोकन तक) की ओर बढ़े।
- फ़िल्टर: उन्होंने किसी भी उत्तर को स्वीकार नहीं किया। यदि मॉडल ने एक लंबे कार्य के बीच में गलती की, तो उन्होंने इसे ठीक करना सिखाया। उन्होंने एक "लॉस मास्क" का उपयोग किया ताकि मॉडल को बताया जा सके, "हे, तुमने स्टेप 3 में गलती की, लेकिन वहां क्या हुआ उसे भूलना मत ताकि तुम स्टेप 4 में इसे ठीक कर सको।" इसने मॉडल को लचीला बनना सिखाया, न कि केवल पूर्ण होना।
चरण 3: कोच की सीटी (रीइन्फोर्समेंट लर्निंग)
अंत में, उन्होंने मॉडल के व्यवहार को निखारने के लिए रीइन्फोर्समेंट लर्निंग (RL) नामक तकनीक का उपयोग किया। यह एक कोच की तरह है जो खिलाड़ी को देख रहा है और अच्छे मूव्स के लिए अंक दे रहा है और बुरे मूव्स के लिए अंक काट रहा है।
- बड़बड़ाने को रोकना: उन्होंने देखा कि मॉडल कभी-कभी लूप में फंस जाता है, खुद को दोहराता है या बहुत देर तक बात करता है। उन्होंने इसे काम पूरा होने पर रुकने के लिए प्रशिक्षित किया, जिससे इसके उत्तर छोटे और अधिक कुशल हो गए।
- "लंबाई नियंत्रण": कठिन गणित समस्याओं के लिए, उन्होंने मॉडल को जितनी आवश्यकता हो उतनी देर सोचने की अनुमति दी। लेकिन आसान समस्याओं के लिए, उन्होंने इसे बहुत अधिक समय लेने के लिए दंडित किया। इसने मॉडल को संक्षिप्त होने के लिए मजबूर किया जब वह सक्षम था, लेकिन जब आवश्यक हो तो गहन होने के लिए भी तैयार किया।
- एक्शन रिवॉर्ड्स: उन्होंने मॉडल को सही ढंग से टूल का उपयोग करने के लिए अतिरिक्त अंक दिए और एक ही गलती को दोबारा करने के लिए अंक काटे। इसने लंबे, जटिल कार्यों पर इसके प्रदर्शन को स्थिर करने में मदद की।
परिणाम: छोटा लेकिन शक्तिशाली
तो, क्या यह छोटा 3-बिलियन-पैरामीटर वाला मॉडल वास्तव में काम करता है? परिणाम बताते हैं कि यह आश्चर्यजनक रूप से शक्तिशाली है। बहुत बड़े मॉडलों के मुकाबले परीक्षण किए जाने पर, Nanbeige4.2-3B ने न केवल खुद को संभाला, बल्कि अक्सर जीत भी हासिल की।
- दिग्गजों को हराना: उन परीक्षणों में जो यह मापते हैं कि मॉडल व्यक्तिगत सहायक के रूप में कितनी अच्छी तरह कार्य कर सकता है (कार्यालय के कार्यों को संभालना, टूल का उपयोग करना और कोडिंग), Nanbeige4.2-3B ने 9 बिलियन और यहाँ तक कि 12 बिलियन पैरामीटर वाले मॉडलों को भी पीछे छोड़ दिया। उदाहरण के लिए, SWE-bench Verified (सॉफ्टवेयर बग्स को ठीक करने का एक टेस्ट) पर, इसने 63.6% स्कोर किया, जो 9-बिलियन-पैरामीटर वाले Qwen3.5 (53.1%) और 12-बिलियन-पैरामीटर वाले Gemma4 (44.2%) को हरा देता है।
- तर्क शक्ति: इसने अपने आकार के लिए अपनी बुद्धिमत्ता का त्याग नहीं किया। GPQA-Diamond जैसे कठिन गणित और विज्ञान परीक्षणों पर, इसने 87.4% स्कोर किया, जो बड़े मॉडलों से अधिक है।
- वास्तविक दुनिया का उपयोग: जब इसे OpenClaw नामक वास्तविक दुनिया के "पर्सनल असिस्टेंट" सेटअप में डाला गया, तो इसने बड़े मॉडलों की तुलना में दैनिक कार्यों, कार्यालय वर्कफ़्लो और गहन शोध को बेहतर ढंग से संभाला, जिससे सिद्ध हुआ कि यह केवल एक लैब प्रयोग नहीं बल्कि एक व्यावहारिक उपकरण है।
इसका क्या अर्थ है
पेपर स्पष्ट रूप से इस विचार का खंडन करता है कि आपको स्मार्ट बनाने के लिए मॉडलों को बड़ा बनाना ही होगा। यह सुझाव देता है कि सही आर्किटेक्चर (लूप), सही डेटा (28T टोकन का उच्च गुणवत्ता वाला मिश्रण), और सही प्रशिक्षण पद्धति (स्टेज्ड RL) के साथ, एक छोटा मॉडल उन "एजेंटिक" क्षमताओं को प्राप्त कर सकता है जो पहले माना जाता था कि उनके लिए विशाल मस्तिष्क की आवश्यकता है।
हालाँकि, लेखक सावधानी बरतते हुए कहते हैं कि यह इस मॉडल के आकार और आर्किटेक्चर के लिए एक विशिष्ट उपलब्धि है। वे यह दावा नहीं करते हैं कि यह सभी AI समस्याओं को हमेशा के लिए हल कर देता है। इसके बजाय, वे सुझाव देते हैं कि यह दृष्टिकोण एक नया द्वार खोलता है: अब हम कॉम्पैक्ट, कुशल AI असिस्टेंट बना सकते हैं जो व्यक्तिगत कंप्यूटरों पर स्थानीय रूप से चल सकते हैं, और क्लाउड में सुपरकंप्यूटर की आवश्यकता के बिना जटिल, बहु-चरणीय कार्यों को संभालने में सक्षम हैं। वे सुझाव देते हैं कि भविष्य शायद बड़े मस्तिष्क बनाने के बारे में नहीं, बल्कि छोटे मस्तिष्क को लूप में सोचना सिखाने के बारे में होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।