Nemotron 3 Super: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning
नेमोट्रॉन 3 सुपर (Nemotron 3 Super) एक ओपन-सोर्स, 120-बिलियन-पैरामीटर हाइब्रिड मांबा-ट्रांसफॉर्मर मिक्स्चर-ऑफ-एक्सपर्ट्स (Mamba-Transformer Mixture-of-Experts) मॉडल है जिसे NVFP4 में लेटेंटएमओई (LatentMoE) और एमटीपी (MTP) परतों के साथ प्री-ट्रेन किया गया है, जो अग्रणी मॉडलों की सटीकता से मेल खाते हुए उच्च थ्रूपुट और 1M कॉन्टेक्स्ट सपोर्ट प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक परम डिजिटल स्विस आर्मी नाइफ बना रहे हैं। आप चाहते हैं कि यह अविश्वसनीय रूप से स्मार्ट हो, जटिल गणितीय समस्याओं को हल कर सके, वेब ब्राउज़ कर सके, कोड लिख सके और यहाँ तक कि सॉफ़्टवेयर में बग्स (bugs) भी ठीक कर सके। लेकिन एक शर्त है: आप इसे तेज़, सस्ता और बिना भ्रमित हुए किताबों की एक पूरी लाइब्रेरी को याद रखने में सक्षम बनाना चाहते हैं।
यही वह चीज़ है जो NVIDIA ने Nemotron 3 Super के साथ बनाई है।
यहाँ बताया गया है कि उन्होंने इसे कैसे किया, सरल उपमाओं (analogies) का उपयोग करते हुए।
1. मस्तिष्क: एक हाइब्रिड "Mamba-Transformer"
आज के अधिकांश AI मॉडल एक विशाल मस्तिष्क की तरह हैं जो एक साथ सब कुछ करने की कोशिश करता है। यह शक्तिशाली तो है लेकिन धीमा और महंगा है।
Nemorton 3 Super एक हाइब्रिड मस्तिष्क का उपयोग करता है जो दो अलग-अलग प्रकार की सोच को मिलाता है:
- "Mamba" वाला हिस्सा (द स्प्रिंटर/धावक): यह एक ऐसे धावक की तरह है जो टेक्स्ट की लंबी पंक्तियों को प्रोसेस करने में अविश्वसनीय रूप से तेज़ है। यह लंबी कहानियों से थकता या भ्रमित नहीं होता। यह कुशल है और बहुत कम मेमोरी का उपयोग करता है।
- "Transformer" वाला हिस्सा (द स्ट्रैटेजिस्ट/रणनीतिकार): यह वह हिस्सा है जो शब्दों और अवधारणाओं के बीच गहरे संबंधों को वास्तव में समझता है। यह वह "स्मार्ट" हिस्सा है जो गहन तर्क (reasoning) करता है।
उपमा: एक निर्माण दल (construction crew) की कल्पना करें। Mamba वह टीम है जो तेज़ी से ईंटें बिछाती है (टेक्स्ट को तेज़ी से प्रोसेस करना)। Transformer वह आर्किटेक्ट है जो बीच-बीच में आकर ब्लूप्रिंट की जाँच करता है और सुनिश्चित करता है कि इमारत सही बन रही है। दोनों को मिलाकर, Nemotron को आर्किटेक्ट की बुद्धिमत्ता के साथ ब्रिकलेयर्स (ईंट बिछाने वालों) की गति मिलती है।
2. "एक्सपर्ट" सिस्टम: LatentMoE
आमतौर पर, AI को स्मार्ट बनाने के लिए आप बस उसे बड़ा कर देते हैं। लेकिन बड़े मॉडल धीमे और महंगे होते हैं।
Nemotron 3 Super LatentMoE (Mixture of Experts) नामक एक तकनीक का उपयोग करता है।
- पुराना तरीका: एक लाइब्रेरी की कल्पना करें जहाँ आपको मदद के लिए इमारत के हर लाइब्रेरियन से पूछना पड़ता है, भले ही आपको केवल एक किताब की ज़रूरत हो। यह अराजक और धीमा है।
- Nemotron का तरीका: एक ऐसी लाइब्रेरी की कल्पना करें जिसमें 512 विशेषज्ञ लाइब्रेरियन हैं। जब आप कोई प्रश्न पूछते हैं, तो सिस्टम केवल उन 22 लाइब्रेरियन को जगाता है जो उस विशिष्ट विषय के विशेषज्ञ हैं। बाकी सोए रहते हैं।
- "Latent" ट्विस्ट: इसे और भी तेज़ बनाने के लिए, Nemotron सवाल को लाइब्रेरियन को सौंपने से पहले उसके एक बहुत छोटे, कंप्रेस्ड (compressed) संस्करण में सिकोड़ देता है। यह एक लाइब्रेरियन को पूरा उपन्यास देने के बजाय एक छोटा सा स्टिकी नोट देने जैसा है। यह सटीकता को उच्च रखते हुए ऊर्जा और समय की भारी बचत करता है।
3. "सुपरपावर" ट्रेनिंग: एजेंटिक रीजनिंग (Agentic Reasoning)
अधिकांश AI उन छात्रों की तरह हैं जो प्रश्न पूछने पर उत्तर दे सकते हैं यदि आप उन्हें टेस्ट दें। Nemotron 3 Super को एक एजेंट बनने के लिए प्रशिक्षित किया गया है।
- एजेंट क्या है? यह एक ऐसा AI है जो केवल बात नहीं करता; यह काम करता है। यह टर्मिनल खोल सकता है, कोड लिख सकता है, उसे चला सकता है, देख सकता है कि क्या वह टूट गया, कोड को ठीक कर सकता है, और फिर से कोशिश कर सकता है।
- ट्रेनिंग: टीम ने इसे केवल तथ्य नहीं सिखाए। उन्होंने इसे 21 अलग-अलग "लेवल" (गणित, कोडिंग, सुरक्षा, वेब सर्चिंग) वाले एक विशाल वीडियो गेम में डाला। उन्होंने AI को खेलने, असफल होने और बार-बार अपनी गलतियों से सीखने दिया (Reinforcement Learning)।
- परिणाम: यह एक कुत्ते को केवल 'बैठना' सिखाने के बजाय, उसे अखबार लाना, दरवाज़ा खोलना और आपके लिए पानी का गिलास लाना सिखाने जैसा है। अब यह सॉफ़्टवेयर प्रोजेक्ट को डीबग करने या वास्तविक समय के डेटा के साथ यात्रा की योजना बनाने जैसे जटिल, बहु-चरणीय कार्यों को संभाल सकता है।
4. "स्पीड बूस्ट": मल्टी-टोकन प्रेडिक्शन (MTP)
सामान्यतः, एक AI एक बार में एक शब्द लिखता है। "The... cat... sat... on..." यह धीमा है।
Nemotron 3 Super MTP का उपयोग करता है।
- उपमा: एक ऐसे लेखक की कल्पना करें जो एक-एक शब्द लिखने के बजाय, पहला शब्द लिखने से पहले अपने दिमाग में अगले तीन शब्दों का अनुमान लगा लेता है।
- जादू: यह तुरंत अगले कुछ शब्दों का एक "ड्राफ्ट" लिखता है। फिर, यह जाँचता है कि क्या वे अनुमान सही थे। यदि वे सही थे, तो यह उन सभी को एक साथ स्वीकार कर लेता है। यह एक कार के गियर को रगड़ने के बजाय तुरंत शिफ्ट करने जैसा है। यह मॉडल को अपने प्रतिस्पर्धियों की तुलना में 2.2x से 7.5x तेज़ बनाता है।
5. "ईंधन": लो-प्रिसिजन ट्रेनिंग (NVFP4)
इस आकार के मॉडल को प्रशिक्षित करने के लिए आमतौर पर बहुत अधिक कंप्यूटर पावर और बिजली की आवश्यकता होती है।
Nemotron 3 Super को NVFP4 नामक एक विशेष, अत्यंत कुशल "ईंधन" का उपयोग करके प्रशिक्षित किया गया था।
- उपमा: मानक ट्रेनिंग को उच्च-ऑक्टेन, महंगे रेसिंग ईंधन का उपयोग करने के रूप में सोचें। Nemotron को एक अत्यधिक परिष्कृत, कम लागत वाले ईंधन का उपयोग करके प्रशिक्षित किया गया था जो आमतौर पर इंजनों को धीमा कर देता है।
- चमत्कार: NVIDIA ने इस सस्ते ईंधन पर इंजन को सुचारू रूप से चलाने का तरीका खोज लिया। वे इस मॉडल को 25 ट्रिलियन टोकन (डेटा की एक विशाल मात्रा) पर बिना किसी बुद्धिमत्ता को खोए प्रशिक्षित करने में सफल रहे। यह मॉडल को बनाना और चलाना बहुत सस्ता बनाता है।
6. परिणाम: ओपन और फास्ट
सबसे अच्छी बात? NVIDIA इसे मुफ्त में दे रहा है (Open Source)।
- उन्होंने "बेस" मॉडल (कच्चा मस्तिष्क) जारी किया है।
- उन्होंने "पोस्ट-ट्रेन्ड" मॉडल (स्मार्ट एजेंट) जारी किया है।
- उन्होंने "क्वांटाइज्ड" (quantized) संस्करण जारी किए हैं (कंप्रेस्ड संस्करण जो विशिष्ट NVIDIA चिप्स पर और भी तेज़ी से चलते हैं)।
संक्षेप में:
Nemotron 3 Super एक अत्यंत तेज़, अत्यंत स्मार्ट डिजिटल सहायक है जो खुद सोच सकता है, कार्य कर सकता है और समस्याओं को हल कर सकता है। इसे अपने प्रतिद्वंद्वियों की तुलना में चलाना सस्ता, सवालों के जवाब देने में तेज़, और उन कार्यों को संभालने में सक्षम बनाया गया है जिनमें दीर्घकालिक योजना और जटिल तर्क की आवश्यकता होती है। यह एक साइकिल से हाई-स्पीड इलेक्ट्रिक मोटरसाइकिल में अपग्रेड करने जैसा है, लेकिन आप इसे अपने स्वयं के गैरेज में बना सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।