💬 NLP

Nemotron-TwoTower: Diffusion Language Modeling with Pretrained Autoregressive Context

नेट्रोन-टूटावर (Netron-TwoTower) एक नवीन ब्लॉक-वाइज ऑटोरेग्रेसिव डिफ्यूजन आर्किटेक्चर पेश करता है जो संदर्भ प्रसंस्करण (context processing) और डिनोइजिंग को दो विशिष्ट टावरों में अलग करता है, जिससे अपने ऑटोरेग्रेसिव बेसलाइन की 98.7% गुणवत्ता बनाए रखते हुए 2.42 गुना तेज़ जनरेशन थ्रूपुट प्राप्त होता है।

मूल लेखक: Fitsum Reda, John Kamalu, Roger Waleffe, Mostofa Patwary, Mohammad Shoeybi, Bryan Catanzaro

प्रकाशित 2026-06-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Fitsum Reda, John Kamalu, Roger Waleffe, Mostofa Patwary, Mohammad Shoeybi, Bryan Catanzaro

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक लंबी कहानी लिखने की कोशिश कर रहे हैं, लेकिन आपका एक सख्त नियम है: आप एक बार में केवल एक शब्द लिख सकते हैं, और आपको अगला शब्द शुरू करने से पहले पिछले शब्द को पूरी तरह से समाप्त होने का इंतज़ार करना होगा। यह अधिकांश वर्तमान AI भाषा मॉडल (जिसे "ऑटोरिग्रेसिव" मॉडल कहा जाता है) के काम करने का तरीका है। यह एक बहुत ही सावधान, धीमी टाइप करने वाली मशीन की तरह है जो कभी गलती नहीं करती लेकिन वाक्य पूरा करने में बहुत समय लेती है।

अब, एक नई विधि की कल्पना करें जहाँ आप एक साथ पूरा वाक्य टाइप कर सकते हैं, उसे देख सकते हैं, और फिर एक साथ सभी शब्दों की गलतियों को सुधार सकते हैं। यह तेज़ है, लेकिन आमतौर पर इससे कहानी की गुणवत्ता कम हो जाती है क्योंकि AI एक साथ सब कुछ ठीक करने की कोशिश में भ्रमित हो जाता है।

Nemotron-TwoTower एक नया आविष्कार है जो दोनों दुनियाओं का सर्वश्रेष्ठ प्राप्त करने की कोशिश करता है: एक साथ सब कुछ टाइप करने की गति, और एक-एक करके शब्द लिखने वाले सावधान टाइपिस्ट की उच्च गुणवत्ता।

यह कैसे काम करता है, यहाँ एक सरल उपमा दी गई है:

दो टावर: लाइब्रेरियन और एडिटर

शोधकर्ताओं ने एक प्रणाली बनाई है जिसमें दो अलग-अलग "टावर" (AI के भाग) हैं जो एक टीम की तरह मिलकर काम करते हैं:

द फ्रोजन कॉन्टेक्स्ट टावर (लाइब्रेरियन):
- भूमिका: यह वह "विशेषज्ञ" है जो अब तक की कहानी जानता है। यह एक पूर्व-प्रशिक्षित AI है जो फ्रीज़ (लॉक) है। यह एक सख्त लाइब्रेरियन की तरह है जो कहानी को शुरुआत से अंत तक शब्द-दर-शब्द पढ़ता है।
- काम: यह बदलता नहीं है। यह बस अब तक लिखी गई हर चीज़ का एक सटीक, व्यवस्थित रिकॉर्ड रखता है। यह दूसरे टावर को बताता है, "यहाँ इस बिंदु तक कहानी का संदर्भ (context) है।"
- यह क्यों महत्वपूर्ण है: क्योंकि यह फ्रीज़ है, यह अपने मूल 30-बिलियन-पैरामीटर मॉडल की सारी मूल बुद्धिमत्ता और ज्ञान को बनाए रखता है। यह कभी नहीं भूलता और न ही भ्रमित होता है।
द ट्रेन करने योग्य डिफ्यूजन डिनोइज़र टावर (एडिटर):
- भूमिका: यह एक "तेज़ कार्यकर्ता" है। यह एक ट्रेन करने योग्य AI है जिसे बदलने और सीखने की अनुमति है।
- काम: एक-एक शब्द लिखने के बजाय, यह 16 शब्दों (या टोकन) का एक ब्लॉक लेता है जो वर्तमान में खाली (मास्क किए हुए) हैं। यह "लाइब्रेरियन" के नोट्स को देखता है और एक साथ सभी 16 खाली स्थानों को भरने की कोशिश करता है।
- प्रक्रिया: यह तुरंत सटीक नहीं होता है। यह एक अनुमान लगाता है, फिर अपने अनुमान और लाइब्रेरियन के नोट्स को देखता है, और शब्दों को परिष्कृत (refine) करता है। यह बार-बार (पुनरावृत्ति के माध्यम से) तब तक करता है जब तक कि शब्दों का ब्लॉक साफ और अर्थपूर्ण न हो जाए।
- जादू: क्योंकि यह सभी 16 शब्दों को एक साथ देख सकता है और उन्हें एक साथ ठीक कर सकता है, यह एक-एक करके लिखने की तुलना में बहुत तेज़ है।

वे एक साथ कैसे काम करते हैं (असेंबली लाइन)

एक फैक्ट्री असेंबली लाइन की कल्पना करें:

लाइब्रेरियन प्रॉम्प्ट और पहले से लिखे गए शब्दों को पढ़ता है, जिससे कहानी का एक सटीक मानसिक मानचित्र बना रहता है।
एडिटर कागज का एक खाली हिस्सा (16 शब्द लंबा) लेता है।
एडिटर लाइब्रेरियन से पूछता है, "आगे क्या आता है?" और लाइब्रेरियन संदर्भ प्रदान करता है।
एडिटर 16 खाली स्थानों को भरता है, अपने काम की जाँच करता है, और त्रुटियों को ठीक करता है।
एक बार जब एडिटर आश्वस्त हो जाता है कि 16 शब्द सही हैं, तो वे "कमिट" (अंतिम रूप से तय) कर दिए जाते हैं।
लाइब्रेरियन इन नए 16 शब्दों को शामिल करने के लिए अपने मानसिक मानचित्र को अपडेट करता है।
एडिटर अगले 16 शब्दों के खाली हिस्से को पकड़ता है, और चक्र दोहराया जाता है।

परिणाम: गति बनाम गुणवत्ता

पेपर का दावा है कि यह प्रणाली एक "स्वीट स्पॉट" प्राप्त करती है:

गति: यह पारंपरिक एक-एक शब्द लिखने वाले तरीके की तुलना में 2.42 गुना तेज़ है। यह एक घोंघे से स्प्रिंटर (धावक) में बदलने जैसा है।
गुणवत्ता: यह मूल मॉडल की गुणवत्ता का 98.7% बनाए रखता है। इसने गति पाने के लिए अपनी बुद्धिमत्ता को बहुत कम नहीं किया है।
दक्षता: उन्होंने इस नए "एडिटर" टावर को लगभग 2.1 ट्रिलियन शब्दों पर प्रशिक्षित किया, जो मूल "लाइब्रेरियन" को प्रशिक्षित करने के लिए उपयोग किए गए 25 ट्रिलियन शब्दों का एक बहुत छोटा हिस्सा है। इसका मतलब है कि उन्हें पूरे AI को फिर से शून्य से सिखाने की आवश्यकता नहीं थी; उन्होंने बस एडिटर को लाइब्रेरियन के नोट्स का उपयोग करना सिखाया।

यह पिछले प्रयासों से अलग क्यों है

पिछले प्रयासों ने एक ही मस्तिष्क का उपयोग करने की कोशिश की: कहानी को याद रखना और शब्दों को एक साथ ठीक करना। पेपर का तर्क है कि यह एक व्यक्ति से एक साथ एक आदर्श स्मृति रखने वाला और एक तेज़ संपादक होने के लिए कहने जैसा है—यह बहुत अधिक काम है, और वे दोनों में से कोई भी काम पूरी तरह से नहीं कर पाते हैं।

दो टावरों में भूमिकाओं को विभाजित करके, उन्होंने प्रत्येक भाग को वह करने दिया जिसमें वह सबसे अच्छा है। लाइब्रेरियन सटीक रहता है, और एडिटर तेज़ हो जाता है।

"कॉन्फिडेंस" ट्रिक

इस प्रणाली में एक स्मार्ट फीचर भी है जिसे "कॉन्फिडेंस अनमास्किंग" कहा जाता है।

यदि एडिटर किसी शब्द के बारे में बहुत आश्वस्त है, तो वह उसे तुरंत लॉक कर देता है।
यदि वह अनिश्चित है, तो वह उस शब्द को खाली (मास्क) छोड़ देता है और संपादन के अगले दौर में उसे ठीक करने की कोशिश करता है।
इसका मतलब है कि यह उन शब्दों को दोबारा चेक करने में समय बर्बाद नहीं करता जिन्हें वह पहले से ही सही जानता है, बल्कि यह कठिन हिस्सों को पॉलिश करने के लिए अतिरिक्त समय खर्च करता है।

सारांश

Nemotron-TwoTower एक तरीका है जिससे AI टेक्स्ट जनरेशन को बिना "मूर्ख" बनाए बहुत तेज़ बनाया जा सकता है। यह "कहानी याद रखने" (जो धीमा और सटीक रहता है) और "अगले हिस्से को लिखने" (जो तेज़ और पुनरावृत्ति वाला बन जाता है) के काम को अलग करके ऐसा करता है। परिणाम यह है कि यह सिस्टम पुराने धीमे तरीके की तरह लगभग उतनी ही अच्छी तरह से कहानियाँ लिखता है, लेकिन दोगुने से भी अधिक तेज़ी से।

तकनीकी सारांश: Nemotron-TwoTower

समस्या विवरण

ऑटोरेग्रेसिव (AR) भाषा मॉडल टेक्स्ट जनरेशन में प्रभुत्व रखते हैं लेकिन अपनी क्रमिक (sequential), एक बार में एक टोकन डिकोडिंग प्रक्रिया के कारण थ्रूपुट की बाधा से जूझते हैं। डिस्क्रीट डिफ्यूजन लैंग्वेज मॉडल्स एक आशाजनक विकल्प प्रदान करते हैं क्योंकि वे टोकन को समानांतर (parallel) रूप से उत्पन्न करते हैं और उन्हें पुनरावृत्ति (iteratively) के माध्यम से परिष्कृत करते हैं, जिससे संभावित रूप से उच्च थ्रूपुट और सूक्ष्म-स्तरीय नियंत्रण क्षमता प्राप्त होती है। हालांकि, मौजूदा डिफ्यूजन दृष्टिकोण आमतौर पर दो अलग-अलग भूमिकाओं को एक साथ निभाने के लिए एक ही नेटवर्क पर निर्भर करते हैं: स्वच्छ संदर्भ (clean context) टोकन का प्रतिनिधित्व करना और दूषित (corrupted) टोकनों को पुनरावृत्ति से डीनॉइज़ करना। यह जुड़ाव (entanglement) एक ही सेट के वेट्स को परस्पर विरोधी उद्देश्यों की पूर्ति करने के लिए मजबूर करता है, जो मॉडल की किसी भी एक भूमिका में उत्कृष्ट होने की क्षमता को सीमित करता है। इसके अलावा, यह स्पष्ट नहीं है कि क्या इन भूमिकाओं को पूरी तरह से अलग करना बड़े पैमाने पर संभव है, विशेष रूप से आधुनिक हाइब्रिड आर्किटेक्चर पर जो Mamba, अटेंशन और Mixture-of-Experts (MoE) परतों को जोड़ते हैं।

कार्यप्रणाली

लेखक TwoTower का प्रस्ताव करते हैं, जो एक ब्लॉक-वाइज ऑटोरेग्रेसिव डिफ्यूजन मॉडल है जो संदर्भ प्रतिनिधित्व और डीनॉइज़िंग भूमिकाओं को दो अलग-अलग टावरों में विभाजित करता है, जो Nemotron-3-Nano-30B-A3B हाइब्रिड आर्किटेक्चर (जो Mamba-2, सेल्फ-अटेंशन और MoE परतों को इंटरलीव करता है) पर आधारित है।

आर्किटेक्चर

मॉडल पूर्व-प्रशिक्षित (pretrained) नेटवर्क की दो प्रतियों का उपयोग करता है जिनके पूरक (complementary) कार्य हैं:

फ्रोजन AR कॉन्टेक्स्ट टावर (Frozen AR Context Tower): यह टावर फ्रोजन रहता है और प्रॉम्प्ट तथा पहले से कमिट किए गए टोकनों पर एक कॉज़ल ऑटोरेग्रेसिव मॉडल के रूप में कार्य करता है। यह स्वच्छ टोकनों को प्रोसेस करके लेयर-अलाइन्ड की-वैल्यू (KV) कैश और मंबा (Mamba) स्टेट्स उत्पन्न करता है। यह बैकबोन की मूल ऑटोरेग्रेसिव क्षमताओं को सुरक्षित रखता है और ब्लॉक्स के बीच पुन: प्रयोज्य स्टेट्स बनाए रखता है।
ट्रेन करने योग्य डिफ्यूजन डीनॉइज़र टावर (Trainable Diffusion Denoiser Tower): इस टावर को शोर वाले ब्लॉक्स को रिफाइन करने के लिए प्रशिक्षित किया जाता है। यह वर्तमान शोर वाले ब्लॉक के भीतर द्विदिश ब्लॉक अटेंशन (bidirectional block attention) का उपयोग करता है (जिससे टोकन एक-दूसरे पर अटेंड कर सकते हैं) जबकि फ्रोजन कॉन्टेक्स टावर की संगत परतों के साथ कॉज़ल क्रॉस-अटेंशन बनाए रखता है। यह लेयर-अलाइन्ड क्रॉस-अटेंशन डीनॉइज़र को बैकबोन के रिप्रजेंटेशन्स तक मल्टी-स्केल एक्सेस प्रदान करता है, जो उन पिछले तरीकों के विपरीत है जो केवल अंतिम हिडन स्टेट को ब्रॉडकास्ट करते थे।

जनरेशन प्रक्रिया

जनरेशन ब्लॉक-दर-ब्लॉक (एल्गोरिदम 1) आगे बढ़ता है:

कॉन्टेक्स्ट टावर प्रॉम्प्ट और कमिट किए गए टोकनों को कॉज़ल रूप से प्रोसेस करता है।
एक नया ब्लॉक $S$ मास्क किए गए टोकनों के साथ इनिशियलाइज़ किया जाता है।
डीनॉइज़र टावर $T$ स्टेप्स के माध्यम से इस ब्लॉक को पुनरावृत्ति से रिफाइन करता है। प्रत्येक लेयर पर, डीनॉइज़र पिछले ब्लॉक्स के लिए कॉन्टेक्स्ट टावर के KV कैश और वर्तमान ब्लॉक के लिए अपने स्वयं के द्विदिश KV कैश पर अटेंड करता है।
एक बार जब कोई ब्लॉक पर्याप्त रूप से रिफाइन हो जाता है (कॉन्फिडेंस थ्रेशोल्ड के आधार पर), तो उसे कमिट कर दिया जाता है। इसके बाद कॉन्टेक्स्ट टावर नए स्वच्छ टोकनों के साथ अपने स्टेट्स को अपडेट करता है, और प्रक्रिया अगले ब्लॉक के लिए दोहराई जाती है।

प्रशिक्षण और कंडीशनिंग

मास्क्ड डिफ्यूजन: डीनॉइज़र को मास्क्ड डिफ्यूजन ऑब्जेक्टिव का उपयोग करके प्रशिक्षित किया जाता है। क्लीन ब्लॉक्स को एक लीनियर शेड्यूल के अनुसार टोकन को [MASK] से बदलकर दूषित किया जाता है। मॉडल मास्क्ड पोजीशन पर मूल टोकन के नेगेटिव लॉग-लाइक्लीहुड को कम करता है।
टाइम कंडीशनिंग: डीनॉइज़र को एडाप्टिव लेयर नॉर्मलाइजेशन (adaLN) का उपयोग करके डिफ्यूजन टाइमस्टेप $t$ पर कंडीशन किया जाता है, जो एक ऐसी तकनीक है जो इमेज डिफ्यूजन में सामान्य है लेकिन मास्क किए गए लैंग्वेज मॉडल्स में कम उपयोग की जाती है। यह न्यूनतम पैरामीटर्स (~1.5M) जोड़ता है लेकिन सैंपलिंग क्वालिटी में सुधार करता है।
करिकुलम (Curriculum): प्रशिक्षण दो-चरणीय करिकुलम का पालन करता है। चरण 1 व्यापक कवरेज के लिए एक विविध डेटा ब्लेंड का उपयोग करता है, जबकि चरण 2 उच्च गुणवत्ता वाले और STEM-केंद्रित स्रोतों को अधिक महत्व देता है। समानांतर क्षमता और कंडीशनिंग क्वालिटी के बीच संतुलन बनाने के लिए ट्रेनिंग ब्लॉक साइज को धीरे-धीरे कम किया जाता है (S=32 से S=16 तक)।
सैंपलिंग: लेखक एक कॉन्फिडेंस-अनमास्किंग रणनीति (एल्गोरिदम 2) का उपयोग करते हैं। प्रत्येक स्टेप पर, डीनॉइज़र सभी मास्क किए गए टोकन को समानांतर में प्रेडिक्ट करता है; जिन टोकन का कॉन्फिडेंस थ्रेशोल्ड $\gamma$ से ऊपर होता है, उन्हें कमिट कर दिया जाता है, जबकि अनसर्टेन टोकन आगे के रिफाइनमेंट के लिए मास्क किए हुए रहते हैं। यह कमिट किए गए टोकनों की संख्या को एडेप्टिव बनाता है।

मुख्य परिणाम

Nemotron-3-Nano-30B-A3B बैकबोन (30B पैरामीटर्स, हाइब्रिड MoE) पर मूल्यांकन करने पर, Nemotron-TwoTower निम्नलिखित प्रदर्शित करता है:

क्वालिटी-थ्रूपुट ट्रेड-ऑफ: मॉडल ऑटोरेग्रेसिव बेसलाइन की एग्रीगेट बेंचमार्क क्वालिटी का 98.7% बनाए रखता है, जबकि वॉल-क्लॉक जनरेशन थ्रूपुट में 2.42× का सुधार प्राप्त करता है।
बेंचमार्क प्रदर्शन:
- सामान्य ज्ञान: प्रदर्शन AR बेसलाइन के लगभग 1 पॉइंट के भीतर रहता है।
- कोड और गणित: बेसलाइन की तुलना में मामूली गिरावट दिखाते हैं।
- कॉमनसेन्स और बहुभाषी: प्रदर्शन रिकवर होता है या थोड़ा सुधर जाता है।
डिज़ाइन एब्लेशन:
- द्विदिश मंबा (Bidirectional Mamba): एक द्विदिश मंबा वेरिएंट के परीक्षण ने मामूली क्वालिटी गेन्स दिखाए लेकिन SSM कंप्यूट को दोगुना कर दिया; अंतिम डिज़ाइन कॉज़ल मंबा को बनाए रखता है।
- टाइम कंडीशनिंग: स्पष्ट टाइम कंडीशनिंग ने जनरेशन, कोड और मैथ स्कोर में काफी सुधार किया।
- टावर डिकपलिंग: कॉन्टेक्स टावर को फ्रोजन रखने और एक अलग डीनॉइज़र को प्रशिक्षित करने से सबसे अच्छे परिणाम मिले। टावरों के बीच वेट्स को बांधने (tying) या कॉन्टेक्स टावर पर AR ट्रेनिंग जारी रखने से सटीकता में भारी गिरावट आई।
ब्लॉक साइज सेंसिटिविटी: छोटे ट्रेनिंग ब्लॉक साइज ( $S=16$ ) ने बड़े साइज ( $S=128$ ) की तुलना में क्वालिटी में सुधार किया लेकिन थ्रूपुट कम कर दिया। लेखकों ने क्वालिटी रिटेंशन और स्पीड के बीच संतुलन बनाने के लिए $S=16$ को डिफॉल्ट के रूप में चुना। ट्रेनिंग ब्लॉक साइज से बड़े ब्लॉक्स के साथ सैंपलिंग करने से गंभीर प्रदर्शन गिरावट देखी गई।

महत्व और दावे

यह पेपर दावा करता है कि Nemotron-TwoTower सफलतापूर्वक यह प्रदर्शित करता है कि प्री-ट्रेंड ऑटोरेग्रेसिव रिप्रजेंटेशन्स एक ट्रेन करने योग्य डिफ्यूजन डीनॉइज़र का समर्थन कर सकते हैं बिना पूरे मॉडल को री-प्री-ट्रेन किए। कॉन्टेक्स और डीनॉइज़िंग भूमिकाओं को अलग करके, यह दृष्टिकोण मूल 30B हाइब्रिड MoE मॉडल की व्यापक क्षमताओं को सुरक्षित रखते हुए डिफ्यूजन के समानांतर जनरेशन लाभों को अनलॉक करता है।

लेखक इस बात पर जोर देते हैं कि यह क्वालिटी रिकवरी मूल प्री-ट्रेनिंग में उपयोग किए गए डेटा के एक अंश (~2.1T टोकन बनाम 25T टोकन) पर अनुकूलन (adaptation) के माध्यम से प्राप्त की गई है। यह कार्य भाषा मॉडलों के लिए एक नया पारेटो फ्रंटियर (Pareto frontier) स्थापित करता है, जो बड़े पैमाने के ऑटोरेग्रेसिव मॉडल्स की बुनियादी गुणवत्ता से समझौता किए बिना उच्च थ्रूपुट जनरेशन के लिए एक व्यवहार्य मार्ग प्रदान करता है। इस दिशा में आगे के शोध को सुगम बनाने के लिए कोड और मॉडल वेट्स रिलीज़ किए गए हैं।