DiffusionGemma Technical Report
DiffusionGemma एक ओपन-वेट लैंग्वेज मॉडल है जो Gemma 4 आर्किटेक्चर को एक कंप्यूट-कुशल टू-स्टेज पाइपलाइन के साथ फाइन-ट्यून करके लगभग 1,500 टोकन प्रति सेकंड की असाधारण टेक्स्ट जनरेशन गति प्राप्त करता है, जिससे समानांतर ब्लॉक-वाइज डिस्क्रीट डिफ्यूजन को सक्षम किया जा सके, और इस प्रकार इन्फरेंस स्पीड और मॉडल क्षमता के बीच के ट्रेड-ऑफ के लिए एक नया पारेटो फ्रंटियर स्थापित किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कहानी लिखने की कोशिश कर रहे हैं, लेकिन आपको एक बार में एक अक्षर लिखने के लिए मजबूर किया जाता है, बाएं से दाएं, बिना पीछे देखे या अपना विचार बदले। यदि आप पहले वाक्य में कोई गलती करते हैं, तो आपको उस त्रुटि के साथ पूरी किताब लिखनी होगी, इस उम्मीद में कि बाद में और शब्द जोड़कर इसे ठीक किया जा सके। अधिकांश आधुनिक "स्मार्ट" कंप्यूटर प्रोग्राम, जिन्हें लार्ज लैंग्वेज मॉडल (Large Language Models) कहा जाता है, वर्तमान में इसी तरह काम करते हैं। वे एक बहुत तेज़ टाइप करने वाले की तरह हैं जो बैकस्पेस बटन नहीं दबा सकता। हालांकि वे शानदार हैं, लेकिन यह "एक-तरफ़ा" नियम उनके मस्तिष्क में ट्रैफिक जाम पैदा कर देता है। हर बार जब वे अगला शब्द लिखना चाहते हैं, तो उन्हें रुकना पड़ता है, जो कुछ उन्होंने अभी लिखा है उसे याद करना पड़ता है, और अगला कदम तय करने के लिए गणना करनी पड़ती है। यह उन्हें धीमा बना देता है, खासकर तब जब आप अकेले उनका उपयोग कर रहे हों, क्योंकि कंप्यूटर भविष्य के बारे में सोचने के बजाय अतीत को याद रखने में अधिक समय बिताता है।
वैज्ञानिक इन कंप्यूटरों को अक्षरों के बजाय "ब्लॉक्स" (blocks) में लिखने का तरीका खोजने की कोशिश कर रहे हैं, जिससे वे आगे देख सकें और गलतियों को सुधार सकें, ठीक वैसे ही जैसे एक इंसान ड्राफ्ट को एडिट करता है। इस विचार को "डिफ्यूजन" (diffusion) कहा जाता है। इसे एक मूर्तिकार के रूप में सोचें जो पत्थर के एक ऐसे ब्लॉक से शुरुआत करता है जो कोहरे से ढका हुआ है। एक-एक छोटा टुकड़ा काटने के बजाय, मूर्तिकार पूरे ब्लॉक को देखता है, अनुमान लगाता है कि मूर्ति कहाँ होनी चाहिए, और एक ही बार में पूरे आकार से कोहरा हटा देता है। वे इसे बार-बार करते हैं, चीज़ों को स्पष्ट करते जाते हैं, जब तक कि मूर्ति एकदम सही न हो जाए। यह पेपर एक नए मॉडल DiffusionGemma को पेश करता है, जो इस "कोहरा हटाने" वाले तरीके का उपयोग करके अविश्वसनीय रूप से तेज़ी से टेक्स्ट लिखने की कोशिश करता है, जबकि वह कठिन गणितीय समस्याओं को हल करने और कोड लिखने में भी पर्याप्त स्मार्ट है।
नया "कोहरा हटाने वाला" लेखक
Google DeepMind के शोधकर्ताओं ने DiffusionGemma बनाया है, जो एक प्रयोगात्मक कंप्यूटर मॉडल है जो पुराने "एक-शब्द-एक-बार-में" के नियम को तोड़ता है। वाक्य को अक्षर-दर-अक्षर लिखने के बजाय, DiffusionGemma एक साथ 256 शब्दों के बड़े हिस्से (chunks) में लिखता है। कल्पना कीजिए कि आप नोटबुक का एक पन्ना भर रहे हैं। पुराना तरीका ऐसा है जैसे आप पेन में स्याही डुबोते हैं, एक शब्द लिखते हैं, पेन उठाते हैं, सोचते हैं, फिर से स्याही लेते हैं और अगला शब्द लिखते हैं। DiffusionGima एक स्टैम्प (stamp) होने जैसा है जो तुरंत एक पूरा पैराग्राफ प्रिंट कर देता है। यदि स्टैम्प कोई गलती करता है, तो वह केवल आगे नहीं बढ़ता; वह पूरे पैराग्राफ को धुंधला कर देता है और फिर से उसे स्टैम्प करने की कोशिश करता है, लेकिन इस बार एक स्पष्ट चित्र के साथ कि उसे कैसा दिखना चाहिए। यह पूरे टेक्स्ट के ब्लॉक को समानांतर (parallel) रूप से बार-बार परिष्कृत (refine) करता है, जब तक कि शब्द अपनी सही जगह पर न आ जाएं।
टीम ने इस मॉडल को शून्य से नहीं बनाया। उन्होंने एक बहुत ही स्मार्ट, मौजूदा मॉडल जिसे Gemma 4 कहा जाता है (जिसके कुल लगभग 25.2 बिलियन भाग हैं, जिनमें से एक समय में 3.8 बिलियन सक्रिय होते हैं) से शुरुआत की और उसे एक नई ट्रिक सिखाई। उन्होंने दो-चरणीय प्रशिक्षण प्रक्रिया का उपयोग किया। पहले, उन्होंने मॉडल को टेक्स्ट को "डिनोइज़" (denoise) करना सिखाया, यानी उसे शब्दों के एक बिखरे हुए और अव्यवस्थित ब्लॉक को देखकर यह समझने में सक्षम बनाना कि साफ वाक्य कैसा होना चाहिए। दूसरे, उन्होंने "सैंपलर डिस्टिलेशन" (sampler distillation) के साथ "रीइन्फोर्समेंट लर्निंग" (reinforcement learning) के एक विशेष प्रकार का उपयोग किया। इसे एक कोच के रूप में सोचें जो केवल मॉडल को "अच्छा काम किया" नहीं कहता, बल्कि उसे काम को तेज़ी से पूरा करना भी सिखाता है। कोच मॉडल को स्मार्ट बनने के लिए प्रेरित करता है और साथ ही यह भी सिखाता है कि जब वह पर्याप्त आश्वस्त हो जाए तो टेक्स्ट को परिष्कृत करना कब बंद करना है, जिससे समय बचता है।
ऐसी गति जो सबको पीछे छोड़ दे
इसके परिणाम आश्चर्यजनक हैं। एक शक्तिशाली कंप्यूटर चिप, जिसे NVIDIA H100 GPU कहा जाता है, पर DiffusionGemma प्रति सेकंड लगभग 1,500 शब्द उत्पन्न कर सकता है। इसे समझने के लिए, सबसे अच्छे "पुराने स्कूल" के मॉडल, अपनी सबसे तेज़ तकनीकों के साथ भी, आमतौर पर लगभग 300 शब्द प्रति सेकंड ही बना पाते हैं। DiffusionGemma मानक संस्करण की तुलना में लगभग 5 गुना तेज़ है और उन अन्य तेज़ मॉडलों की तुलना में लगभग 2.5 गुना तेज़ है जो वर्तमान में निजी पे-वॉल के पीछे छिपे हुए हैं।
पेपर दिखाता है कि यह केवल एक स्पीड ट्रिक नहीं है जो मॉडल को कम बुद्धिमान बना देती है। हालांकि यह मूल Gemma 4 मॉडल की तुलना में कुछ बहुत कठिन तर्क कार्यों (reasoning tasks) में थोड़ा कम सटीक है, फिर भी यह अविश्वसनीय रूप से सक्षम है। यह जटिल गणितीय समस्याओं को हल कर सकता है, कोड लिख सकता है और यहाँ तक कि छवियों को भी समझ सकता है। शोधकर्ताओं ने पाया कि 256 के ब्लॉक्स में लिखकर, मॉडल अपने प्रत्येक "सोचने के चरण" (thinking step) के लिए लगभग 20 शब्द बना सकता है, जबकि पुराने मॉडल आमतौर पर एक चरण में केवल 1 शब्द ही बना पाते हैं। यह विशाल दक्षता इसे उन मेमोरी बाधाओं (memory bottlenecks) को पार करने की अनुमति देती है जो आमतौर पर कंप्यूटर को धीमा कर देती हैं।
यह क्यों महत्वपूर्ण है (और यह अभी क्या नहीं कर सकता)
यह पेपर सुझाव देता है कि यह दृष्टिकोण इस बात के लिए एक नया द्वार खोलता है कि हम AI का उपयोग कैसे करें। चूंकि मॉडल बहुत तेज़ी से टेक्स्ट उत्पन्न कर सकता है, इसलिए इसका उपयोग उन चीज़ों के लिए किया जा सकता है जिनमें तत्काल उत्तर की आवश्यकता होती है, जैसे वास्तविक समय की बातचीत या डॉक्टरों को रिपोर्ट तैयार करने में तुरंत मदद करना। शोधकर्ताओं ने यह भी दिखाया कि मॉडल लचीला है: यह ज़रूरत पड़ने पर पुराने "एक-शब्द-एक-बार-में" वाले स्टाइल में भी लिख सकता है, और यह "सोचने" वाले मोड (जहाँ यह अपने उत्तर की योजना बनाता है) और "तेज़" मोड के बीच स्विच भी कर सकता है।
हालाँकि, लेखक सावधानीपूर्वक यह बताते हैं कि यह एक प्रयोगात्मक (experimental) रिलीज़ है। यह अभी पुराने मॉडलों का पूर्ण विकल्प नहीं है। वे स्वीकार करते हैं कि मॉडल कभी-कभी दोहराव वाले लूप (जैसे "the the the" बार-बार कहना) में फंस जाता है या मूल मॉडल की तुलना में थोड़े छोटे और संक्षिप्त उत्तर देता है। वे यह भी नोट करते हैं कि हालांकि यह एक व्यक्ति के उपयोग के लिए सुपर फास्ट है, लेकिन यदि आप एक साथ सैकड़ों लोगों को सेवा देने की कोशिश करते हैं, तो पुराने "एक-शब्द" वाले मॉडल अंततः गति में बराबरी कर सकते हैं। लेकिन फिलहाल, DiffusionGemma ने एक नया "क्षितिज" (frontier) स्थापित किया है, यह साबित करते हुए कि आप अत्यधिक गति और उच्च बुद्धिमत्ता दोनों प्राप्त कर सकते हैं, और उस पुराने नियम को तोड़ सकते हैं कि आपको इन दोनों में से किसी एक को चुनना होगा।
संक्षेप में, DiffusionGemma सुझाव देता है कि कंप्यूटर के साथ लिखने का भविष्य शायद एक धीमी, सावधानीपूर्वक चाल नहीं, बल्कि विचारों का एक तीव्र, समवर्ती परिशोधन (simultaneous refinement) होगा, जो पूरे चित्र से कोहरा एक साथ हटा देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।