Neither Parallel Nor Sequential: How DiffusionGemma Actually Commits Tokens
DiffusionGemma 26B को इंस्ट्रुमेंट करने के माध्यम से, यह अध्ययन प्रकट करता है कि इसकी टोकन कमिटमेंट प्रक्रिया न तो पूरी तरह से समानांतर है और न ही कड़ाई से क्रमिक, बल्कि एक शासन-निर्भर (regime-dependent), आंशिक बाएं-से-दाएं पूर्वाग्रह है जो बड़े समवर्ती बैच बनाता है, जो यह प्रदर्शित करता है कि कथित डिकोडिंग क्रम अक्सर माप की सूक्ष्मता (measurement granularity) का एक आर्टिफैक्ट है न कि एक निश्चित वास्तुशिल्प गुण।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक विशाल, अराजक आर्ट स्टूडियो की कल्पना करें जहाँ एक रोबोट एक बड़े कैनवास पर चित्र बनाने (या कहानी लिखने) की कोशिश कर रहा है।
पुराने तरीके में (जिसे "ऑटोरेग्रेसिव" मॉडल कहा जाता है), रोबोट सख्ती से बाएं से दाएं पेंट करता है, जैसे कोई किताब पढ़ रहा हो। वह एक शब्द पूरा करता है, फिर अगला, एक-एक करके।
नए "डिफ्यूजन" तरीके में, रोबोट एक खाली, मास्क किए गए वर्गों (squares) से भरे कैनवास के साथ शुरुआत करता है। इसे एक ही समय में पूरे चित्र को देखना है और कई वर्गों को एक साथ भरना है। मुख्य सवाल जो शोधकर्ताओं ने पूछा था, वह यह था: क्या यह नया रोबोट वास्तव में पूरे कैनवास को एक साथ पेंट करता है, या यह चुपके से वापस बाईं ओर जाकर एक-एक करके शब्द लिखता रहता है?
लेखकों ने इस रोबोट के दिमाग के अंदर एक छोटा कैमरा लगाया ताकि यह देख सकें कि वह वास्तव में कैसे पेंट करता है। उन्होंने DiffusionGemma नामक एक विशिष्ट मॉडल का अध्ययन किया।
यहाँ उनके निष्कर्ष दिए गए हैं, जिन्हें सरल भाषा में समझाया गया है:
1. यह "एक साथ" नहीं है, लेकिन यह "एक-एक करके" भी नहीं है
रोबोट एक ही जादुई झटके में पूरा चित्र नहीं बनाता, और न ही वह एक किताब पढ़ने वाले इंसान की तरह पूरी तरह से बाएं से दाएं चलता है।
इसके बजाय, यह बड़े, अस्त-व्यस्त बैचों (batches) में पेंट करता है।
- उपमा: कल्पना करें कि एक शिक्षक निबंधों के ढेर को ग्रेड कर रहा है। एक सख्त बाएं-से-दाएं वाला रोबोट पहले निबंध 1 को ग्रेड करेगा, फिर निबंध 2 को, फिर निबंध 3 को।
- DiffusionGemma क्या करता है: यह निबंधों का एक समूह (मान लीजिए 15) पकड़ता है, उन सभी को एक साथ ग्रेड करता है, उन्हें नीचे रखता है, फिर एक और समूह पकड़ता है और उन्हें ग्रेड करता है।
- परिणाम: उस एक समूह के भीतर, रोबoret को इस बात की परवाह नहीं है कि उसने पहले कौन सा निबंध ग्रेड किया। यह काम का एक "बैच" है। क्योंकि यह बड़े बैचों में काम करता है, इसलिए क्रम थोड़ा अस्त-व्यस्त दिखता है, लेकिन जैसे-जैसे यह बैचों के माध्यम से आगे बढ़ता है, इसमें बाएं से दाएं बढ़ने की एक हल्की प्रवृत्ति होती है।
2. "16-ब्लॉक" का मिथक
पहले, लोगों को लगता था कि रोबोट 16 शब्दों के सटीक ब्लॉकों (जैसे 16 डिब्बों वाला एक ट्रेन का डिब्बा) में काम करता है।
- निष्कर्ष: शोधकर्ताओं ने 4, 8, 16, 32 और 64 शब्दों के समूहों में रोबोट के काम को देखकर इसका परीक्षण किया।
- सच्चाई: रोबोट 16 पर अचानक किसी सटीक पैटर्न में नहीं आया। जैसे-जैसे समूह बड़े होते गए, पैटर्न बस अधिक सुचारू और अधिक "बाएं-से-दाएं" होता गया। संख्या 16 कोई विशेष नियम नहीं था; यह केवल एक संख्या थी जिसे शोधकर्ताओं ने डेटा को देखने के लिए चुना था। रोबोट इससे कहीं अधिक तरल (fluid) है।
3. "JSON" अपवाद
रोबोट इस आधार पर अलग व्यवहार करता है कि उसे क्या करने के लिए कहा गया है।
- कहानियों, कोड और गणित के लिए: यह उस "अस्त-व्यास्त बैच" वाले बाएं-से-दाएं पैटर्न का पालन करता है।
- संरचित डेटा (जैसे JSON) के लिए: यह लगभग एक यादृच्छिक बिखराव (random scatter) की तरह व्यवहार करता है। यदि आप इसे विशिष्ट कीज़ (keys) और वैल्यूज़ के साथ एक फॉर्म भरने के लिए कहते हैं, तो इसे क्रम की बिल्कुल परवाह नहीं होती। यह उन्हें वहीं भर देता है जहाँ भी उसका मन करता है, बिना किसी बाएं-से-दाएं झुकाव के।
4. "कॉन्फिडेंस" (आत्मविश्वास) की जाँच
रोबोट के पास एक "कॉन्फिडेंस मीटर" होता है (यह मापता है कि किसी शब्द को लॉक करने से पहले वह उसके बारे में कितना आश्वस्त है)।
- गणित की समस्याओं पर: यदि रोबोट बहुत आश्वस्त (कम एंट्रॉपी) है, तो वह आमतौर पर सही होता है। यदि वह अनिश्चित है, तो उसके गलत होने की संभावना अधिक होती है। यहाँ कॉन्फिडेंस मीटर अच्छी तरह काम करता है।
- तथ्यात्मक प्रश्नों पर: कॉन्फिडेंस मीटर बेकार है। रोबोट बहुत आश्वस्त हो सकता है और फिर भी तथ्य गलत बता सकता है। यह उस छात्र की तरह है जो 100% निश्चित है कि फ्रांस की राजधानी "लंदन" है क्योंकि वह आश्वस्त है, इसलिए नहीं कि वह सही है।
5. "जल्दी खत्म करने" का आश्चर्य
रोबोट को एक कार्य को पूरा करने के लिए 48 "स्टेप्स" (सोचने के राउंड) का बजट दिया गया था।
- वास्तविकता: यह लगभग कभी भी पूरे बजट का उपयोग नहीं करता है। यह आमतौर पर केवल 3 से 17 स्टेप्स के एक छोटे से उछाल में समाप्त हो जाता है। यह अपने उत्तरों को बहुत जल्दी लॉक कर देता है, अक्सर तब जब यह पहले से ही अत्यधिक आश्वस्त होता है, इससे बहुत पहले कि इसका समय समाप्त हो।
6. क्या यह पुराने रोबोट जितना अच्छा है?
जब शोधकर्ताओं ने इस नए डिफ्यूजन रोबोट की तुलना पुराने "बाएं-से-दाएं" वाले रोबोट (Gemma-4) से की, तो उन्होंने पाया कि वे गणित, तथ्यों और JSON कार्यों पर सही उत्तर पाने में बराबर अच्छे हैं। नया रोबोट बस एक अलग, थोड़े अधिक अस्त-व्यस्त तरीके से वहां तक पहुँचता है।
सारांश
पेपर यह निष्कर्ष निकालता है कि DiffusionGemma न तो पूरी तरह से समानांतर (parallel) है और न ही पूरी तरह से क्रमिक (sequential)। यह एक हाइब्रिड है:
- यह बड़े, एक साथ चलने वाले बैचों में काम करता है।
- इसमें बाएं-से-दाने की ओर बढ़ने की एक हल्की प्रवृत्ति है, लेकिन केवल तभी जब आप इसे दूर से देखते हैं।
- यह जल्दी समाप्त कर देता है और जैसे ही इसे आत्मविश्वास महसूस होता है, सोचना बंद कर देता है।
- इसका "कॉन्फिडेंस" गणित के लिए सफलता का एक अच्छा संकेतक है, लेकिन तथ्यों के लिए एक बुरा संकेतक है।
लेखक इस बात पर जोर देते हैं कि हमें यह मानना बंद करना चाहिए कि ये मॉडल पूर्ण ब्लॉकों या पूर्ण रेखाओं की तरह काम करते हैं। वे टीमों में काम करने वाले चित्रकारों के समूह की तरह हैं, जो कभी ओवरलैप करते हैं, कभी जल्दी समाप्त कर देते हैं, और कभी काम के आधार पर क्रम को पूरी तरह से अनदेखा कर देते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।