Zonkey: A Hierarchical Diffusion Language Model with Differentiable Tokenization and Probabilistic Attention
ज़ोंकी (Zonkey) एक नवीन पदानुक्रमित डिफ्यूजन भाषा मॉडल है जो एक विभेदक टोकनाइज़र और संभाव्य अटेंशन तंत्र का उपयोग करके कच्चे वर्णों से दस्तावेज़-स्तरीय निरूपण तक एक पूर्णतः प्रशिक्षित पाइपलाइन पेश करता है ताकि एंड-टू-एंड अनुकूलन और निश्चित टोकनाइज़र के बिना अनुकूलन योग्य, भाषाई रूप से अर्थपूर्ण पाठ निर्माण को सक्षम बनाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को कहानी लिखना सिखाने की कोशिश कर रहे हैं। आमतौर पर, हम रोबोट्स को "चंक्स" (जैसे शब्द या शब्दांश) का एक निश्चित शब्दकोश देकर सिखाते हैं (जैसे, "यदि आप एक स्पेस देखें, तो एक नया शब्द शुरू करें")। यह एक रोबोट को कठोर LEGO ब्रिक्स देने जैसा है जो केवल एक विशिष्ट तरीके से ही आपस में जुड़ सकते हैं। यदि रोबोट को किसी नए प्रकार की ईंट या रेत के ढेर का सामना करना पड़ता है, तो वह भ्रमित हो जाता है क्योंकि उसके नियम वहां फिट नहीं बैठते।
यह पेपर Zonkey को पेश करता है, जो एक नए प्रकार का रोबोट है जो एक निश्चित शब्दकोश का उपयोग नहीं करता है। इसके बजाय, यह चलते-चलते अपने स्वयं के "चंक्स" बनाना सीखता है, व्यक्तिगत अक्षरों से शुरू होकर यह पता लगाता है कि शब्द और वाक्य स्वाभाविक रूप से कहाँ शुरू और समाप्त होते हैं। यह एक विशेष "डिफ्यूजन" (diffusion) प्रक्रिया का उपयोग करके ऐसा करता है, जो एक मूर्ति बनाने जैसा है—एक पत्थर के ब्लॉक से, जो धीरे-धीरे धूल में बदल जाता है और फिर वापस पत्थर में बदल जाता है।
यहाँ बताया गया है कि Zonkey कैसे काम करता है, जिसे सरल भागों में विभाजित किया गया है:
1. "प्रोबेबिलिस्टिक अटेंशन" (The Soft Filter - कोमल फिल्टर)
पारंपरिक रोबोट एक वाक्य को देखते हैं और कहते हैं, "यह हिस्सा मौजूद है, और यह हिस्सा मौजूद नहीं है।" वे कठोर कट (hard cuts) का उपयोग करते हैं। Zonkey एक डिमर स्विच (dimmer switch) की तरह है। यह टेक्स्ट के हर हिस्से को "अस्तित्व की संभावना" (probability of existence) असाइन करता है।
- उपमा: एक धुंधली खिड़की को देखने की कल्पना करें। कुछ हिस्से स्पष्ट हैं (उच्च संभावना), और कुछ बहुत धुंधले हैं (कम संभावना)। Zonkey केवल धुंधले हिस्सों को काट नहीं देता; यह धुंध के माध्यम से देखना सीख जाता है। यह समझता है कि एक शब्द "काफी हद तक मौजूद" हो सकता है या "बमुश्किल मौजूद" हो सकता है, जिससे यह किसी भी लंबाई के वाक्यों को बिना अटके संभाल सकता है।
2. "सेगमेंट स्प्लिटर" (The Self-Learning Censor - स्व-शिक्षण सेंसर)
आमतौर पर, एक कंप्यूटर को एक इंसान की आवश्यकता होती है जो इसे बताए, "नया शब्द शुरू करने के लिए यहाँ एक स्पेस डालें।" Zonkey के पास एक विशेष मॉड्यूल है जिसे सेगमेंट स्प्लिटर (Segment Splitter) कहा जाता है जो इसे अपने आप सीखता है।
- उपमा: अक्षरों की एक लंबी, अटूट स्ट्रिंग की कल्पना करें जैसे
thequickbrownfox। एक सामान्य कंप्यूटर को यह जानने के लिए एक नियम पुस्तिका की आवश्यकता होती है कि कहाँ कट लगाना है। Zonkey एक स्मार्ट कैंची की तरह है जो सीखता है, "हे, मुझे लगता है कि 'the' के बाद कट लगाना चाहिए क्योंकि इससे एक बेहतर शब्द बनता है।" इसे किसी नियम पुस्तिका की आवश्यकता नहीं है; यह स्पेस या पूर्ण विराम पर कट लगाना सीख जाता है क्योंकि ऐसा करने से यह बाद में कहानी को बेहतर तरीके से पुनर्गठित करने में मदद मिलती है। यह "शब्दों" और "वाक्यों" की अवधारणा को अपने आप खोज लेता है।
3. "कंप्रेसर" और "डिफ्यूजन" (The Summarizer and Sculptor - संक्षेपकर्ता और मूर्तिकार)
एक बार जब Zonkey टेक्स्ट को चंक्स में काट देता है, तो वह प्रत्येक चंक को एक छोटे, सघन सारांश (वेक्टर) में सिकोड़ देता है।
- उपमा: एक पूरे पैराग्राफ को एक छोटे, घने संगमरमर के गोले में सिकोड़ने की कल्पना करें।
- डिफ्यूजन वाला भाग: टेक्स्ट उत्पन्न करने के लिए, Zonkey शुद्ध शोर (noise/static) के एक ब्लॉक से शुरू करता है। फिर यह धीरे-धीरे इस ब्लॉक को "डी-नॉइज़" (denoise) करता है, इस शोर को एक स्पष्ट छवि (या टेक्स्ट) में बदल देता है।
- ट्विस्ट: अधिकांश डिफ्यूजन मॉडल टेक्स्ट के साथ संघर्ष करते हैं क्योंकि टेक्स्ट विविक्त (discrete) होता है (आप आधा अक्षर नहीं रख सकते)। Zonkey एक मिक्स्ड मॉडल (DDMM) का उपयोग करता है। यह एक ऐसे मूर्तिकार की तरह है जो जानता है कि विवरणों को सही करने के लिए छोटे, सावधानीपूर्वक कदम कब उठाने हैं, और पूरे शरीर का आकार पाने के लिए बड़े, साहसिक कदम कब उठाने हैं। यह इसे लंबे, सुसंगत वाक्य बनाने में मदद करता है ताकि वह भटक न जाए।
4. "स्टिचर" (The Seamstress - दर्ज़िन)
चूंकि Zonkey प्रोसेस करने के लिए ओवरलैपिंग (overlapping) चंक्स में टेक्स्ट को काटता है, इसलिए इसे वापस जोड़ने की आवश्यकता होती है।
- उपमा: कपड़े के दो टुकड़ों को आपस में सिलने की कल्पना करें। एक सामान्य रोबोट उन्हें बस अगल-बगल टेप कर सकता है, जिससे एक स्पष्ट, बदसूरत जोड़ (seam) रह जाता है। Zonkey का स्टिचर (Stitcher) एक कुशल दर्ज़िन है। यह देखता है कि दो टुकड़े कहाँ ओवरलैप होते हैं और उन्हें इतनी सहजता से मिला देता है कि आप बता ही नहीं सकते कि एक कहाँ समाप्त हुआ और दूसरा कहाँ शुरू हुआ। यदि एक टुकड़े में कोई गलती है (जैसे "क्लासिकल मैकेनिक्स" के बजाय "क्वांटम मैकेनिक्स" कहना), तो स्टिचर ओवरलैपिंग टुकड़े का उपयोग करके गलती को ठीक करने से पहले उसे धीरे से सुधार लेता है।
5. परिणाम: एक पूरी तरह से सीखने योग्य रोबोट
Zonkey का सबसे बड़ा दावा यह है कि इसमें सब कुछ "डिफरेंशिएबल" (differentiable) है।
- उपमा: सामान्य रोबोटों में, यदि आप इसके शब्दों को काटने का तरीका बदलना चाहते हैं, तो आपको मैन्युअल रूप से कोड को फिर से लिखना होगा। Zonkey में, पूरा सिस्टम एक एकल, विशाल, खिंचाव वाले रबर बैंड की तरह है। यदि रोबोट गलती करता है, तो "त्रुटि" स्टिचर, डिफ्यूजन प्रक्रिया, कंप्रेसर से होते हुए वापस स्प्लिटर तक पहुँचती है। यह स्प्लिटर को बताता है, "हे, तुमने गलत जगह पर कट लगाया था; अगली बार कहीं और कट लगाने की कोशिश करो।"
Zonkey क्या कर सकता है (पेपर के अनुसार)
- शोर (Noise) से टेक्स्ट बनाना: यह रैंडम स्टैटिक से शुरू कर सकता है और इसे विकिपीडिया के विषयों पर सुसंगत वाक्यों में बदल सकता है।
- खाली स्थान भरना: यदि आप इसे एक वाक्य देते हैं जिसमें बीच का हिस्सा गायब है (जैसे, "Bob is a [BLANK] player in the NBA"), तो यह गैप को भर सकता है ("basketball") बिना वाक्य को बाएं से दाएं लिखे। यह शुरुआत और अंत को स्थिर रखते हुए बीच के हिस्से को ठीक कर सकता है।
- किसी भी डेटा के अनुकूल होना: क्योंकि यह अपने स्वयं के "शब्दों" और "वाक्यों" को सीखता है, यह निश्चित शब्दकोशों वाले रोबोट की तुलना में अव्यवस्थित या असामान्य टेक्स्ट को बेहतर ढंग से संभाल सकता है।
यह क्या नहीं कर सकता (अभी तक)
पेपर अपनी सीमाओं के बारे में बहुत ईमानदार है। वर्तमान में, Zonkey एक "प्रूफ ऑफ कॉन्सेप्ट" है जिसे एक सिंगल कंप्यूटर पर विकिपीडिया डेटा पर प्रशिक्षित किया गया है।
- यह सुसंगत वाक्य लिख सकता है, लेकिन इसका परीक्षण अभी तक पूरी किताबें या जटिल दस्तावेज़ लिखने के लिए नहीं किया गया है।
- इसका कोई निश्चित शब्दावली (vocabulary) नहीं है, इसलिए अन्य AI मॉडल को मापने के लिए उपयोग किए जाने वाले मानक परीक्षण (जैसे "परप्लेक्सिटी" गिनना) इसके लिए काम नहीं करते हैं।
- पेपर यह दावा नहीं करता है कि यह मेडिकल डायग्नोसिस, कानूनी सलाह या अभी कोई वास्तविक दुनिया का अनुप्रयोग कर सकता है; यह पूरी तरह से एक नए प्रकार के लैंग्वेज मॉडल की ओर एक शोध कदम है।
संक्षेप में, Zonkey एक प्रयोग है यह देखने के लिए कि क्या हम एक ऐसा भाषा मॉडल बना सकते हैं जो पूरी तरह से नीचे से ऊपर की ओर (bottom up), बिना किसी इंसान द्वारा नियम परिभाषित किए, खुद से पढ़ने, लिखने और भाषा की संरचना को समझने की क्षमता विकसित करे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।