CoBit: Language Modeling with Bitstream Diffusion
कोबिट (CoBit) एक निरंतर डिफ्यूजन लैंग्वेज मॉडल है जो एक एकल ट्रांसफॉर्मर पैच के भीतर निश्चित-चौड़ाई वाले बाइनरी टोकन कोड्स को संयुक्त रूप से डिनोइजिंग (denoising) करके टेक्स्ट जनरेट करता है, जो मानक बेंचमार्क पर प्रतिस्पर्धी पर्प्लेक्सिटी और सुडोकू (Sudoku) तथा GSM8K जैसे कार्यों पर मजबूत रीजनिंग प्रदर्शन प्राप्त करने के साथ-साथ डेंस टोकन-आउटपुट बेसलाइन्स की तुलना में बेहतर मेमोरी दक्षता और थ्रूपुट प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखक ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक कंप्यूटर वाक्य में अगले शब्द की भविष्यवाणी करने में उल्लेखनीय रूप से कुशल हो गए हैं। यह क्षमता, जो ऑटोकंप्लीट से लेकर परिष्कृत चैटबॉट्स तक सब कुछ संचालित करती है, 'ऑटोरिग्रेसन' (autoregression) नामक एक विधि पर निर्भर करती है। इस दृष्टिकोण में, एक मॉडल शब्दों के एक अनुक्रम को पढ़ता है और अगले शब्द का अनुमान लगाता है, फिर उस नए शब्द को पढ़ता है ताकि उसके बाद वाले शब्द का अनुमान लगाया जा सके, जिससे वह एक बार में एक कदम के साथ एक कहानी बनाता है। हालांकि यह अच्छी तरह से काम करता है, लेकिन यह स्वाभाविक रूप से धीमा है क्योंकि कंप्यूटर को अगला अनुमान लगाने के लिए प्रत्येक अनुमान का इंतजार करना पड़ता है, ठीक वैसे ही जैसे कोई व्यक्ति किताब को जोर से पढ़ रहा हो और बोलने से पहले अगले शब्द के बारे में सोचने के लिए रुक जाता हो। वर्षों से, शोधकर्ता पाठ उत्पन्न करने का एक तेज़ तरीका खोज रहे थे, जो एक समय में पूरे वाक्य को परिष्कृत कर सके, न कि शब्द दर शब्द इसे बनाए। 'कंटीन्यूअस डिफ्यूजन' (continuous diffusion) नामक एक नया दृष्टिकोण यह वादा करता है, जो इमेज जनरेशन (छवि निर्माण) से एक अवधारणा उधार लेता है जहाँ एक चित्र को स्थिर शोर (static noise) से धीरे-धीरे प्रकट किया जाता है। हालाँकि, इस तकनीक को भाषा पर लागू करना कठिन रहा है क्योंकि टेक्स्ट अलग-अलग, पृथक प्रतीकों से बना होता है, जबकि डिफ्यूजन मॉडल सुचारू, निरंतर डेटा के साथ सबसे अच्छा काम करते हैं।
शोधकर्ताओं ने अब 'कोबिट' (CoBit) नामक एक प्रणाली पेश की है जो इस अंतर को सफलतापूर्वक पाटती है, जिससे कंप्यूटर पूरे शब्दों का अनुमान लगाने के बजाय बाइनरी कोड की एक धारा को परिष्कृत करके टेक्स्ट उत्पन्न कर सकता है। एक विशाल शब्दकोश से अगले शब्द की भविष्यवाणी करने के बजाय, मॉडल प्रत्येक शब्द को 'एकों' और 'शून्यों' की एक निश्चित लंबाई वाली स्ट्रिंग के रूप में मानता है। एक शब्द की कल्पना एक छोटे, सीलबंद बॉक्स के रूप में करें जिसमें स्विचों का एक विशिष्ट पैटर्न होता है। कंप्यूटर रैंडम, शोर वाले स्विचों से भरे बॉक्स के साथ शुरू करता है और धीरे-धीरे उन्हें साफ करता है, आसपास के शब्दों के संदर्भ के आधार पर प्रत्येक स्विच की स्थिति को समायोजित करता है। प्रत्येक शब्द के स्विचों को एक एकल इकाई के रूपв रूप में समूहित करके, यह प्रणाली अनुक्रम की लंबाई को प्रबंधनीय रखती है और हजारों शब्दों में से चुनने के जटिल कार्य को कुछ दर्जन स्विचों की स्थिति तय करने के सरल कार्य से बदल देती है। यह विधि मॉडल को एक साथ वाक्य के सभी हिस्सों पर काम करने की अनुमति देती है, जो गति और लचीलेपन का एक अलग मार्ग प्रदान करती है।
शोधकर्ताओं ने पाया कि इस प्रणाली को प्रभावी ढंग से चलाने की कुंजी केवल यह नहीं थी कि वे शब्दों का प्रतिनिधित्व कैसे करते हैं, बल्कि यह था कि वे शोर को कैसे साफ करते हैं। उन्होंने पाया कि एक पूरी तरह से 'डिटरमिनिस्टिक' (deterministic) दृष्टिकोण, जहाँ कंप्यूटर शोर हटाने के लिए एक सख्त, गणनात्मक पथ का पालन करता है, अक्सर ऐसा टेक्स्ट बनाता था जो सुरक्षित तो था लेकिन दोहराव वाला और विविधता की कमी वाला था। इसे ठीक करने के लिए, उन्होंने प्रक्रिया में अनिश्चितता या "चर्न" (churn) की एक नियंत्रित मात्रा पेश की। यह यादृच्छिकता (randomness) एक हल्के झटके की तरह काम करती है जो मॉडल को सुरक्षित और अनुमानित विकल्पों के लूप में फंसने से रोकती है। इस झटके को तब होने के लिए सावधानीपूर्वक समयबद्ध करके जब मॉडल किसी बिट के अर्थ के बारे में सबसे अधिक अनिश्चित होता है, वे बिना गति धीमी किए टेक्स्ट की गुणवत्ता में सुधार करने में सक्षम रहे। परिणाम एक ऐसी प्रणाली है जो सामंजस्य और विविधता का एक प्राकृतिक संतुलन पैदा करती है, और एक ऐसा प्रवाह प्राप्त करती है जो बेहतरीन मौजूदा मॉडलों को टक्कर देता है, जबकि एक मौलिक रूप से भिन्न तंत्र का उपयोग करता है।
अपने प्रयोगों में, टीम ने दो बड़े टेक्स्ट संग्रहों पर कोबिट का परीक्षण किया: एक जिसमें समाचार लेख थे और दूसरा खुले वेब से लिया गया था। उन्होंने उत्पन्न टेक्स्ट की गुणवत्ता को यह जाँचकर मापा कि वह वास्तविक मानवीय लेखन के पैटर्न से कितनी अच्छी तरह मेल खाता है। 130 मिलियन पैरामीटर्स वाले मॉडल के साथ, उन्होंने एक स्कोर प्राप्त किया जिसने उन्हें क्षेत्र के शीर्ष प्रदर्शन करने वालों में स्थान दिलाया, और जब उन्होंने सिस्टम को 462 मिलियन पैरामीटर्स तक बढ़ाया, तो परिणाम और बेहतर हुए, जो बड़े, स्थापित मॉडलों के प्रदर्शन के करीब पहुँच गए। सामान्य लेखन के अलावा, उन्होंने सिस्टम का परीक्षण उन कार्यों पर भी किया जिनमें सख्त तर्क की आवश्यकता होती है, जैसे सुडोकू पहेलियाँ हल करना और गणित की शब्द समस्याओं के उत्तर देना। कठिन सुडोकू पहेलियों पर, सिस्टम ने 65 प्रतिशत से अधिक समय सही ढंग से उन्हें हल किया, और गणित की समस्याओं पर, जब शोधकर्ताओं ने अपने स्वयं के आत्मविश्वास की व्याख्या करने के तरीके को समायोजित किया, तो इसने 35 प्रतिशत से अधिक की सटीकता प्राप्त की। ये परिणाम बताते हैं कि मॉडल न केवल भाषा के पैटर्न की नकल कर रहा है, बल्कि तार्किक बाधाओं का पालन करने में भी सक्षम है।
अध्ययन ने कंप्यूटर मेमोरी के उपयोग में इस प्रणाली के महत्वपूर्ण व्यावहारिक लाभों पर भी प्रकाश डाला। क्योंकि मॉडल विशाल शब्दकोश से पूरे शब्दों के बजाय व्यक्तिगत बिट्स की स्थिति की भविष्यवाणी करता है, इसलिए इसे संचालित करने के लिए बहुत कम मेमोरी की आवश्यकता होती है, विशेष रूप से लंबे टेक्स्ट उत्पन्न करते समय। यह दक्षता प्रणाली को उसी हार्डवेयर पर तेज़ चलने और डेटा के बड़े बैचों को संभालने की अनुमति देती है। शोधकर्ताओं ने नोट किया कि हालांकि सिस्टम अभी भी पूर्ण नहीं है और अभी भी दोहराव वाले या निरर्थक वाक्य बना सकता है, लेकिन इसकी समानांतर प्रसंस्करण गति (parallel processing speed), तार्किक कार्यों को संभालने की क्षमता और इसके कम मेमोरी फुटप्रिंट का संयोजन एक महत्वपूर्ण प्रगति का प्रतीक है। उनका तर्क है कि यह दृष्टिकोण सिद्ध करता है कि निरंतर डिफ्यूजन भाषा के लिए प्रभावी ढंग से काम कर सकता है, बशर्ते कि प्रतिनिधित्व और सैंपलिंग प्रक्रिया को टेक्स्ट की अनूठी प्रकृति के अनुसार सावधानीपूर्वक ट्यून किया जाए। यह कार्य सुझाव देता है कि टेक्स्ट जनरेशन का भविष्य केवल पारंपरिक शब्द-दर-शब्द भविष्यवाणी पर निर्भर नहीं होगा, बल्कि यह एक साथ अर्थ को परिष्कृत करने वाली विधियों को अपना सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।