PreDiff-LM: Pretrained Discrete Masked Diffusion Language Modeling with Hybrid Attention
Diff-LM एक हाइब्रिड अटेंशन मैकेनिज्म पेश करता है जो देखे गए प्रॉम्प्ट्स के लिए कॉज़ल अटेंशन को सुरक्षित रखता है और मास्क किए गए लक्ष्यों के लिए द्विदिश (बायडायरेक्शनल) अटेंशन को सक्षम बनाता है, जिससे प्रीट्रेन्ड ऑटोरेग्रेसिव ट्रांसफॉर्मर्स को डिस्क्रीट मास्क डिफ्यूजन लैंग्वेज मॉडलिंग के लिए प्रभावी रूप से अनुकूलित किया जाता है और पूर्ववर्ती डिफ्यूजन बेसलाइन्स की तुलना में परप्लेक्सिटी और जनरेशन क्वालिटी में महत्वपूर्ण सुधार प्राप्त होता है, हालांकि समान स्केल पर ऑप्टिमाइज्ड ऑटोरेग्रेसिव मॉडल अभी भी बेहतर बने हुए हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
द ग्रेट टेक्स्ट-जेनरेटर शोडाउन: दो लेखकों की एक कहानी
कल्पना कीजिए कि आप एक रोबोट को कहानी लिखना सिखाने की कोशिश कर रहे हैं। वर्षों तक, ऐसा करने का सबसे अच्छा तरीका यह था कि रोबोट को एक इंसान की तरह टाइप करना सिखाया जाए जो कीबोर्ड का उपयोग करता है: एक बार में एक शब्द, बाएं से दाएं। इसे "ऑटोरिग्रेसिव" (autoregressive) लेखन कहा जाता है। यह एक वाक्य का अनुसरण करने में बहुत अच्छा है, लेकिन यदि आप इसे पैराग्राफ के बीच में कोई खाली स्थान भरने या बाद में किसी गलती को सुधारने के लिए कहते हैं, तो यह भ्रमित हो जाता है क्योंकि यह उन शब्दों को नहीं देख पाता जो खाली स्थान के बाद आते हैं।
हाल ही में, वैज्ञानिकों ने "डिफ्यूजन" (diffusion) नामक एक अलग दृष्टिकोण आज़माया। शब्द-दर-शब्द लिखने के बजाय, यह तरीका एक पूरे पन्ने को ढेर सारे बकवास (या "मास्क्ड" शब्दों) के साथ शुरू करता है और धीरे-धीरे उसे साफ करता है, पूरे पन्ने को एक साथ देखता है ताकि यह पता लगाया जा सके कि क्या फिट बैठता है। यह एक मूर्तिकार की तरह है जो पत्थर के एक ब्लॉक से शुरुआत करता है और शोर को तब तक तराशता रहता है जब तक कि मूर्ति प्रकट न हो जाए। यह शक्तिशाली है क्योंकि यह किसी भी दिशा से खाली स्थानों को भर सकता है। हालाँकि, ये "डिफ्यूजन" वाले रोबोट आमतौर पर लेखन में बहुत खराब थे, अक्सर दोहराव वाले या निरर्थक लगते थे।
बड़ा सवाल जो शोधकर्ता पूछ रहे हैं वह यह है: क्या हम एक सुपर-स्मार्ट "कीबोर्ड" रोबोट (जो पहले से ही बहुत सारे टेक्स्ट पर प्रशिक्षित है) को बिना उसकी बुद्धिमत्ता खोए "मूर्तिकार" पद्धति का उपयोग करना सिखा सकते हैं? इसका उत्तर सरल नहीं है, क्योंकि दोनों तरीके शब्दों के बारे में पूरी तरह से अलग तरह से "सोचते" हैं। यह पेपर, PreDiff-LM, इसी समस्या की गहराई में जाता है कि क्या हम दोनों दुनिया के सर्वश्रेष्ठ गुणों को मिला सकते हैं।
पेपर का बड़ा विचार: हाइब्रिड मास्क (The Hybrid Mask)
PreDiff-LM के पीछे के शोधकर्ताओं ने पाया कि इन "मूर्तिकार" रोबोटों के विफल होने का मुख्य कारण केवल वह गणित नहीं था जिसका वे टेक्स्ट को साफ करने के लिए उपयोग करते थे; बल्कि यह था कि वे शब्दों को देखते कैसे थे।
"कीबोर्ड" रोबोट को एक सख्त लाइब्रेरियन के रूप में सोचें जो केवल एक किताब को शुरू से अंत तक पढ़ता है। यदि आप उससे बीच में एक गायब शब्द का अनुमान लगाने के लिए कहते हैं, तो वह केवल अपने से पहले के शब्दों को देख सकता है। हालाँकि, "मूर्तिकार" रोबोट को पूरे पन्ने को एक साथ देखना होता है। समस्या तब आती है जब आप लाइब्रेरियन को अचानक मूर्तिकार बनने के लिए मजबूर करते हैं। यदि आप लाइब्रेरियन से बस इतना कहते हैं, "अब हर जगह देखो!", तो वह उन शब्दों के बारे में भ्रमित हो जाता है जिन्हें वह पहले से जानता है (प्रॉम्प्ट), जिससे कहानी की अब तक की स्मृति बाधित हो जाती है।
लेखकों का समाधान एक चतुर ट्रिक है जिसे वे हाइब्रिड अटेंशन (Hybrid Attention) कहते हैं। कल्पना कीजिए कि एक कक्षा है जहाँ शिक्षक (रोबोट) छात्रों को एक कहानी पढ़ रहा है।
- प्रॉम्प्ट (कहानी का अब तक का हिस्सा): शिक्षक कहानी के उस हिस्से को पढ़ता है जो पहले से लिखा जा चुका है। यहाँ, वे एक सख्त लाइब्रेरियन की तरह कार्य करते हैं, केवल आगे देखते हैं। वे छात्रों को भविष्य में झाँकने नहीं देते, क्योंकि कहानी का वह हिस्सा पहले से ही तय है।
- टारगेट (गायब शब्द): जब खाली स्थान भरने का समय आता है, तो शिक्षक अचानक एक मूर्तिकार बन जाता है। वे खाली स्थान के पहले और बाद के शब्दों को देखते हैं, और यहाँ तक कि उन अन्य खाली स्थानों को भी देखते हैं जिन्हें वे भरने की कोशिश कर रहे हैं, ताकि एकदम सटीक फिट मिल सके।
यह "हाइब्रिड मास्क" रोबोट को अपनी लिखी हुई कहानी की मजबूत स्मृति बनाए रखने की अनुमति देता है और साथ ही उसे गायब हिस्सों को रचनात्मक रूप से भरने की स्वतंत्रता भी देता है।
उन्होंने क्या पाया
टीम ने इस विचार का परीक्षण GPT-2 नामक एक प्रसिद्ध AI पर आधारित मॉडल का उपयोग करके किया। उन्होंने अपने नए "हाइब्रिड" रोबोट की तुलना एक ऐसे रोबोट से की जो एक साथ हर जगह देखने की कोशिश करता था (यूनिफॉर्म बायडायरेक्शनल अटेंशन) और मूल "कीबोर्ड" रोबोट से की।
- परिणाम: हाइब्रिड रोबोट एक बड़ी सफलता रहा। इसने "कन्फ्यूजन स्कोर" (जिसे पर्प्लेक्सिटी कहा जाता है) को 34.1 से घटाकर 28.7 कर दिया। यह एक बड़ी छलांग है! इसने ऐसा टेक्स्ट भी लिखा जो पिछले प्रयासों की तुलना में बहुत अधिक स्वाभाविक और कम दोहराव वाला था।
- स्पीड बूस्ट: सबसे शानदार खोजों में से एक यह थी कि हाइब्रिड रोबोट कितनी तेजी से सीखता है। शून्य से प्रशिक्षित एक रोबोट को ठीक होने में लगभग 350,000 स्टेप्स लगे। PreDiff-LM रोबोट, अपने स्मार्ट शुरुआती बिंदु का उपयोग करते हुए, केवल 8,000 स्टेप्स में उसी स्तर का कौशल प्राप्त कर लेता है। यह देश के आर-पार पैदल चलने से लेकर हाई-स्पीड ट्रेन लेने जैसा है।
- कैच (सीमा): इन सभी सुधारों के बावजूद, हाइब्रिड रोबोट अभी भी मूल "कीबोर्ड" रोबोट जितना अच्छा नहीं था जिसे विशेष रूप से उस कार्य के लिए फाइन-ट्यून किया गया था। कीबोर्ड रोबोट का कन्फ्यूजन स्कोर 18.9 था, जबकि हाइब्रिड रोबोट का 28.7 था। इसलिए, जबकि हाइब्रिड रोबोट पुराने डिफ्यूजन मॉडल्स से बहुत बेहतर है, यह अभी तक सर्वश्रेष्ठ "कीबोर्ड" लेखकों को पूरी तरह से हरा नहीं पाया है।
यह क्यों मायने रखता है (और क्या नहीं है)
लेखक सावधानीपूर्वक यह स्पष्ट करते हैं कि उन्होंने AI लेखन को "हल" नहीं किया है। उन्होंने ऐसा रोबोट नहीं बनाया है जो हर मामले में सर्वश्रेष्ठ कीबोर्ड रोबोट से तेज़ और बेहतर हो। वास्तव में, कीबोर्ड रोबोट टेक्स्ट जेनरेट करने में अभी भी तेज़ और गुणवत्ता में थोड़े बेहतर हैं।
हालाँकि, यह पेपर साबित करता है कि आप एक स्मार्ट, प्री-ट्रेंड रोबोट को ले सकते हैं और उसे एक नए, लचीले तरीके से (खाली स्थान भरना, गलतियाँ सुधारना) लिखने के लिए सिखा सकते हैं, बिना उसकी बुद्धि को नुकसान पहुँचाए। "हाइब्रिड अटेंशन" ट्रिक ही वह कुंजी है जो इस क्षमता को अनलॉक करती है। यह सुझाव देता है कि AI लेखन का भविष्य एक पद्धति को दूसरी पद्धति चुनने के बारे में नहीं है, बल्कि यह जानने के बारे में है कि कब एक सख्त लाइब्रेरियन बनना है और कब एक रचनात्मक मूर्तिकार।
शोधकर्ताओं ने यह भी दिखाया कि यह नया रोबोट दोहराव वाले लूप (जैसे "the the the" कहना) से बचने में बेहतर है और पुराने डिफ्यूजन मॉडल्स की तुलना में कहानी में अगला वाक्य अनुमान लगाने जैसे कार्यों को बेहतर ढंग से संभाल सकता है। भले ही यह अभी AI लेखन का अंतिम बॉस नहीं है, लेकिन यह इन लचीले, "मूर्तिकार-शैली" वाले रोबोटों को वास्तव में उपयोगी बनाने की दिशा में एक बड़ा कदम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।