UNIFUSION: Adapting Autoregressive Language Models into Discrete Diffusion under a Unified Reverse-Rate Objective
यह शोध पत्र UNIFUSION का प्रस्ताव करता है, जो एक एकीकृत ढांचा (unified framework) है जो विभिन्न डिस्क्रीट डिफ्यूजन उद्देश्यों के बीच संबंध स्थापित करता है ताकि प्रीट्रेन्ड ऑटोरेग्रेसिव मॉडलों को यूनिफॉर्म-नॉइज़ डिफ्यूजन के लिए सीधे अनुकूलित किया जा सके, जिससे जनरेटिव गुणवत्ता और डाउनस्ट्रीम टास्क सटीकता दोनों में अत्याधुनिक प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को कहानियाँ लिखना सिखाने की कोशिश कर रहे हैं। लंबे समय तक, यह करने का सबसे अच्छा तरीका यह था कि रोबोट को एक बार में एक शब्द सिखाया जाए, बाएं से दाएं, जैसे कि कोई इंसान वाक्य टाइप करता है। इस विधि को "ऑटोरिग्रेसिव" (autoregressive) लर्निंग कहा जाता है, जो बहुत अच्छी है क्योंकि यह तेज़ है और रोबोट भाषा के कई नियम सीख लेता है। लेकिन इसमें एक बड़ी खामी है: एक बार जब रोबोट एक शब्द लिख देता है, तो वह कभी वापस जाकर उसे बदल नहीं सकता। यदि रोबोट पहले वाक्य में गलती करता है, तो पूरी कहानी खराब हो सकती है क्योंकि वह अपने अतीत को संपादित (edit) नहीं कर सकता।
हाल ही में, वैज्ञानिकों ने एक अलग दृष्टिकोण अपनाया जिसे "डिस्क्रीट डिफ्यूजन" (discrete diffusion) कहा जाता है। शब्द-दर-शब्द लिखने के बजाय, यह विधि एक पूर्ण वाक्य से शुरू होती है जो शोर या "कम्पन" (noise) के साथ बिखरा हुआ या "दूषित" होता है, और रोबोट उस वाक्य को साफ करना सीखता है, एक बार में एक शब्द को ठीक करते हुए, जब तक कि वाक्य एकदम सही न हो जाए। यह एक बिखरे हुए कमरे को धीरे-धीरे व्यवस्थित करने जैसा है। समस्या यह है कि अधिकांश नए "सफाई करने वाले" रोबोटों को शुरुआत से प्रशिक्षित किया जाता है, जिससे पुराने "शब्द-दर-शब्द" वाले रोबोटों के पास पहले से मौजूद भाषा के ज्ञान की बर्बादी होती है। इसके अलावा, कई नए रोबोट एक विशिष्ट प्रकार के शोर का उपयोग करते हैं जहाँ वे शब्दों को एक "मास्क" (जैसे कि एक काला बॉक्स) के पीछे छिपा देते हैं। इसका मतलब है कि रोबगर केवल छिपे हुए हिस्सों को ही ठीक कर सकता है, दिखाई देने वाले शब्दों को नहीं। बड़ा सवाल यह था: क्या हम एक स्मार्ट, पूर्व-प्रशिक्षित "शब्द-दर-शब्द" रोबोट को तुरंत एक शक्तिशाली "सफाई करने वाले" रोबोट में बदल सकते हैं, जो वाक्य के किसी भी शब्द को ठीक कर सके, यहाँ तक कि उन शब्दों को भी जो छिपे हुए नहीं हैं?
"यूनिफ्यूजन" (Unifusion) नामक यह शोध पत्र कहता है कि हाँ, और यह दिखाता है कि यह कैसे किया जाता है। शोधकर्ताओं ने पाया कि विभिन्न "सफाई करने वाले" रोबोटों द्वारा उपयोग किए जाने वाले अलग-अलग गणितीय सूत्रों के बावजूद, वे सभी गुप्त रूप से एक ही अंतर्निहित समस्या को हल करने की कोशिश कर रहे हैं: यह अनुमान लगाना कि एक शब्द कितनी तेज़ी से एक अवस्था से दूसरी अवस्था में कूदना चाहिए। वे इसे "रिवर्स रेट" (reverse rate) कहते हैं। यह महसूस करते हुए कि ये सभी अलग-अलग विधियाँ एक ही भाषा की अलग-अलग बोलियाँ बोल रही हैं, उन्होंने एक सार्वभौमिक अनुवादक (universal translator) बनाया। यह अनुवादक उन्हें एक मानक "शब्द-दर-शब्द" मॉडल (जैसे GPT-2) से सीधे एक "यूनिफॉर्म-नॉइज़" (uniform-noise) डिफ्यूजन मॉडल में अनुकूलित करने की अनुमति देता है।
मुख्य नवाचार यह है कि इस नए मॉडल, यूनिफ्यूजन को शब्दों को मास्क के पीछे छिपाने की आवश्यकता नहीं है। इसके बजाय, यह वाक्य के हर एक शब्द को संपादन योग्य (editable) मानता है, ठीक वैसे ही जैसे आप गूगल डॉक्स में किसी भी शब्द को संपादित कर सकते हैं। शोधकर्ताओं ने दो संस्करणों वाले एक पूर्व-प्रशिक्षित मॉडल (एक जिसमें 124 मिलियन पैरामीटर हैं और दूसरा 355 मिलियन) को लेकर उन्हें "सफाई करने वाला कलाकार" बनाने के लिए प्रशिक्षित किया। उन्होंने पाया कि जैसे-जैसे वे मॉडल को सोचने के लिए अधिक समय देते हैं (चरणों की संख्या 16 से बढ़ाकर 256 करने पर), टेक्स्ट की गुणवत्ता लगातार सुधरती जाती है।
256 चरणों के अधिकतम स्तर पर, छोटे मॉडल (Unifusion-S) ने 97.783 का "जेनरेटिव परप्लेक्सिटी" (एक माप कि मॉडल अपने द्वारा बनाए गए टेक्स्ट से कितना भ्रमित है) प्राप्त किया, जबकि बड़े मॉडल (Unifusion-M) ने 71.516 प्राप्त किया। इससे भी महत्वपूर्ण बात यह है कि इन मॉडलों ने न केवल प्रवाहपूर्ण टेक्स्ट लिखा; बल्कि उन्होंने उच्च "यूनिग्राम एंट्रॉपी" (unigram entropy) भी बनाए रखी, जो एक फैंसी तरीका है यह कहने का कि टेक्स्ट विविध था और एक ही वाक्यांशों या पैटर्न को दोहराते हुए नहीं अटका। वास्तव में, 256 चरणों पर, समान आकार के किसी भी अन्य मॉडल ने एक ही समय में प्रवाह (fluency) और विविधता (diversity) दोनों पर यूनिफ्यूजन को मात नहीं दी।
शोध पत्र ने यह भी दिखाया कि यह सीधा रूपांतरण पुराने तरीके (शब्द-दर-शब्द से "मास्क्ड डिफ्यूजन" और फिर "यूनिफॉर्म डिफ्यूजन" पर जाने) की तुलना में बेहतर काम करता है। बिचौलिये को छोड़कर, यूनिफ्यूजन ने बहुत अधिक कुशलता से उसी उच्च गुणवत्ता तक पहुँच बनाई। जब वास्तविक दुनिया के तर्क पहेलियों और सामान्य ज्ञान के प्रश्नों (जैसे WinoGrande और SIQA) पर परीक्षण किया गया, तो इन नए डिफ्यूजन मॉडलों ने अपने आकार के अन्य सभी डिफ्यूजन मॉडलों को पीछे छोड़ दिया, जिससे सिद्ध हुआ कि उन्होंने केवल शोर को साफ करना ही नहीं सीखा, बल्कि वास्तव में अपने मूल "शब्द-दर-शब्द" प्रशिक्षण के स्मार्ट तर्क कौशल को भी बनाए रखा।
संक्षेप में, यूनिफ्यूजन एक मास्टर शेफ को लेने और उन्हें एक नई तकनीक सिखाने जैसा है जहाँ वे एक बार में एक सामग्री के हिसाब से खाना बनाने के बजाय, पूरे सूप के बर्तन का स्वाद ले सकते हैं और उसे समायोजित कर सकते हैं, बिना अपने वर्षों के पाक अनुभव को फेंके। इसका परिणाम एक ऐसा मॉडल है जो टेक्स्ट को अत्यधिक प्रवाहपूर्ण और रचनात्मक रूप से विविध बना सकता है, केवल पूरे वाक्य को एक साथ संपादित करना सीखकर।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।