Beyond the Bidirectional Promise: Re-evaluating the Robustness of Diffusion Language Models
यह शोध पत्र प्रकट करता है कि जहाँ डिफ्यूजन लैंग्वेज मॉडल्स अपने स्टोकेस्टिक लॉस लैंडस्केप्स के कारण ग्रेडिएंट-आधारित एडवरसैरियल हमलों का स्वाभाविक रूप से प्रतिरोध करते हैं, वहीं वे प्राकृतिक शोर (नेचुरल नॉइज़) के प्रति संवेदनशील बने रहते हैं और व्यवस्थित अति-आत्मविश्वास (सिस्टमैटिक ओवरकॉन्फिडेंस) प्रदर्शित करते हैं क्योंकि उनकी मजबूती आर्किटेक्चरल लाभों के बजाय वेट-विशिष्ट डिकोडर रूटिंग पर निर्भर करती है, जो सतही सुधारों के बजाय डिकोडिंग प्रक्रिया में मौलिक एकीकरण को आवश्यक बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक पहेली सुलझाने की कोशिश कर रहे हैं, लेकिन टुकड़ों को एक-एक करके बाएं से दाएं रखने के बजाय, आप सभी टुकड़ों को एक साथ मेज पर फेंक देते हैं और धीरे-धीरे यह पता लगाते हैं कि वे कहां जाएंगे, हर नज़र के साथ अपने अनुमान को बेहतर बनाते हैं। यह एक डिफ्यूजन लैंग्वेज मॉडल (DLM) नामक एक नए प्रकार के आर्टिफिशियल इंटेलिजेंस के पीछे का मूल विचार है। पारंपरिक AI के विपरीत, जो एक वाक्य को इंसान की तरह टाइप करता है (एक बार में एक शब्द, पीछे मुड़कर देखे बिना), DLMs एक खाली, मास्क किए गए पन्ने से शुरू होते हैं और शब्दों को चरण-दर-चरण प्रकट करने के लिए उन्हें "डिनोइज़" (शोर हटाना) करते हैं, जबकि वे पूरे वाक्य को एक साथ देखते हैं। यह एक सुपरपावर जैसा लगता है: यदि आप शुरुआत में कोई गलती (typo) करते हैं, तो एक पारंपरिक AI भ्रमित हो सकता है और बेतुकी बातों के चक्रव्यूह में फंस सकता है, लेकिन एक DLM, पूरी तस्वीर को देखते हुए, सैद्धांतिक रूप से अपनी गलतियों को खुद ठीक कर लेना चाहिए। लेकिन यहाँ बड़ा सवाल यह है: क्या ये मॉडल वास्तव में चीजें खराब होने पर अधिक मजबूत और स्मार्ट होते हैं, या यह केवल एक अच्छा सिद्धांत है?
इस अध्ययन में, शोधकर्ताओं ने इन "सुपर-रोबस्ट" डिफ्यूजन मॉडल्स को उनके पारंपरिक, शब्द-दर-शब्द वाले चचेरे भाइयों के खिलाफ परखने के लिए दो जोड़े रखे। उन्होंने केवल उनसे कविताएँ लिखने के लिए नहीं कहा; उन्होंने उन पर सब कुछ आज़माया: स्पेलिंग की गलतियाँ, बिखरे हुए शब्द, कीबोर्ड की अजीब गलतियाँ, और यहाँ तक कि कठिन गणित के सवाल भी। वे यह देखना चाहते थे कि क्या नया डिफ्यूजन स्टाइल वास्तव में त्रुटियों के खिलाफ एक जादुई ढाल है, या क्या मॉडल पुराने मॉडल्स की तरह ही नाजुक थे, बस अलग तरीकों से।
महान मजबूती की परीक्षा (The Great Robustness Test)
शोधकर्ताओं ने एक निष्पक्ष मुकाबला तैयार किया। उन्होंने एक डिफ्यूजन मॉडल को एक पारंपरिक मॉडल के साथ जोड़ा जिसके पास बिल्कुल समान संख्या में मस्तिष्क कोशिकाएं (पैरामीटर्स) थीं, जैसे कि एक LLaDA-8B डिफ्यूजन मॉडल की तुलना LLaMA-3-8B पारंपरिक मॉडल से करना, और एक Dream-7B डिफ्यूजन मॉडल की तुलना Qwen2.5-7B पारंपरिक मॉडल से करना। फिर उन्होंने इन मॉडल्स को 32 अलग-अलग प्रकार के "शोर" (noise) के अधीन किया, जिसमें दो अक्षरों को बदलना (जैसे "the" के बजाय "teh" टाइप करना) से लेकर पूरे शब्दों को हटाना या अन्य लिपियों के दिखने वाले अक्षरों का उपयोग करना शामिल था।
परिणाम एक कहानी के मोड़ (plot twist) की तरह थे। यह विचार कि डिफ्यूजन मॉडल्स स्वाभाविक रूप से अधिक मजबूत होते हैं, एक मिथक साबित हुआ। यह आर्किटेक्चर नहीं था जिसने काम बनाया; बल्कि यह विशिष्ट प्रशिक्षण (training) था। एक डिफ्यूजन मॉडल (LLaDA) वास्तव में अपने पारंपरिक प्रतिद्वंद्वी की तुलना में बहुत अधिक मजबूत था, जिसने शोर को बहुत अच्छे से संभाला। लेकिन दूसरे डिफ्यूजन मॉडल (Dream) ने अपने प्रतिद्वंद्वी को मात नहीं दी; कुछ मामलों में, इसने वास्तव में और भी खराब प्रदर्शन किया। शोधकर्ताओं ने पाया कि मजबूती मॉडल के विशिष्ट वेट्स (weights) और ट्रेनिंग डेटा पर निर्भर करती है, न कि केवल इस बात पर कि वह डिफ्यूजन का उपयोग करता है। यदि आप एक मजबूत मॉडल चाहते हैं, तो आप केवल एक डिफ्यूजन मॉडल नहीं चुन सकते; आपको सही डिफ्यूजन मॉडल चुनना होगा।
अति-आत्मविश्वासी आशावादी (The Overconfident Optimist)
हालाँकि, एक ऐसा गुण था जो हर डिफ्यूजन मॉडल में साझा था, और वह खतरनाक था: अति-आत्मविश्वास (overconfidence)। जब ये मॉडल गलतियाँ करते थे, तो वे केवल विफल नहीं होते थे; वे पूर्ण निश्चितता के साथ विफल होते थे। जबकि एक पारंपरिक मॉडल किसी स्पेलिंग की गलती को देखकर कम आत्मविश्वास दिखा सकता है (यह कहते हुए कि, "मुझे इस बारे में यकीन नहीं है"), डिफ्यूजन मॉडल्स अपना आत्मविश्वास ऊँचा रखते थे, अक्सर 100% के करीब, भले ही वे गलत उत्तर दे रहे हों।
एक छात्र की कल्पना करें जो परीक्षा दे रहा है और एक प्रश्न का गलत उत्तर देता है लेकिन हाथ उठाकर चिल्लाता है, "मुझे 100% यकीन है कि यह सही उत्तर है!" वह इन मॉडल्स का खतरा है। वास्तविक दुनिया में, यदि कोई मॉडल आत्मविश्वास के साथ गलत होता है, तो त्रुटि को पकड़ना उस स्थिति की तुलना में बहुत कठिन होता है जब वह घबराया हुआ और अनिश्चित हो। अध्ययन ने दिखाया कि भारी शोर के बावजूद, डिफ्यूजन मॉडल्स अडिग रूप से आत्मविश्वासी रहे, जिससे उनके आउटपुट पर भरोसा करना एक "खतरा" बन गया।
"ठीक नहीं कर सकते" की खोज (The "Can't Fix It" Discovery)
इस शोध का सबसे दिलचस्प हिस्सा यह था कि ये मॉडल्स क्यों विफल हो रहे थे। शोधकर्ताओं ने यह देखने के लिए कि अंदर क्या हो रहा है, एक विशेष "मैकेनिस्टिक प्रोब" (AI के मस्तिष्क के लिए एक्स-रे की तरह) का उपयोग किया। उन्होंने पाया कि यह बहुत आश्चर्यजनक था: मॉडल्स वास्तव में जानते थे कि इनपुट दूषित (corrupted) है।
जब उन्होंने आंतरिक संकेतों को देखा, तो मॉडल्स स्पेलिंग की गलतियों और त्रुटियों को 93% से अधिक सटीकता के साथ पहचान सकते थे। मॉडल की "आंखें" पूरी तरह से काम कर रही थीं; उन्होंने शोर को स्पष्ट रूप से देखा। समस्या यह नहीं थी कि वे गलती देख नहीं सकते थे; समस्या यह थी कि वे उसे अनदेखा नहीं कर सके। एक बार जब शोर सिस्टम में प्रवेश कर गया, तो मॉडल का "डिकोडर" (वह हिस्सा जो तय करता है कि आगे क्या कहना है) उसे फ़िल्टर करने में विफल रहा। यह एक ऐसे शेफ की तरह था जो पूरी तरह से सूंघ सकता है कि कोई सामग्री खराब है, लेकिन फिर भी उसके साथ खाना बनाना जारी रखता है क्योंकि उसे पता नहीं है कि कैसे रुकना है।
चूंकि समस्या "खाना बनाने" के चरण (decoding) में थी न कि "सूंघने" के चरण (input) में, इसलिए शोधकर्ताओं ने एक चतुर समाधान आज़माया: उन्होंने मॉडल शुरू करने से पहले इनपुट को साफ करने की कोशिश की। उन्होंने इनपुट प्रॉम्प्ट मास्किंग (IPM) नामक एक तकनीक का उपयोग किया, जो मॉडल द्वारा देखे जाने से पहले स्पेलिंग की गलतियों को पहचानने और छिपाने की कोशिश करती थी। लेकिन क्या हुआ अंदाज़ा लगाइए? यह काम नहीं आया। इनपुट को साफ करने से मॉडल्स अधिक मजबूत नहीं बने। इससे यह साबित हुआ कि आप समस्या को ठीक करने के लिए केवल इनपुट को पैच (patch) नहीं कर सकते; सुधार उस तरीके में होना चाहिए जिससे मॉडल टेक्स्ट जेनरेट करता है।
प्रतिकूल आश्चर्य (The Adversarial Surprise)
हालाँकि, एक सकारात्मक पक्ष भी था। जब शोधकर्ताओं ने मॉडल्स को "एडवर्सरियल अटैक्स" (adversarial attacks) के साथ चकमा देने की कोशिश की—विशेष रूप से, मॉडल को कुछ ऐसा कहने के लिए मजबूर करने के लिए अंत में एक अजीब टेक्स्ट जोड़ना जो उसे नहीं कहना चाहिए—तो डिफ्यूजन मॉडल्स आश्चर्यजनक रूप से कठिन साबित हुए। पारंपरिक मॉडल्स इन हमलों के सामने टूट गए, लेकिन डिफ्यूजन मॉडल्स ने उनका प्रतिरोध किया।
क्यों? पता चला कि डिफ्यूजन मॉडल्स का आंतरिक परिदृश्य "ऊबड़-खाबड़" (jagged) और अराजक है। जब कोई हमलावर मॉडल को धोखा देने के लिए रास्ता खोजने की कोशिश करता है, तो वह रास्ता लगातार बदलता और घूमता रहता है, जिससे गलती तक पहुँचने का एक स्थिर मार्ग खोजना असंभव हो जाता है। यह एक ऐसे पहाड़ पर चढ़ने जैसा है जिसके पत्थर आपके हर कदम के साथ पुनर्गठित होते रहते हैं। हालांकि यह उन्हें सभी हमलों से सुरक्षित नहीं बनाता है, लेकिन यह उन्हें उन विशिष्ट ग्रेडिएंट-आधारित हमलों के प्रति स्वाभाविक रूप से प्रतिरोधी बनाता है जो पारंपरिक मॉडल्स को आसानी से मूर्ख बना देते हैं।
निष्कर्ष (The Bottom Line)
तो, मुख्य बात क्या है? डिफ्यूजन लैंग्वेज मॉडल्स कोई जादुई समाधान नहीं हैं जो स्वचालित रूप से AI को सुरक्षित या अधिक मजबूत बनाते हैं। वे एक नया उपकरण हैं जिसमें ताकत और कमजोरियों का एक अलग सेट है। वे कुछ प्रकार के हैकिंग प्रयासों का विरोध करने में स्वाभाविक रूप से अच्छे हैं क्योंकि उनका आंतरिक गणित अराजक है, लेकिन वे यह जानने में बहुत खराब हैं कि वे कब अनिश्चित हैं, और अक्सर अस्त-व्यस्त इनपुट होने पर भी आत्मविश्वास के साथ गलत उत्तर देते हैं।
शोधकर्ताओं ने निष्कर्ष निकाला कि हम इन मॉडल्स को बेहतर बनाने के लिए केवल "पैच" नहीं कर सकते। यदि हम चाहते हैं कि वे विश्वसनीय हों, तो हमें मौलिक रूप से यह बदलना होगा कि वे टेक्स्ट कैसे जेनरेट करना सीखते हैं, उन्हें लिखना शुरू करने के दौरान ही शोर को फ़िल्टर करना सिखाना होगा, न कि केवल शुरू करने से पहले। जब तक, हमें सावधान रहना होगा: एक डिफ्यूजन मॉडल जो आत्मविश्वास के साथ गलत है, उस पर भरोसा करना एक कठिन काम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।