Lost in Diffusion: Uncovering Hallucination Patterns and Failure Modes in Diffusion Large Language Models
यह शोध पत्र पहला नियंत्रित अध्ययन प्रस्तुत करता है जो यह प्रकट करता है कि डिफ्यूजन लार्ज लैंग्वेज मॉडल्स (dLLMs), सामान्य कार्यों पर अपने प्रदर्शन के बावजूद, ऑटोरिग्रेसिव समकक्षों की तुलना में उच्च मतिभ्रम (hallucination) दर और विशिष्ट विफलता मोड प्रदर्शित करते हैं, जो महत्वपूर्ण विश्वसनीयता चुनौतियों को उजागर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कहानी लिखने की कोशिश कर रहे हैं।
पुराना तरीका (ऑटो-रिग्रेसिव मॉडल्स):
वर्तमान लोकप्रिय AI मॉडल्स (जैसे कि आज के अधिकांश चैटबॉट्स को चलाने वाले मॉडल) को डोमिनोज़ की एक सख्त कतार के रूप में सोचें। कहानी लिखने के लिए, उन्हें एक के बाद एक पहला डोमिनो, फिर दूसरा, फिर तीसरा रखना होगा। यदि वे दूसरे डोमिनो पर गलती करते हैं, तो तीसरा डोमिनो गलत दिशा में गिर सकता है, और अंत तक, पूरी कहानी एक गड़बबड़ बन जाएगी। इसे "स्नोबॉल इफेक्ट" कहा जाता है—एक छोटी सी गलती एक बड़े झूठ में बदल जाती है।
नया तरीका (डिफ्यूजन मॉडल्स):
अब, एक नए प्रकार के AI के बारे में सोचें जिसे डिफ्यूजन लार्ज लैंग्वेज मॉडल (dLLM) कहा जाता है। डोमिनोज़ को एक-एक करके रखने के बजाय, कल्पना करें कि यह AI स्थिर शोर के एक बादल (जैसे टीवी स्क्रीन पर दिखने वाला 'स्नो' या स्टैटिक) से शुरू होता है और उस शोर को एक साथ आपकी कहानी की एक स्पष्ट तस्वीर में बदलने की कोशिश करता है। यह पूरे पन्ने को देखता है, अनुमान लगाता है कि कौन से शब्द कहाँ होने चाहिए, और फिर कहानी को कई छोटे चरणों में "डिनोइज़" (शोर हटाकर साफ करना) करता है जब तक कि कहानी उभर कर सामने न आ जाए।
सैद्धांतिक रूप से, यह अद्भुत लगता है। क्योंकि AI एक ही समय में पूरी कहानी को देख सकता है, इसलिए इसे गलतियों को सुधारना आसान होना चाहिए, है ना? यदि यह बीच में एक गलत शब्द लिखता है, तो यह बाकी हिस्से को खराब किए बिना पीछे जाकर उसे ठीक कर सकता है।
बड़ी खोज: "लॉस्ट इन डिफ्यूजन" (डिफ्यूजन में खो जाना)
शोधकर्ताओं ने एक सरल प्रश्न पूछा: "क्या यह नया 'क्लाउड-टू-टेक्स्ट' तरीका वास्तव में सच बोलने में बेहतर है, या यह बस अलग और अजीब तरीकों से झूठ बोलता है?"
उन्होंने एक नियंत्रित प्रयोग किया, जिसमें उन्होंने एक ही मस्तिष्क आकार (brain size) और प्रशिक्षण डेटा का उपयोग करके नए डिफ्यूजन मॉडल्स की तुलना पुराने "डोमिनो" मॉडल्स से की। यहाँ उन्होंने जो पाया, उसे सरल भाषा में समझाया गया है:
1. नए मॉडल्स अधिक झूठ बोलते हैं (आश्चर्यजनक रूप से!)
भले ही डिफ्यूजन मॉडल्स के पास पूरी कहानी का "बर्ड्स-आई व्यू" (विहंगम दृश्य) है, वे पुराने डोमिनो मॉडल्स की तुलना में हैलुसिनेशन (भ्रम या मनगढ़ंत बातें बनाने) के प्रति अधिक प्रवृत्त हैं।
- उपमा: कल्पना कीजिए कि एक चित्रकार कैनवास पर अपनी गलती सुधारने की कोशिश कर रहा है। पुराना मॉडल एक स्ट्रोक लगाता है, महसूस करता है कि वह गलत है, और उसे ढकने की कोशिश करता है, लेकिन पेंट फैल जाता है। नया मॉडल एक ही बार में पूरी पेंटिंग को ठीक करने की कोशिश करता है, लेकिन क्योंकि वह "शोर" (noise) के साथ काम कर रहा है, इसलिए वह कभी-कभी चित्र को संतुलित दिखाने के लिए जंगल के बीच में एक बिल्कुल नया, नकली पेड़ बना देता है।
2. विफल होने के दो अलग तरीके
शोध में पाया गया कि ये नए मॉडल, उनके निर्माण के आधार पर, दो बहुत ही अलग तरीकों से विफल होते हैं:
- "रिजिड" (कठोर) मॉडल (LLaDA): यह मॉडल पुराने डोमिनोज़ की तरह होने की कोशिश करता है लेकिन नई शोर-हटाने वाली तकनीक का उपयोग करता है। यह जल्दी फंस जाता है। यह कहानी को बाएं-से-दाएं लिखना शुरू करता है, भ्रमित हो जाता है, और फिर बस रुक जाता है या खुद को दोहराने लगता है। यह एक ऐसी कार की तरह है जो चलना शुरू करती है, एक झटके से टकराती है, और फिर उसका इंजन बंद हो जाता है।
- "केओटिक" (अराजक) मॉडल (Dream): यह वास्तव में गैर-क्रमिक (non-sequential) है। यह वाक्य की शुरुआत से पहले उसके अंत को ठीक करने के लिए पन्ने पर इधर-उधर कूदता है। हालांकि यह इसे बेहतर बनाता है यदि आप इसे अधिक समय ("कंप्यूट") दें, लेकिन यह अक्सर विचलित (distracted) हो जाता है।
- उपमा: कल्पना कीजिए कि आप अपनी दादी को एक पत्र लिख रहे हैं। अचानक, AI के मन में गणित के समीकरण या कोडिंग ट्यूटोरियल का एक विचार आता है और वह आपके पत्र के बीच में वह लिखने लगता है, आपके मूल अनुरोध को अनदेखा कर देता है। इसे "कॉन्टेक्स्ट इंट्रूज़न" (संदर्भ घुसपैठ) कहा जाता है।
3. तीन अजीब गड़बड़ियाँ (Glitches)
शोधकर्ताओं ने तीन विशिष्ट "गड़बड़ियों" की पहचान की जो केवल इस नए डिफ्यूजन तरीके के साथ होती हैं:
- समय से पहले समाप्त होना (Premature Termination): AI भ्रमित हो जाता है कि वाक्य के दो हिस्से एक-दूसरे में कैसे फिट बैठते हैं और बस हार मान लेता है, जिससे वाक्य अचानक कट जाता है या अजीब प्रतीक आ जाते हैं।
- रूपक: जैसे एक शेफ जो सूप बनाना शुरू करता है, महसूस करता है कि सामग्री मेल नहीं खा रही है, और बस बर्तन को फर्श पर पटक देता है।
- अधूरा डिनोइज़िंग (Incomplete Denoising): AI शब्दों के "भूत" (ghosts) छोड़ देता है। यह ऐसा वाक्य लिख सकता है जो अंग्रेजी जैसा दिखता है लेकिन वास्तव में केवल बड़बड़ाहट या दोहराए गए अक्षर (जैसे "erserserserser") है।
- रूपक: जैसे कोई फोटो जिसके कोने अभी भी धुंधले हों, या एक रेडियो सिग्नल जो आधे स्टैटिक (शोर) जैसा हो।
- कॉन्टेक्स्ट इंट्रूज़न (Context Intrusion): जैसा कि ऊपर बताया गया है, AI किसी रैंडम विषय द्वारा हाईजैक हो जाता है।
- रूपक: आप केक की रेसिपी मांगते हैं, और बीच में ही AI एक पुल बनाने के बारे में समझाने लगता है।
मुख्य निष्कर्ष
शोधपत्र निष्कर्ष निकालता है कि हालांकि ये नए डिफ्यूजन मॉडल्स सामान्य टेक्स्ट लिखने में बहुत अच्छे हो रहे हैं, लेकिन तथ्यों के मामले में वे वर्तमान में पुराने मॉडल्स की तुलना में कम विश्वसनीय हैं।
उन्होंने "हैलुसिनेशन" की समस्या को हल नहीं किया है; उन्होंने बस "हैलुसिनेशन" के प्रकार को बदल दिया है। एक छोटी गलती करने के बजाय जो बड़ी होती जाती है, वे अजीब, संरचनात्मक गलतियाँ करते हैं जिन्हें समझना कठिन है।
सीख:
इन नए डिफ्यूजन मॉडल्स को एक प्रतिभावान लेकिन अराजक कलाकार के रूप में समझें। वे पूरी तस्वीर देख सकते हैं, जो कि बहुत अच्छी बात है, लेकिन वे वर्तमान में बहुत शोर भरे और unrelated विषयों के बारे में दिवास्वप्न देखने के प्रति प्रवृत्त हैं। इससे पहले कि हम उन्हें महत्वपूर्ण तथ्यों (जैसे चिकित्सा सलाह या समाचार) के लिए भरोसेमंद बना सकें, हमें उन्हें दिवास्वप्न देखना बंद करने और कहानी पर टिके रहने के लिए प्रशिक्षित करना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।