Lost in Interpolation: Why Predictive Feedback Fails in Diffusion Language Models
यह शोध पत्र पहचानता है कि मौजूदा मास्क्ड डिफ्यूजन लैंग्वेज मॉडल्स में प्रयुक्त यूक्लिडियन लीनियर इंटरपोलेशन (Euclidean linear interpolation) उनके हाइपरस्फेरिकल एम्बेडिंग स्पेस के साथ ज्यामितीय रूप से मेल नहीं खाता है, और स्फेरिकल सॉफ्ट-मास्किंग (S-SM) का प्रस्ताव करता है, जो एक ऐसी विधि है जो स्फेरिकल लीनियर इंटरपोलेशन का उपयोग करती है और अभिसरण (convergence) को कम किए बिना जनरेटिव गुणवत्ता और परप्लेक्सिटी में महत्वपूर्ण सुधार करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को कहानी लिखना सिखाने की कोशिश कर रहे हैं, लेकिन उसे इंसान की तरह शब्द-दर-शब्द लिखने देने के बजाय, आप उसे एक खाली पन्ना देते हैं जहाँ हर शब्द एक "MASK" (मुखौटे) के पीछे छिपा हुआ है। रोबोट का काम पूरे पन्ने पर नज़र डालना, यह अनुमान लगाना कि खाली जगहों में कौन से शब्द होने चाहिए, और फिर उन्हें एक-एक करके धीरे-धीरे प्रकट करना है। एक "डिफ्यूजन लैंग्वेज मॉडल" (Diffusion Language Model) नामक AI इसी तरह काम करता है। यह "शब्द पहचानो" खेल के उलटे रूप जैसा है, जहाँ AI पूरी तरह से भ्रम की स्थिति से शुरू होता है और धीरे-धीरे तस्वीर को साफ करता जाता है।
इस खेल को तेज़ और स्मार्ट बनाने के लिए, शोधकर्ता "सॉफ्ट-मास्किंग" (soft-masking) नामक एक तरकीब का उपयोग करते हैं। इसके बजाय कि रोबोट सिर्फ यह कहे, "हाँ, मुझे यकीन है कि यह शब्द 'बिल्ली' है" या "नहीं, इसे मास्क ही रहने दो," वह कह सकता है, "मुझे 80% यकीन है कि यह 'बिल्ली' है और 20% यकीन है कि यह 'कुत्ता' है।" ये अनुमानों को मिलाकर वह अगले दौर के लिए एक नया, धुंधला संकेत बनाता है। बड़ा सवाल यह है कि: आप इन अनुमानों को गणितीय रूप से कैसे मिलाते हैं? अधिकांश लोग इसे पुराने ढंग से कर रहे थे, जैसे कि रोबोट का दिमाग एक सपाट, सीधी रेखा वाला नक्शा हो। लेकिन क्या होगा अगर रोबोट का दिमाग वास्तव में एक विशाल, घुमावदार ग्लोब (गोले) की तरह हो?
इंटरपोलेशन में खो जाने का रहस्य (The Lost in Interpolation Mystery)
इस शोध पत्र के लेखकों ने, जो भारतीय प्रौद्योगिकी संस्थान (IIT) रुड़की की एक टीम है, इन AI मॉडलों के भीतर के "दिमाग" के आकार की जांच करने का निर्णय लिया। उन्होंने पाया कि ये मॉडल जिस तरह से शब्दों को संग्रहीत करते हैं, वह कागज की एक सपाट शीट की तरह नहीं है; बल्कि यह एक गोले की सतह की तरह घुमावदार है।
इन मॉडल्स की शब्दावली को एक विशाल, अदृश्य ग्लोब के रूप में सोचें। हर शब्द उस गेंद की सतह पर एक बिंदु है। जब AI कोई अनुमान लगाता है, तो वह उस ग्लोब पर एक स्थान की ओर इशारा कर रहा होता है। समस्या यह है कि अनुमानों को मिलाने का मानक तरीका (जिसे "लीनियर इंटरपोलेशन" या LERP कहा जाता है) ग्लोब के साथ एक सपाट मानचित्र की तरह व्यवहार करता है। यदि आप एक सपाट मानचित्र पर दो शहरों के बीच एक सीधी रेखा खींचते हैं, तो आप पृथ्वी के केंद्र के माध्यम से कट सकते हैं। लेकिन यदि आप ग्लोब की सतह पर चल रहे हैं, तो आपको जमीन के घुमाव का अनुसरण करना होगा। शोध पत्र दिखाता है कि मानक विधि AI को पृथ्वी के केंद्र के माध्यम से चलने के लिए मजबूर करती है, जो एक अजीब, अप्राकृतिक रास्ता है जो मॉडल को भ्रमित करता है और उसकी गति धीमी कर देता है।
"इंटरपोलेशन में खो जाने" की खोज (The "Lost in Interpolation" Discovery)
शोधकर्ताओं ने पाया कि जब AI पुराने, सपाट-रेखा वाले तरीके का उपयोग करके अपने अनुमानों को मिलाता है, तो वह "खो" जाता है। उन्होंने "मास्क किए गए" (खाली) राज्य और "अनुमानित" (अनुमान) राज्य के बीच के कोण को मापा और पाया कि यह पूरे प्रशिक्षण प्रक्रिया के दौरान 73 डिग्री पर स्थिर रहता है। उन्होंने यह भी देखा कि शब्द वेक्टर्स का "आकार" (या नॉर्म) लगभग एक समान रहता है, चाहे शब्द कितना भी सामान्य या दुर्लभ क्यों न हो। ये दो सुराग इस बात के प्रमाण हैं कि AI एक हाइपरस्फीयर (एक बहु-आयामी गेंद) पर चल रहा है, न कि एक सपाट तल पर।
चूँकि AI एक गोले पर रहता है, इसलिए लेखक तर्क देते हैं कि जानकारी को मिलाने के लिए सीधी रेखाओं का उपयोग करना गलत उपकरण है। यह न्यूयॉर्क और लंदन के बीच की दूरी को ग्लोब के चारों ओर लिपटे हुए धागे के बजाय मेज पर रखे रूलर (पैमाने) से मापने जैसा है।
समाधान: स्फेरिकल सॉफ्ट-मास्किंग (S-SM)
इसे ठीक करने के लिए, टीम ने एक नया तरीका बनाया जिसे स्फेरिकल सॉफ्ट-मास्किंग (S-SM) कहा जाता है। सीधी रेखा के माध्यम से अनुमानों को मिलाने के बजाय, S-SM AI को ग्लोब की सतह पर चलने के लिए मजबूर करता है।
उन्होंने इसे इस प्रकार किया:
- ग्लोब की सैर (The Globe Walk): अनुमानों को सीधी रेखा में औसत निकालने के बजाय, उन्होंने ग्लोब की सतह पर औसत स्थान खोजने के लिए "फ्रेचेट मीन" (Fréchet mean) नामक एक विशेष गणितीय तकनीक का उपयोग किया।
- घुमावदार मिश्रण (The Curved Blend): उन्होंने SLERP (स्फेरिकल लीनियर इंटरपोलेशन) नामक एक तकनीक का उपयोग किया। कल्पना कीजिए कि एक गुब्बारे पर दो बिंदुओं के बीच एक धागा कसकर खींचा गया है; SLERP गुब्बारे के घुमाव के साथ उस धागे का अनुसरण करता है, कभी भी सतह को नहीं छोड़ता।
- परिणाम: उन्होंने इस नई विधि का परीक्षण 169-मिलियन-पैरामीटर वाले एक AI मॉडल पर किया। परिणाम प्रभावशाली थे। नया तरीका न केवल काम कर गया; बल्कि यह बेहतर भी साबित हुआ।
आंकड़े क्या कहते हैं
टीम ने अपने नए S-SM तरीके को पुराने मानक (TopK/LERP) और बिना किसी फीडबैक वाले संस्करण के विरुद्ध परखा। उन्होंने अलग-अलग "सोचने के समय" (जिसे NFE बजट कहा जाता है, जो 64 से 512 स्टेप्स तक है) के साथ इसका परीक्षण किया।
- बेहतर गुणवत्ता: नए तरीके ने ऐसा टेक्स्ट तैयार किया जो मानव लेखन के बहुत करीब था। उन्होंने इसे MAUVE नामक स्कोर का उपयोग करके मापा। उच्च बजट (जैसे 512 स्टेप्स) पर, S-SM ने पुराने तरीके की तुलना में MAUVE स्कोर में 2 गुना तक सुधार किया, और मानक TopK/LERP दृष्टिकोण की तुलना में 27.5% से 56.1% का सुधार दिखाया।
- कम गलतियाँ: AI ने कम भ्रमित करने वाली त्रुटियाँ कीं। "जेनरेटिव परप्लेक्सिटी" (एक माप कि AI अपने स्वयं के टेक्स्ट से कितना हैरान है) पुराने बेसलाइन की तुलना में 16.9% से 19.6% तक गिर गई।
- कोई समझौता नहीं: आमतौर पर, जब आप AI को स्मार्ट बनाते हैं, तो वह कम रचनात्मक हो जाता है (वह खुद को दोहराने लगता है)। लेकिन लेखकों ने पाया कि S-SM ने पुराने तरीकों की तरह ही "एन्ट्रॉपी" (रचनात्मकता और यादृच्छिकता का माप) को बिल्कुल समान रखा। यह स्मार्ट बना, लेकिन उबाऊ नहीं हुआ।
पुराना तरीका क्यों विफल हुआ
यह शोध पत्र स्पष्ट रूप से इस विचार को खारिज करता है कि सपाट, सीधी-रेखा वाली विधि केवल "ठीक" या "पर्याप्त रूप से अच्छी" है। डेटा सुझाव देता है कि यह इस प्रकार के AI के लिए मौलिक रूप से गलत है। जब शोधकर्ताओं ने "कॉन्फिडेंस वेट" (एक संख्या जिसे AI यह तय करने के लिए सीखता है कि वह अपने अनुमानों पर कितना भरोसा करे) को देखा, तो उन्होंने कुछ दिलचस्प पाया। नए S-SM पद्धति के तहत, AI ने अपने ज्यामितीय फीडबैक पर बहुत अधिक भरोसा करना सीखा, जो लगभग 0.056 पर स्थिर हुआ, जबकि पुराने तरीके ने केवल 0.030 पर भरोसा किया। यह सुझाव देता है कि जब AI को पृथ्वी के केंद्र के माध्यम से चलने के लिए मजबूर नहीं किया गया, तो उसने अधिक "आत्मविश्वास" महसूस किया।
निष्कर्ष
यह शोध पत्र केवल एक नया विचार ही नहीं सुझाता है; यह इस बात के पुख्ता सबूत भी देता है कि AI के मस्तिष्क की ज्यामिति गोलाकार है, और हम गलत गणित का उपयोग कर रहे थे। सीधी रेखाओं के बजाय घुमावदार पथों (SLERP) का उपयोग करके, लेखकों ने दिखाया कि हम इन मॉडलों को बेहतर और तेज़ टेक्स्ट जेनरेट करने के योग्य बना सकते हैं, बिना उनकी चमक खोए। यह हमें याद दिलाता है कि कभी-कभी, आगे बढ़ने के लिए, आपको सीधी रेखा में चलना बंद करना होगा और वक्र (curve) का अनुसरण करना शुरू करना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।