Knowledge Editing in Masked Diffusion Language Models
यह शोध पत्र ऑटोरेग्रेसिव मॉडलों से मास्कड डिफ्यूजन मॉडलों में लोकेट-एंड-एडिट नॉलेज एडिटिंग विधियों की हस्तांतरणीयता की जांच करता है, जो यह प्रकट करता है कि हालांकि इष्टतम संपादन स्थान (एडिटिंग लोकेशन) सुसंगत रहता है, डिफ्यूजन मॉडल अन-ऑप्टिमाइज्ड इंटरमीडिएट स्टेट्स के कारण डिग्रेडेड मल्टी-टोकन एडिटिंग प्रदर्शन से ग्रस्त होते हैं—एक ऐसी सीमा जिसे प्रस्तावित सुधार द्वारा प्रभावी ढंग से संबोधित किया गया है जो इन स्टेट्स के लिए एडिट्स को ऑप्टिमाइज़ करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ एक सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करके पेपर की व्याख्या दी गई है।
बड़ी तस्वीर: एक रोबोट की याददाश्त को ठीक करना
कल्पना कीजिए कि आपके पास एक बहुत ही स्मार्ट रोबोट (एक लार्ज लैंग्वेज मॉडल) है जिसे लाखों तथ्य पता हैं। कभी-कभी, रोबोट गलतियाँ कर देता है—शायद वह सोचता है कि लियोनेल मेसी एफसी बार्सिलोना के लिए खेलते हैं, जबकि वास्तव में वे इंटर मियामी के लिए खेलते हैं।
आमतौर पर, इसे ठीक करने के लिए, आपको पूरे रोबोट को फिर से प्रशिक्षित (retrain) करना पड़ता है, जो एक घर में केवल एक बल्ब बदलने के लिए पूरे घर को फिर से बनाने जैसा है। यह महंगा और जोखिम भरा है। एक बेहतर तरीका, जिसे "लोकेट-देन-एडिट" (Locate-then-Edit) कहा जाता है, बिल्कुल वैसा ही है जैसे उस सटीक बल्ब को ढूँढना जो खराब है और बाकी घर को छुए बिना उसे बदल देना।
यह तरीका उन रोबोटों के लिए पूरी तरह से काम करता था जो इंसानों की तरह पढ़ते और लिखते हैं: बाएँ-से-दाएँ, एक बार में एक शब्द (जिसे ऑटोरेग्रेसिव मॉडल कहा जाता है)। लेकिन अब एक नए प्रकार के रोबोट का उदय हुआ है जो अलग तरह से काम करता है: यह दोनों दिशाओं में (बाएँ और दाएँ) पढ़ता है और एक साथ पूरे वाक्य का अनुमान लगाता है, और फिर प्याज की परतों को छीलने की तरह धीरे-धीरे शब्दों को प्रकट करता है (जिसे मास्क्ड डिफ्यूजन मॉडल कहा जाता है)।
बड़ा सवाल जो यह पेपर पूछता है, वह यह है: क्या "लाइटबल्ब बदलने" वाला यह तरीका इस नए प्रकार के रोबोट पर काम करता है?
भाग 1: अच्छी खबर ( "कहाँ" वही है)
शोधकर्ताओं ने पहले पूछा: रोबोट के दिमाग में तथ्य वास्तव में कहाँ संग्रहीत (store) हैं?
- पुराना रोबोट (बाएँ-से-दाएँ): उन्होंने पाया कि तथ्य एक विशिष्ट "फाइलिंग कैबिनेट" (दिमाग की एक विशिष्ट परत) में संग्रहीत होते हैं, जो विषय (जैसे, "लियोनेल मेसी") को पढ़ने के ठीक बाद आता है।
- नया रोबोट (प्याज की परतें छीलना): आश्चर्यजनक रूप बात यह है कि भले ही यह रोबोट अलग तरह से काम करता है, तथ्य उसी सटीक फाइलिंग कैबिनेट में संग्रहीत है।
उदाहरण: दो अलग-अलग प्रकार के शेफ की कल्पना करें। एक बर्तन में एक-एक करके सामग्री डालकर खाना बनाता है। दूसरा एक कटोरे में सब कुछ मिलाता है और फिर यह देखने के लिए धीरे-धीरे ढक्कन हटाता है कि क्या पक रहा है। भले ही उनकी खाना बनाने की शैलियाँ पूरी तरह से अलग हों, वे दोनों "स्पैगेटी" की गुप्त रेसिपी को उसी शेल्फ पर रखे एक ही समान मसाला जार में संग्रहीत करते हैं।
निष्कर्ष: "लोकेट-देन-एडिट" तरीका दोनों प्रकार के रोबोटों के लिए यह खोजने में बहुत अच्छा काम करता है कि बदलाव कहाँ करना है।
भाग 2: बुरी खबर ( "कैसे" टूट जाता है)
यहीं पर चीजें पेचीदा हो जाती हैं। हालांकि उन्होंने सही फाइलिंग कैबिनेट ढूँढ लिया था, लेकिन सुधार का परिणाम अलग था।
- छोटे उत्तर (1 शब्द): यदि आप "मेसी" को "मियामी" में बदलना चाहते हैं (एक शब्द), तो नया रोबट पूरी तरह से काम करता है।
- लंबे उत्तर (कई शब्द): यदि आप किसी तथ्य को एक लंबे वाक्यांश में बदलना चाहते हैं (जैसे, "फ्रांस की राजधानी पेरिस है" -> "फ्रांस की राजधानी ल्योन है"), तो नया रोबोट विफल होने लगता है। उत्तर जितना लंबा होता है, स्थिति उतनी ही खराब होती जाती है।
ऐसा क्यों होता है?
शोधकर्ताओं ने महसूस किया कि समस्या यह नहीं है कि हमने कहाँ सुधार किया, बल्कि यह है कि रोबोट उत्तर कैसे उत्पन्न करता है।
- पुराना रोबोट: यह एक-एक करके शब्द उत्पन्न करता है। जब वह "ल्योन" लिखता है, तो वह ठीक उसी मानसिक अवस्था में होता है जिसके लिए "सुधार" बनाया गया था।
- नया रोबोट: यह एक खाली, मास्क वाली स्क्रीन के साथ शुरू करता है। यह शब्दों को धीरे-धीरे प्रकट करता है।
- चरण 1: यह "L" को प्रकट करता है।
- चरण 2: यह "L" को देखता है और अगले अक्षर का अनुमान लगाने की कोशिश करता है।
- चरण 3: यह "Ly" को देखता है और अगले का अनुमान लगाने की कोशिश करता है।
उदाहरण: कल्पना कीजिए कि आप एक छात्र को वाक्य लिखना सिखा रहे हैं।
- पुराना रोबोट एक खाली पन्ने पर लिखने वाले छात्र की तरह है। आप उन्हें शुरुआत में एक संकेत देते हैं, और वे पूरा वाक्य लिखते हैं।
- नया रोबोट एक ऐसे छात्र की तरह है जो एक ऐसे पन्ने पर लिख रहा है जहाँ शब्दों को स्टिकी नोट्स (sticky notes) से ढका गया है। आप उन्हें बताते हैं, "ल्योन लिखें।"
- पहले, आप "L" पर लगे नोट को उठाते हैं। छात्र "L" लिखता है।
- अब, छात्र "L" को देखता है और बाकी का अनुमान लगाने की कोशिश करता है।
- समस्या: आपने छात्र को जो "सुधार" दिया था, वह केवल उस क्षण के लिए डिज़ाइन किया गया था जब पन्ना पूरी तरह से ढका हुआ था। इसने उसे यह नहीं सिखाया कि क्या करना है जब वह केवल "L" या "Ly" देखे और आगे बढ़ना हो। क्योंकि रोबोट को इन "आधे-लिखे" चरणों से गुजरना पड़ता है, इसलिए सुधार विफल हो जाता है।
भाग 3: समाधान (रोबोट को "बीच के" चरणों को सिखाना)
शोधकर्ताओं ने महसूस किया कि सुधार इसलिए विफल हुआ क्योंकि इसका अभ्यास केवल "पूरी तरह से ढके हुए" अवस्था पर किया गया था। उन्हें "आधे-ढके हुए" अवस्थाओं पर भी अभ्यास करने की आवश्यकता थी।
सुधार:
उन्होंने प्रशिक्षण प्रक्रिया में बदलाव किया। केवल रोबोट को यह सिखाने के बजाय कि जब उत्तर पूरी तरह से छिपा हो तो तथ्य को कैसे ठीक किया जाए, उन्होंने इसे प्रकट होने के प्रत्येक चरण में तथ्य को ठीक करना सिखाया।
- जब उत्तर 100% छिपा हो, तब सुधार करने का अभ्यास करें।
- जब 1 अक्षर प्रकट हो, तब सुधार करने का अभ्यास करें।
- जब 2 अक्षर प्रकट हों, तब सुधार करने का अभ्यास करें।
परिणाम:
इन "बीच के" चरणों को संभालने के लिए रोबोट को प्रशिक्षित करके, लंबे उत्तर अचानक फिर से काम करने लगे। रोबोट लंबे वाक्यांशों पर बुरी तरह विफल होने से बदलकर पुराने रोबोट के लगभग बराबर सफल होने लगा।
सारांश
- स्थान (Location): पुराने (बाएँ-से-दाएँ) और नए (डिफ्यूजन) रोबोट दोनों के लिए तथ्यों की "याददाश्त" एक ही जगह पर है।
- खराबी (The Glitch): नया रोबोट लंबे उत्तरों पर विफल हो जाता है क्योंकि "सुधार" केवल प्रक्रिया की शुरुआत के लिए प्रशिक्षित था, न कि बीच के चरणों के लिए जहाँ रोबोट आंशिक जानकारी के आधार पर अनुमान लगा रहा होता है।
- इलाज (The Cure): सुधार को अनुमान लगाने की प्रक्रिया के हर चरण (न कि केवल शुरुआत) में काम करने के लिए प्रशिक्षित करके, नया रोबोट लंबे, जटिल तथ्यों को सफलतापूर्वक अपडेट कर सकता है।
मुख्य बात: जब आप एक रोबोट के दिमाग को अपग्रेड करते हैं, तो आप केवल उस हिस्से को नहीं बदल सकते जहाँ स्मृति रहती है; आपको यह भी सुनिश्चित करना होगा कि नया रोबोट उस स्मृति का उपयोग तब भी कर सके जब वह एक लंबे उत्तर के माध्यम से "सोच" और "अनुमान" लगा रहा हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।