Rethinking Reasoning with MDLMs: Early Exits, Post-hoc Reasoning, and Beyond
यह शोध पत्र मास्क्ड डिफ्यूजन लैंग्वेज मॉडल्स (MDLM) के लिए "रीज़निंग-एज़-इनफिलिंग" (reasoning-as-infilling) प्रस्तुत करता है, जो एक ऐसी तकनीक है जो उत्तर क्षेत्रों को स्पष्ट रूप से नामित करके अर्ली एग्जिट (early exits) और पोस्ट-हॉक रीज़निंग (post-hoc reasoning) जैसी अनूठी क्षमताओं को अनलॉक करती है, जो अंततः यह प्रदर्शित करती है कि MDLMs मानव-लिखित ट्रेसेस के तुलनीय रीज़निंग प्रदर्शन प्राप्त कर सकते हैं और ऑटोरेग्रेसिव मॉडल्स की तुलना में अधिक सटीक मध्यवर्ती चरण स्कोरिंग प्रदान कर सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक कठिन पहेली सुलझाना सिखाने की कोशिश कर रहे हैं। लंबे समय तक, रोबोट को सिखाने का सबसे अच्छा तरीका यह था कि उसे एक कहानी एक-एक शब्द करके पढ़ना सिखाया जाए, जहाँ वह अब तक पढ़े गए सब कुछ के आधार पर अगले शब्द का अनुमान लगाता है। यह उस छात्र की तरह है जो परीक्षा दे रहा है और उसे पंक्ति-दर-पंक्ति उत्तर लिखना है, उसे आगे देखने या पहले से लिखे गए शब्दों को बदलने की अनुमति नहीं है। हालाँकि यह तरीका कई चीजों के लिए अच्छा काम करता है, लेकिन इसमें एक दोष है: एक बार जब रोबोट एक गलत शब्द लिख देता है, तो वह उस गलती के साथ फंस जाता है, और वह अंतिम उत्तर को आसानी से "देख" नहीं पाता जब तक कि वह वहां तक पहुँचने के चरणों को समझ नहीं रहा होता।
हाल ही में, वैज्ञानिकों ने एक अलग प्रकार के रोबोट मस्तिष्क, जिसे "मास्क्ड डिफ्यूजन लैंग्वेज मॉडल" (MDLM) कहा जाता है, पर प्रयोग करना शुरू किया है। एक-एक शब्द करके पढ़ने के बजाय, कल्पना कीजिए कि रोबोट को एक ऐसा पन्ना दिया गया है जहाँ कुछ शब्दों को स्टिकी नोट्स (चिपकने वाले कागजों) से ढका गया है। उसका काम उन नोट्स के नीचे छिपे शब्दों का अनुमान लगाना है, लेकिन यहाँ जादू यह है कि वह पूरे पन्ने को एक साथ देख सकता है और सभी गायब शब्दों का अनुमान एक साथ, या किसी भी क्रम में लगा सकता है। यह एक पहेली की तरह है जहाँ आप कोनों को, बीच के हिस्से को, या किनारों को एक ही समय में भर सकते हैं। यह शोध पत्र पता लगाता है कि क्या यह "खाली स्थान भरने" वाला सोचने का तरीका पारंपरिक "एक-एक शब्द" वाले दृष्टिकोण की तुलना में गणित की समस्याओं और तार्किक पहेलियों को सुलझाने में बेहतर है। शोधकर्ता यह देखना चाहते थे कि क्या वे इस नए तरीके का उपयोग रोबोट को अधिक स्मार्ट, तेज़ और इस बात के प्रति ईमानदार बनाने के लिए कर सकते हैं कि वह कब उत्तर जानता है।
ज़ैचरी होर्विट्ज़ और राघव सिंघल के नेतृत्व में शोधकर्ताओं ने एक चतुर नया तरीका प्रस्तावित किया है जिसे "रीज़निंग-एज़-इनफिलिंग" (तर्क-भरना) कहा जाता है। केवल रोबोट से "सोचने और फिर उत्तर देने" के लिए कहने के बजाय, वे उसे एक टेम्पलेट देते हैं जिसमें विशिष्ट बॉक्स होते हैं: सोचने के चरणों के लिए एक बड़ा बॉक्स और अंत में एक छोटा, स्पष्ट रूप से चिह्नित बॉक्स जो अंतिम उत्तर के लिए है। फिर वे सोचने से पहले ही उत्तर वाले बॉक्स को भर देते हैं। यह उल्टा लग सकता है, लेकिन यह सुपरपावर अनलॉक करता है।
पहला, क्योंकि रोबोट को पता है कि उत्तर वाला बॉक्स कहाँ है, वह सोचने के चरणों को लिखते समय अपने स्वयं के आत्मविश्वास पर नज़र रख सकता है। यदि रोबोट उस बॉक्स के भीतर उत्तर के बारे में बहुत आश्वस्त हो जाता है, तो वह तुरंत सोचना बंद कर सकता है और परिणाम दे सकता है। शोध पत्र दिखाता है कि GSM8k नामक गणित परीक्षण पर, यह "अर्ली एग्जिट" (जल्दी बाहर निकलना) रणनीति रोबटेज को सटीकता में लगभग बिना किसी कमी के 1.3 गुना तेज़ी से काम पूरा करने में मदद करती है। अन्य गति बढ़ाने वाले तरीकों के साथ मिलकर, यह 4 गुना तेज़ भी हो सकता है। यह एक ऐसे छात्र की तरह है जिसे निबंध लिखने के बीच में ही एहसास होता है कि वह पहले से ही निष्कर्ष जानता है, इसलिए वह बस अंतिम वाक्य लिखता है और परीक्षा जमा कर देता है।
दूसरा, यह तरीका "पोस्ट-हॉक रीज़निंग" (बाद में तर्क करना) की अनुमति देता है। आमतौर पर, यदि कोई रोबोट गणित की समस्या गलत करता है, तो उसे सोचने का सही तरीका सिखाना कठिन होता है क्योंकि उसे अभी तक उत्तर नहीं पता होता। लेकिन इस नए तरीके के साथ, यदि आप रोबोट को पहले सही उत्तर दे देते हैं, तो वह वहाँ तक पहुँचने के लिए एक सटीक, चरण-दर-चरण स्पष्टीकरण बनाने के लिए पीछे की ओर काम कर सकता है। शोधकर्ताओं ने पाया कि इन "पीछे से उत्पन्न" स्पष्टीकरणों पर रोबोट को प्रशिक्षित करने से उसके गणित के स्कोर में 14.9% का सुधार हुआ। यह एक बहुत बड़ी छलांग है, जो उस सुधार के बराबर है जो आपको तब मिलता जब आप रोबोट को अध्ययन करने के लिए सटीक स्पष्टीकरण लिखने के लिए मनुष्यों को काम पर रखते। यह सुझाव देता है कि रोबोट अपने स्वयं के "भविष्य के ज्ञान" का उपयोग करके खुद को सिखा सकता है।
अंत में, यह पत्र दिखाता है कि यह तरीका रोबोट को चलते-चलते अपने काम का आकलन करने में मदद करता है। जैसे-जैसे रोबोट अपने सोचने के चरणों को लिखता है, वह लगातार जाँच सकता है: "यदि मैं अपने विचार को इस तरह पूरा करता हूँ, तो इसकी कितनी संभावना है कि मैं उस उत्तर तक पहुँच जाऊँगा जिसका मैं लक्ष्य रख रहा हूँ?" शोधकर्ताओं ने पाया कि यह स्व-जाँच स्कोर पारंपरिक रोबोटों द्वारा उत्पन्न स्कोर की तुलना में यह भविष्यवाणी करने में बहुत बेहतर है कि अंतिम उत्तर सही होगा या नहीं। जबकि पुराने-शैली के रोबोट अक्सर अंत तक नहीं जानते कि वे गलत हैं, यह नया रोबोट गलती को जल्दी पकड़ सकता है।
यह पत्र यह भी बताता है कि क्या काम नहीं करता है। उन्होंने रोबोट को पहेली के टुकड़ों को पूरी तरह से यादृच्छिक क्रम में भरने (जैसे बिना किसी पैटर्न के ऊपर-बाएँ कोने से नीचे-दाएँ कोने तक कूदना) के लिए टेस्ट किया। उन्होंने पाया कि गणित की समस्याओं के लिए, यह अराजक दृष्टिकोण वास्तव में रोबोट को उन्हें सुलझाने में बदतर बनाता है, जिससे अक्सर वह पहले गलत उत्तर का अनुमान लगा लेता है और फिर उसे सही ठहराने के लिए एक झूठी कहानी बनाने की कोशिश करता है। रोबोट को पटरी पर रहने के लिए थोड़े ढांचे की आवश्यकता होती है, जैसे कि "रीज़निंग बॉक्स" और "आंसर बॉक्स" टेम्पलेट।
संक्षेप में, यह पत्र सुझाव देता है कि हमें रोबोट को सोचने का तरीका बदलकर—उसे खाली पन्ने पर लिखने के बजाय एक टेम्पलेट भरने के लिए देकर—हम उसे तेज़, बेहतर सीखने वाला और अपने काम की जाँच करने में अधिक सक्षम बना सकते हैं। यह हर चीज़ का जादुई समाधान नहीं है, लेकिन यह स्मार्ट, अधिक कुशल तर्क करने वाली मशीनें बनाने का एक आशाजनक नया तरीका प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।