Mask-Based Priors Are More Persistent than Query-Key Initializations
यह शोध पत्र प्रदर्शित करता है कि एडिटिव अटेंशन मास्क (additive attention masks) को सीधे टास्क-लेवल इंटरेक्शन स्ट्रक्चर्स के साथ इनिशियलाइज़ करना, क्वेरी-की (query-key) इनिशियलाइज़ेशन की तुलना में अधिक स्थायी और प्रभावी इंडक्टिव बायस (inductive bias) प्रदान करता है, जिससे ट्रांसफॉर्मर्स को बूलियन रीजनिंग कार्यों पर लगभग पूर्ण एक्सट्रपलेशन (extrapolation) प्राप्त करने और कम-डेटा अंकगणित परिदृश्यों में बेहतर प्रदर्शन करने में सक्षम बनाया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को पहेलियाँ सुलझाना सिखा रहे हैं। आप उसे एक खेल खेलने के दस लाख उदाहरण दिखाते हैं, और वह इसमें बहुत माहिर हो जाता है। लेकिन फिर, आप उसे खेल का एक थोड़ा नया संस्करण खिलाने के लिए कहते हैं जो उसने पहले कभी नहीं देखा है। नए नियमों को समझने के बजाय, रोबोट एक "शॉर्टकट" ढूंढ लेता है—एक सरल तरकीब जो पुराने उदाहरणों के लिए काम करती थी लेकिन नए उदाहरणों के लिए पूरी तरह से गलत है। यह आर्टिफिशियल इंटेलिजेंस की दुनिया में एक प्रसिद्ध समस्या है, विशेष रूप से एक प्रकार के मस्तिष्क जैसे कंप्यूटर के लिए जिसे ट्रांसफॉर्मर (Transformer) कहा जाता है। ये उन आधुनिक एआई उपकरणों के इंजन हैं जो कहानियाँ लिखते हैं, गणित हल करते हैं, और चेहरे पहचानते हैं। वैज्ञानिकों ने खोजा है कि हालांकि ये रोबट देखे गए डेटा को याद करने में बहुत प्रतिभाशाली हैं, लेकिन वे अक्सर "एक्सट्रपलेशन" (extrapolate) करने में विफल रहते हैं, यानी नई स्थितियों में अपने ज्ञान को लागू करने में, क्योंकि वे वास्तविक उत्तर के बजाय सबसे सरल संभव उत्तर पर अटक जाते हैं।
बड़ा सवाल जो शोधकर्ता पूछ रहे हैं, वह यह है कि: हम रोबोट को शॉर्टकट लेने से कैसे रोकें? एक विचार यह है कि रोबोट को सीखने शुरू करने से पहले ही नियम सिखाकर उसे एक "हेड स्टार्ट" (शुरुआती बढ़त) देना। ट्रांसफॉर्मर की दुनिया में, इसे इंडक्टिव बायस (inductive bias) कहा जाता है। इसे एक जासूस को अपराध सुलझाने से पहले एक नक्शा देने जैसा समझें। यदि नक्शा सही है, तो जासूस अपराधी को जल्दी ढूंढ लेता है। यदि नक्शा गलत है, या यदि जासूस उसे अनदेखा कर देता है, तो वह खो जाता है। लंबे समय तक, वैज्ञानिकों ने इन रोबोट के आंतरिक "सेंसर" (जिन्हें क्वेरी और की प्रोजेक्शन कहा जाता है) को ट्यून करके ये नक्शे बनाने की कोशिश की ताकि वे स्वाभाविक रूप से सही सुरागों को देख सकें। लेकिन यह पता चला कि रोबोट डेटा से सीखने के लिए इतना उत्सुक है कि वह आपके द्वारा दिए गए नक्शे को जल्दी से भूल जाता है और वापस अपनी शॉर्टकट वाली आदतों पर लौट आता है।
यह शोध पत्र, जिसका शीर्षक "Mask-Based Priors Are More Persistent than Query-Key Initializations" है, इसी समस्या की गहराई में जाता है। शोधकर्ताओं, मिंगज़े मा (Mingze Ma) और उनकी टीम ने, जो ऑस्ट्रेलियन इंस्टीट्यूट फॉर मशीन लर्निंग से हैं, एक सरल लेकिन गहन प्रश्न पूछा: क्या कोई ऐसा तरीका है जिससे हम रोबोट को एक ऐसा नक्शा दे सकें जिसे वह भूल न सके? उन्होंने नक्शा बनाने के दो तरीकों का परीक्षण किया। पहला तरीका पुराना तरीका था: सेंसर को ट्यून करना। दूसरा तरीका एक नया, सरल दृष्टिकोण था: एक विशेष मास्क (mask) का उपयोग करके रोबोट के "अटेंशन" तंत्र पर सीधे नक्शा बनाना।
उन्होंने क्या पाया, यहाँ बताया गया है। जब उन्होंने पुराने तरीके (सेंसर को ट्यून करना) का उपयोग किया, तो रोबोट एक सही नक्शे के साथ शुरू तो करता था, लेकिन जैसे ही प्रशिक्षण शुरू हुआ, रोबोट ने उस नक्शे को मिटा दिया और अपने शॉर्टकट, गलत उत्तरों पर वापस आ गया। यह व्हाइटबोर्ड पर नोट लिखने जैसा था जिसे रोबोट तुरंत मिटा देता है। हालाँकि, जब उन्होंने नए मास्क-आधारित तरीके का उपयोग किया, तो नक्शा अपनी जगह पर बना रहा। उन्होंने सेंसर नहीं बदले; इसके बजाय, उन्होंने अटेंशन स्कोर में सीधे एक स्थायी, सीखने योग्य बायस—एक "धक्का" (nudge)—जोड़ा। यह धक्का इतना स्थायी था कि हजारों प्रशिक्षण चरणों के बाद भी, रोबोट नियमों को याद रखता था।
परिणाम नाटकीय थे। कठिन तर्क पहेलियों (जिन्हें बूलियन टास्क कहा जाता है) पर, जहाँ रोबोट आमतौर पर विफल रहता है, नए तरीके ने उसे अनदेखी समस्याओं पर लगभग 100% सही होने की अनुमति दी, जबकि पुराने तरीके 75% पर ही अटके रहे। यह ऐसा है जैसे रोबोट ने अंततः एक चीट-शीट याद करने वाले के बजाय एक इंसान की तरह सोचना सीख लिया हो। यह सफलता केवल तर्क पहेलियों के लिए नहीं थी; टीम ने इसका परीक्षण गणित की समस्याओं (जैसे बड़ी संख्याओं को जोड़ना और गुणा करना) और इमेज रिकग्निशन पर भी किया। हर मामले में, रोबोट ने तेजी से सीखा और कम गलतियाँ कीं, विशेष रूपकर तब जब उसके पास अध्ययन करने के लिए बहुत कम डेटा था।
यह शोध पत्र सुझाव देता है कि रहस्य केवल यह नहीं है कि आप रोबोट को क्या सिखाते हैं, बल्कि यह है कि आप उसे कहाँ सिखाते हैं। अटेंशन मास्क में संरचनात्मक नियमों को सीधे रखकर, न कि उन्हें जटिल सेंसर गणनाओं के भीतर छिपाकर, रोबोट उन नियमों को अपने मन में बनाए रखता है। लेखक दिखाते हैं कि यह सरल ट्रिक एक मजबूत लंगर (anchor) की तरह काम करती है, जो रोबोट की सीख को सही दिशा में थामे रखती है, भले ही नए डेटा की लहरें उसे रास्ते से भटकाने की कोशिश करें। हालाँकि यह AI की हर समस्या को हल नहीं करता है (और टीम स्वीकार करती है कि उन्हें नक्शा बनाने के लिए पहले से ही नियम जानने की आवश्यकता होती है), यह अधिक स्मार्ट, अधिक विश्वसनीय AI बनाने के लिए एक शक्तिशाली नया उपकरण प्रदान करता है जो वास्तव में अनुभव से सीख सकता है, न कि केवल याद रख सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।