Can Transformers Really Do It All? On the Compatibility of Inductive Biases Across Tasks
यह शोधपत्र यह प्रदर्शित करता है कि जबकि मानक ट्रांसफॉर्मर विशिष्ट कार्यों के लिए शायद ही कभी इष्टतम होते हैं, उनकी गैर-रेखीयताओं (non-linearities) को अनुकूलित करना यह प्रकट करता है कि अत्यधिक कार्य-विशिष्ट आर्किटेक्चर एल्गोरिद्मिक कार्यों पर प्रदर्शन में महत्वपूर्ण सुधार कर सकते हैं, जबकि अधिक सार्वभौमिक रूप से संगत डिज़ाइन भाषा और कोड डोमेन में मामूली लाभ प्रदान करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को सोचना सिखाने की कोशिश कर रहे हैं। लंबे समय से, वैज्ञानिक इन रोबोटों के लिए एक ही बुनियादी ब्लूप्रिंट का उपयोग कर रहे हैं, जिसे "ट्रांसफॉर्मर" (Transformer) कहा जाता है। एक ट्रांसफॉर्मर को एक सार्वभौमिक स्विस आर्मी नाइफ (Swiss Army knife) की तरह समझें: इसमें उपकरणों का एक विशिष्ट सेट (गणितीय कार्य) है जो कविता लिखने से लेकर भाषाओं का अनुवाद करने तक, लगभग हर चीज़ के लिए आश्चर्यजनक रूप से अच्छा काम करता है। क्योंकि यह एक डिज़ाइन व्यापक रूप से काम करता है, इसलिए कई लोगों ने यह मानना शुरू कर दिया कि यह लगभग हर काम के लिए "सर्वश्रेष्ठ" उपकरण हो सकता है, और बेहतर परिणाम पाने का एकमात्र तरीका बस रोबोट को बड़ा बनाना और उसे अधिक डेटा खिलाना था।
हालाँकि, इसमें एक पेंच है। सिर्फ इसलिए कि एक स्विस आर्मी नाइफ बोतल खोल सकती है और रस्सी काट सकती है, इसका मतलब यह नहीं है कि वह दोनों कामों के लिए सबसे अच्छा उपकरण है। एक समर्पित कॉर्कस्क्रू (corkscrew) बोतलों को तेज़ी से खोलता है, और एक तेज़ शेफ नाइफ रस्सी को अधिक सफाई से काटता है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इन "सर्वश्रेष्ठ उपकरणों" को इंडक्टिव बायस (inductive biases) कहा जाता है। आप इंडक्टिव बायस को एक रोबोट की स्वाभाविक प्रवृत्ति या एक अंतर्निहित शॉर्टकट के रूप में समझ सकते हैं जो उसे किसी विशिष्ट प्रकार के पैटर्न को तेज़ी से सीखने में मदद करता है। बड़ा सवाल जो वैज्ञानिक पूछ रहे हैं वह यह है: क्या ट्रांसफॉर्मर की "स्विस आर्मी नाइफ" वाली प्रवृत्ति वास्तव में हर कार्य के लिए सबसे अच्छी है, या हम रोबोट को वे काम करने के लिए मजबूर कर रहे हैं जिन्हें करने के लिए वह स्वाभाविक रूप से डिज़ाइन नहीं किया गया है?
"क्या ट्रांसफॉर्मर वास्तव में सब कुछ कर सकते हैं?" (Can Transformers Really Do It All?) शीर्षक वाला यह शोध पत्र इस उत्तर को खोजने का प्रयास करता है। शोधकर्ताओं ने केवल अनुमान नहीं लगाया; उन्होंने यह देखने के लिए एक चतुर प्रयोग बनाया कि क्या वे विशिष्ट कार्यों के लिए एक "कस्टम टूल" (custom tool) डिज़ाइन कर सकते हैं। उन्होंने मानक ट्रांसफॉर्मर को लिया और उसके मुख्य "सोचने वाले" हिस्सों (गैर-रेखीय कार्य जो सूचना को संसाधित करने का निर्णय लेते हैं) को खाली स्लेटों (blank slates) से बदल दिया। फिर, उन्होंने कंप्यूटर को एक विशिष्ट कार्य के लिए, जैसे कि एक वीडियो गेम या गणित की समस्या, इन हिस्सों के लिए एकदम सही आकार सीखने दिया, जिसमें प्रशिक्षण का एक विशेष तरीका इस्तेमाल किया गया ताकि रोबोट केवल उत्तरों को रट न ले। एक बार जब उन्हें वह एकदम सही कस्टम आकार मिल गया, तो उन्होंने इसे स्थिर (freeze) कर दिया और परीक्षण किया कि वह नया डिज़ाइन अन्य कार्यों पर कितनी अच्छी तरह काम करता है।
परिणाम "वाह" और "ओह" का मिश्रण थे। जब शोधकर्ताओं ने एल्गोरिदम संबंधी कार्यों (algorithmic tasks) पर इन कस्टम डिज़ाइनों का परीक्षण किया—जैसे कि एक रोबोट को गणित करना, संख्याओं की सूची याद रखना, या यह जांचना कि कोष्ठक (parentheses) संतुलित हैं या नहीं—तो परिणाम नाटकीय थे। कस्टम रोबोटों ने इन कार्यों को 2 से 3 गुना तेज़ी से सीखा, वे बहुत अधिक स्थिर थे (वे बेतरतीब ढंग से विफल नहीं हुए), और वे उन लंबी अनुक्रमों (sequences) के लिए सामान्यीकरण (generalize) कर सके जिन्हें उन्होंने पहले नहीं देखा था। हालाँकि, इसमें एक बड़ा समझौता (trade-off) था: ये कस्टम डिज़ाइन अविश्वसनीय रूप से चयनात्मक थे। एक रोबोट जिसे गणित के लिए अनुकूलित किया गया था, वह सूचियों को याद रखने में बहुत खराब था, और इसके विपरीत भी। यह सामने आया कि इन तार्किक, नियम-आधारित कार्यों के लिए, मानक ट्रांसफॉर्मर वास्तव में काफी अनाड़ी है, और एक गणित की समस्या के लिए "परफेक्ट" टूल दूसरी गणित की समस्या के लिए बेकार है।
भाषा और कोड के मामले में कहानी अलग थी। जब उन्होंने कहानियाँ, शेक्सपियर के नाटक या कंप्यूटर कोड लिखने के लिए रोबोटों को अनुकूलित करने की कोशिश की, तो कस्टम डिज़ाइन मानक वाले से थोड़ा बेहतर प्रदर्शन करते थे, लेकिन सुधार छोटा और सुसंगत था। अधिक महत्वपूर्ण बात यह थी कि भाषा के लिए ये कस्टम डिज़ाइन बहुत अधिक लचीले थे; एक रोबोट जो अंग्रेजी के लिए अनुकूलित था, वह कंप्यूटर कोड को भी ठीक-ठाक तरीके से संभाल सकता था। यह सुझाव देता है कि भाषा के लिए, मानक ट्रांसफॉर्मर पहले से ही एक "लोकल ऑप्टिमम" (local optimum)—एक काफी अच्छी स्थिति जो बड़े बदलाव किए बिना बदलना कठिन है—के बहुत करीब है।
अंततः, यह शोध पत्र सुझाव देता है कि जबकि ट्रांसफॉर्मर एक शानदार सामान्य-उद्देश्य वाला उपकरण है, यह हर चीज़ के लिए पूर्ण समाधान नहीं है। गणित और एल्गोरिदम जैसे सख्त तार्किक कार्यों के लिए, मानक डिज़ाइन इष्टतम (optimal) से बहुत दूर है, और हमें उन नौकरियों के लिए बहुत अलग, विशिष्ट रोबोट बनाने की आवश्यकता हो सकती है। भाषा के लिए, मानक डिज़ाइन पहले से ही काफी अच्छा है, और हालांकि हम इसे थोड़ा बेहतर बनाने के लिए इसमें बदलाव कर सकते हैं, हम किसी विशाल छिपी हुई क्षमता को खो नहीं रहे हैं। निष्कर्ष यह है कि मानव कौशल के लिए एक भी "जादुई गोली" (magic bullet) आर्किटेक्चर नहीं है जो हर चीज़ के लिए पूर्ण हो; कभी-कभी, सर्वश्रेष्ठ परिणाम प्राप्त करने के लिए, हमें एक ही उपकरण को सब कुछ करने के लिए मजबूर करने के बजाय, विशिष्ट कार्य के लिए सही उपकरण डिज़ाइन करने की आवश्यकता होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।