Putting Transformer Theories to the Test
यह शोध पत्र ट्रांसफार्मर क्षमताओं के सात औपचारिक सिद्धांतों का मूल्यांकन करने के लिए उनके भविष्यवाणियों को कार्यों के एक समूह और प्रयोगात्मक परिणामों के विरुद्ध मैप करता है, यह पाते हुए कि कोई भी एकल सिद्धांत प्रेक्षित व्यवहारों की पूरी तरह से व्याख्या नहीं करता है और एक नए ढांचे की आवश्यकता पर प्रकाश डालता है जिसमें सॉफ्ट अटेंशन (soft attention), गतिशील सामग्री-निर्भर रिट्रीवल (dynamic content-dependent retrieval) और सीखने की क्षमता (learnability) शामिल हो।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, 'ट्रांसफॉर्मर' नामक एक विशिष्ट प्रकार का कंप्यूटर प्रोग्राम सबसे उन्नत भाषा प्रणालियों के पीछे का इंजन बन गया है, जो ChatGPT जैसे AI चैटबॉट्स के पीछे की तकनीक है। ये प्रोग्राम मनुष्यों की तरह नहीं सोचते, लेकिन वे टेक्स्ट में पैटर्न पहचानने, वाक्य में अगले शब्द की भविष्यवाणी करने और जटिल पहेलियों को सुलझाने में असाधारण रूप से कुशल हैं। क्योंकि ये व्यवहार में बहुत अच्छी तरह से काम करते हैं, इसलिए वैज्ञानिकों ने वर्षों तक यह समझने के लिए गणितीय मानचित्र बनाने में समय बिताया है कि ये प्रोग्राम वास्तव में क्या कर सकते हैं और क्या नहीं। ये मानचित्र, या सिद्धांत, अलग-अलग ब्लूप्रिंट (खाकों) की तरह हैं। कुछ ब्लूप्रिंट सुझाव देते हैं कि ये प्रोग्राम सरल कार्यों तक सीमित हैं, जबकि अन्य दावा करते हैं कि वे लगभग कुछ भी संभाल सकते हैं। समस्या यह है कि ये ब्लूप्रिंट अक्सर एक-दूसरे का खंडन करते हैं। एक कह सकता है कि कोई विशिष्ट कार्य मशीन के लिए बहुत कठिन है, जबकि दूसरा दावा करता है कि यह आसान है। इन प्रतिस्पर्धी मानचित्रों को वास्तविकता के विरुद्ध परखने का कोई तरीका न होने के कारण, यह जानना कठिन हो जाता है कि वास्तव में कौन सा सही है या भविष्य में बेहतर मशीनें कैसे बनाई जाएं।
शोधकर्ताओं की एक टीम इन सिद्धांतों को वैज्ञानिक परिकल्पनाओं की तरह मानकर इस बहस को सुलझाने के लिए आगे बढ़ी, जिन्हें वास्तविक दुनिया में परखा जाना चाहिए। उन्होंने वर्तमान में उपयोग किए जाने वाले सात सबसे प्रमुख सिद्धांतों को एकत्र किया जो ट्रांसफॉर्मर की क्षमताओं का वर्णन करते हैं और उन्हें विभिन्न विशिष्ट कार्यों के विरुद्ध परखा। ये कार्य सरल गिनती की समस्याओं और तार्किक पलों से लेकर वाक्यों की संरचना को ट्रैक करने और कनेक्शन के नेटवर्क के माध्यम से नेविगेट करने तक विस्तृत थे। शोधकर्ताओं ने केवल कागज पर गणित नहीं देखा; उन्होंने इन कार्यक्रमों के छोटे, कस्टम-मेड संस्करण बनाए और उन्हें शून्य से प्रशिक्षित किया ताकि देख सकें कि क्या वे वास्तव में उन समस्याओं को हल कर सकते हैं। उन्होंने पहले से प्रशिक्षित विशाल भाषा मॉडलों का भी परीक्षण किया जो आज उपयोग में हैं, ताकि यह देखा जा सके कि जब प्रोग्राम बहुत बड़े और अधिक जटिल हो जाते हैं तो क्या नियम बदल जाते हैं।
परिणामों ने एक आश्चर्यजनक सच्चाई का खुलासा किया: कोई भी एकल सिद्धांत पूरी तस्वीर स्पष्ट नहीं कर सका। जब शोधकर्ताओं ने सात सिद्धांतों की भविष्यवाणियों की तुलना प्रोग्रामों के वास्तविक प्रदर्शन से की, तो उन्होंने पाया कि सिद्धांत अक्सर वास्तविकता और एक-दूसरे से असहमत थे। उदाहरण के लिए, कई सिद्धांतों ने भविष्यवाणी की थी कि एक प्रोग्राम टेक्स्ट की एक लंबी सूची में एक विशिष्ट प्रतीक कितनी बार दिखाई देता है, इसकी गिनती करने में संघर्ष करेगा। हालांकि, लैब में, प्रोग्रामों ने इस कार्य को आसानी से सीखा और वे उन सूचियों पर भी इसे लागू करने में सक्षम थे जो उनके प्रशिक्षण के दौरान दी गई सूचियों से कहीं अधिक लंबी थीं। इसके विपरीत, अन्य सिद्धांतों ने भविष्यवाणी की थी कि एक प्रोग्राम एक जटिल अंकगणित की समस्या को हल कर पाएगा, लेकिन प्रोग्राम लगातार इसमें विफल रहे, भले ही उन्हें पर्याप्त प्रशिक्षण डेटा दिया गया था। इस विसंगति ने दिखाया कि सिद्धांत इस बात के बारे में महत्वपूर्ण विवरणों को छोड़ रहे थे कि ये प्रोग्राम वास्तव में कैसे काम करते हैं।
अध्ययन ने दो मुख्य कारणों की पहचान की जिनके कारण सिद्धांत वास्तविकता से मेल नहीं खा सके। पहला, कई सिद्धांतों ने यह माना कि प्रोग्राम निर्णय लेने के लिए केवल एक समय में सूचना के एक टुकड़े पर ध्यान केंद्रित करते हैं, जैसे कि एक स्पॉटलाइट किसी एक शब्द को चुनती है। वास्तव में, प्रोग्राम एक अधिक कोमल और लचीली विधि का उपयोग करते हैं जो उन्हें टेक्स्ट के कई अलग-अलग हिस्सों से सूचनाओं को एक साथ मिलाने की अनुमति देता है। यह लचीलापन उन्हें उन कार्यों को हल करने में सक्षम बनाता है जिन्हें कठोर सिद्धांतों ने असंभव बताया था। दूसरा, कुछ सिद्धांतों ने माना कि प्रोग्राम प्रत्येक चरण में असीमित गणनाएं कर सकते हैं, जिससे वे वास्तव में जितने शक्तिशाली हैं, उससे अधिक शक्तिशाली प्रतीत होते हैं। इन सिद्धांतों ने भविष्यवाणी की थी कि प्रोग्राम जटिल ग्राफ समस्याओं को हल कर पाएंगे, लेकिन प्रयोगों ने दिखाया कि प्रोग्राम फंस गए, आवश्यक चरणों को सीखने में असमर्थ रहे। शोधकर्ताओं ने पाया कि किसी प्रोग्राम की कार्य करने की क्षमता अक्सर उसकी कच्ची शक्ति पर कम और इस पर अधिक निर्भर करती है कि उसे कैसे सिखाया गया और उसकी आंतरिक स्मृति कैसे व्यवस्थित की गई।
सबसे चौंकाने वाले निष्कर्षों में से एक था कि प्रोग्राम का आकार और प्रशिक्षण का इतिहास अत्यधिक महत्वपूर्ण था। प्रयोगों के लिए विशेष रूप से बनाए गए छोटे प्रोग्रामों ने रोजमर्रा के अनुप्रयोगों में उपयोग किए जाने वाले विशाल, पूर्व-प्रशिक्षित मॉडलों से बहुत अलग व्यवहार किया। कभी-कभी छोटे मॉडल ने वह कार्य सीखा जिसे बड़े मॉडल करने में विफल रहे, और कभी-कभी बड़े मॉडल वहां सफल हुए जहां छोटे विफल रहे। यह सुझाव देता है कि इन प्रणालियों की क्षमताएं केवल उनके डिजाइन का परिणाम नहीं हैं, बल्कि उन्हें दिए जाने वाले डेटा की विशाल मात्रा और उन्हें प्रशिक्षित करने के विशिष्ट तरीकों का भी परिणाम हैं। जिन सिद्धांतों ने केवल प्रोग्राम की संरचना (आर्किटेक्चर) पर ध्यान केंद्रित किया और डेटा तथा सीखने की प्रक्रिया को अनदेखा किया, वे इन परिणामों की भविष्यवाणी नहीं कर सके।
अंततः, यह शोध पत्र निष्कर्ष निकालता है कि इन शक्तिशाली उपकरणों को वास्तव में समझने के लिए, वैज्ञानिकों को एक नए प्रकार के सिद्धांत की आवश्यकता है। इस नए ढांचे को प्रोग्रामों के सूचनाओं को मिलाने के लचीले तरीके, उनकी स्थानीय गणनाओं की सीमाओं और सीखने की प्रक्रिया में इसकी महत्वपूर्ण भूमिका को ध्यान में रखना होगा। इसे यह भी समझाना होगा कि क्यों कुछ प्रोग्राम नई स्थितियों में अच्छी तरह से सामान्यीकरण (generalize) करते हैं जबकि अन्य नहीं, जो अक्सर उन्हें शब्दों के क्रम को याद रखने के लिए सिखाने के विशिष्ट तरीके से प्रेरित होता है। यह दिखाकर कि कोई भी मौजूदा एकल मानचित्र पूरे क्षेत्र को कवर नहीं करता है, शोधकर्ताओं ने एक स्पष्ट मार्ग प्रदान किया है। उन्होंने बेंचमार्क का एक नया सेट और इस बात की स्पष्ट समझ विकसित की है कि इन मशीनों के भीतर वास्तव में क्या हो रहा है, जो अगली पीढ़ी के आर्टिफिशियल इंटेलिजेंस के निर्माण के लिए एक ठोस आधार प्रदान करता है जो शक्तिशाली और पूर्वानुमान योग्य दोनों हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।