Which Question Is Your Attention Metric Answering? Attention Rows as Compositional Data
यह शोध पत्र तर्क देता है कि मानक अटेंशन मेट्रिक्स अक्सर भ्रामक निष्कर्ष निकालते हैं क्योंकि वे एक मॉडल के एक प्रमुख "सिंक" टोकन पर ध्यान केंद्रित करने और कंटेंट टोकन पर इसके वितरण के बीच अंतर करने में विफल रहते हैं, और इसके बजाय इन कारकों को सटीक रूप से अलग करने और मॉडल विश्लेषण एवं प्रूनिंग में आर्टिफैक्ट्स से बचने के लिए अटेंशन रोज़ (attention rows) को कंपोजिशनल डेटा के रूप में मानने का प्रस्ताव देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक कृत्रिम बुद्धिमत्ता (आर्टिफिशियल इंटेलिजेंस) को शक्ति प्रदान करने वाले विशाल न्यूरल नेटवर्क के भीतर, 'अटेंशन' (ध्यान) नामक एक तंत्र होता है जो सिस्टम को यह निर्णय लेने की अनुमति देता है कि किसी दिए गए क्षण में वाक्य या छवि के कौन से हिस्से सबसे महत्वपूर्ण हैं। जब यह तंत्र कार्य करता है, तो यह प्रत्येक शब्द या टोकन के लिए संभावनाओं की एक सूची तैयार करता है, जो यह दर्शाता है कि प्रत्येक पर कितना ध्यान केंद्रित किया गया है। वर्षों से, शोधकर्ता इन सूचियों का अध्ययन करते रहे हैं ताकि वे समझ सकें कि मशीनें कैसे सोचती हैं, और इसके लिए उन्होंने तुलना करने हेतु मानक गणितीय उपकरणों का उपयोग किया है। उन्होंने यह माना था कि यदि दो सूचियाँ समान दिखती हैं, तो उनके अंतर्निहित विचार प्रक्रियाएँ भी समान होंगी। हालाँकि, एक नया विश्लेषण प्रकट करता है कि यह धारणा एक छिपे हुए चुनाव पर टिकी है जो वैज्ञानिक अनजाने में करते आए हैं, एक ऐसा चुनाव जो इस निष्कर्ष को पूरी तरह से बदल सकता है कि मशीन वास्तव में क्या कर रही है।
इस मुद्दे का मूल लगभग हर बड़े भाषा मॉडल (लार्ज लैंग्वेज मॉडल) में पाए जाने वाले एक विचित्र व्यवहार में निहित है: एक ही, सूचनाहीन टोकन पर भारी मात्रा में अटेंशन डालने की प्रवृत्ति, जो आमतौर पर वाक्य का सबसे पहला शब्द होता है। शोधकर्ता इसे "अटेंशन सिंक" (attention sink) कहते हैं। कई मामलों में, यह एकल टोकन कुल अटेंशन का अस्सी प्रतिशत या उससे अधिक हिस्सा सोख लेता है, जिससे शेष टोकनों के लिए बहुत कम हिस्सा बचता है। जब वैज्ञानिक दो अलग-अलग अटेंशन पैटर्न की तुलना करना चाहते हैं, तो उनके सामने एक दुविधा होती है। क्या वे इस प्रभावी पहले टोकन को अपनी तुलना में शामिल करें, या वे यह देखने के लिए इसे हटा दें कि शेष जानकारी कैसे वितरित की गई है? शोधपत्र प्रदर्शित करता है कि यह कोई मामूली तकनीकी बात नहीं है। इस विकल्प को चुनने के आधार पर, एक ही दो अटेंशन पैटर्न या तो लगभग समान दिख सकते हैं या पूरी तरह से भिन्न। इसका अर्थ है कि दशकों का पिछला शोध, जो अक्सर यह स्पष्ट किए बिना कि उन्होंने पहले टोकन को कैसे संभाला, इन पैटर्नों की तुलना करने पर आधारित था, शायद एक मनमाने मानदंड के आधार पर निष्कर्ष निकाल रहा था, न कि मॉडल की वास्तविक विचार प्रक्रिया के आधार पर।
इसे हल करने के लिए, लेखकों ने अटेंशन सूचियों को 'कंपोजिशनल डेटा' (compositional data) के एक विशिष्ट प्रकार के रूप में माना, जहाँ केवल भागों का सापेक्ष अनुपात मायने रखता है, उनका पूर्ण आकार नहीं। इस प्रकार के डेटा के लिए डिज़ाइन किए गए एक विशेष गणितीय ढांचे को लागू करके, वे "सिंक" (sink) के प्रश्न को "कंटेंट" (content) के प्रश्न से अलग करने में सक्षम हुए। उन्होंने सिद्ध किया कि समुदाय द्वारा उपयोग किए जाने वाले मानक उपकरण, जैसे कि कोसाइन सिमिलरिटी (cosine similarity) और एंट्रॉपी (entropy), इन दो अलग-अलग प्रश्नों को आपस में मिला देते हैं। जब अटेंशन सिंक बढ़ता है, तो मानक उपकरण रिपोर्ट करते हैं कि अटेंशन अधिक केंद्रित हो रहा है और सिस्टम एक सरल अवस्था में ढह रहा है। लेकिन नया विश्लेषण दिखाता है कि यह अक्सर एक भ्रम है। अटेंशन अनिवार्य रूप से कंटेंट पर अधिक केंद्रित नहीं हो रहा है; यह केवल इसलिए है क्योंकि पहला टोकन अधिक ध्यान आकर्षित कर रहा है। सार्थक शब्दों के बीच अटेंशन का वास्तविक वितरण पूरी तरह से अपरिवर्तित रह सकता है जबकि मानक मेट्रिक्स यह चिल्लाते रहते हैं कि एक पतन (collapse) हुआ है।
शोधकर्ताओं ने दस अलग-अलग प्री-ट्रेन किए गए मॉडलों पर इस सिद्धांत का परीक्षण किया, जिनमें छोटे प्रयोगात्मक नेटवर्क से लेकर अरबों पैरामीटर्स वाले विशाल मॉडल तक शामिल थे। उन्होंने पाया कि चयन का तरीका आश्चर्यजनक संख्या में मामलों में निर्णय को बदल देता है। कुछ मॉडल्स में, नेटवर्क के विभिन्न हिस्सों के बीच होने वाली लगभग आधी तुलनाएं एक विपरीत निष्कर्ष में बदल गईं जब शोधकर्ताओं ने सिंक को रखने के बजाय उसे हटाने का विकल्प चुना। उदाहरण के लिए, अटेंशन हेड्स (attention heads) का एक जोड़ा, जो सिंक को शामिल करने पर नेटवर्क के सबसे करीबी पड़ोसी प्रतीत होते थे, सिंक को हटाने पर दूर के अजनबी बन गए। इसके विपरीत, जो हेड्स सिंक के साथ असंबंधित दिखते थे, वे बिना सिंक के जुड़वा भाई जैसे दिखाई देने लगे। यह अस्थिरता दर्शाती है कि प्रसिद्ध "हेड क्लस्टरिंग" (head clustering) मानचित्र, जिनका उपयोग वैज्ञानिक मस्तिष्क के विभिन्न हिस्सों के कार्यों को वर्गीकृत करने के लिए करते हैं, अक्सर वास्तविक कार्य के बजाय सिंक के आकार को कैप्चर कर रहे थे। एक मानक क्लस्टरिंग पाइपलाइन के प्रमुख पुन: विश्लेषण में, डेटा में पाया गया सबसे प्रमुख ढांचा पूरी तरह से गायब हो गया जब सिंक को उचित रूप से नियंत्रित किया गया, जिससे पता चला कि वह ढांचा माप पद्धति का एक कृत्रिम परिणाम (artifact) था, न कि मॉडल की विशेषता।
इन मॉडलों को प्रशिक्षित करने और सुधारने के निहितार्थ महत्वपूर्ण हैं। शोधपत्र दिखाता है कि जो कुछ भी "एंट्रॉपी कोलैप्स" (entropy collapse) जैसा दिखता है—जो कि एक संकेत है कि मॉडल प्रशिक्षण के दौरान अस्थिर या अत्यधिक सरल हो रहा है—वह वास्तव में केवल बढ़ता हुआ अटेंशन सिंक है। एक बिलियन पैरामीटर्स वाले मॉडलों में, जटिलता में दिखने वाली पतन का पिचानवे प्रतिशत केवल सिंक के कारण था, न कि कंटेंट के कम विविध होने के कारण। यह अंतर महत्वपूर्ण है क्योंकि यह बदल देता है कि इंजीनियरों को नेटवर्क के अनावश्यक हिस्सों को कैसे हटाना या छाँटना चाहिए। जब शोधकर्ताओं ने नेटवर्क के किन हिस्सों को काटने का निर्णय लेने के लिए नए, सिंक-पृथक विधि का उपयोग किया, तो उन्होंने पाया कि पुराने तरीकों का उपयोग करने से मॉडल का प्रदर्शन गिर सकता है, जिससे कुछ मामलों में इसकी त्रुटि दर सौ गुना से अधिक बढ़ सकती है। नई विधि ने उन्हें नेटवर्क के अनावश्यक हिस्सों को बिना मॉडल को तोड़े पहचानने और हटाने की अनुमति दी, लेकिन केवल तभी जब उन्होंने पहले सिंक के शोर को कंटेंट के सिग्नल से अलग किया।
अंततः, यह कार्य यह दावा नहीं करता कि पुराना गणित गलत था, बल्कि यह कि वह उस प्रश्न का उत्तर दे रहा था जो शोधकर्ता पूछना चाहते थे, उससे अलग। पुराने उपकरण अटेंशन के कुल आवंटन को मापते थे, जिसमें पहले टोकन के प्रति भारी पूर्वाग्रह शामिल था। नए उपकरण यह मापते हैं कि शेष अटेंशन को वास्तविक कंटेंट के बीच कैसे साझा किया जाता है। लेखक एक स्पष्ट मानचित्र प्रदान करते हैं कि कब प्रत्येक दृष्टिकोण सुरक्षित है और कब यह आपदा की ओर ले जाता है। वे दिखाते हैं कि मजबूत अटेंशन सिंक वाले मॉडलों के लिए, मानक विधियाँ आंतरिक तर्क को समझने के लिए अविश्वसनीय हैं। इन दो चैनलों को अलग करके, शोधकर्ता अब मॉडल की वास्तविक ज्यामिति को देख सकते हैं, जिससे वे एक ऐसे सिस्टम के बीच अंतर कर सकते हैं जो वास्तव में अपने विचारों को सरल बना रहा है और एक ऐसे सिस्टम के बीच जो केवल अपने पहले टोकन को बातचीत पर हावी होने दे रहा है। यह पृथक्करण उन्हें इन जटिल प्रणालियों के संगठन का एक अधिक ईमानदार दृश्य प्रदान करता है, यह सुनिश्चित करता है कि उनकी आंतरिक कार्यप्रणाली के बारे में भविष्य की खोजें उनके विचारों की सामग्री पर आधारित हों, न कि उन्हें मापने के ढंग की विचित्रताओं पर।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।