Evaluation Resolution Confounds Learning-Rule Comparisons in Model-Brain RSA of Early Visual Cortex
यह शोधपत्र यह प्रदर्शित करता है कि प्रारंभिक दृश्य वल्कुट (विजुअल कॉर्टेक्स) के निरूपणों से मेल खाने में बैकप्रोपैगेशन-प्रशिक्षित मॉडलों की तुलना में अप्रशिक्षित या स्थानीय रूप से प्रशिक्षित नेटवर्क की स्पष्ट श्रेष्ठता, रिज़ॉल्यूशन विसंगति का एक आर्टिफैक्ट (कृत्रिम प्रभाव) है, क्योंकि जब नेटवर्कों का मूल्यांकन उनके प्रशिक्षण डेटा की तुलना में उच्च रिज़ॉल्यूशन पर किया जाता है, तो प्रदर्शन का अंतर काफी बढ़ जाता है, जिससे जैविक शिक्षण नियमों के तुलनात्मक अध्ययन में भ्रम उत्पन्न होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को दुनिया को वैसे ही देखना सिखाने की कोशिश कर रहे हैं जैसे एक इंसान देखता है। न्यूरोएआई (NeuroAI) नामक क्षेत्र के वैज्ञानिक इसी सवाल को लेकर जुनूनी हैं: "एक कंप्यूटर को बिल्ली या कार पहचानना सिखाने के लिए नियमों का सबसे अच्छा सेट क्या है?" उनके पास चुनने के लिए कुछ अलग-अलग नियमपुस्तिकाएं (rulebooks) हैं। एक आधुनिक एआई (जिसे बैकप्रोपैगेशन कहा जाता है) में इस्तेमाल होने वाला मानक और अत्यंत कुशल तरीका है। अन्य "जैविक रूप से प्रशंसनीय" (biologically plausible) नियम हैं, जो यह नकल करने की कोशिश करते हैं कि वास्तविक मस्तिष्क वास्तवं कैसे काम करता है, जैसे कि समय के साथ न्यूरॉन्स कैसे सक्रिय होते हैं या मस्तिष्क अगली चीज़ क्या देखेगा इसकी भविष्यवाणी कैसे करता है।
यह देखने के लिए कि कौन सी नियमपुस्तिका सबसे अच्छी तरह काम करती है, शोधकर्ता एक चतुर तरकीब का उपयोग करते हैं जिसे 'रिप्रेजेंटेशनल सिमिलैरिटी एनालिसिस' (RSA) कहा जाता है। इसे "संबंधों का अनुमान लगाने" के खेल की तरह समझें। वे किसी छवि के बारे में रोबोट के आंतरिक "विचारों" (डिजिटल निरूपण) को लेते हैं और उसी छवि को देखते समय एक इंसान के मस्तिष्क में होने वाली वास्तविक विद्युत गतिविधि के साथ उनकी तुलना करते हैं। यदि रोबोट के विचार मस्तिष्क की गतिविधि से बारीकी से मेल खाते हैं, तो हम कहते हैं कि रोबोट के पास "मस्तिष्क जैसा" बोध है। बड़ी उम्मीद यह है कि यह पाकर कि कौन सा नियम रोबोट को मस्तिष्क के सबसे करीब बनाता है, हम अंततः मानव दृष्टि के कोड को सुलझा पाएंगे। लेकिन इसमें एक पेंच है: असली मस्तिष्क अविश्वसनीय रूप से जटिल है, और जिन रोबोटों को हम इन फैंसी जैविक नियमों के साथ प्रशिक्षित कर सकते हैं, वे अभी भी काफी छोटे और सरल हैं।
यह शोध पत्र इन तुलनाओं में छिपे एक जाल से पर्दा उठाता है। शोधकर्ता ने पाया कि "कौन सा नियम सबसे अच्छा है?" का उत्तर पूरी तरह से इस बात पर निर्भर करता है कि आप तस्वीर का आकार क्या रखते हैं। यह पता चलता है कि जब वैज्ञानिक इन छोटे, जैविक रूपм-प्रेरित रोबोटों की मानव मस्तिष्क के साथ तुलना करते हैं, तो वे अक्सर उन्हें टेस्ट करने के लिए उच्च-रिज़ॉल्यूशन, विस्तृत फोटो (जैसे 224 पिक्सेल चौड़ी) का उपयोग करते हैं, भले ही उन रोबोटों को बहुत छोटे, धुंधले 32-पिक्सेल वाले चित्रों पर प्रशिक्षित किया गया हो। अध्ययन से पता चलता है कि यह बेमेल स्थिति (mismatch) एक जादुई भ्रम पैदा करती है। जब उच्च-रिज़ॉल्यूशन वाली विस्तृत तस्वीरों पर परीक्षण किया जाता है, तो बिना प्रशिक्षित, रैंडम (अनट्रेन्ड) रोबोट अचानक प्रारंभिक दृश्य प्रणाली को समझने में प्रशिक्षित रोबोट के समान या उससे भी बेहतर दिखने लगता है। शोधकर्ता ने दिखाया कि ऐसा इसलिए नहीं है क्योंकि रैंडम रोबोट गुप्त रूप से बुद्धिमान है; बल्कि इसलिए है क्योंकि हम जिस तरह से इसका मापन कर रहे हैं, वह इमेज के आकार से प्रभावित (biased) है।
रिज़ॉल्यूशन का जाल (The Resolution Trap)
मुख्य खोज यह है कि मस्तिष्क-मिलान प्रतियोगिता का "विजेता" पूरी तरह से परीक्षण छवियों के रिज़ॉल्यूशन पर निर्भर करता है। कल्पना कीजिए कि आप एक कुकिंग कॉन्टेस्ट का निर्णय ले रहे हैं। आपके पास एक शेफ है जिसने एक छोटे, 3-इंच के पैन में व्यंजन बनाने का अभ्यास किया है, और आपके पास एक रैंडम व्यक्ति है जिसने बिना पकाए बस सामग्री को एक कटोरे में डाल दिया है। यदि आप उनसे एक विशाल, 2-फुट की प्लेट पर परोसने के लिए कहते हैं, तो रैंडम व्यक्ति गलती से बेहतर लग सकता है क्योंकि बड़ा प्लेट यह छिपा देता है कि खाना कच्चा है। लेकिन यदि आप उन्हें उसी छोटे 3-इंच के पैन पर परोसते हैं जिस पर उन्होंने अभ्यास किया था, तो प्रशिक्षित शेफ चमक जाता है, और रैंडम व्यक्ति बहुत बुरा दिखता है।
इस अध्ययन में, "छोटा पैन" 32-पिक्सेल रिज़ॉल्यूशन है जिस पर रोबोटों को प्रशिक्षित किया गया था, और "विशाल प्लेट" 224-पिक्सेल रिज़ॉल्यूशन है जिसका उपयोग अक्सर ब्रेन डेटा के विरुद्ध उन्हें टेस्ट करने के लिए किया जाता है। जब शोधकर्ता ने रोबोटों का परीक्षण उसी 32-पिक्सेल आकार पर किया जिस पर वे सीखे थे, तो प्रशिक्षित रोबोट (बैकप्रोपैगेशन का उपयोग करने वाले) अनट्रेन्ड रोबोटों की तुलना में थोड़े बेहतर थे, जैसा कि आप उम्मीद करेंगे। लेकिन जब उन्होंने बड़े 224-पिक्सेल वाले चित्रों पर स्विच किया, तो परिणाम उलट गए। अनट्रेन्ड, रैंडम नेटवर्क अचानक मानव मस्तिष्क के प्रारंभिक विजुअल कॉर्टेक्स (V1) के बहुत अधिक समान दिखने लगा। उनके बीच का अंतर जैसे-जैसे इमेज बड़ी होती गई, बढ़ता गया, जो 32 पिक्सेल पर -0.001 के मामूली अंतर से बढ़कर 224 पिक्सेल पर +0.044 के बड़े अंतर तक पहुँच गया।
संदिग्धों को खारिज करना (Ruling Out the Suspects)
लेखक ने केवल समस्या खोजने तक ही नहीं रोका; उन्होंने यह पता लगाने के लिए जासूसी भी की कि यह क्यों हो रहा था। उनके पास चार मुख्य संदिग्ध थे, और उन्होंने एक-एक करके सभी को निर्दोष पाया।
सबसे पहले, उन्हें संदेह था कि यह केवल एक "मिसमैच" का मुद्दा है: शायद प्रशिक्षित रोबोट उन छवियों पर खराब प्रदर्शन करते हैं जिन पर उन्हें प्रशिक्षित नहीं किया गया था। इसकी जांच करने के लिए, उन्होंने उन रोबोटों का परीक्षण किया जिन्हें वास्तव में बड़े 224-पिक्सेल वाली छवियों पर प्रशिक्षित किया गया था (जैसे ResNet-50 और Swin-Tiny ट्रांसफॉर्मर)। यदि मिसमैच थ्योरी सच होती, तो ये बड़े-प्रशिक्षित रोबोट 224 पिक्सेल पर सबसे अच्छा प्रदर्शन करते। लेकिन उन्होंने ऐसा नहीं किया। उन्होंने कम रिज़ॉल्यूशन पर भी सबसे अच्छा प्रदर्शन किया और जैसे-जैसे इमेज बड़ी हुई, उनका प्रदर्शन गिरता गया। इसलिए, यह केवल गलत आकार पर प्रशिक्षित होने के बारे में नहीं था।
दूसरा, उन्होंने "अनट्रेन्ड" रोबोट की सेटिंग्स को देखा। अनट्रेन्ड रोबोटों में अक्सर उनकी "नॉर्मलाइजेशन" सेटिंग्स (जो डेटा को संतुलित रखने में मदद करती हैं) डिफॉल्ट मानों पर सेट होती हैं, जबकि प्रशिक्षित रोबोटों के पास सीखी हुई सेटिंग्स होती हैं। लेखक को लगा कि शायद यह डिफॉल्ट सेटिंग ही असली राज है। उन्होंने अनट्रेन्ड रोबोट की सेटिंग्स को मैन्युअल रूप से प्रशिक्षण डेटा से पूरी तरह मेल खाने के लिए समायोजित किया। इन परफेक्ट सेटिंग्स के बावजूद, अनट्रेन्ड रोबोट उच्च रिज़ॉल्यूशन पर प्रशिक्षित रोबोट को हरा देता है। इसलिए, यह कोई सेटिंग्स की गड़बड़ी नहीं थी।
तीसरा, उन्होंने जांचा कि क्या रोबोट केवल सरल दृश्य पैटर्न (जैसे प्रकाश और अंधेरे के पैच या रॉ पिक्सेल) की नकल कर रहे हैं। उन्होंने पाया कि जो रोबोट इन सरल पैटर्न के सबसे अधिक समान दिखते थे, वे जरूरी नहीं कि मस्तिष्क के सबसे अधिक समान हों। वास्तव में, एक प्रशिक्षित रोबोट बहुत "गैबोर-जैसा" (Gabor-like) था लेकिन फिर भी मस्तिष्क के साथ अच्छी तरह मेल नहीं खा पाया। इसलिए, सरल पैटर्न पूरी कहानी नहीं थे।
चौथा, उन्होंने विचार किया कि जैसे-जैसे इमेज बड़ी होती है, रोबट अधिक पिक्सेल पर औसत निकाल रहा होता है, जिससे उसका अंतिम उत्तर केवल इमेज की समग्र चमक का एक साधारण माप बन सकता है। उन्होंने पाया कि इमेज की औसत चमक का एक एकल नंबर वास्तव में ब्रेन डेटा के साथ लगभग उतना ही अच्छा मेल खाता है जितना कि अनट्रेन्ड रोबोट। यह एक बड़ा सुराग था: अनट्रेन्ड रोबोट अपना अधिकांश "मैचिंग" केवल ब्राइटनेस का अनुमान लगाकर कर रहा था। हालांकि, ब्राइटनेस को ध्यान में रखने के बाद भी, रिज़ॉल्यूशन प्रभाव पूरी तरह से गायब नहीं हुआ।
असली अपराधी: इमेज डिटेल (The Real Culprit: Image Detail)
असली कारण खोजने के लिए, लेखक ने एक अंतिम, चतुर प्रयोग चलाया। उन्होंने बड़ी छवियों को छोटा करके 32-पिक्सेल के आकार में बदल दिया (डिटेल को सीमित कर दिया), और फिर उन्हें वापस बड़े आकार में फुला दिया। इसका मतलब था कि रोबोट अभी भी एक बड़ी इमेज देख रहा था और कई पिक्सेल का औसत निकाल रहा था, लेकिन इमेज में वास्तविक जानकारी 32-पिक्सेल पर ही रुकी हुई थी।
परिणाम नाटकीय था। जब डिटेल को ट्रेनिंग रिज़ॉल्यूशन पर कैप कर दिया गया, तो प्रशिक्षित रोबोटों का प्रदर्शन बड़ी इमेज होने पर भी खराब नहीं हुआ। प्रशिक्षित और अनट्रेन्ड रोबोटों के बीच का बड़ा अंतर लगभग समाप्त हो गया। इससे साबित हुआ कि प्रभाव यह नहीं था कि रोबोट अधिक पिक्सेल देख रहा था (पूलिंग), बल्कि यह था कि वह अधिक डिटेल देख रहा था जिसे संभालने के लिए वह प्रशिक्षित नहीं था। उच्च-रिज़ॉल्यूशन वाली छवियों में अतिरिक्त डिटेल प्रशिक्षित रोबोटों को नुकसान पहुँचा रही थी और अनट्रेन्ड रोबोटों को फायदा पहुँचा रही थी, लेकिन लेखक स्वीकार करते हैं कि वे पूरी तरह से नहीं समझते कि रैंडम फिल्टर इस अतिरिक्त डिटेल से लाभ क्यों उठाते हैं जबकि प्रशिक्षित रोबोट इससे प्रभावित होते हैं।
वास्तव में क्या मायने रखता है (What Actually Matters)
पेपर एक आश्वस्त करने वाले मोड़ के साथ समाप्त होता है। जबकि विजुअल सिस्टम के शुरुआती हिस्से (V1) को इमेज साइज से भ्रम हो रहा था, उच्च-स्तरीय मस्तिष्क के हिस्सों (LOC) ने एक अलग कहानी सुनाई। इन उच्च स्तरों पर, प्रशिक्षित रोबोट लगातार अनट्रेन्ड रोबोटों से बेहतर प्रदर्शन करते रहे, चाहे इमेज का आकार कुछ भी हो। इसका मतलब है कि सीखना वास्तव में नेटवर्क की मस्तिष्क-समान प्रकृति को बदल देता है, लेकिन इमेज रिज़ॉल्यूशन का "शोर" शुरुआती चरणों में सिग्नल को दबा रहा था।
मुख्य निष्कर्ष वैज्ञानिकों के लिए एक चेतावनी है: यदि आप जानना चाहते हैं कि कौन सा लर्निंग रूल सबसे अच्छा है, तो आपको टेस्ट करने के लिए उपयोग की जाने वाली तस्वीरों के आकार के प्रति बहुत सावधान रहना होगा। "विजेता" नियम का कोई निश्चित गुण नहीं है; यह इस बात का परिणाम है कि आप उसे कैसे मापते हैं। जब तक वैज्ञानिक इमेज साइज को उस ब्रेन एरिया के साथ मैच करने के लिए एक मानक तरीका तय नहीं कर लेते जिसका वे अध्ययन कर रहे हैं, तब तक प्रारंभिक विजुअल कॉर्टेक्स की तुलना भ्रामक हो सकती है। पेपर सुझाव देता है कि हमें उस रिज़ॉल्यूशन पर टेस्ट करना चाहिए जिस पर मॉडल को प्रशिक्षित किया गया था, और उस रिज़ॉल्यूशन को स्पष्ट रूप से रिपोर्ट करना चाहिए, ताकि हम रिज़ॉल्यूशन के जाल में न फंसें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।