Masked Autoencoders Learn Perception-Relevant Representations from Resting State Neural Data
यह अध्ययन प्रदर्शित करता है कि अनलेबल रेस्टिंग-स्टेट न्यूरल डेटा पर प्रीट्रेन किए गए सेल्फ-सुपरवाइज्ड मास्कड ऑटोएनकोअर्स व्याख्या योग्य मस्तिष्क संरचनाओं को सीख सकते हैं और एक दृष्टिहीन प्रतिभागी में धारणा डिकोडिंग सटीकता में महत्वपूर्ण सुधार कर सकते हैं, जो यह सिद्ध करता है कि स्वतःस्फूर्त कॉर्टिकल गतिविधि में समृद्ध, कार्य-प्रासंगिक जानकारी होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को देखना सिखाने की कोशिश कर रहे हैं। आमतौर पर, एक रोबोट को सिखाने के लिए, आपको उसे हजारों लेबल की गई तस्वीरें दिखानी पड़ती हैं: "यह एक बिल्ली है," "यह एक कुत्ता है," "यह एक पेड़ है।" लेकिन क्या होगा अगर आपके पास केवल कुछ ही लेबल की गई तस्वीरें हों, और आपके पास अनलेबल (unlabeled) वीडियो फुटेज का एक पहाड़ हो जहाँ रोबोट बस एक अंधेरे कमरे में बैठा है, कुछ नहीं कर रहा है? लंबे समय तक, वैज्ञानिकों ने सोचा कि "कुछ न करने" वाला फुटेजज केवल स्थिर शोर (static noise) था—एक बेकार कचरा जिससे रोबोट को वास्तविक दुनिया के बारे में कुछ भी नहीं सिखाया जा सकता। यह न्यूरोप्रोस्थेटिक्स (neuroprosthetics - वे उपकरण जो मस्तिष्क को मशीनों से जुड़ने में मदद करते हैं) के क्षेत्र में एक बड़ी समस्या है। डॉक्टर दृष्टिहीन लोगों को फिर से "देखने" में मदद करना चाहते हैं उनके मस्तिष्क में सूक्ष्म विद्युत संकेत भेजकर, लेकिन उनके पास कंप्यूटर को यह सिखाने के लिए पर्याप्त अभ्यास डेटा नहीं है कि वह वास्तव में क्या देखेगा। उनके पास घंटों का "विश्राम" (resting) मस्तिष्क डेटा है, लेकिन उन्हें लगा कि यह बहुत अव्यवस्थित है और इसका उपयोग नहीं किया जा सकता।
यह शोध पत्र एक साहसी प्रश्न पूछता है: क्या होगा यदि वह "विश्राम" वाला मस्तिष्क डेटा शोर नहीं है? क्या होगा यदि मस्तिष्क, भले ही वह बस आराम कर रहा हो, गुप्त रूप से उन्हीं पैटर्न का अभ्यास कर रहा है जिनका उपयोग वह वास्तव में कुछ देखते समय करता है? शोधकर्ताओं ने स्व-पर्यवेक्षित शिक्षण (self-supervised learning) नामक एक चतुर तकनीक का परीक्षण किया। इसे "खाली स्थान भरें" के खेल की तरह समझें। आप एक छात्र को एक वाक्य दिखाते हैं जिसमें यादृच्छिक शब्द गायब हैं और उनसे संदर्भ के आधार पर गायब शब्दों का अनुमान लगाने को कहते हैं। यदि छात्र गायब शब्दों का अनुमान लगाने में बहुत अच्छा हो जाता है, तो इसका मतलब है कि उसने भाषा के गहरे नियमों को सीख लिया है, भले ही आपने उन्हें कभी कहानी का अर्थ न बताया हो। शोधकर्ताओं ने इस "खाली स्थान भरें" के खेल का उपयोग मस्तिष्क डेटा पर यह देखने के लिए किया कि क्या वे बिना कभी भी किसी "लेबल वाले" विजन टेस्ट को दिखाए, कंप्यूटर को दृष्टि (vision) को समझने के लिए प्रशिक्षित कर सकते हैं।
बड़ा प्रयोग: मस्तिष्क को अनुमान लगाना सिखाना
टीम ने एक दृष्टिहीन प्रतिभागी के साथ काम किया जिनके मस्तिष्क के उस हिस्से में (जिसे V1 कहा जाता है) 96 सूक्ष्म सेंसरों का एक छोटा ग्रिड प्रत्यारोपित किया गया था जो दृष्टि के लिए जिम्मेदार है। उनके पास दो प्रकार का डेटा था:
- "चिल" (Chill) डेटा: 14.6 घंटे का डेटा जब मस्तिष्क बस वहां बैठा था, कुछ नहीं कर रहा था, और कोई रोशनी या संकेत नहीं भेजे जा रहे थे।
- "टेस्ट" (Test) डेटा: छोटे अंतराल जहाँ उन्होंने व्यक्ति के मन में एक "प्रकाश की चमक" (फोस्फीन/phosphene) बनाने की कोशिश करने के लिए विशिष्ट सेंसरों को बिजली के झटके दिए।
शोधकर्ताओं ने मास्क्ड ऑटोएनकोडर (Masked Autoencoder) नामक एक कंप्यूटर मॉडल बनाया। कल्पना कीजिए कि आपके पास मस्तिष्क की गतिविधि का एक विशाल पहेली (puzzle) है। मॉडल "चिल" डेटा का एक हिस्सा लेता है, उसके 75% हिस्से को मास्क (जैसे पहेली के टुकड़ों पर टेप लगा देना) से ढक देता है, और फिर केवल दृश्यमान टुकड़ों के आधार पर छिपे हुए टुकड़ों को पहचानने की कोशिश करता है। इसने 14.6 घंटे के डेटा पर इसे बार-बार किया। महत्वपूर्ण बात यह है कि इस पूरे प्रशिक्षण चरण के दौरान, मॉडल ने कभी भी "टेस्ट" डेटा नहीं देखा। वह कभी नहीं जानता था कि "प्रकाश की चमक" कैसी दिखती है; वह केवल यह जानता था कि मस्तिष्क आराम करते समय कैसे व्यवहार करता है।
आश्चर्य: मस्तिष्क की "विश्राम" अवस्था में एक गुप्त मानचित्र है
जब मॉडल अपना प्रशिक्षण पूरा कर चुका था, तब शोधकर्ताओं ने इसके भीतर झाँका (यानी इसके डिजिटल "लेटेंट स्पेस" में)। उन्होंने पाया कि कुछ अद्भुत था। भले ही मॉडल को कभी दृष्टि के बारे में नहीं बताया गया था, फिर भी इसने गलती से मस्तिष्क के आंतरिक मानचित्र को सीख लिया था।
- पड़ोस का प्रभाव (The Neighborhood Effect): जब उन्होंने मॉडल की समझ को देखा, तो सेंसर जो मस्तिष्क में भौतिक रूप से एक-दूसरे के करीब थे, वे मॉडल के दिमाग में एक साथ समूहबद्ध हो गए। यह ऐसा था जैसे मॉडल ने यह समझ लिया हो, "अरे, ये सेंसर पड़ोसी हैं," केवल मस्तिष्क को आराम करते हुए देखकर।
- मूड रिंग (The Mood Ring): मॉडल ने मस्तिष्क के विभिन्न "मूड्स" (भावों) के बीच अंतर करना भी सीख लिया। यह पहचान सकता था कि कब मस्तिष्क देखने के लिए तैयार अवस्था में था और कब नहीं, भले ही उसे इन अवस्थाओं को खोजने के लिए कभी बताया नहीं गया था।
असली परीक्षण: क्या यह भविष्यवाणी कर सकता है कि आप क्या देखते हैं?
यह देखने के लिए कि क्या इस "विश्राम" प्रशिक्षण ने वास्तव में मदद की, उन्होंने मॉडल को फ्रीज कर दिया (उसे सिखाना बंद कर दिया) और इसका उपयोग "टेस्ट" डेटा के परिणामों की भविष्यवाणी करने के लिए किया। उन्होंने मॉडल से पूछा: "अभी मस्तिष्क की गतिविधि के आधार पर, क्या व्यक्ति को प्रकाश की चमक दिखाई देगी या नहीं?"
उन्होंने इसे दो स्तरों पर परखा:
- आसान स्तर (साइकोमेट्रिक टास्क): उन्होंने मजबूत विद्युत झटके दिए जो आमतौर पर एक चमक पैदा करते हैं। मॉडल ने, अपने "विश्राम" प्रशिक्षण का उपयोग करते हुए, 84.1% उत्तर सही दिए। यह पुराने तरीकों से बेहतर था जो केवल डेटा को दबा देते थे या कच्चे नंबरों को देखते थे।
- कठिन स्तर (थ्रेशोल्ड टास्क): यह असली चुनौती थी। उन्होंने बहुत कमजोर झटके दिए, जो धारणा (perception) की सीमा पर थे। कभी-कभी व्यक्ति को चमक दिखाई देती थी; कभी-कभी नहीं, भले ही झटका बिल्कुल समान था। यह वह जगह है जहाँ पिछले कंप्यूटर आमतौर पर विफल हो जाते हैं क्योंकि डेटा रैंडम शोर जैसा दिखता है। लेकिन "विश्राम" डेटा पर प्रशिक्षित मॉडल ने 64.0% सटीकता प्राप्त की।
यह क्यों मायने रखता है
यह शोध पत्र दिखाता है कि विश्राम कर रहे मस्तिष्क का "शोर" वास्तव में समृद्ध, उपयोगी पैटर्न से भरा होता है। कंप्यूटर को मस्तिष्क के "चिल टाइम" के नियमों को सीखने देकर, यह भविष्यवाणी करने में बहुत बेहतर हो गया कि "एक्शन टाइम" के दौरान क्या होता है।
लेखक सावधानी बरतते हुए कहते हैं कि यह अभी कोई जादुई समाधान नहीं है। उन्होंने इसका परीक्षण केवल एक व्यक्ति पर किया है, इसलिए हमें नहीं पता कि क्या यह सभी के लिए काम करता है। वे यह भी स्वीकार करते हैं कि वे 100% निश्चित नहीं हैं कि विश्राम वाला डेटा मदद क्यों करता है—शायद मस्तिष्क विश्राम करते समय दृष्टि का अभ्यास करता है, या शायद यह एक बेसलाइन सेट करता है जिससे "एक्शन" सिग्नल अधिक स्पष्ट हो जाते हैं। लेकिन मुख्य निष्कर्ष स्पष्ट है: हमें "बोरिंग" मस्तिष्क डेटा के घंटों को फेंकने की आवश्यकता नहीं है। यदि हम कंप्यूटर को सन्नाटे को समझना सिखाते हैं, तो वे संगीत को सुनना भी सीख सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।