It Depends on the Dataset: When a Brain-Encoding Model's Predicted Responses Beat Their Visual Backbone for Video Memorability

कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट है जिसने कभी मानव मस्तिष्क नहीं देखा है, फिर भी वह केवल वीडियो क्लिप को देखकर यह सटीक अनुमान लगा सकता है कि आपका मस्तिष्क उस पर कैसी प्रतिक्रिया देगा। यह कोई जादू नहीं है; यह "ब्रेन-एनकोडिंग" (brain-encoding) नामक एक नया विज्ञान है। शोधकर्ता हजारों घंटों के वीडियो और उन्हें देखते समय लोगों के ब्रेन स्कैन पर विशाल कंप्यूटर मॉडल को प्रशिक्षित करते हैं। अंततः, मॉडल बिना किसी वास्तविक व्यक्ति की मदद लिए, मस्तिष्क के विद्युत और रासायनिक संकेतों की भविष्यवाणी करना सीख जाता है।

लेकिन यहाँ बड़ा सवाल यह है: यदि यह रोबोट आपकी मस्तिष्क प्रतिक्रिया का अनुमान लगा सकता है, तो क्या यह अनुमान वास्तव में मानव व्यवहार को समझने के लिए उपयोगी है? विशेष रूप से, क्या ये "अनुमानित मस्तिष्क संकेत" हमें यह समझने में मदद कर सकते हैं कि कौन से वीडियो सबसे अधिक यादगार होते हैं? इसका उत्तर देने के लिए, हमें रोबोट के "मस्तिष्क के अनुमान" की तुलना उसकी अपनी "आंखों" से करने की आवश्यकता है। रोबोट के पास एक विजुअल इंजन (बैकबोन) है जो वीडियो को देखता है, और फिर एक ब्रेन इंजन है जो उसके द्वारा देखे गए दृश्य को मस्तिष्क के संकेत में अनुवादित करता है। बहस यह है कि क्या संकेत को "मस्तिष्क की भाषा" में अनुवादित करने से कोई अतिरिक्त मूल्य जुड़ता है, या यह केवल उसी चीज़ को कहने का एक फैंसी तरीका है जो विजुअल इंजन पहले से ही जानता था।

---

द ग्रेट ब्रेन वर्सेस आइज़ शोडाउन (मस्तिष्क बनाम आँख का महायुद्ध)

इस अध्ययन में, कार्सन रोड्रिग्स नामक एक शोधकर्ता ने यह देखने के लिए एक दिलचस्प प्रयोग किया कि क्या एक रोबोट का "अनुमानित मस्तिष्क" वीडियो की यादगार होने की भविष्यवाणी करने में उसके अपने "विजुअल नेत्रों" से बेहतर है। जिस रोबोट की बात हो रही है वह TRIBE v2 है, जो एक अत्यंत उन्नत AI है जिसने मस्तिष्क की गतिविधि का अनुमान लगाने की अपनी क्षमता के लिए हाल ही में एक चुनौती जीती थी।

सेटअप एक क्लासिक "टेस्ट" की तरह था। शोधकर्ताओं ने रोबोट में छोटे वीडियो क्लिप (लगभग 3 से 7 सेकंड लंबे) डाले। रोबोट ने प्रत्येक क्लिप का दो अलग-अलग विवरण तैयार किया:

1. द विजुअल बैकबोन: एक मानक, उच्च-तकनीकी विवरण कि वीडियो कैसा दिखता है (जैसे रंगों, आकृतियों और गतिविधियों की एक विस्तृत सूची)।
2. द प्रेडिक्टेड ब्रेन (अनुमानित मस्तिष्क): एक विवरण कि एक मानव मस्तिष्क कैसा दिखेगा यदि वह उस वीडियो को देख रहा हो, जिसे पूरी तरह से कंप्यूटर द्वारा बिना किसी वास्तविक मानव की भागीदारी के बनाया गया है।

लक्ष्य सरल था: इन दोनों में से कौन सा विवरण यह भविष्यवाणी करने में बेहतर है कि क्या कोई मनुष्य उस वीडियो को बाद में याद रखेगा? शोधकर्ताओं ने इसे दो अलग-अलग वीडियो सेट पर परखा, जिन्हें उन्होंने Memento10k और VideoMem कहा।

प्लॉट ट्विस्ट: यह प्लेलिस्ट पर निर्भर करता है

यदि आप उम्मीद कर रहे थे कि "मस्तिष्क" वाला संस्करण हमेशा जीतेगा क्योंकि यह अधिक वैज्ञानिक लगता है, तो आपको आश्चर्य होगा। परिणाम एक "डबल डिसोसिएशन" (double dissociation) थे, जो एक फैंसी तरीका है यह कहने का कि विजेता इस बात पर बदल गया कि आप किस डेटासेट को देख रहे हैं।

• Memento10k डेटासेट पर: रोबोट की विजुअल आंखें जीत गईं। मानक विजुअल विवरण ने अनुमानित मस्तिष्क संकेत की तुलना में यादगार होने की बेहतर भविष्यवाणी की। यहाँ मस्तिष्क संकेत वास्तव में खराब प्रदर्शन कर गया।
• VideoMem डेटासेट पर: अनुमानित मस्तिष्क जीत गया। यहाँ, मस्तिष्क संकेत स्पष्ट विजेता था, जिसने विजुअल आंखों को पीछे छोड़ दिया।

यह कोई इत्तेफाक नहीं था। शोधकर्ताओं ने यह सुनिश्चित करने के लिए हजारों बार गणना की कि परिणाम स्थिर रहें, और परिणाम कायम रहे। मस्तिष्क संकेत केवल "ठीक" नहीं था; यह VideoMem पर सांख्यिकीय रूप से बेहतर था, और विजुअल संकेत Memento10k पर सांख्यिकीय रूप से बेहतर था।

द ट्रांसफर टेस्ट: क्या मस्तिष्क संकेत अच्छी तरह से यात्रा करता है?

यह देखने के लिए कि क्या यह एक गहरा, सार्वभौमिक सत्य था या केवल विशिष्ट वीडियो का एक विचित्र पहलू, शोधकर्ताओं ने एक "ट्रांसफर टेस्ट" किया। उन्होंने एक डेटासेट पर अपना मेमोरी-प्रेडिक्टिंग सिस्टम प्रशिक्षित किया और फिर दूसरे पर उसका परीक्षण किया।

• जब उन्होंने Memento10k पर प्रशिक्षण लिया और VideoMem पर परीक्षण किया, तो अनुमानित मस्तिष्क संकेत नायक रहा, जिसने विजुअल आंखों की तुलना में काफी बेहतर प्रदर्शन किया।
• जब उन्होंने VideoMem पर प्रशिक्षण लिया और Memento10k पर परीक्षण किया, तो अनुमानित मस्तिष्क संकेत बुरी तरह विफल रहा, और विजुअल आंखों की तुलना में बहुत खराब प्रदर्शन किया।

सबक यह है कि "अनुमानित मस्तिष्क" कोई जादुई, सर्व-उद्देश्यीय उपकरण नहीं है जो हर जगह काम करता है। यह एक विशेष लेंस की तरह है जो संयोग से एक प्रकार के वीडियो पर पूरी तरह से ध्यान केंद्रित करता है लेकिन दूसरे को धुंधला कर देता है। मस्तिष्क संकेत तभी जीतता है जब वह उस डेटा पर काम कर रहा हो जो उसके लिए सबसे उपयुक्त है।

चीटिंग (धोखाधड़ी) को खारिज करना

शोधकर्ता यह सुनिश्चित करने के लिए बहुत सावधान थे कि वे सरल गणितीय त्रुटियों या डेटा के साथ "चीटिंग" का शिकार न हों। उन्होंने पूछा: "क्या मस्तिष्क संकेत केवल विजुअल संकेत का एक फैंसी, अत्यधिक जटिल संस्करण है?"

उन्होंने यह परीक्षण करने के लिए यह किया कि क्या विजुअल संकेत को मस्तिष्क संकेत की तरह व्यवहार करने के लिए मजबूर किया जा सकता है (इसे संकुचित करके या कड़े नियम जोड़कर)। भले ही उन्होंने विजुअल संकेत को बहुत सख्त और सरल बना दिया, फिर भी यह VideoMem डेटासेट पर अनुमानित मस्तिष्क संकेत को नहीं हरा सका। इससे सिद्ध हुआ कि मस्तिष्क संकेत यादगार होने के बारे में एक छोटा लेकिन वास्तविक रहस्य वहन करता है जिसे विजुअल आंखें नहीं देख पातीं। यह केवल उसी जानकारी का पुनर्गठन नहीं है; यह वास्तव में एक अलग तरह का सुराग है।

मस्तिष्क संकेत के अंदर क्या है?

तो, वह गुप्त सामग्री क्या है? शोधकर्ताओं ने गहराई से खोज की और दो दिलचस्प चीजें पाईं:

1. "मस्तिष्क" वाला हिस्सा वास्तविक है: भले ही विजुअल संकेत Memento10k पर जीता, फिर भी मस्तिष्क संकेत में जानकारी का एक छोटा सा हिस्सा था जो विजुअल संकेत ने मिस कर दिया था। जब उन्होंने दोनों को मिलाया, तो भविष्यवाणी और भी बेहतर हो गई। यह सुझाव देता है कि मस्तिष्क संकेत केवल एक प्रतिलिपि नहीं है; इसकी अपनी अनूठी आवाज़ है।
2. यह कहाँ स्थित है: जब उन्होंने देखा कि अनुमानित मस्तिष्क में यह अतिरिक्त जानकारी कहाँ से आई, तो यह वेंट्रल ऑसिपिटो-टेम्पोरल कॉर्टेक्स (ventral occipito-temporal cortex) में केंद्रित थी। मानव संदर्भ में, यह मस्तिष्क का पिछला और निचला हिस्सा है जो वस्तुओं और चेहरों को पहचानने का कार्य करता है। यह वास्तविक वैज्ञानिकों के वास्तविक मस्तिष्क स्कैन के निष्कर्षों से मेल खाता है, जो यह सुझाव देता है कि रोबोट ने अनजाने में एक वास्तविक जैविक सत्य की पुनर्खोज कर ली है कि हम चीजों को कैसे याद रखते हैं।

समय सीमा: क्यों रोबोट "देर से" होने वाली स्मृति को नहीं देख सकता

एक अंतिम मोड़ समय से संबंधित था। शोधकर्ता यह जानना चाहते थे कि क्या मस्तिष्क संकेत इसलिए बेहतर था क्योंकि इसने स्मृति के समय (जैसे एक धीमी, देर से होने वाली प्रतिक्रिया) को पकड़ लिया था। उन्होंने यह देखने के लिए वीडियो को सेकंड के हिस्सों में विभाजित किया कि क्या "शुरुआती" या "देर वाले" मस्तिष्क संकेत की कुंजी थी।

उन्होंने पाया कि समय मायने नहीं रखता था। मस्तिष्क संकेत का समय औसत का एक शोर भरा (noisy) संस्करण था। क्यों? क्योंकि रोबोट एक "स्लो-मोशन" रासायनिक संकेत (जिसे BOLD कहा जाता है) के आधार पर मस्तिष्क गतिविधि की भविष्यवाणी करता है जो बदलने में सेकंड लेता है। लेकिन वास्तविक "अहा!" क्षण (aha! moment) मिलीसेकंड के एक अंश में होता है। चूंकि रोबमा का "मस्तिष्क" उन सेकंड के अंशों को देखने के लिए बहुत धीमा है, इसलिए वह समय का लाभ नहीं उठा सकता। वह बस सब कुछ औसत कर देता है।

निष्कर्ष

निचोड़ यह है कि मानव व्यवहार को समझने के लिए रोबोट के "अनुमानित मस्तिष्क" का उपयोग करना कोई "वन-साइज-फिट्स-ऑल" (सबके लिए एक जैसा) समाधान नहीं है। कभी-कभी रोबोट की "आंखें" बेहतर होती हैं; कभी-कभी उसका "मस्तिष्क" बेहतर होता है। यह सब इस बात पर निर्भर करता है कि आप किस प्रकार का वीडियो देख रहे हैं।

यह अध्ययन हमें सिखाता है कि भले ही एक मॉडल मस्तिष्क गतिविधि की भविष्यवाणी कर सकता है, इसका मतलब यह नहीं है कि वह भविष्यवाणी स्वचालित रूप से हर काम के लिए सबसे अच्छा उपकरण है। "मस्तिष्क" वाले फीचर्स उपयोगी हैं, लेकिन वे उस डेटा के लिए विशिष्ट हैं जिस पर उन्हें प्रशिक्षित किया गया है। वे मानव स्मृति की सार्वभौमिक कुंजी नहीं हैं, बल्कि एक विशेष उपकरण हैं जो कुछ कमरों में शानदार काम करते हैं और अन्य में खराब। शोधकर्ताओं ने अपना कोड और डेटा जारी कर दिया है, जिससे दूसरों को इन विचारों का और परीक्षण करने के लिए आमंत्रित किया गया है, लेकिन फिलहाल, इस सवाल का जवाब कि "क्या मस्तिष्क आंखों को हराता है?" एक स्पष्ट है: "यह डेटासेट पर निर्भर करता है।"