Language-aligned models and structured scene descriptions reveal sensitivity to compositional scene structure in the high-level visual cortex
7T fMRI डेटा और भाषा-संरेखित मॉडलों का उपयोग करते हुए, यह अध्ययन प्रदर्शित करता है कि उच्च-स्तरीय दृश्य वल्कुट (visual cortex) केवल वस्तुओं के सह-अस्तित्व के बजाय प्राकृतिक दृश्यों की संरचनात्मक रचना के प्रति संवेदनशील है, जो यह सुझाव देता है कि भाषाई पर्यवेक्षण कृत्रिम दृष्टि मॉडलों को इसी तरह के संरचित निरूपण विकसित करने में मदद कर सकता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपका मस्तिष्क एक विशाल, हलचल भरा पुस्तकालय है। लंबे समय तक, वैज्ञानिकों ने सोचा था कि इस पुस्तकालय का "दृश्य अनुभाग" (visual section) केवल व्यक्तिगत वस्तुओं के लिए एक विशाल फाइलिंग कैबिनेट की तरह था। यदि आप एक कुत्ता, एक कार या एक पेड़ देखते, तो एक विशिष्ट शेल्फ चमक उठती और कहती, "हे, यहाँ एक कुत्ता है!" लेकिन क्या होता है जब कुत्ता कार का पीछा कर रहा हो, या पेड़ कार को रोक रहा हो? क्या मस्तिष्क केवल वस्तुओं की एक सूची की जाँच कर रहा है, या यह वास्तव में इस बात की कहानी पढ़ रहा है कि वे एक साथ कैसे फिट बैठते हैं? यह प्रश्न संज्ञानात्मक तंत्रिका विज्ञान (cognitive neuroscience) नामक एक क्षेत्र के केंद्र में है, जहाँ शोधकर्ता हमारे विचारों और इंद्रियों की गुप्त भाषा को डिकोड करने की कोशिश करते हैं। वे fMRI (फंक्शनल मैग्नेटिक रेजोनेंस इमेजिंग) जैसे शक्तिशाली उपकरणों का उपयोग करते हैं, जो एक उच्च-तकनीकी कैमरे की तरह कार्य करता है जो देख सकता है कि जब आप किसी चीज़ को देखते हैं तो मस्तिष्क के कौन से हिस्से "बात" कर रहे हैं। बड़ा रहस्य यह है कि क्या हमारे मस्तिष्क का दृश्य केंद्र चीजों के बीच के संबंधों को समझने के लिए पर्याप्त स्मार्ट है, या यह केवल एक सूची बनाने वाला है जिसे केवल इस बात से फर्क पड़ता है कि कौन सी वस्तुएं मौजूद हैं।
शोधकर्ताओं के एक दल ने मस्तिष्क को एक जासूस और भाषा को एक आवर्धक लेंस (magnifying glass) की तरह मानकर इस कोड को तोड़ने का निर्णय लिया। उन्होंने आठ लोगों के डेटा का उपयोग किया जिनके मस्तिष्क का स्कैन तब किया गया था जब वे 10,000 अलग-अलग प्राकृतिक दृश्यों को देख रहे थे। मस्तिष्क की "कहानियों" को समझने की क्षमता बनाम केवल "सूचियों" को समझने की क्षमता का परीक्षण करने के लिए, उन्होंने एक चतुर प्रयोग किया। प्रत्येक चित्र के लिए, उन्होंने एक AI का उपयोग करके ठीक वही हो रहा है जो घटित हो रहा है, इसका वर्णन करने वाला एक पूर्ण, व्याकरणिक वाक्य लिखा (जैसे, "एक व्यक्ति पार्क में एक कुत्ते का पीछा कर रहा है")। फिर, उन्होंने उसी वाक्य को शब्दों के एक यादृच्छिक ढेर में बिखेर दिया (जैसे, "पार्क, कुत्ता, व्यक्ति, पीछा कर रहा, में, एक")। दोनों संस्करणों में बिल्कुल समान शब्द थे, लेकिन केवल पहला संस्करण एक सुसंगत कहानी और स्पष्ट संरचना बताता था।
परिणाम एक दिलचस्प खुलासा थे। जब शोधकर्ताओं ने इन विवरणों के आधार पर यह अनुमान लगाने की कोशिश की कि मस्तिष्क क्या कर रहा है, तो बिखरे हुए "शब्दों के थैले" (bag of words) ने भी मस्तिष्क की गतिविधि की भविष्यवाणी की, लेकिन यह पूर्ण, संरचित वाक्यों की तुलना में काफी कम सटीक थी। संरचित वाक्यों ने मस्तिष्क की गतिविधि के लिए बहुत बेहतर मिलान प्रदान किया, विशेष रूप से चेहरे, स्थानों और शरीरों को पहचानने के लिए जिम्मेदार उच्च-स्तरीय क्षेत्रों में। यह पता चलता है कि मस्तिष्क केवल एक सूची बनाने वाला नहीं है; यह एक कहानीकार है। इसे इस बात से गहरा लगाव है कि टुकड़े एक दूसरे में कैसे फिट बैठते हैं। शोधकर्ताओं ने कंप्यूटर मॉडल के साथ भी इसका परीक्षण किया। उन्होंने पाया कि वे AI मॉडल जिन्हें छवियों और भाषा दोनों को समझने के लिए प्रशिक्षित किया गया था, वे केवल चित्रों को देखने वाले मॉडलों की तुलना में मस्तिष्क की गतिविधि का अनुमान लगाने में बहुत बेहतर थे। यह सुझाव देता है कि भाषा मस्तिष्क को (और शायद AI को) दृश्य दुनिया को अर्थपूर्ण संबंधों में व्यवस्थित करने में मदद करती है, न कि केवल वस्तुओं के ढेर के रूप में।
यह सुनिश्चित करने के लिए कि यह केवल वाक्यों के "प्रवाहपूर्ण" या व्याकरणिक रूप से सही होने के बारे में नहीं था, टीम ने एक दूसरा तरीका आजमाया। उन्होंने मूल कहानी के मुख्य शब्दों को लिया और एक AI से केवल उन शब्दों का उपयोग करके एक नया व्याकरणिक वाक्य लिखने को कहा। भले ही यह नया वाक्य व्याकरणिक रूप से एकदम सही था, लेकिन इसने मूल, छवि-विशिष्ट कहानी की तरह मस्तिष्क की प्रतिक्रिया की भविष्यवाणी नहीं की। इसने सिद्ध कर दिया कि मस्तिष्क केवल किसी भी सुव्यवस्थित वाक्य को सुनकर खुश नहीं होता; यह विशेष रूप से वास्तविक दृश्य में मौजूद अद्वितीय, संरचित संबंधों की लालसा करता है। अध्ययन बताता है कि उच्च-स्तरीय दृश्य वल्कुट (visual cortex) एक दृश्य की "रचनात्मक संरचना" (compositional structure) के प्रति संवेदनशील है—एजेंटों, क्रियाओं और स्थानों के व्यवस्थित होने का विशिष्ट तरीका। यह जानना पर्याप्त नहीं है कि वहाँ एक कुत्ता और एक व्यक्ति है; मस्तिष्क को वास्तव में दृश्य को "देखने" के लिए यह जानने की आवश्यकता है कि कौन किसका पीछा कर रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।