Task-conditioned probing of instruction-tuned multimodal LLMs: Region-specific brain alignment patterns under naturalistic stimuli
यह अध्ययन प्रदर्शित करता है कि निर्देश-ट्यून (instruction-tuned) मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स, गैर-निर्देश-ट्यून और इन-कॉन्टेक्स्ट लर्निंग मॉडल्स की तुलना में, प्राकृतिक फिल्म देखने के दौरान मानव मस्तिष्क की गतिविधि के साथ काफी अधिक मजबूत और कार्य-विशिष्ट संरेखण (alignment) प्रदर्शित करते हैं, जो यह सुझाव देता है कि निर्देश ट्यूनिंग (instruction tuning) निरूपणों (representations) को सतही अर्थों (surface semantics) के बजाय कार्यात्मक कार्य मांगों (functional task demands) के इर्द-गिर्द व्यवस्थित करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
यहाँ इस शोध पत्र का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।
मुख्य विचार: कंप्यूटर को मस्तिष्क की तरह "सोचना" सिखाना
कल्पना कीजिए कि आपके पास बहुत ही स्मार्ट AI सहायक (मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स, या MLLMs) का एक समूह है। ये AI फिल्में देख सकते हैं और ऑडियो सुन सकते हैं। शोधकर्ताओं जानना चाहते थे: क्या ये AI जानकारी को उसी तरह प्रोसेस करते हैं जैसे मानव मस्तिष्क करता है?
यह पता लगाने के लिए, उन्होंने केवल AI से सवाल नहीं पूछे; बल्कि उन्होंने वास्तविक मनुष्यों के "ब्रेनवेव्स" (fMRI स्कैन) को देखा जो वही फिल्में देख रहे थे। फिर उन्होंने उन ब्रेनवेव्स को AI के आंतरिक विचारों का उपयोग करके प्रेडिक्ट (अनुमान लगाने) करने की कोशिश की। लक्ष्य यह देखना था कि कौन सा AI "मस्तिष्क" मानव मस्तिष्क से सबसे अच्छी तरह मेल खाता है।
मुख्य पात्र: दो प्रकार के AI
अध्ययन ने दो प्रकार के AI सहायकों की तुलना की:
- "रॉ" (Raw) AI (इन-कॉन्टेक्स्ट लर्निंग): इसे एक ऐसे प्रतिभाशाली छात्र के रूप में सोचें जिसने लाखों किताबें पढ़ी हैं लेकिन उसे कभी कोई विशिष्ट टेस्ट नहीं दिया गया है। यदि आप उन्हें एक फिल्म दिखाते हैं और पूछते हैं, "क्या हो रहा है?", तो वे अपने सामान्य ज्ञान के आधार पर उत्तर देते हैं। वे स्मार्ट हैं, लेकिन वे शायद केवल वही दोहरा रहे हैं जो उन्होंने पहले देखा है।
- "ट्रेन्ड" (Trained) AI (इंस्ट्रक्शन-ट्यून्ड): इसे वही छात्र समझें, लेकिन इसने अभी-अभी एक कठोर प्रशिक्षण शिविर पूरा किया है जहाँ उन्होंने विशिष्ट कार्यों का अभ्यास किया है: "सारांश दें," "भावना को खोजें," "ध्वनि का वर्णन करें।" अब वे विशिष्ट निर्देशों का पालन करने में विशेषज्ञ हैं।
प्रयोग: मूवी नाइट
शोधकर्ताओं ने चार स्वयंसेवकों के साथ एक "मूवी नाइट" आयोजित की। जब वे लोकप्रिय फिल्मों (जैसे द वुल्फ ऑफ वॉल स्ट्रीट) के क्लिप देख रहे थे, तब उनके मस्तिष्क को स्कैन किया गया।
फिर उन्होंने उन्हीं मूवी क्लिप्स को AI में डाला।
- रॉ AI ने केवल वीडियो को देखा।
- ट्रेन्ड AI को उसी वीडियो के लिए 13 अलग-अलग "निर्देश" दिए गए, जैसे कि:
- "मुख्य घटनाएँ क्या हैं?"
- "भावनाओं का वर्णन करें।"
- "केंद्रीय संघर्ष क्या है?"
- "ध्वनियों की पहचान करें।"
शोधकर्ताओं ने फिर पूछा: किस AI के आंतरिक "विचारों" से उस सटीक क्षण में मानव मस्तिष्क की गतिविधियों का सबसे अच्छी तरह से अनुमान लगाया जा सकता है?
आश्चर्यजनक परिणाम
यहाँ उनके द्वारा खोजे गए निष्कर्ष दिए गए हैं, कुछ सरल रूपकों का उपयोग करते हुए:
1. "ट्रेन्ड" AI मानव मस्तिष्क के लिए एक बेहतर मैच है
"ट्रेन्ड" (इंस्ट्रक्शन-ट्यून्ड) AI, "रॉ" AI की तुलना में मानव मस्तिष्क की गतिविधि का अनुमान लगाने में काफी बेहतर थे।
- उपमा: कल्पना कीजिए कि आप अपने किसी दोस्त के विचारों का अनुमान लगाने की कोशिश कर रहे हैं। "रॉ" AI उस दोस्त की तरह है जो फिल्म के बारे में केवल रैंडम तथ्य बताता है। "ट्रेन्ड" AI उस दोस्त की तरह है जो सक्रिय रूप से कहानी और भावनाओं को समझने की कोशिश कर रहा है, ठीक वैसे ही जैसे आपका मस्तिष्क करता है। ट्रेन्ड AI के "विचार" दूसरों की तुलना में लगभग 9% से 20% बेहतर तरीके से मानव मस्तिष्क के साथ संरेखित (align) थे।
2. "रॉ" AI केवल शब्दों की नकल कर रहा है; "ट्रेन्ड" AI काम कर रहा है
शोधकर्ताओं को पता चला कि ये AI कैसे सोचते हैं इसमें एक प्रमुख अंतर है:
- रॉ AI आपके द्वारा उपयोग किए गए सटीक शब्दों के प्रति बहुत संवेदनशील है। यदि आप कहते हैं "वीडियो का वर्णन करें" बनाम "मुझे वीडियो के बारे में बताएं," तो रॉ AI का आंतरिक मस्तिष्क बहुत बदल जाता है क्योंकि शब्द अलग हैं। यह एक तोते की तरह है जो ध्वनियों की नकल करता है।
- ट्रेन्ड AI विशिष्ट शब्दों को अनदेखा करता है और उस काम पर ध्यान केंद्रित करता है जो आप करवाना चाहते हैं। चाहे आप कहें "सारांश दें" या "कहानी सुनाएं," इसका आंतरिक मस्तिष्क कार्य पर केंद्रित रहता है।
- सीख: मानव मस्तिष्क भी शब्दों (पूछने के तरीके) के बजाय कार्य (कहानी को समझना) पर अधिक ध्यान देता है। ट्रेन्ड AI इस मानव-समान व्यवहार को बेहतर ढंग से दर्शाता है।
3. अलग-अलग कार्य मस्तिष्क के अलग-अलग हिस्सों को सक्रिय करते हैं (और AI को भी)
अध्ययन ने दिखाया कि जब आप AI को एक विशिष्ट काम देते हैं, तो यह अपने मस्तिष्क के विभिन्न "विभागों" को सक्रिय करता है, ठीक इंसानों की तरह।
- उपमा: मस्तिष्क को अलग-अलग जिलों वाले एक शहर के रूप में सोचें।
- जब AI को ध्वनि का पता लगाने के लिए कहा जाता है, तो इसका "ऑडियो डिस्ट्रिक्ट" चमक उठता है, जो मानव श्रवण प्रांतस्था (auditory cortex) से मेल खाता है।
- जब कहानी को समझने के लिए कहा जाता है, तो इसका "लैंग्वेज डिस्ट्रिक्ट" चमक उठता है, जो मानव भाषा क्षेत्रों से मेल खाता है।
- जब वस्तुओं को पहचानने के लिए कहा जाता है, तो इसका "विजुअल डिस्ट्रिक्ट" चमक उठता है।
- "रॉ" AI के मामले में यह बदलाव स्पष्ट रूप से नहीं हुआ। ट्रेन्ड AI जानता था कि विशिष्ट कार्य के लिए शहर के किस हिस्से का उपयोग करना है।
4. "डीप" लेयर्स "डीप" मस्तिष्क से मेल खाती हैं
AI मॉडल में लेयर्स होती हैं, जैसे एक बहुमंजिला इमारत।
- निचली मंजिलें (Shallow layers): ये सरल चीजों जैसे किनारों, रंगों और बुनियादी ध्वनियों को संभालती हैं।
- ऊपरी मंजिलें (Deep layers): ये जटिल विचारों जैसे कहानियों, भावनाओं और तर्क को संभालती हैं।
- निष्कर्ष: शोधकर्ताओं ने पाया कि AI की निचली मंजिलें मानव मस्तिष्क के संवेदी क्षेत्रों (आंखों/कानों) से मेल खाती थीं, और AI की ऊपरी मंजिलें मानव मस्तिष्क के सोचने वाले क्षेत्रों से मेल खाती थीं। यह "पदानुक्रम" (hierarchy) ट्रेन्ड AI में बहुत अधिक स्पष्ट था।
"वीडियो बनाम ऑडियो" ट्विस्ट
अध्ययन में उन AI की भी तुलना की गई जो विशेष रूप से वीडियो के लिए डिज़ाइन किए गए थे और जो विशेष रूप से ऑडियो के लिए डिज़ाइन किए गए थे।
- वीडियो AI: ये शो के असली सितारे थे। वे पूरे मस्तिष्क में मानव मस्तिष्क की गतिविधि के साथ बहुत अच्छी तरह मेल खाते थे।
- ऑडियो AI: इन्होंने ठीक-ठाक प्रदर्शन किया, लेकिन वे मुख्य रूप से मानव मस्तिष्क के सुनने वाले केंद्रों से मेल खाते थे। वे वीडियो मॉडल की तरह बाकी मस्तिष्क के साथ उतनी अच्छी तरह मेल नहीं खा पाए।
- निष्कर्ष: वर्तमान में, जो AI मॉडल मिलकर "देख" और "सुन" सकते हैं (वीडियो), वे केवल "सुनने" (ऑडियो) वाले मॉडल्स की तुलना में मानव मस्तिष्क के कार्य के बहुत करीब हैं।
सारांश
यह पेपर यह सिद्ध करता है कि जब हम AI मॉडल को विशिष्ट निर्देशों का पालन करना सिखाते हैं (जैसे एक मानव शिक्षक सिखाता है), तो वे केवल डेटा को "रटने" के बजाय इस तरह से "सोचना" शुरू कर देते हैं जो हमारे अपने मस्तिष्क के काम करने के तरीके जैसा दिखता है। वे अपने विचारों को शब्दों के बजाय कार्य के आधार पर व्यवस्थित करते हैं, और उनसे जो पूछा जाता है उसके आधार पर विशिष्ट मस्तिष्क क्षेत्रों को सक्रिय करते हैं। यह उन्हें उन वैज्ञानिकों के लिए शक्तिशाली उपकरण बनाता है जो यह समझने की कोशिश कर रहे हैं कि मानव मस्तिष्क फिल्मों और कहानियों जैसी जटिल दुनिया को कैसे प्रोसेस करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।