The Human Brain as a Dynamic Mixture of Expert Models in Video Understanding
यह शोध पत्र क्रॉस-टेम्पोरल रिप्रेजेंटेशनल सिमिलैरिटी एनालिसिस का उपयोग करते हुए 100 से अधिक डीप वीडियो मॉडल्स को डायनेमिक EEG रिकॉर्डिंग्स के साथ संरेखित करने वाले एक बड़े पैमाने के बेंचमार्क को प्रस्तुत करता है, जो यह प्रकट करता है कि मानव मस्तिष्क विशेषज्ञ मॉडल्स के एक डायनेमिक मिश्रण के रूप में कार्य करता है जो पश्च और अग्र क्षेत्रों में टेम्पोरल और स्टैटिक फीचर्स को अलग-अलग तरह से एकीकृत करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: मस्तिष्क एक "स्मार्ट स्विचबोर्ड" है, न कि एक अकेली मशीन
कल्पना कीजिए कि आप एक फिल्म देख रहे हैं। आपका मस्तिष्क उसे समझने के लिए केवल एक ही प्रोग्राम नहीं चलाता है। इसके बजाय, यह एक डायनेमिक स्विचबोर्ड (गतिशील स्विचबोर्ड) की तरह काम करता है जो स्क्रीन पर जो हो रहा है उसके आधार पर लगातार अलग-अलग टूल्स (उपकरणों) के बीच स्विच करता रहता है।
यह पेपर, जिसे ICLR 2026 में प्रस्तुत किया गया है, एक विशाल प्रयोग है जहाँ शोधकर्ताओं ने यह पता लगाने की कोशिश की कि मानव मस्तिष्क वास्तव में किन टूल्स का उपयोग करता है और वह उनका उपयोग कब करता है। उन्होंने यह करने के लिए कि लोग छोटी, स्वाभाविक वीडियो देखते समय मस्तिष्क के विद्युत संकेतों (EEG) की 100 से अधिक विभिन्न कंप्यूटर विजन मॉडल्स (AI सिस्टम) के साथ तुलना की।
नया टूल: "क्रॉस-टेम्पोरल RSA" (समय की यात्रा करने वाला जासूस)
पहले, वैज्ञानिक मस्तिष्क का अध्ययन करने के लिए मुख्य रूप से स्थिर चित्रों (जैसे कि एक फिल्म का एक सिंगल फ्रेम) को देखते थे। लेकिन फिल्में चलती हैं! चलते हुए चित्रों का अध्ययन करने के लिए, शोधकर्ताओं ने एक नई विधि विकसित की जिसे क्रॉस-टेम्पोरल रिप्रेजेंटेशनल सिमिलरिटी एनालिसिस (CT-RSA) कहा जाता है।
उपमा (Analogy):
कल्पना कीजिए कि आपके पास एक बातचीत की रिकॉर्डिंग (मस्तिष्क) है और एक भाषण का ट्रांसक्रिप्ट (AI मॉडल) है।
- पुराना तरीका: आपने पूरी बातचीत को एक साथ पूरी स्पीच से मिलाने की कोशिश की। यह बहुत उलझा हुआ था।
- नया तरीका (CT-RSA): आप एक टाइम मशीन वाले जासूस की तरह कार्य करते हैं। आप मस्तिष्क की गतिविधि का एक छोटा 1-सेकंड का हिस्सा लेते हैं और उसकी तुलना AI की प्रोसेसिंग के हर संभव 1-सेकंड के हिस्से से करते हैं। आप पूछते हैं: "ठीक इसी क्षण, AI का कौन सा हिस्सा मानव मस्तिष्क के सबसे अधिक समान दिखता है?"
इसने उन्हें मस्तिष्क की गतिविधि को सेकंड-दर-सेकंड AI के आंतरिक विचारों के विरुद्ध मैप करने की अनुमति दी।
खोज: मस्तिष्क में एक चार-अंकों वाला नाटक (Four-Act Play)
शोधकर्ताओं ने पाया कि मस्तिष्क का पिछला हिस्सा (पोस्टीरियर क्षेत्र, आँखों के पास) और मस्तिष्क का अगला हिस्सा (फ्रंटल क्षेत्र, माथे के पास) बहुत अलग भूमिकाएँ निभाते हैं।
1. मस्तिष्क का पिछला हिस्सा: "शेपशिफ्टिंग एक्टर" (रूप बदलने वाला अभिनेता)
मस्तिष्क का पिछला हिस्सा दृश्य प्रसंस्करण (visual processing) के लिए मुख्य मंच है। यह 3-सेकंड के वीडियो के दौरान चार अलग-अलग अंकों (acts) से गुजरता है:
- अंक I (0.0s – 0.2s): "स्नैपशॉट" चरण।
- क्या होता है: मस्तिष्क प्रकाश की पहली चमक देखता है।
- AI मैच: यह स्टेटिक इमेज मॉडल्स (जैसे वे जो फोटो में बिल्लियों को पहचानते हैं) के साथ सबसे अच्छा मेल खाता है।
- उपमा: यह एक त्वरित फोटो लेने जैसा है। मस्तिष्क बस कह रहा है, "मैं आकार और रंग देख रहा हूँ।"
- अंक II (0.2s – 0.8s): "ऑब्जेक्ट एक्सपर्ट" चरण।
- क्या होता है: मस्तिष्क समझता है कि वस्तुएं क्या हैं।
- AI मैच: यह ऑब्जेक्ट रिकग्निशन मॉडल्स (जैसे कुत्ता या कार की पहचान करना) के साथ सबसे अच्छा मेल खाता है।
- उपमा: मस्तिष्क अब फोटो में मौजूद चीजों को लेबल कर रहा है। "वह एक कुत्ता है। वह एक गेंद है।"
- अंक III (0.8s – 2.0s): "एक्शन इंटीग्रेटर" चरण।
- क्या होता है: मस्तिष्क गति और संदर्भ को समझना शुरू करता है।
- AI मैच: यह वीडियो मॉडल्स जो समय को एकीकृत करते हैं (वे मॉडल्स जो फ्रेम के अनुक्रम को समझते हैं) के साथ सबसे अच्छा मेल खाता है। विशेष रूप से, एक नए प्रकार के AI जिसे स्टेट-स्पेस मॉडल्स (SSMs) कहा जाता है, यहाँ सबसे अच्छा काम करते हैं।
- उपमा: मस्तिष्क कुत्ते को देखना बंद कर देता है और कुत्ते को गेंद के पीछे भागते हुए देखना शुरू करता है। वर्तमान क्षण को समझने के लिए उसे पिछले कुछ सेकंडों को याद रखने की आवश्यकता होती है।
- अंक IV (2.0s – 3.0s): "स्टेडी स्टेट" चरण।
- मस्तिष्क वीडियो खत्म होने तक इस क्रिया की समझ को बनाए रखता है।
मुख्य अंतर्दृष्टि: मस्तिष्क का पिछला हिस्सा एक मिक्सचर ऑफ एक्सपर्ट्स (विशेषज्ञों का मिश्रण) है। यह पूरे वीडियो के लिए एक ही AI मॉडल का उपयोग नहीं करता है। यह एक "फोटो एक्सपर्ट" से शुरू होता है, "ऑब्जेक्ट एक्सपर्ट" पर स्विच करता है, और अंत में "मोशन एक्सपर्ट" पर स्विच करता है।
2. मस्तिष्क का अगला हिस्सा: "अर्ली बर्ड मैनेजर" (जल्दी आने वाला प्रबंधक)
मस्तिष्क का अगला हिस्सा अलग तरह से व्यवहार करता है।
- क्या होता है: यह बहुत जल्दी (लगभग 0.2s पर) शामिल हो जाता है और फिर गति के बारीक विवरणों की परवाह करना लगभग बंद कर देता है।
- AI मैच: यह स्टेटिक एक्शन मॉडल्स (वे मॉडल्स जो जानते हैं कि एक क्रिया क्या है, जैसे "दौड़ना," लेकिन जरूरी नहीं कि हर फ्रेम को ट्रैक करें) के साथ सबसे अच्छा मेल खाता है।
- उपमा: फ्रंटल ब्रेन एक मैनेजर की तरह है जो अंदर आता है, फिल्म का शीर्षक देखता है ("एक कुत्ता गेंद का पीछा कर रहा है"), सिर हिलाता है, और फिर वापस अपने कागजी काम पर चला जाता है। वह क्रिया का सार (gist) जल्दी समझ जाता है लेकिन उसे पीछा करने के हर फ्रेम को ट्रैक करने की आवश्यकता नहीं होती। इसके पास पिछले हिस्से की तरह "टाइम मशीन" वाला कनेक्शन नहीं है।
इसका AI और भविष्य के लिए क्या अर्थ है
पेपर निष्कर्ष निकालता है कि कोई भी एक अकेला AI मॉडल मानव मस्तिष्क की नकल करने में पूर्ण नहीं है।
- यदि आप एक ऐसा AI बनाते हैं जो स्थिर वस्तुओं को पहचानने में महान है, तो वह वीडियो मोशन को समझने में विफल रहता है।
- यदि आप एक ऐसा AI बनाते हैं जो मोशन को ट्रैक करने में महान है, तो वह शुरुआती विवरणों को मिस कर सकता है।
भविट्य के लिए रूपक (Metaphor):
मानव मस्तिष्क एक स्विस आर्मी नाइफ की तरह है जो तुरंत अपना टूल बदल देता है।
- बेहतर AI बनाने के लिए, हमें केवल एक विशाल, पूर्ण मॉडल बनाने की कोशिश नहीं करनी चाहिए।
- इसके बजाय, हमें "डायनेमिक मिक्सचर ऑफ एक्सपर्ट्स" सिस्टम बनाने चाहिए। ये ऐसे AI सिस्टम हैं जो तुरंत "स्टेटिक विजन" मोड, "ऑब्जेक्ट रिकग्निशन" मोड और "मोशन ट्रैकिंग" मोड के बीच स्विच कर सकते हैं, ठीक हमारे मस्तिष्क की तरह।
एक वाक्य में सारांश
मानव मस्तिष्क वीडियो को एक निरंतर प्रोग्राम चलाने के बजाय, अलग-अलग "एक्सपर्ट" मोड (आकार देखना, वस्तुओं को नाम देना, गति को ट्रैक करना) के बीच तेजी से स्विच करके प्रोसेस करता है, और भविष्य के AI को बनाने का सबसे अच्छा तरीका इस गतिशील स्विचिंग क्षमता की नकल करना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।