🤖 machine learning

Nonlocal operator learning for fMRI encoding and decoding tasks

यह शोध पत्र एक लेटेंट न्यूरल इंटीग्रल ऑपरेटर फ्रेमवर्क प्रस्तुत करता है जो fMRI डायनेमिक्स को प्रभावी ढंग से मॉडल करने के लिए नॉनलोकल स्पैटियोटेम्पोरल कॉन्टेक्स्ट का लाभ उठाता है, यह प्रदर्शित करते हुए कि बड़े टेम्पोरल विंडोज़ और होल-ब्रेन रिकॉर्डिंग उत्तेजना डिकोडिंग और एनकोडिंग दोनों प्रदर्शन को महत्वपूर्ण रूप से सुधारते हैं और अधिक संरचित लेटेंट रिप्रेजेंटेशन प्रदान करते हैं।

मूल लेखक: Andreas Kramer, Saugat Acharya, Alice Giola, Emanuele Zappala

प्रकाशित 2026-05-21

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Andreas Kramer, Saugat Acharya, Alice Giola, Emanuele Zappala

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी तस्वीर: मस्तिष्क की "लंबी बातचीत" को सुनना

कल्पना कीजिए कि आपका मस्तिष्क एक विशाल, हलचल भरा शहर है। जब आप कुछ देखते हैं (जैसे बिल्ली की तस्वीर या कोई रैंडम आकार), तो शहर के विभिन्न हिस्से जगमगा उठते हैं। लंबे समय तक, वैज्ञानिकों ने इस शहर को समझने की कोशिश की, लेकिन केवल एक समय में एक ही सड़क के कोने को देखकर, या किसी बातचीत को केवल एक सेकंड के एक छोटे से हिस्से के लिए सुनकर। उन्होंने यह मान लिया था कि एक स्थान पर जो होता है, वह मुख्य रूप से उसके निकटतम पड़ोसियों और अभी जो हो रहा है, उस पर निर्भर करता है।

यह शोध पत्र तर्क देता है कि यह दृष्टिकोण मुख्य बात को छोड़ देता है। मस्तिष्क एक ऐसे शहर की तरह है जहाँ सुबह शुरू हुआ एक अफवाह तीन घंटे बाद भी ट्रैफिक के पैटर्न को प्रभावित कर सकता है, और उत्तरी जिले में चल रही एक बातचीत तुरंत दक्षिणी जिले को प्रभावित कर सकती है, भले ही वे एक-दूसरे से दूर हों।

लेखकों ने, जो इदाहो स्टेट यूनिवर्सिटी की एक टीम है, एक नए प्रकार का "मस्तिष्क श्रोता" बनाया जिसे नॉनलोकल न्यूरल ऑपरेटर (Nonlocal Neural Operator) कहा जाता है। इसे एक मानक कैमरे के रूप में न सोचें जो एक स्नैपशॉट लेता है, बल्कि एक सुपर-कान (super-ear) के रूप में सोचें जो एक साथ, सभी दूरियों और सभी समयों में, पूरे शहर की बातचीत को सुन सकता है।

दो मुख्य खेल: "तस्वीर का अनुमान लगाना" और "तस्वीर बनाना"

शोधकर्ताओं ने वास्तविक लोगों को एमआरआई (MRI) मशीन में चित्र देखते हुए दिखाने वाले डेटा का उपयोग करके, अपने नए "सुपर-कान" का दो अलग-अलग चुनौतियों पर परीक्षण किया।

1. डिकोडिंग गेम (तस्वीर का अनुमान लगाना)

सेटअप: एक व्यक्ति एक छवि (जैसे बिल्ली, कुत्ता या एक रैंडम पैटर्न) को देखता है, और मशीन उनकी मस्तिष्क गतिविधि को रिकॉर्ड करती है।
कार्य: कंप्यूटर को मस्तिष्क की गतिविधि को देखना है और अनुमान लगाना है, "उन्होंने अभी क्या देखा?"
परिणाम: नया "सुपर-कान" इसमें बहुत अच्छा था। लेकिन जादू तब हुआ जब उन्होंने इसे सुनने के लिए अधिक समय दिया। यदि कंप्यूटर ने मस्तिष्क की केवल 1 सेकंड की गतिविधि सुनी, तो यह ठीक था। यदि इसने 20 सेकंड तक सुना, तो यह बहुत बेहतर हो गया। यह पता चला कि किसी तस्वीर के प्रति मस्तिष्क की प्रतिक्रिया केवल एक त्वरित चमक नहीं है; यह गतिविधि की एक लंबी, चलती हुई लहर है जो जितनी देर तक आप इसे देखते हैं, उतने अधिक सुराग प्रदान करती है।

2. एनकोडिंग गेम (तस्वीर बनाना)

सेटअप: यह इसका उल्टा है। कंप्यूटर को पहले छवि दिखाई जाती है।
कार्य: इसे भविष्यवाणी करनी है कि मस्तिष्क की गतिविधि कैसी दिखेगी।
कठिनाई: यह अविश्वसनीय रूप से कठिन है। यह एक बिलबोर्ड को देखकर शहर की हर एक कार की सटीक गति की भविष्यवाणी करने जैसा है। पेपर स्वीकार करता है कि कंप्यूटर अभी भी इसमें पूर्ण नहीं है (यह अभी भी थोड़ा धुंधला है), लेकिन यहाँ भी, कंप्यूटर को अतीत के बारे में सोचने के लिए एक लंबा "टाइम विंडो" देने से इसे बेहतर भविष्यवाणियां करने में मदद मिली।

असली मंत्र: "नॉनलोकल" और "लंबे विंडोज़"

यह पेपर दो मुख्य विचारों पर ध्यान केंद्रित करता है जो उनके मॉडल को विशेष बनाते हैं:

1. नॉनलोकल कनेक्शन (द "टेलीपैथी" प्रभाव)
मानक कंप्यूटर मॉडल उन लोगों की तरह हैं जो केवल अपने बगल में खड़े व्यक्ति से बात करते हैं। वे मानते हैं कि मस्तिष्क छोटे, स्थानीय समूहों के रूप में काम करता है।
लेखकों का मॉडल "नॉनलोकल" है। यह मानता है कि मस्तिष्क के पिछले हिस्से में एक संकेत तुरंत मस्तिष्क के अगले हिस्से को प्रभावित कर सकता है, ठीक वैसे ही जैसे एक टेलीपैथिक लिंक। मस्तिष्क में, संकेत लंबे तारों (व्हाइट मैटर) के माध्यम से यात्रा करते हैं और उन्हें प्रोसेस होने में समय लगता है। नया मॉडल इन लंबी दूरी के, विलंबित कनेक्शनों को स्वाभाविक रूप से समझने के लिए बनाया गया है, बिना यह बताए कि वे वास्तव में कहाँ हैं।

2. टाइम विंडो (द "मूवी" बनाम द "स्नैपशॉट")
शोधकर्ताओं ने परीक्षण किया कि मॉडल को समझने के लिए कितने "इतिहास" की आवश्यकता थी।

छोटा विंडो (स्नैपशॉट): एक फिल्म के केवल कुछ फ्रेम देखना। आप एक कार देख सकते हैं, लेकिन आपको यह नहीं पता कि वह तेज हो रही है या धीमी हो रही है।
लंबा विंडो (मूवी): एक लंबी क्लिप देखना। आप पूरी कहानी देखते हैं।
निष्कर्ष: "सुपर-इयर" मॉडल मूवी पर फला-फूला। जितना लंबा टाइम विंडो (जितना अधिक इतिहास वह देख सकता था), प्रदर्शन उतना ही बेहतर हुआ। अन्य मॉडल (जैसे मानक डीप लर्निंग) कभी-कभी बहुत अधिक इतिहास दिए जाने पर भ्रमित हो जाते थे या खराब प्रदर्शन करते थे, लेकिन यह नया मॉडल और अधिक स्मार्ट हो गया।

उन्होंने मस्तिष्क के बारे में क्या सीखा?

पेपर सुझाव देता है कि मस्तिष्क को वास्तव में समझने के लिए, हमें इसे अलग-थलग, तात्कालिक प्रतिक्रियाओं के संग्रह के रूप में देखना बंद करना होगा। इसके बजाय, हमें इसे एक डिस्ट्रीब्यूटेड सिस्टम (वितरित प्रणाली) के रूप में देखना चाहिए जहाँ:

स्थान मायने रखता है: मस्तिष्क के दूर स्थित हिस्से एक-दूसरे से बात करते हैं।
समय मायने रखता है: अतीत वर्तमान को प्रभावित करता है।

जब शोधकर्ताओं ने "छिपी हुई भाषा" (लेटेंट स्पेस) को देखा जिसे कंप्यूटर ने सीखा था, तो उन्होंने पाया कि लंबे टाइम विंडो के साथ, कंप्यूटर विभिन्न प्रकार की छवियों (जैसे "ज्यामितीय आकार" बनाम "रैंडम शोर") को बहुत अधिक स्पष्ट रूप से अलग कर सकता था। यह ऐसा था जैसे कंप्यूटर ने अंततः मस्तिष्क की भाषा के वर्णमाला को समझ लिया हो।

निचोड़

पेपर निष्कर्ष निकालता है कि यदि आप एक ऐसा कंप्यूटर बनाना चाहते हैं जो ब्रेन स्कैन को समझ सके, तो आपको एक ऐसा मॉडल चाहिए जो केवल एक सड़क के कोने से आने वाली "चिल्लाहट" को नहीं, बल्कि पूरे शहर की "लंबी बातचीत" को सुन सके। इस नए "नॉनलोकल" दृष्टिकोण का उपयोग करके और मॉडल को जानकारी संसाधित करने के लिए अधिक समय देकर, हम मस्तिष्क क्या सोच रहा है और क्या कर रहा है, इसकी अधिक स्पष्ट तस्वीरें प्राप्त करते हैं।

नोट: लेखक सावधानी बरतते हुए कहते हैं कि यह मस्तिष्क की डायनेमिक्स को समझने और भविष्यवाणी में सुधार करने के लिए एक उपकरण है, अभी बीमारियों के निदान के लिए कोई मेडिकल डिवाइस नहीं है। वे एक बेहतर मानचित्र बना रहे हैं, कोई इलाज नहीं।

तकनीकी सारांश: fMRI एन्कोडिंग और डिकोडिंग कार्यों के लिए नॉनलोकल ऑपरेटर लर्निंग

समस्या विवरण
फंक्शनल एमआरआई (fMRI) डेटा अपने उच्च-आयामी स्पैटियोटेम्पोरल (स्थानिक-कालिक) ढांचे के कारण कम्प्यूटेशनल न्यूरोसाइंस के लिए एक महत्वपूर्ण चुनौती पेश करता है। fMRI के माध्यम से रिकॉर्ड की गई मस्तिष्क गतिविधि उन अंतःक्रियाओं को दर्शाती है जो दूरस्थ क्षेत्रों में वितरित होती हैं और विस्तारित समय-पैमानों पर विकसित होती हैं, जिसमें हेमोडायनामिक स्मूथिंग और विलंब जैसे मापन प्रभाव भी शामिल होते हैं। मानक डीप लर्निंग आर्किटेक्चर, जो अक्सर लोकैलिटी (स्थानीयता) या अल्प-दूरी की निर्भरता (जैसे, कनवल्शनल फिल्टर्स, फिक्स्ड ग्राफ नेबरहुड्स, या शॉर्ट-मेमोरी रिकरेंस) की धारणाओं पर आधारित होते हैं, इन वितरित, नॉनलोकल गतिकी (dynamics) को पकड़ने के लिए बहुत सीमित हो सकते हैं। लेखक यह तर्क देते हैं कि fMRI के मॉडलिंग के लिए ऐसे फ्रेमवर्क की आवश्यकता है जो पूर्व-निर्धारित कनेक्टिविटी बाधाएं लगाए बिना स्थानिक रूप से वितरित और समय-विस्तारित अंतःक्रियाओं का प्रतिनिधित्व करने में सक्षम हों।

कार्यप्रणाली (Methodology)
यह शोध पत्र न्यूरल इंटीग्रल ऑपरेटर्स पर आधारित एक फ्रेमवर्क प्रस्तावित करता है, विशेष रूप से fMRI एन्कोडिंग और डिकोडिंग कार्यों के लिए अटेंशनल न्यूरल इंटीग्रल इक्वेशन (ANIE) मॉडल [ZFC+24] को अनुकूलित करता है।

गणितीय सूत्रीकरण: BOLD सिग्नल को स्थान $x$ और समय $t$ पर एक फलन $u(x, t)$ के रूप में माना जाता है। मस्तिष्क की गतिकी को एक नॉनलोकल ऑपरेटर $T$ के रूप में मॉडल किया गया है जो इस फंक्शन स्पेस पर कार्य करता है। मुख्य तंत्र एक लेटेंट स्पेस (latent space) में फिक्स्ड-पॉइंट इटरेशन है, जिसे इस समीकरण द्वारा परिभाषित किया गया है:
$T(u) + u_{lat} = u$
जहाँ $u_{lat}$ एक लेटेंट रिप्रेजेंटेशन है (जो एक एनकोडर $E$ के माध्यम से प्राप्त होता है) और $u^*$ फिक्स्ड पॉइंट समाधान है।
नॉनलोकल ऑपरेटर: लोकल ऑपरेटर्स के विपरीत, इंटीग्रल ऑपरेटर $T$ पूरे स्पैटियोटेम्पोरल डोमेन पर सिग्नल का मूल्यांकन एक बिंदु $(x, t)$ पर एकीकरण (integration) करके करता है। ऑपरेटर को एक लर्न करने योग्य कर्नेल $K_\theta$ द्वारा परिभाषित किया गया है:
$T(u)(x, t) = \int_0^1 \int_\Omega K_\theta(u(z, s), x, t, z, s) \, dz \, ds$
यहाँ $z$ और $s$ क्रमशः स्थानिक और टेम्पोरल इंटीग्रेशन वेरिएबल्स हैं। यह सूत्रीकरण स्वाभाविक रूप से किसी भी दो स्थानिक स्थानों के बीच की अंतःक्रियाओं और कई टाइमस्केल्स पर मेमोरी प्रभावों को ध्यान में रखता है।
कार्य (Tasks):
- डिकोडिंग (Decoding): fMRI रिकॉर्डिंग्स से इनपुट स्टिमुलस (ऑब्जेक्ट लेबल्स या विजुअल पैटर्न) की भविष्यवाणी करना। फिक्स्ड पॉइंट $u^*$ को स्टिमुलस $y_{stim}$ पर रिग्रेस किया जाता है।
- एन्कोडिंग (Encoding): इनपुट स्टिमुलस से fMRI गतिकी की भविष्यवाणी करना। फिक्स्ड पॉइंट $u^*$ एक एन्कोडेड फंक्शन के रूप में कार्य करता है जिसका उपयोग डिकोडर $D$ द्वारा BOLD सिग्नल को पुनर्गठित करने ( $D(u^*) = u$ ) के लिए किया जाता है।
प्रायोगिक डिजाइन: इस फ्रेमवर्क का मूल्यांकन दो ओपन-सोर्स डेटासेट्स (Haxby और Miyawaki) पर किया गया। लेखकों ने स्पैटियोटेम्पोरल कॉन्टेक्स्ट के प्रभाव और लेटेंट-स्पेस ज्योमेट्री का आकलन करने के लिए टेम्पोरल विंडो साइज (शॉर्ट बनाम लॉन्ग) और स्पेशियल कॉन्टेक्स्ट (विजुअल कॉर्टेक्स ROI बनाम होल-ब्रेन रिकॉर्डिंग्स) को व्यवस्थित रूप से बदला। मॉडल्स की तुलना मानक आर्किटेक्चर जैसे FFNN, CNN, LSTM, ResNet, और ViT से की गई, जिसमें निष्पक्ष तुलना सुनिश्चित करने के लिए पैरामीटर काउंट को समान रखा गया।

प्रमुख योगदान और परिणाम

टेम्पोरल कॉन्टेक्स्ट का प्रभाव:
- डिकोडिंग: दोनों डेटासेट्स में, न्यूरल इंटीग्रल ऑपरेटर के लिए बड़े टेम्पोरल विंडोज ने आम तौर पर प्रदर्शन में सुधार किया। Haxby डेटासेट (ऑब्जेक्ट क्लासिफिकेशन) में, ANIE मॉडल के लिए सटीकता 1 टाइम पॉइंट (~~73.7%) से बढ़कर 20 टाइम पॉइंट्स (~~79.2%) हो गई, जबकि प्रतिस्पर्धी मॉडल्स (CNN, LSTM, ViT) अक्सर लंबे विंडोज के साथ प्रदर्शन में गिरावट या ठहराव दिखाते हैं।
- एन्कोडिंग: हालांकि पूर्ण प्रदर्शन (absolute performance) स्वाभाविक रूप से कठिन कार्य (~500 से अधिक वोक्सेल्स की भविष्यवाणी करना) के कारण मध्यम रहा ( $R^2 \approx 0.25$ ), लंबे टेम्पोरल विंडोज ने निरंतर लाभ दिया। ANIE मॉडल $R^2 \approx 0.15$ (5 टाइम पॉइंट्स) से सुधरकर $R^2 \approx 0.25$ (25 टाइम पॉइंट्स) हो गया।
स्पेशियल कॉन्टेक्स और होल-ब्रेन इंफॉर्मेशन:
- डिकोडिंग कार्यों में, केवल विजुअल कॉर्टेक्स के बजाय होल-ब्रेन रिकॉर्डिंग्स का उपयोग करने से सांख्यिकीय महत्व के साथ मॉडल के प्रदर्शन में काफी सुधार हुआ। यह सुझाव देता है कि विजुअल स्टिमुलस के लिए प्रासंगिक जानकारी कई मस्तिष्क क्षेत्रों में विकेंद्रीकृत (delocalized) है और इसे बड़े टेम्पोरल स्केल्स के माध्यम से प्रभावी ढंग से एक्सेस किया जा सकता है।
लेटेंट स्पेस संरचना:
- क्लास सेपरेशन: डिकोडिंग प्रयोगों में, सीखा गया लेटेंट स्पेस अक्सर कच्चे डेटा (raw data) की तुलना में स्पष्ट क्लास सेपरेशन प्रदान करता है।
- सेल्फ-सुपरवाइज्ड क्लासिफिकेशन: ज्यामितिक (geometric) और रैंडम स्टिमुलस के बीच अंतर करने के लिए, मॉडल द्वारा सीखे गए लेटेंट स्पेस ने कच्चे डेटा की तुलना में अधिक संरचित संगठन प्रदर्शित किया, विशेष रूप से छोटे टेम्पोरल विंडोज पर। छोटे विंडोज ( $t=3, 5$ ) के लिए, मॉडल के लेटेंट एम्बेडिंग्स ने KNN क्लासिफिकेशन में कच्चे डेटा की तुलना में काफी बेहतर प्रदर्शन किया ( $p < 0.05$ )। जैसे-जैसे टेम्पोरल विंडोज बढ़े, कच्चे और लेटेंट दोनों रिप्रेजेंटेशन अत्यधिक सेपरेबल (separable) हो गए, जिससे लेटेंट स्पेस का सापेक्ष लाभ कम हो गया।

महत्व और दावे
लेखक दावा करते हैं कि न्यूरल इंटीग्रल ऑपरेटर्स fMRI गतिकी को मॉडल करने के लिए एक उम्मीद जगाने वाला फ्रेमवर्क प्रदान करते हैं, मुख्य रूप से इसलिए क्योंकि वे मस्तिष्क गतिविधि में वितरित नॉनलोकल संरचना को स्पष्ट रूप से कैप्चर करते हैं। परिणाम संकेत देते हैं कि:

व्यापक स्पैटियोटेमोरल कॉन्टेक्स्ट फायदेमंद है: fMRI गतिकी के सफल मॉडलिंग के लिए स्थानीयकृत स्नैपशॉट के बजाय दीर्घकालिक टेम्पोरल सूचना और वितरित स्थानिक सूचना की आवश्यकता होती है।
आर्किटेक्चर मायने रखता है: इस डेलोकलाइज्ड संरचना का लाभ उठाने के लिए ऐसे मॉडल आर्किटेक्चर की आवश्यकता है जो विशेष रूप से नॉनलोकल डिपेंडेंसी (जैसे, इंटीग्रल ऑपरेटर्स) को कैप्चर करने के लिए डिज़ाइन किए गए हों, न कि केवल स्थानीय कनवल्शन या रिकरेंस पर निर्भर हों।
रिप्रेजेंटेशन लर्निंग: यह दृष्टिकोण स्टिमुलस-डिपेंडेंट सूचना को अधिक संरचित लेटेंट रिप्रेजेंटेशन में व्यवस्थित करने में सक्षम है, विशेष रूप से तब जब सिग्नल कच्चे डेटा में कम स्पष्ट हो (अर्थात, छोटे टेम्पोरल विंडोज पर)।

लेखक एक मध्यम रुख बनाए रखते हुए नोट करते हैं कि हालांकि परिणाम लॉन्ग-रेंज स्पैटियोटेम्पोरल फंक्शनिंग की परिकल्पना का समर्थन करते हैं, वे मस्तिष्क कार्य का सीधा यांत्रिक विवरण (mechanistic account) स्थापित नहीं करते हैं, क्योंकि देखे गए लाभों में सांख्यिकीय स्थिरता जैसे कारक भी योगदान दे सकते हैं। भविष्य के कार्य के लिए सीखे गए ऑपरेटर्स की व्याख्यात्मकता (interpretability) में सुधार करने और उन्हें ज्ञात कार्यात्मक मस्तिष्क संगठन के साथ अधिक सीधे जोड़ने का सुझाव दिया गया है।

बड़ी तस्वीर: मस्तिष्क की "लंबी बातचीत" को सुनना

दो मुख्य खेल: "तस्वीर का अनुमान लगाना" और "तस्वीर बनाना"

असली मंत्र: "नॉनलोकल" और "लंबे विंडोज़"

उन्होंने मस्तिष्क के बारे में क्या सीखा?

निचोड़

इसी तरह के और पेपर