📊 statistics

Computation-Aware Kalman Filtering with Model Selection for Neural Dynamics

यह शोध पत्र कम्प्यूटेशन-अवेयर स्टेट-स्पेस मॉडल (CASSM) को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो कम्प्यूटेशनल अनिश्चितता और मॉडल चयन को शामिल करके बड़े पैमाने के न्यूरल डेटासेट के लिए बेयसियन लेटेंट वेरिएबल मॉडलिंग का विस्तार करता है, जिससे डेटा की कमी वाले परिदृश्यों में बेहतर अनिश्चितता अंशांकन (uncertainty calibration) प्रदान करते हुए डीप नेटवर्क्स के साथ प्रतिस्पर्धी प्रदर्शन प्राप्त किया जा सके।

मूल लेखक: JR Huml, Jonathan Wenger, John P. Cunningham

प्रकाशित 2026-06-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: JR Huml, Jonathan Wenger, John P. Cunningham

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, हलचल भरे शहर के मौसम के पैटर्न को समझने की कोशिश कर रहे हैं। आपके पास आपकी मदद के लिए दो मुख्य उपकरण हैं:

सुपर-कंप्यूटर वेदर मॉडल: यह एक विशाल, जटिल सिमुलेशन है जिसे ठीक से काम करने के लिए भारी मात्रा में ऐतिहासिक डेटा की आवश्यकता होती है। यदि आप इसे हजारों वर्षों के मौसम के रिकॉर्ड देते हैं, तो यह भविष्य की सटीक भविष्यवाणी करता है। लेकिन यदि आप इसे केवल पिछले सप्ताह का डेटा देते हैं, तो यह भ्रमित हो जाता है और मनमाने अनुमान लगाने लगता है। इसे चलाना भी बहुत महंगा है।
अनुभवी स्थानीय पूर्वानुमानकर्ता (Local Forecaster): यह व्यक्ति सरल नियमों (इंडक्टिव बायस) का उपयोग करता है और जानता है कि शहर आमतौर पर कैसे व्यवहार करता है। उन्हें हजारों वर्षों के डेटा की आवश्यकता नहीं होती; वे केवल कुछ दिनों के रिकॉर्ड के साथ भी एक अच्छा अनुमान लगा सकते हैं। हालांकि, जब डेटा बहुत अधिक होता है, तो वे सुपर-कंप्यूटर जितने सटीक नहीं होते।

समस्या:
न्यूरोसाइंस में, वैज्ञानिक यह समझने की कोशिश कर रहे हैं कि मस्तिष्क कैसे काम करता है, जो न्यूरॉन्स के "स्पाइक्स" (विद्युत संकेतों) पर आधारित होता है।

पुराना तरीका (डीप लर्निंग/न्यूरल नेटवर्क): सुपर-कंप्यूटर की तरह। यह तब बहुत अच्छा होता है जब आपके पास लाखों परीक्षण (experiments के दोहराव) हों, लेकिन जब परीक्षण कम हों तो यह विफल हो जाता है।
पारंपरिक बेयसियन तरीका (Traditional Bayesian Way): स्थानीय पूर्वानुमानकर्ता की तरह। यह अनिश्चितता और छोटे डेटासेट को संभालने में बहुत अच्छा है, लेकिन यह गणनात्मक रूप से धीमा है। जैसे-जैसे न्यूरॉन्स की संख्या बढ़ती है (सैकड़ों से हजारों तक), गणित इतना भारी हो जाता है कि कंप्यूटर क्रैश हो जाता है।

नया समाधान: CASSM
लेखक एक नया तरीका पेश करते हैं जिसे CASSM (कंप्यूटेशन-अवेयर स्टेट-स्पेस मॉडल) कहा जाता है। CASSM को एक "रियलिटी चेक के साथ स्मार्ट पूर्वानुमानकर्ता" के रूप में सोचें।

यह इस प्रकार काम करता है, सरल उपमाओं का उपयोग करके:

1. "रियलिटी चेक" (कंप्यूटेशनल अनिश्चितता)

अधिकांश विधियां गणित को सरल बनाने की कोशिश करती हैं ताकि वे तेजी से चल सकें। समस्या यह है कि वे अक्सर यह बताना भूल जाती हैं कि उन्होंने गणित को कितना सरल बनाया है। यह एक GPS की तरह है जो कहता है, "500 फीट में बाएं मुड़ें," लेकिन यह नहीं बताता कि वह 10 साल पुराने मानचित्र का उपयोग कर रहा है। आप निर्माण कार्य वाले क्षेत्र (construction zone) में जा सकते हैं।

CASSM अलग है। यह स्पष्ट रूप से गणित को सरल बनाने के कारण होने वाली "त्रुटि" की गणना करता है।

उपमा: कल्पना करें कि आप एक विशाल हाथी का वजन मापने का अनुमान लगा रहे हैं।
- पुराना तरीका: आप अनुमान लगाते हैं कि इसका वजन 5 टन है और कहते हैं, "मुझे 100% यकीन है।" (अति-आत्मविश्वासी)।
- CASSM: आप अनुमान लगाते हैं कि इसका वजन 5 टन है, लेकिन आप एक नोट जोड़ते हैं: "क्योंकि मुझे एक छोटे पैमाने का उपयोग करना पड़ा, मेरा अनुमान 2 टन तक गलत हो सकता है।"
- यह क्यों मायने रखता है: जैसे-जैसे कंप्यूटर अधिक सटीक होने के लिए अधिक मेहनत करता है, CASSM उस "गलत होने की संभावना" वाले नोट को छोटा कर देता है। यदि कंप्यूटर आलसी है, तो वह नोट बड़ा हो जाता है। यह वैज्ञानिकों को एक गलत अनुमान पर भरोसा करने से रोकता है।

2. "स्केल-इम्बैलेंस्ड" (Scale-Imbalanced) शासन

यह पेपर एक विशिष्ट, कठिन स्थिति पर ध्यान केंद्रित करता है: जब आपके पास न्यूरॉन्स की एक विशाल संख्या (शहर) है लेकिन परीक्षणों (trials) की बहुत कम संख्या (मौसम का डेटा) है।

मानव मस्तिष्क में, आपके पास अरबों न्यूरॉन्स हो सकते हैं, लेकिन आप एक ही व्यक्ति पर अरबों प्रयोग नहीं चला सकते।
डीप लर्निंग मॉडल (जैसे LFADS) आमतौर पर यहाँ विफल हो जाते हैं क्योंकि वे "डेटा-भूखे" होते हैं। पर्याप्त परीक्षणों के बिना वे भूखे रह जाते हैं।
CASSM विशेष रूप से इस कमी के लिए डिज़ाइन किया गया है। यह "प्रायर्स" (स्मार्ट धारणाएं कि न्यूरॉन्स कैसे व्यवहार करते हैं) का उपयोग उन रिक्तियों को भरने के लिए करता है जहाँ डेटा गायब है।

3. "स्मार्ट लेंस" (मॉडल चयन)

CASSM की सबसे अच्छी विशेषताओं में से एक यह है कि यह तय करता है कि उसे क्या देखना चाहिए।

उपमा: कल्पना करें कि आप एक छोटे कीहोल (keyhole) के माध्यम से एक भीड़ भरे कमरे को देख रहे हैं। आप एक बार में केवल कुछ ही लोगों को देख सकते हैं।
पुरानी विधियां: वे कीहोल से यादृच्छिक (randomly) रूप से देख सकती हैं।
CASSM: यह कमरे के सबसे दिलचस्प हिस्सों की ओर कीहोल को ले जाना सीखता है। यह स्वचालित रूप से समझ जाता है कि पूरे सिस्टम को समझने के लिए किन न्यूरॉन्स को ट्रैक करना सबसे महत्वपूर्ण है। यह ऐसा अपनी भविष्यवाणियों में "भ्रम" (entropy) को कम करने का प्रयास करके करता है।

4. "स्थानिक मानचित्र" (Spatial Map)

CASSM वैज्ञानिकों को यह भी जोड़ने की अनुमति देता है कि मस्तिष्क में न्यूरॉन्स कहाँ स्थित हैं।

उपमा: यदि आप ट्रैफिक का अनुमान लगा रहे हैं, तो यह जानना मददगार होता है कि कौन सा रास्ता हाईवे है बनाम साइड स्ट्रीट।
नवाचार: CASSM न्यूरॉन्स के भौतिक स्थान (या उनके सेल प्रकार) का उपयोग यह संकेत देने के लिए कर सकता है कि उन्हें कैसे व्यवहार करना चाहिए। यह कुछ ऐसा है जिसे पुरानी विधियां या तो अप्रत्यक्ष रूप से करती थीं या बिल्कुल नहीं करती थीं।

उन्होंने क्या पाया?

लेखकों ने नकली डेटा (सिम्युलेटेड न्यूरॉन्स) और वास्तविक डेटा (चीजों की ओर हाथ बढ़ाते बंदर, जेब्राफिश के मस्तिष्क) दोनों पर CASSM का परीक्षण किया।

जब डेटा प्रचुर मात्रा में हो: डीप लर्निंग मॉडल (जैसे LFADS) अभी भी भविष्यवाणी के राजा हैं। CASSM अच्छा है, लेकिन सबसे अच्छा नहीं है।
जब डेटा कम हो (The "Scale-Imbalanced" ज़ोन): यहीं CASSM चमकता है।
- यह डीप लर्निंग मॉडल के लगभग उतना ही अच्छा अनुमान लगाता है।
- जब न्यूरॉन्स की संख्या बहुत बड़ी (हजारों) हो जाती है, तो यह पारंपरिक बेयसियन विधियों (जैसे GPFA) की तुलना में बहुत तेज़ है।
- महत्वपूर्ण रूप से: यह एक "कॉन्फिडेंस स्कोर" देता है जो वास्तव में ईमानदार है। अन्य विधियां अक्सर निश्चित होने का नाटक करती हैं जबकि वे वास्तव में केवल अनुमान लगा रही होती हैं; CASSM स्वीकार करता है कि वह अनिश्चित है।

निष्कर्ष

CASSM न्यूरोसाइंटिस्ट्स के लिए एक नया उपकरण है जो "तेज लेकिन मूर्ख" डीप लर्निंग और "स्मार्ट लेकिन धीमे" पारंपरिक सांख्यिकी के बीच के अंतर को पाटता है। इसे विशेष रूप से न्यूरोसाइंस के भविष्य के लिए बनाया गया है, जहाँ हम हजारों न्यूरॉन्स को रिकॉर्ड करेंगे लेकिन हजारों प्रयोग नहीं चला पाएंगे। यह शोधकर्ताओं को विश्वसनीय उत्तर प्राप्त करने की अनुमति देता है, भले ही गणित को पूरी तरह से हल करना बहुत कठिन हो।

तकनीकी सारांश: न्यूरल डायनेमिक्स के लिए मॉडल चयन के साथ कम्प्यूटेशन-अवेयर कलमन फ़िल्टरिंग

समस्या विवरण
यह शोध पत्र आधुनिक, बड़े पैमाने के न्यूरल रिकॉर्डिंग में गतिशील विलत (dynamical latent) चरों को मॉडल करने की कम्प्यूटेशनल और सांख्यिकीय चुनौतियों को संबोधित करता है। जबकि बेयसियन विधियाँ (जैसे, गॉसियन प्रोसेस फैक्टर एनालिसिस, GPFA) स्पष्ट प्रायर्स (priors) और अनिश्चितता परिमाणीकरण (uncertainty quantification) प्रदान करती हैं, उनकी अस्थायी रिज़ॉल्यूशन के संबंध में क्यूबिक जटिलता (cubic complexity) और न्यूरॉन्स की संख्या के संबंध में क्वाड्रेटिक जटिलता (quadratic complexity) आधुनिक डेटासेट के लिए अव्यवहार्य बना देती है। इसके विपरीत, ओवरपैरामीटराइज्ड डीप लर्निंग मॉडल (जैसे, LFADS) अनुकूल रूप से स्केल करते हैं लेकिन अक्सर मजबूत अनिश्चितता परिमाणीकरण का अभाव होता है और अपने इंडक्टिव बायस (inductive bias) की कमी को दूर करने के लिए बड़ी संख्या में ट्रायल्स की आवश्यकता होती है।

लेखक एक विशिष्ट "स्केल-इम्बैलेंस्ड रेजीम" (scale-imbalanced regime) की पहचान करते हैं जो तंत्रिका विज्ञान (जैसे, मानव मस्तिष्क अध्ययन) में प्रचलित है, जहाँ रिकॉर्ड किए गए न्यूरॉन्स की संख्या प्रयोगात्मक ट्रायल्स की संख्या से काफी अधिक होती है। इस रेजीम में, मानक डीप लर्निंग मॉडल डेटा की कमी के कारण खराब प्रदर्शन करते हैं, जबकि पारंपरिक बेयसियन अनुमान अक्सर अपनी स्वयं की कम्प्यूटेशनल बाधाओं द्वारा पेश की गई त्रुटियों को ध्यान में रखने में विफल रहते हैं, जिससे अत्यधिक आत्मविश्वासी ("वैरिएंस-स्टार्वड") अनिश्चितता अनुमान प्राप्त होते हैं।

कार्यप्रणाली: कम्प्यूटेशन-अवेयर स्टेट-स्पेस मॉडल (CASSM)
लेखक एक कम्प्यूटेशन-अवेयर स्टेट-स्पेस मॉडल (CASSM) प्रस्तावित करते हैं, जो मॉडल चयन को शामिल करने के लिए कम्प्यूटेशन-अवेयर कलमन फ़िल्टर (CAKF) का विस्तार करता है। मुख्य कार्यप्रणाली में शामिल है:

प्रोजेक्शन और कम्प्यूटेशनल अनिश्चितता: CASSM यह स्वीकार करता है कि "वास्तविक" पोस्टीरियर (posterior) को सीधे कंप्यूट करना कम्प्यूटेशनल रूप से अव्यवहार्य है। अनुमानित त्रुटि को अनदेखा करने के बजाय, यह स्पष्ट रूप से "कम्प्यूटेशनल अनिश्चितता" को मॉडल करता है। विधि एक सीखे हुए पॉलिसी मैट्रिक्स $S_k$ का उपयोग करके उच्च-आयामी अवलोकनों ( $y_k \in \mathbb{R}^n$ ) को निम्न-आयामी स्थान ( $\check{y}_k \in \mathbb{R}^{\check{n}}$ ) में प्रोजेक्ट करती है। यह इनोवेशन मैट्रिक्स के व्युत्क्रमण (inversion) की जटिलता को $O(n^3)$ से घटाकर $O(\check{n}^3)$ कर देता है।
लो-रैंक कोवेरिएंस अपडेट्स: मेमोरी बाधाओं ( $O(d^2)$ स्टेट कोवेरिएंस के लिए) को संबोधित करने के लिए, CASSM एक लो-रैंक डाउनडेट संरचना का उपयोग करता है। यह पूर्ण मैट्रिसेस के बजाय कोवेरिएंस अपडेट्स के "स्किनी" लो-रैंक स्क्वायर रूट्स को संग्रहीत करता है, जिससे मेमोरी की आवश्यकताएं $O(d^2)$ से घटकर $O(dr)$ हो जाती हैं।
PCA एनालॉग के माध्यम से मॉडल चयन: प्रोजेक्शन पॉलिसी $S_k$ को सूचना-सैद्धांतिक दृष्टिकोण से व्याख्यायित किया गया है। प्रमेय 1 स्थापित करता है कि वह इष्टतम क्रिया (प्रोजेक्शन) जो लेटेंट पोस्टीरियर एंट्रॉपी को कम करती है, इनोवेशन कोवेरिएंस के शीर्ष आइजनवेक्टर्स (eigenvectors) के अनुरूप है (जो प्रिंसिपल कंपोनेंट एनालिसिस के समान है)। यह ढांचा इन क्रियाओं को सबसे अधिक अपेक्षित अनिश्चितता की दिशाओं के साथ संरेखित करने के लिए सीखता है।
नवीन प्रशिक्षण उद्देश्य (Novel Training Objective): लेखक एक विशिष्ट लॉस फंक्शन पेश करते हैं जो एविडेंस लोअर बाउंड (ELBO) से व्युत्पन्न है। मानक नेगेटिव लॉग-लाइक्लीहुड (NLL) के विपरीत, जो प्रोजेक्शन के तहत खराब हो सकता है, CASSM ऑब्जेक्टिव एक डेटा-फिट टर्म को डाइवर्जेंस टर्म के साथ संतुलित करता है। यह डाइवर्जेंस टर्म अनुमानित पोस्टीरियर को सटीक फ़िल्टरिंग वितरण से विचलन के लिए दंडित करता है, यह सुनिश्चित करता है कि कम्प्यूटेशनल सन्निकटन (approximation) बढ़ने के साथ अनिश्चितता अनुमान उचित रूप से विस्तृत हों।
स्थानिक प्रायर्स (Spatial Priors): स्टेट-स्पेस मॉडल्स में गॉसियन प्रोसेस निरूपणों को अनुवादित करके, CASSM एक स्थानिक कर्नेल $\Sigma^{(x)}$ के माध्यम से स्थानिक प्रायर्स (जैसे, न्यूरॉन निर्देशांक या सेल प्रकार) को स्पष्ट रूप से एनकोड करने की अनुमति देता है, जो GPFA या LFADS जैसे पिछले तरीकों में केवल निहित (implicit) था।
प्रीप्रोसेसिंग और स्थिरता: पाइपलाइन में स्पाइक डेटा के लिए वेरिएंस-स्टेबिलाइजिंग ट्रांसफॉर्म (Anscombe) शामिल है और यह लो-रैंक अपडेट्स के ट्रंकेशन के दौरान संख्यात्मक स्थिरता सुनिश्चित करने के लिए डिफरेंशिएबल सिंगुलर वैल्यू डीकंपोजिशन (मूर-पेनरोज़ स्यूडोइनवर्स पर आधारित) का उपयोग करता है।

मुख्य योगदान

CASSM फ्रेमवर्क: एक स्केलेबल, संभाव्य संख्यात्मक विधि जिसे विशेष रूप से स्केल-इम्बैलेंस्ड रेजीम (ट्रायल्स $\ll$ न्यूरॉन्स) के लिए डिज़ाइन किया गया है।
अनिश्चितता अंशांकन (Calibration) के साथ सुलभ अनुमान: विधि बड़े स्टेट-स्पेस में सुलभ अनुमान प्रदान करती है जबकि कम्प्यूटेशनल सन्निकटन त्रुटियों को ध्यान में रखते हुए अंशांकित अनिश्चितता प्रदान करती है, जिससे अन्य सन्निकटनों की विशिष्ट अति-आत्मविश्वास वाली समस्या से बचा जा सके।
नवीन लॉस फंक्शन: एक प्रशिक्षण लॉस जो सटीक फ़िल्टरिंग वितरण से विचलन को दंडित करके कुशल हाइपरपैरामीटर ऑप्टिमाइजेशन और मॉडल चयन को सक्षम बनाता है, जिससे मॉडल को सूचनात्मक डेटा प्रोजेक्शन सीखने में मदद मिलती है।
स्पष्ट स्थानिक मॉडलिंग: एक तकनीक जो स्टेट-स्पेस मॉडल के भीतर न्यूरॉन्स पर स्पष्ट स्थानिक प्रायर्स को शामिल करने की अनुमति देती है, जो इसे उन लेटेंट वेरिएबल मॉडलों से अलग करती है जो स्थानिक संरचना को निहित रूप से मानते हैं।

परिणाम
लेखक सिंथेटिक और वास्तविक दुनिया के डेटासेट पर CASSM का मूल्यांकन करते हैं:

सिंथेटिक लोरेंज डेटा: CASSM न्यूरॉन्स की संख्या के संबंध में रैखिक स्केलिंग प्रदर्शित करता है, जो बड़े पैमाने ( $10^4$ न्यूरॉन्स) पर GPFA और bGPFA की तुलना में कम्प्यूटेशनल समय में बेहतर प्रदर्शन करता है। स्केल-इम्बैलेंस्ड रेजीम में, CASSM LFADS की तुलना में प्रतिस्पर्धी प्रेडिक्टिव प्रदर्शन (MSE) बनाए रखता है, जबकि LFADS सीमित ट्रायल्स होने पर तेजी से खराब हो जाता है।
अनिश्चितता अंशांकन: कवरेज प्रयोग दिखाते हैं कि CASSM, bGPFA और GPFA की तुलना में काफी बेहतर-अंशांकित 95% कॉन्फिडेंस इंटरवल प्रदान करता है, जो अक्सर अति-आत्मविश्वासी होते हैं।
वास्तविक न्यूरल डेटा (न्यूरल लेटेंट बेंचमार्क): Area 2 Bump और DMFC जैसे डेटासेट पर, CASSM, LFADS और bGPFA के साथ प्रतिस्पर्धी प्रदर्शन करता है। "MC Maze" डेटासेट (140 न्यूरॉन्स, 1720 ट्रायल्स) में, CASSM, LFADS के समान को-स्मूथिंग स्कोर प्राप्त करता है।
जेब्राफिश डेटासेट: ~88,000 न्यूरॉन्स और केवल 96 ट्रायल्स वाले एक बड़े पैमाने के डेटासेट पर, bGPFA आउट-ऑफ-मेमोरी एरर के कारण विफल हो जाता है। CASSM सफलतापूर्वक डेटा को प्रोसेस करता है, और जब स्थानिक प्रायर्स (CASSM-SP) का उपयोग किया जाता है, तो यह LFADS के सांख्यिकीय रूप से समान प्रदर्शन प्राप्त करता है और अंशांकित अनिश्चितता भी प्रदान करता है।

महत्व और दावे
यह दावा है कि CASSM शोधकर्ताओं को डेटासेट गुणों के आधार पर डायनेमिकल लेटेंट वेरिएबल मॉडल चुनने के लिए एक "रोडमैप" प्रदान करता है। लेखक तर्क देते हैं कि जबकि डीप लर्निंग विधियाँ (LFADS) तब बेहतर होती हैं जब ट्रायल्स न्यूरॉन्स से अधिक हों, बड़े पैमाने के तंत्रिका विज्ञान (neuroscience) में प्रचलित स्केल-इम्बैलेंस्ड रेजीम में बेयसियन विधियाँ आवश्यक हो जाती हैं। CASSM इस अंतर को पाटता है, जो डीप नेटवर्क की तरह कम्प्यूटेशनल रूप से स्केलेबल होने के साथ-साथ बेयसियन अनुमान के इंडक्टिव बायस और अनिश्चितता परिमाणीकरण को बनाए रखता है। लेखक विनम्रतापूर्वक नोट करते हैं कि CASSM इस विशिष्ट रेजीम के लिए अत्यधिक विशिष्ट है और यह एक रैखिक विधि है, जिसका अर्थ है कि यदि अंतर्निहित डायनेमिक्स अत्यधिक नॉन-लीनियर हैं या यदि सन्निकटन का रैंक (rank) ठीक से नहीं चुना गया है, तो इसे संघर्ष करना पड़ सकता है। हालांकि, लक्षित रेजीम में, यह बेहतर अनिश्चितता अंशांकन के साथ डेटा-भूखे डीप नेटवर्क्स के लिए एक प्रतिस्पर्धी विकल्प प्रदान करता है।