Full-Field State Estimation from Sparse Point Sensors via Adaptive  Data-Driven Modeling and Sequential Data Assimilation for Nonlinear Dynamical Systems

कल्पना कीजिए कि आप एक पूरे महाद्वीप के मौसम का अनुमान लगाने की कोशिश कर रहे हैं, लेकिन आपके पास केवल कुछ यादृच्छिक शहरों में बिखके हुए कुछ थर्मामीटर हैं। यह वैज्ञानिकों और इंजीनियरों का दैनिक संघर्ष है जो महासागरीय धाराओं, हमारी नसों में रक्त के प्रवाह, या एक जेट इंजन में फैलती गर्मी जैसे जटिल प्रणालियों की निगरानी करते हैं। वे जानते हैं कि ये प्रणालियाँ कैसे काम करनी चाहिएं, लेकिन वास्तविक दुनिया के माप अक्सर विरल (sparse), शोर वाले (noisy) और अधूरे होते हैं। यह एक विशाल जिग्सॉ पहेली को पूरा करने जैसा है जब आपके पास केवल कुछ ही टुकड़े हों और उनमें से कुछ धुंधले भी हों।

इसे हल करने के लिए, वैज्ञानिक आमतौर पर दो मुख्य उपकरणों पर भरोसा करते हैं। पहला, वे "मॉडल" का उपयोग करते हैं, जो गणितीय व्यंजनों (recipes) की तरह होते हैं जो भविष्यवाणी करते हैं कि एक प्रणाली समय के साथ कैसे विकसित होती है। दूसरा, वे "डेटा एसिमिलेशन" (data assimilation) का उपयोग करते हैं, जो एक शानदार तरीका है यह कहने का कि वे अपने कुछ सेंसरों से प्राप्त नए मापों के आधार पर अपनी भविष्यवाणियों में लगातार सुधार करते हैं। हालाँकि, ये पारंपरिक व्यंजन अक्सर तब विफल हो जाते हैं जब प्रणाली बहुत अधिक अव्यवस्थित या नॉनलीनियर (nonlinear - जिसका अर्थ है कि छोटे बदलाव बड़े, अप्रत्याशित प्रभाव पैदा कर सकते हैं) होती है, या जब स्वयं वह व्यंजन उन धारणाओं पर आधारित होता है जो गलत साबित होती हैं। बड़ा सवाल यह था: क्या हम सीधे उस बिखरे हुए, विरल डेटा से "व्यंजन" सीख सकते हैं जो हमारे पास वास्तव में उपलब्ध है, बिना यह जाने कि पूर्ण भौतिकी पहले से क्या है?

यह शोध पत्र कहता है कि हाँ, और यह एक चतुर, स्व-सुधार करने वाले पाइपलाइन का निर्माण करके ऐसा करता है जो एक ऐसे जासूस की तरह कार्य करता है जो सीखना कभी बंद नहीं करता। शोधकर्ताओं ने, जो विस्कॉन्सिन-मिलवॉकी विश्वविद्यालय में सौविक रॉय और सहयोगियों के नेतृत्व में थे, एक पूरी तरह से डेटा-संचालित ढांचा विकसित किया है जो बहुत कम सेंसरों का उपयोग करके एक प्रणाली की पूर्ण, हाई-डेफिनिशन स्थिति (state) को पुनः प्राप्त करता है। उन्होंने इसका परीक्षण तीन अलग-अलग परिदृश्यों पर किया: एक सिम्युलेटेड हीट इक्वेशन, एक सिम्युलेटेड फ्लूइड फ्लो (बर्गर्स इक्वेशन), और NOAA का वास्तविक दुनिया का समुद्री तापमान डेटा। उनका तरीका तीन तरकीबों को जोड़ता है: यह विरल डेटा से पहेली के लापता हिस्सों का अनुमान लगाने के लिए "कंप्रेस्ड सेंसिंग" (compressed sensing) का उपयोग करता है, सिस्टम के चलने के तरीके को सीखने के लिए "डायनेमिक मोड डिकंपोजिशन विद कंट्रोल" (DMDc) का उपयोग करता है, और एक "कलमन फ़िल्टर" (Kalman filter) का उपयोग करता है जो नए डेटा के आने पर लगातार अपने अनुमानों को ठीक करता है।

इसका गुप्त मंत्र (secret sauce) यह है कि सिस्टम केवल एक बार सीखकर रुक नहीं जाता है। लेखकों ने पाया कि यदि आप किसी मॉडल को बिना अपडेट किए बहुत लंबे समय तक चलने देते हैं, तो यह भटकने लगता है और गलत उत्तर देने लगता है। इसे ठीक करने के लिए, उन्होंने दो अनुकूलन योग्य (adaptive) विशेषताएं जोड़ीं। पहला, मॉडल समय-समय पर खुद को "री-कैलिब्रेट" (re-calibrate) करता है, जिससे यह सुनिश्चित होता है कि यह सिस्टम के वर्तमान व्यवहार के अनुरूप बना रहे। दूसरा, यह DCC-GARCH नामक एक सांख्यिकीय उपकरण का उपयोग करता है ताकि यह लगातार अपना "आत्मविश्वास स्तर" (confidence level) अपडेट कर सके कि वह अपने स्वयं के भविष्यवाणियों पर कितना भरोसा करता है बनाम शोर वाले सेंसर डेटा पर। अपने सिमुलेशन में, इस दृष्टिकोण ने केवल 0.5% उपलब्ध सेंसरों का उपयोग करते हुए और बहुत शोर वाले मापों (5 dB सिग्नल-टू-नॉइज़ रेशियो जितना कम) के साथ भी उच्च सटीकता के साथ पूर्ण-क्षेत्र की स्थिति को पुनर्गठित करने की अनुमति दी। परिणामों ने दिखाया कि जबकि एक स्थिर मॉडल अंततः विफल हो जाएगा, यह अनुकूल, स्व-सुधार करने वाला सिस्टम त्रुटि को कम रखता है, जिससे यह सिद्ध होता है कि आप वास्तव में बहुत कम सेंसरों के साथ जटिल, नॉनलीनियर डायनेमिक्स को ट्रैक कर सकते हैं यदि आप मॉडल को ऑन-द-फ्लाई (on the fly) सीखने और अनुकूलित होने दें।

जासूस का टूलकिट: यह कैसे काम करता है

यह समझने के लिए कि यह कैसे काम करता है, आइए कल्पना करें कि जिस प्रणाली की हम निगरानी करने की कोशिश कर रहे हैं, वह गर्मी या तरल पदार्थ का एक विशाल, अदृश्य महासागर है। हम पूरे महासागर को नहीं देख सकते, लेकिन हमारे पास कुछ तैरते हुए बुoy (सेंसर) हैं जो अपने विशिष्ट स्थान पर तापमान या गति की रिपोर्ट करते हैं।

चरण 1: खाली जगहों को भरना (कंप्रेस्ड सेंसिंग)
पहली चुनौती यह है कि हमारे पास केवल कुछ स्थानों से डेटा है। यदि हम केवल उन स्थानों को देखते हैं, तो हमारे पास एक बहुत ही धुंधली तस्वीर होती है। लेखक कंप्रेस्ड सेंसिंग नामक तकनीक का उपयोग करते हैं। इसे एक जादू के खेल के रूप में सोचें जहाँ आप केवल कुछ बिखरे हुए पिक्सेल से पूरी छवि को पुनर्गठित कर सकते हैं, बशर्ते कि छवि में कोई अंतर्निहित पैटर्न हो। इस मामले में, "पैटर्न" यह है कि डेटा को एक विशिष्ट गणितीय भाषा (इस शोध पत्र में, उन्होंने डिस्क्रीट कोसाइन ट्रांसफॉर्म का उपयोग किया, जो गर्मी या तापमान जैसे सुचारू क्षेत्रों के लिए उत्कृष्ट है) का उपयोग करके कुशलतापूर्वक दर्शाया जा सकता है। एल्गोरिदम बिखरे हुए, शोर वाले सेंसर रीडिंग को लेता है और यह अनुमान लगाने के लिए एक पहेली को हल करता है कि उस क्षण पूर्ण क्षेत्र कैसा दिखता है। यह पृष्ठ पर कुछ बिंदुओं को देखने और बाकी चित्र को बनाने जैसा है क्योंकि आप जानते हैं कि बिंदु एक विशिष्ट आकार के हैं।

चरण को: नृत्य सीखना (DMDc)
एक बार जब एल्गोरिदम के पास प्रशिक्षण अवधि के लिए सिस्टम की एक "पूर्ण" तस्वीर होती है, तो उसे यह सीखना होता है कि सिस्टम कैसे चलता है। यहीं पर डायनेमिक मोड डिकंपोजिशन विद कंट्रोल (DMDc) काम आता है। एक नर्तक को देखने की कल्पना करें। आपको उनके अगले कदम की भविष्यवाणी करने के लिए मांसपेशियों और गुरुत्वाकर्षण के भौतिकी को जानने की आवश्यकता नहीं है; आपको बस उन्हें कुछ समय तक नाचते हुए देखना है और पैटर्न सीखना है। DMDc बिल्कुल यही करता है। यह "पूर्ण चित्रों" (स्नैपशॉट्स) के अनुक्रम को देखता है और एक सरल, रैखिक नियम सीखता है जो बताता है कि एक क्षण से दूसरे क्षण में सिस्टम कैसे विकसित होता है। "कंट्रोल" वाला भाग यह भी है कि यह सीखता है कि बाहरी बल (जैसे हीटर चालू होना या हवा चलना) नृत्य को कैसे बदलते हैं। महत्वपूर्ण बात यह है कि यह पूरी तरह से डेटा से किया जाता है; कंप्यूटर को भौतिकी के शासी समीकरणों को बताने की आवश्यकता नहीं होती है।

चरण 3: निरंतर सुधार (कलमन फ़िल्टरिंग)
अब मॉडल भविष्य की भविष्यवाणी कर सकता है। लेकिन यहाँ एक पेच है: मॉडल एक अनुमान है, और सेंसर शोर वाले हैं। यदि मॉडल भविष्यवाणी करता है कि तापमान 20°C होगा, लेकिन सेंसर 22°C कहता है, तो आप किसे विश्वास करेंगे? यहीं पर कलमन फ़िल्टर एक बुद्धिमान रेफरी की भूमिका निभाता है। यह मॉडल की भविष्यवाणी और नए सेंसर रीडिंग के बीच संतुलन बनाता है। यदि सेंसर बहुत शोर वाला है, तो यह मॉडल पर अधिक भरोसा करता है। यदि सेंसर स्पष्ट है, तो यह सेंसर पर अधिक भरोसा करता है। फिर यह वर्तमान स्थिति का अनुमान लगाने के लिए इसे अपडेट करता है। यह एक लूप में होता है: भविष्यवाणी करें, मापें, सुधारें, दोहराएं।

ट्विस्ट: क्यों "सेट एंड फॉरगेट" विफल होता है

यह शोध पत्र एक महत्वपूर्ण बिंदु बनाता है जो इसे सरल प्रयासों से अलग करता है: एक बार सीखा गया मॉडल लंबे समय के लिए पर्याप्त नहीं है।

यदि आप पहले 100 सेकंड के डेटा पर एक मॉडल को प्रशिक्षित करते हैं और फिर इसे बिना छुए 1,000 सेकंड तक चलने देते हैं, तो त्रुटि बढ़ जाएगी। सिस्टम अपना व्यवहार बदल सकता है, या "नृत्य" उन तरीकों में विकसित हो सकता है जिन्हें प्रारंभिक प्रशिक्षण ने कैप्चर नहीं किया था। लेखकों ने पाया कि एक स्थिर मॉडल (जो कभी अपने नियम नहीं बदलता) समय के साथ वास्तविकता से बहुत दूर चला जाएगा, विशेष रूप से उन नॉनलीनियर प्रणालियों में जहाँ चीजें अराजक (chaotic) हो जाती हैं।

इसे हल करने के लिए, उन्होंने दो अनुकूलन योग्य तंत्र पेश किए:

1. समय-अनुकूलित पुन: अंशांकन (Time-Adaptive Recalibration): हमेशा एक ही "नृत्य के कदमों" का उपयोग करने के बजाय, सिस्टम समय-समय पर रुकता है, हाल ही में एकत्र किए गए डेटा (जिसमें कलमन फ़िल्टर द्वारा किए गए सुधार भी शामिल हैं) को देखता है, और नियमों को फिर से सीखता है। यह एक ऐसे संगीतकार की तरह है जो एक गाना बजाना सीखता है, उसे थोड़ी देर बजाता है, महसूस करता है कि लय (tempo) बदल गई है, और फिर जारी रखने से पहले नए टेम्पो के आधार पर शीट संगीत को फिर से सीखता है। यह मॉडल को वास्तविकता के पुराने संस्करण में फंसने से रोकता है।
2. अनुकूली अनिश्चितता (DCC-GARCH): यह सबसे परिष्कृत हिस्सा है। एक मानक कलमन फ़िल्टर में, आपको यह अनुमान लगाना होता है कि मॉडल की भविष्यवाणियों में कितना "शोर" या अनिश्चितता मौजूद है। आमतौर पर, इंजीनियर इसके लिए एक निश्चित संख्या चुनते हैं और उम्मीद करते हैं कि सब ठीक रहेगा। लेकिन एक जटिल, परिवर्तनशील प्रणाली में, अनिश्चितता स्थिर नहीं होती है; यह उतार-चढ़ाव करती है। लेखकों ने DCC-GARCH का उपयोग किया ताकि फ़िल्टर वास्तविक समय में यह सीख सके कि उसे कितना अनिश्चित होना चाहिए। यह मॉडल द्वारा की गई हालिया "गलतियों" (residuals) को देखता है और उसके अनुसार अपने आत्मविश्वास को समायोजित करता है। यदि मॉडल बड़ी गलतियाँ करना शुरू कर देता है, तो फ़िल्टर मॉडल के प्रति संदेही हो जाता है और सेंसर पर अधिक भरोसा करता है। यदि मॉडल अच्छा प्रदर्शन कर रहा है, तो यह मॉडल पर अधिक भरोसा करता है।

परिणाम: उन्होंने क्या पाया

लेखकों ने इस "अनुकूलनशील जासूस" का तीन बहुत अलग चुनौतियों पर परीक्षण किया:

• एक नॉनलीनियर हीट इक्वेशन: एक ऐसी सामग्री के माध्यम से गर्मी फैलने का अनुकरण करना जहाँ ऊष्मा चालकता तापमान ग्रेडिएंट के आधार पर बदलती है।
• एक फोर्स्ड बर्गर्स इक्वेशन: बाहरी बल द्वारा संचालित शॉक वेव्स और टर्बुलेंस के साथ एक तरल प्रवाह का अनुकरण करना।
• NOAA समुद्री सतह का तापमान (SST): वास्तविक दुनिया का समुद्री तापमान डेटा, जो अव्यवस्थित, शोर वाला है, और जिसका कोई सरल "कंट्रोल इनपुट" नहीं है (यह बस स्वाभाविक रूप से विकसित होता है)।

निष्कर्ष:

• विरलता (Sparse) पर्याप्त है: भले ही सेंसरों द्वारा कवर किया गया स्थानिक डोमेन केवल 0.5% था (अर्थात 99.5% क्षेत्र अनो देखा गया था), सिस्टम उच्च सटीकता के साथ पूर्ण क्षेत्र को पुनर्गठित कर सका।
• शोर प्रतिरोध: सिस्टम तब भी स्थिर रहा जब सेंसर डेटा बहुत शोर वाला था (5 dB सिग्नल-टू-नॉइज़ रेशियो)। हीट इक्वेशन के लिए, त्रुटि (RMSE) 5 dB पर 3.08 थी, जो 20 dB पर स्वच्छ डेटा के साथ गिरकर 1.48 हो गई। बर्गर्स इक्वेशन के लिए, त्रुटि 5 dB पर 0.058 और 20 dB पर 0.032 थी।
• अनुकूलन की शक्ति: सबसे महत्वपूर्ण निष्कर्ष एक स्थिर मॉडल और अनुकूलित मॉडल के बीच तुलना था।
  • एक मॉडल जिसने कभी पुन: अंशांकन नहीं किया (केवल DMDc), उसमें त्रुटि समय के साथ तेजी से बढ़ी।
  • एक मॉडल जिसने कलमन फ़िल्टरिंग का उपयोग किया लेकिन अपने नियमों को अपडेट नहीं किया (DMDc-KF), बेहतर था लेकिन फिर भी भटक गया।
  • पूर्णतः अनुकूल मॉडल (पुन: अंशांकन और DCC-GARCH के साथ) ने त्रुटि को कम और स्थिर रखा। हीट इक्वेशन के लिए, कुल सापेक्ष त्रुटि पूरे अनदेखे अनुमान क्षितिज (estimation horizon) में 5% से नीचे रही, जबकि गैर-अनुकूल संस्करण विफल रहे।
• सेंसर घनत्व: हालांकि सिस्टम बहुत कम सेंसरों के साथ भी काम कर सकता था, अधिक सेंसर जोड़ने से स्वाभाविक रूप से सटीकता में सुधार हुआ। हालाँकि, मुख्य बात यह है कि मॉडल की अनुकूलनशील प्रकृति ने इसे सबसे विरल कॉन्फ़िगरेशन के साथ भी अच्छा काम करने की अनुमति दी।

इसका क्या अर्थ है (और क्या नहीं है)

यह शोध पत्र प्रदर्शित करता है कि हमें जटिल प्रणालियों की निगरानी करने के लिए आवश्यक रूप से पूर्ण भौतिकी समीकरणों को जानने की आवश्यकता नहीं है। कंप्यूटर को सीधे बिखरे हुए डेटा से डायनेमिक्स सीखने और फिर अपने स्वयं के नियम और आत्मविश्वास स्तरों को लगातार अपडेट करने देकर, हम जो हो रहा है उसकी एक स्पष्ट, पूर्ण-क्षेत्र की तस्वीर प्राप्त कर सकते हैं।

हालाँकि, लेखक इसकी सीमाओं के बारे में सावधान हैं। यह एक सिमुलेशन और डेटा-संचालित अध्ययन है, न कि किसी जेट इंजन या महासागर में किया गया भौतिक प्रयोग।

• प्रशिक्षण आवश्यकताएं: सिस्टम को "संकुचित" प्रतिनिधित्व सीखने के लिए प्रारंभिक प्रशिक्षण चरण के दौरान अभी भी पर्याप्त डेटा (लगभग 10% से 30% डोमेन) की आवश्यकता होती है। यह शून्य सेंसरों से शुरू नहीं कर सकता।
• निश्चित सेंसर: वर्तमान विधि मानती है कि सेंसर निश्चित स्थानों पर हैं। यह अभी तक चलते हुए सेंसरों (जैसे घूमते हुए ड्रोन) को नहीं संभाल सकती है।
• टाइम स्टेप्स: मॉडल प्रशिक्षण डेटा के समान समय अंतराल पर भविष्यवाणी करता है। यह जादुई रूप से टाइम स्टेप्स के बीच क्या होता है (उदाहरण के लिए, दैनिक डेटा से 12-घंटे की स्थिति की भविष्यवाणी करना) इसकी भविष्यवाणी नहीं कर सकता है।

संक्षेप में, यह शोध पत्र सुझाव देता है कि नॉनलीनियर, डायनेमिक सिस्टम के लिए, "सेट-इट-एंड-फॉरगेट-इट" (स्थापित करें और भूल जाएँ) मॉडल विफलता का नुस्खा है। स्टेट एस्टीमेशन (state estimation) का भविष्य उन प्रणालियों में निहित है जो यह स्वीकार करने के लिए पर्याप्त विनम्र हैं कि वे गलत हो सकते हैं, अपनी गलतियों से सीखने के लिए पर्याप्त स्मार्ट हैं, और दुनिया बदलने के साथ अपने नियमों को अपडेट करने के लिए पर्याप्त लचीले हैं। लेखकों ने ऐसे सिस्टम का एक प्रोटोटाइप बनाया है, और उनके सिमुलेशन में, यह उल्लेखनीय रूप से अच्छा काम करता है।