A data-driven model-free physical-informed deep operator network for solving nonlinear dynamic system

यहाँ जेमिंग सन और लिचुन ली के शोध पत्र "A Data-Driven Model-Free Physics-Informed Deep Operator Network for Solving Nonlinear Dynamic Systems" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र गैररेखीय गतिशील प्रणालियों (nonlinear dynamic systems) के विश्लेषण में एक महत्वपूर्ण बाधा को संबोधित करता है: सटीक अवस्था अनुमान (state estimation) करने में कठिनाई, जब दोनों सटीक गणितीय मॉडल (शासी समीकरण) और बड़े पैमाने के प्रायोगिक डेटासेट उपलब्ध न हों।

• मौजूदा विधियों की सीमाएँ:
  • फिजिक्स-इन्फॉर्म्ड न्यूरल नेटवर्क्स (PINNs): इन्हें लॉस फंक्शन (loss function) तैयार करने के लिए भौतिक नियमों (जैसे विशिष्ट आंशिक अंतर समीकरणों) के सटीक ज्ञान की आवश्यकता होती है। वे तब विफल हो जाते हैं जब गणितीय सूत्र अज्ञात या अपूर्ण होता है।
  • स्टैंडर्ड डीप ऑपरेटर नेटवर्क्स (DeepOnet): ये मॉडल-मुक्त (model-free) हैं लेकिन इनपुट फलनों और आउटपुट अवस्थाओं के बीच मैपिंग सीखने के लिए भारी मात्रा में प्रशिक्षण डेटा पर निर्भर करते हैं। वे डेटा-दुर्लभ (data-scarce) वातावरण में संघर्ष करते हैं।
• चुनौती: कई वास्तविक इंजीनियरिंग परिदृश्यों में, शोधकर्ताओं के पास केवल कुछ प्रायोगिक डेटा बिंदु और सीमित सिस्टम ज्ञान होता है (जैसे, यह जानना कि सिस्टम का अंतर समीकरण किस 'क्रम' (order) का है, लेकिन विशिष्ट गुणांक या कार्यात्मक रूप नहीं जानना)।

2. कार्यप्रणाली (Methodology)

लेखक एक नया ढांचा प्रस्तावित करते हैं: एक डेटा-ड्रिवन, मॉडल-फ्री, फिजिक्स-इन्फॉर्म्ड डीप ऑपरेटर नेटवर्क। मुख्य नवाचार स्पष्ट भौतिक नियम (जिसकी आमतौर पर PINNs द्वारा आवश्यकता होती है) को सीमित डेटा से प्राप्त एक सीखे गए अल्पकालिक निर्भरता (short-term dependency) से बदलना है।

कार्यप्रणाली तीन मुख्य चरणों में आगे बढ़ती है:

A. सैद्धांतिक आधार: अल्पकालिक निर्भरता (Short-Term Dependency)

निरंतर-समय प्रणालियों (continuous-time systems) के विवेकीकरण (discretization) के लिए यूलर विधि (Euler method) के आधार पर, लेखक प्रमेय 2.1 (Theorem 2.1) का आह्वान करते हैं, जो यह प्रतिपादित करता है कि एक $n$-वें क्रम की गैररेखीय गतिशील प्रणाली के लिए, वर्तमान अवस्था $x(t)$ केवल पिछले $n$ चरणों की अवस्थाओं और इनपुट्स ($x(t-n) \dots x(t-1)$ और $u(t-n) \dots u(t-1)$) पर निर्भर करती है, बशर्ते नमूना अवधि (sampling period) पर्याप्त छोटी हो।

• अज्ञात फलन $F(\cdot)$ के बजाय, सिस्टम के "भौतिकी" (physics) को इस अस्थायी निर्भरता द्वारा अनुमानित किया जाता है।

B. चरण 1: अल्पकालिक निर्भरता के लिए सरोगेट मॉडल

सीमित उपलब्ध डेटा पर एक सरोगेट मशीन लर्निंग मॉडल (विशेष रूप से एक फीड-फॉरवर्ड न्यूरल नेटवर्क, FFNN) को मैपिंग $\gamma$ सीखने के लिए प्रशिक्षित किया जाता है।

• इनपुट: पिछली अवस्थाएं ($x(t-n) \dots x(t-1)$), पिछले डेरिवेटिव्स, और पिछले नियंत्रण इनपुट्स।
• आउटपुट: उच्चतम-क्रम का डेरिवेटिव या वर्तमान अवस्था $x(t)$।
• उद्देश्य: यह FFNN एक "फिजिक्स-इन्फॉर्म्ड" घटक के रूप में कार्य करता है जो बिना किसी स्पष्ट ODE सूत्र के सिस्टम के अंतर्निहित गतिशील नियमों को कैप्चर करता है।

C. चरण 2: DeepOnet में एकीकरण

प्रशिक्षित FFNN को DeepOnet आर्किटेक्चर में एकीकृत करके प्रस्तावित हाइब्रिड मॉडल बनाया जाता है:

• DeepOnet संरचना:
  • ब्रांच नेट (Branch Net): प्रारंभिक स्थितियों और नियंत्रण इनपुट्स के अनुक्रम ($u(0) \dots u(t)$) को एनकोड करता है।
  • ट्रंक नेट (Trunk Net): समय निर्देशांक ($t$) को एनकोड करता है।
• हाइब्रिड लॉस फंक्शन: कुल लॉस $L$ निम्नलिखित का संयोजन है:
  1. डेटा लॉस ($L_{data}$): DeepOnet के पूर्वानुमान और विरल (sparse) प्रायोगिक डेटा के बीच मीन स्क्वेर्ड एरर (MSE)।
  2. फिजिक्स-इन्फॉर्म्ड लॉस ($L_P$): DeepOnet (ऑटोमैटिक डिफरेंशिएशन के माध्यम से) द्वारा अनुमानित डेरिवेटिव और सरोगेट FFNN द्वारा अनुमानित डेरिवेटिव के बीच का अंतर।
  • नोट: यह DeepOnet को FFNN द्वारा सीखे गए अल्पकालिक गतिशील नियमों का पालन करने के लिए मजबूर करता है, जो प्रभावी रूप से एक भौतिक नियम के समान एक बाधा (constraint) के रूप में कार्य करता है।

3. प्रमुख योगदान (Key Contributions)

1. मॉडल-फ्री फिजिक्स-इन्फॉर्म्ड लर्निंग: यह पेपर बिना स्पष्ट गणितीय सूत्र की आवश्यकता के DeepOnet में "भौतिकी" को शामिल करने की एक विधि पेश करता है। "भौतिकी" को सीधे डेटा के माध्यम से अल्पकालिक निर्भरता सरोगेट से सीखा जाता है।
2. डेटा दक्षता (Data Efficiency): यह ढांचा विशेष रूप से विरल डेटासेट (प्रयोगों में केवल 5 प्रशिक्षण सेट) के साथ काम करने के लिए डिज़ाइन किया गया है, जो मानक DeepOnets की डेटा-गहन प्रकृति पर विजय प्राप्त करता है।
3. शोर के प्रति मजबूती (Robustness to Noise): यह विधि माप शोर (measurement noise) की उपस्थिति में मानक DeepOnet की तुलना में बेहतर प्रदर्शन प्रदर्शित करती है, जो संभवतः सीखे गए अल्पकालिक निर्भरता के रेगुलेराइज़ेशन प्रभाव के कारण है।
4. सामान्यीकरण क्षमता (Generalizability): इस दृष्टिकोण को विभिन्न जटिलताओं (2nd-order और 3rd-order ODEs) और स्थिरता विशेषताओं (स्थिर, मार्जिनली अस्थिर, और अराजक/chaotic) वाली प्रणालियों में मान्य किया गया है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने अपने मेथड का मूल्यांकन तीन अलग-अलग गैररेखीय गतिशील प्रणालियों पर किया, जिसमें एक मानक DeepOnet बेंचमार्क के साथ तुलना की गई।

सिस्टम	प्रकार	क्रम (Order)	डेटा स्थिति	मेट्रिक (MAE) - प्रस्तावित	मेट्रिक (MAE) - स्टैंडर्ड DeepOnet	परिणाम
Pendulum	Nonlinear (Stable)	2nd	Noise-Free	6.23	17.98	प्रस्तावित विधि काफी अधिक सटीक है।
Pendulum	Nonlinear (Stable)	2nd	Noisy ($\sigma=0.002$)	7.57	19.27	प्रस्तावित विधि सटीकता बनाए रखती है; DeepOnet घटता है।
Driven Oscillator	Linear/Nonlinear (Unstable)	2nd	Noise-Free	16.69	36.22	प्रस्तावित विधि रुझानों (trends) को बेहतर ढंग से पकड़ती है।
Driven Oscillator	Linear/Nonlinear (Unstable)	2nd	Noisy ($\sigma=0.01$)	19.10	39.46	प्रस्तावित विधि लगभग 2 गुना अधिक सटीक है।
Chaotic Jerk	Chaotic	3rd	Noise-Free	19.8	10.5*	*नोट: इस विशिष्ट शोर-मुक्त मामले में, DeepOnet का MAE कम था, लेकिन टेक्स्ट नोट करता है कि प्रस्तावित विधि ने दृश्य रुझानों में "बेहतर सटीकता" और शोर वाली स्थितियों में मजबूती दिखाई।
Chaotic Jerk	Chaotic	3rd	Noisy ($\sigma=0.03$)	18.7	22.2	प्रस्तावित विधि शोर वाली स्थितियों में बेहतर प्रदर्शन करती है।

• मुख्य निष्कर्ष: सभी शोर वाले परिदृश्यों में, प्रस्तावित विधि ने मानक DeepOnet की तुलना में लगातार बेहतर प्रदर्शन किया, जिससे पता चलता है कि सरोगेट मॉडल डेटा की खामियों के विरुद्ध सीखने की प्रक्रिया को प्रभावी ढंग से रेगुलेराइज़ करता है।

5. महत्व (Significance)

यह शोध वैज्ञानिक मशीन लर्निंग (SciML) में एक महत्वपूर्ण अंतर को पाटता है। स्पष्ट भौतिक समीकरणों की आवश्यकता को डेटा की विशाल मात्रा की आवश्यकता से अलग करके, प्रस्तावित ढांचा सक्षम बनाता है:

• ऑफलाइन स्टेट एस्टिमेशन: उन परिदृश्यों में सिस्टम की अवस्थाओं का सटीक पूर्वानुमान जहाँ सेंसर सीमित या महंगे हैं।
• अज्ञात प्रणालियों के लिए अनुप्रयोग: उन जटिल, गैररेखीय या अराजक प्रणालियों को मॉडल करने की क्षमता जिनके गणितीय सूत्र विश्लेषणात्मक रूप से प्राप्त करना बहुत कठिन है।
• व्यावहारिक इंजीनियरिंग उपयोगिता: यह विधि वास्तविक दुनिया के अनुप्रयोगों (जैसे, स्ट्रक्चरल हेल्थ मॉनिटरिंग, रोबोटिक्स, क्लाइमेट मॉडलिंग) के लिए एक मजबूत उपकरण प्रदान करती है, जहाँ डेटा अक्सर शोर युक्त और अधूरा होता है, और सटीक मॉडल उपलब्ध नहीं होते हैं।

संक्षेप में, यह शोध सफलतापूर्वक प्रदर्शित करता है कि सिस्टम की अस्थायी संरचना (अल्पकालिक निर्भरता) को सीखना भौतिक नियमों के सरोगेट के रूप में कार्य कर सकता है, जिससे Deep Operator Networks को डेटा-दुर्लभ, मॉडल-अज्ञात वातावरण में प्रभावी ढंग से कार्य करने में सक्षम बनाया जा सकता है।