🔢 mathematics

Physics Informed Neural Networks for Nonlinear Delay Differential Equations

यह शोध पत्र एक नवीन भौतिकी-सूचित तंत्रिका नेटवर्क (फिजिक्स-इन्फॉर्म्ड न्यूरल नेटवर्क) ढांचे का प्रस्ताव करता है जो सामान्य प्रथम-क्रम गैररेखीय विलंब अवकल समीकरणों (फर्स्ट-ऑर्डर नॉनलीन डिले डिफरेंशियल इक्वेशंस) के लिए स्केलेबल, निरंतर और भौतिकी-संगत समाधान प्रदान करने हेतु एक अवकलनीय इतिहास स्विच (डिफरेंशिएबल हिस्ट्री स्विच), एक ट्रायल-सॉल्यूशन सूत्रीकरण और एक खंडित कोलोकेशन रणनीति को एकीकृत करता है।

मूल लेखक: Stone Yao, Vipin Kumar, Roberto Guglielmi

प्रकाशित 2026-07-02

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Stone Yao, Vipin Kumar, Roberto Guglielmi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप यह अनुमान लगाने की कोशिश कर रहे हैं कि एक जटिल मशीन भविष्य में कैसे चलेगी। आमतौर पर, आपको बस यह जानने की आवश्यकता होती है कि वह अभी कैसे चल रही है। लेकिन कुछ प्रणालियों में—जैसे जानवरों की आबादी, एक विद्युत परिपथ (electrical circuit), या एक जैविक प्रक्रिया—मशीन की भविष्य की गति न केवल उसकी वर्तमान स्थिति पर, बल्कि इस पर भी निर्भर करती है कि वह कुछ सेकंड या मिनट पहले क्या कर रही थी।

गणित में, इन्हें डिले डिफरेंशियल इक्वेशंस (Delay Differential Equations - DDEs) कहा जाता है। इन्हें हल करना बेहद कठिन है क्योंकि "अतीत" (past) "वर्तमान" (present) में हस्तक्षेप करता रहता है, जिससे कारण और प्रभाव का एक ऐसा उलझा हुआ जाल बन जाता है जो मानक कंप्यूटर प्रोग्रामों को भ्रमित कर सकता है।

यह शोध पत्र एक नया, अधिक स्मार्ट तरीका पेश करता है जिससे आर्टिफिशियल इंटेलिजेंस (विशेष रूप से, एक प्रकार जिसे फिजिक्स-इन्फॉर्म्ड न्यूरल नेटवर्क्स या PINNs कहा जाता है) इन कठिन समस्याओं को हल कर सके। उन्होंने इसे कैसे किया, इसे सरल उपमाओं के माध्यम से यहाँ समझाया गया है।

समस्या: "लंबे समय की याददाश्त" का जाल (The "Long Memory" Trap)

एक मानक AI को DDE को हल करने की कोशिश करते हुए एक ऐसे छात्र की तरह सोचें जो एक ही बार में 100 पन्नों की इतिहास की किताब याद करने की कोशिश कर रहा है।

समस्या: यदि छात्र पूरी किताब को एक साथ सीखने की कोशिश करता है, तो वह अध्याय 1 और अध्याय 90 के बीच के संबंधों से भ्रमित हो सकता है। "ग्रेडिएंट्स" (गणितीय संकेत जो AI को सुधारने के लिए बताते हैं) बहुत लंबे और उलझे हुए हो जाते हैं, जिससे AI या तो अटक जाता है या हार मान लेता है।
पुराना तरीका: पिछले तरीकों ने AI को पूरी टाइमलाइन को एक साथ सीखने के लिए मजबूर करने की कोशिश की, या वे विशाल डेटासेट पर निर्भर थे। यह अक्सर जटिल, नॉन-लीनियर समस्याओं के लिए विफल रहा।

समाधान: "सेगमेंटेड ट्रायल-PINN" (The "Segmented Trial-PINN")

लेखक इस समस्या को प्रबंधनीय टुकड़ों में तोड़ने के लिए एक नया ढांचा प्रस्तावित करते हैं। वे AI को स्मार्ट बनाने के लिए तीन मुख्य "उपकरणों" का उपयोग करते हैं:

1. "हिस्ट्री स्विच" (The "History Switch" - समय-यात्री का क्लिपबोर्ड)

जब AI भविष्य की गणना करता है, तो उसे अतीत को देखने की आवश्यकता होती है।

उपमा: कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है। जब उसे 10 मिनट पहले की किसी बात को याद करने की आवश्यकता होती है, तो वह उस तथ्य को प्राप्त करने के लिए पूरी परीक्षा को शुरुआत से फिर से सिम्युलेट (re-simulate) करने की कोशिश नहीं करता। इसके बजाय, वह बस उस नोट को देखता है जो उसने पहले लिखा था।
यह कैसे काम करता है: लेखकों ने एक विशेष "स्विच" बनाया है जो AI को गणित की उस लंबी श्रृंखला से भ्रमित हुए बिना सीधे अतीत के मान (value) को प्राप्त करने की अनुमति देता है जिसने उस तक पहुँचने का रास्ता बनाया था। यह "भ्रम" को पीछे की ओर फैलने से रोकता है, जिससे सीखने की प्रक्रिया स्थिर रहती है।

2. "ट्रायल सॉल्यूशन" (The "Trial Solution" - सुरक्षा जाल)

AI को यह सुनिश्चित करने की आवश्यकता है कि वह खेल के नियमों को कभी न भूले, विशेष रूप से "इतिहास" (समय शून्य से पहले क्या हुआ था) को।

उपमा: कल्पना कीजिए कि आप एक पुल बना रहे हैं। आपके पास एक सख्त नियम है: पुल को ठीक उसी जगह से शुरू होना चाहिए जहाँ चट्टान का किनारा है। यह उम्मीद करने के बजाय कि AI इसे प्रयास और त्रुटि (trial and error) से सीख लेगा, आप पुल को निर्माण शुरू करने से पहले ही भौतिक रूप से चट्टान के किनारे से जोड़ देते हैं।
यह कैसे काम करता है: उन्होंने AI के आउटपुट को इस तरह से डिजाइन किया है कि वह गणितीय रूप से ज्ञात इतिहास से मेल खाने के लिए मजबूर है। यदि समय अतीत में है, तो AI केवल ज्ञात इतिहास को आउटपुट करता है। यदि यह भविष्य में है, तो यह अपने ऊपर एक "न्यूरल नेटवर्क" परत जोड़ देता है। यह गारंटी देता है कि AI प्रणाली के बुनियादी नियमों का उल्लंघन कभी नहीं करेगा।

3. "सेगमेंटेड स्ट्रैटेजी" (The "Segmented Strategy" - रिले रेस)

यह सबसे बड़ा नवाचार है। एक विशाल AI द्वारा पूरी टाइमलाइन को शुरू से अंत तक सीखने के बजाय, वे टाइमलाइन को छोटे खंडों (जैसे रिले रेस के चरणों) में विभाजित करते हैं।

उपमा: कल्पना कीजिए कि आपको एक मील लंबी दीवार पेंट करनी है।
- पुराना तरीका: एक चित्रकार एक बार में पूरा मील पेंट करने की कोशिश करता है। जब तक वह अंत तक पहुँचता है, उसका हाथ थक जाता है और शुरुआत में लगा पेंट असमान रूप से सूख जाता है।
- नया तरीका: आप 10 चित्रकारों को काम पर रखते हैं। प्रत्येक 100 फुट का हिस्सा पेंट करता है। वे अपने छोटे से हिस्से पर पूरी एकाग्रता से ध्यान केंद्रित करते हैं। एक बार जब वे अपना काम पूरा कर लेते हैं, तो आप उनके हिस्सों को आपस में जोड़ देते हैं।
यह कैसे काम करता है: समय के डोमेन को छोटे टुकड़ों में काट दिया जाता है। प्रत्येक टुकड़े पर एक छोटा, विशिष्ट AI प्रशिक्षित किया जाता है। क्योंकि प्रत्येक टुकड़ा छोटा है, इसलिए AI स्थानीय गतिकी (उस समय के स्लाइस का विशिष्ट व्यवहार) को बहुत सटीकता से सीख लेता है। इसके बाद, इन छोटे AIs को एक बड़े, सटीक मॉडल के रूप में जोड़ने के लिए एक साथ मिला दिया जाता है।

उन्होंने क्या पाया?

लेखकों ने इस पद्धति का परीक्षण तीन अलग-अलग परिदृश्यों पर किया:

स्मूथ वेव (Harmonic DDE): एक सरल, लयबद्ध समस्या।
- परिणाम: नया तरीका पुराने तरीके की तरह ही अच्छा काम करता है। इसे "रिले रेस" दृष्टिकोण की आवश्यकता नहीं पड़ी क्योंकि समस्या आसान थी। यह साबित करता है कि जब चीजें पहले से ही काम कर रही हों, तो नया तरीका चीजों को बिगाड़ता नहीं है।
बंपी हिल (Logistic DDE): तीव्र परिवर्तनों और मजबूत देरी वाली एक समस्या।
- परिणाम: पुराना तरीका (एक विशाल AI) तालमेल बिठाने में संघर्ष करता है, जिससे बड़ी गलतियाँ होती हैं। नया "सेगमेंटेड" तरीका 50 गुना अधिक सटीक था। इसने तीखे मोड़ों और देरी को पूरी तरह से संभाल लिया क्योंकि यह एक समय में एक छोटे से हिस्से पर ध्यान केंद्रित कर सका।
टैंगल्ड नॉट (Coupled System): दो समीकरण जो देरी के साथ एक-दूसरे को प्रभावित करते हैं।
- परिणाम: पुराना तरीका भ्रमित हो गया और सही उत्तर से भटक गया। नया तरीका ट्रैक पर बना रहा, सही लय और आकार को बनाए रखा, भले ही इसमें सभी छोटे टुकड़ों को प्रशिक्षित करने में थोड़ा अधिक कंप्यूटर समय लगा।

निष्कर्ष (The Bottom Line)

यह शोध पत्र यह दावा नहीं करता कि यह सीधे तौर पर बीमारियों का इलाज करता है या शेयर बाजार की भविष्यवाणी करता है। इसके बजाय, यह इंजीनियरों और वैज्ञानिकों के लिए एक बेहतर गणितीय उपकरण प्रदान करता है जो उन प्रणालियों के साथ काम करते हैं जिनमें "मेमोरी" (याददाश्त) होती है।

एक लंबे, भ्रमित करने वाले टाइमलाइन को छोटे, प्रबंधनीय टुकड़ों में तोड़कर और अतीत को संभालने के लिए एक विशेष "क्लिपबोर्ड" का उपयोग करके, यह नया तरीका AI को पहले की तुलना में बहुत अधिक सटीकता और स्थिरता के साथ जटिल, विलंबित (delayed) प्रणालियों को हल करने की अनुमति देता है। यह AI को एक ऐसे चश्मे देने जैसा है जो उसे वर्तमान में खोए बिना अतीत को स्पष्ट रूप से देखने में मदद करता है।

तकनीकी सारांश: नॉनलीन डिले डिफरेंशियल इक्वेशंस के लिए फिजिक्स इन्फॉर्म्ड न्यूरल नेटवर्क्स

समस्या की परिभाषा

यह शोध पत्र सामान्य प्रथम-क्रम के नॉनलीन डिले डिफरेंशियल इक्वेशंस (DDEs) को हल करने की चुनौती को संबोधित करता है, जो इस रूप में हैं:
$u'(t) = f(t, u(t), u(t - \tau)), \quad t \in (0, T]$
$u(t) = h(t), \quad t \in [-\tau, 0]$
जहाँ $u$ अवस्था (state) है, $\tau$ एक स्थिर विलंब (constant delay) है, और $h(t)$ एक निर्धारित हिस्ट्री फंक्शन (history function) है।

यद्यपि शास्त्रीय संख्यात्मक सॉल्वर (जैसे, मेथड ऑफ स्टेप्स, रनगे-कुट्टा) मौजूद हैं, वे लंबे समय के क्षितिज (long-time horizons), उच्च-आयामी प्रणालियों, या स्टेट-डिपेंडेंट डिले के लिए कम्प्यूटेशनल रूप से महंगे या अस्थिर हो सकते हैं। DDEs के लिए मौजूदा न्यूरल दृष्टिकोण अक्सर रिकरेंट आर्किटेक्चर पर निर्भर करते हैं, उन्हें बड़े डेटासेट की आवश्यकता होती है, या उनमें भौतिक नियमों को कड़ाई से लागू करने की कमी होती है। हालाँकि ODEs और PDEs के लिए PINNs सफल रहे हैं, लेकिन DDEs के लिए उनका अनुप्रयोग सीमित बना हुआ है, विशेष रूप से बड़े टेम्पोरल डोमेन में स्थिरता और मनमाने इतिहास कार्यों (arbitrary history functions) को संभालने के संबंध में।

कार्यप्रणाली: सेगमेंटेड ट्रायल-PINN (Segmented Trial-PINN)

लेखक एक नया ढांचा प्रस्तावित करते हैं जिसे सेगमेंटेड ट्रायल-PINN कहा जाता है, जो स्थिरता, स्केलेबिलिटी और भौतिक निरंतरता सुनिश्चित करने के लिए तीन मुख्य घटकों को एकीकृत करता है:

1. ट्रायल-सॉल्यूशन फॉर्मूलेशन (Trial-Solution Formulation)

हिस्ट्री बाधा $u(t) = h(t)$ को $t \leq 0$ के लिए स्पष्ट रूप से लागू करने के लिए, लेखक एक ट्रायल सॉल्यूशन $\hat{u}(t, w)$ का निर्माण करते हैं:
$\hat{u}(t, w) = h(t) + \phi(t)N(t, w)$
जहाँ $N(t, w)$ एक फुली कनेक्टेड न्यूरल नेटवर्क (tanh एक्टिवेशन के साथ MLP) है और $\phi(t) = \max(0, t)/T$ एक स्केलिंग फंक्शन है। यह फॉर्मूलेशन यह सुनिश्चित करता है कि $t \in [-\tau, 0]$ अंतराल पर $\hat{u}(t) = h(t)$ सटीक रूप से बना रहे, जबकि न्यूरल नेटवर्क घटक $t > 0$ के लिए सक्रिय होता है।

2. डिफरेंशिएबल हिस्ट्री स्विच (Differentiable History Switch)

डिलेड टर्म $u(t-\tau)$ को संभालने के लिए, फ्रेमवर्क एक डिफरेंशिएबल हिस्ट्री स्विच का उपयोग करता है।

तंत्र (Mechanism): जब किसी कोलोकेशन पॉइंट $t_i$ पर $u(t_i - \tau)$ का मूल्यांकन किया जाता है, तो सिस्टम पिछले समय के चरणों से मान प्राप्त करता है।
ग्रेडिएंट नियंत्रण (Gradient Control): पिछले सेगमेंट्स से प्राप्त डिलेड वैल्यूज के माध्यम से अस्थिर इम्प्लिसिट ग्रेडिएंट्स और लंबी डिपेंडेंसी चेन को रोकने के लिए, डिलेड ब्रांच में मानों को tf.stop_gradient के माध्यम से पास किया जाता है। यह फॉरवर्ड पास की सटीकता बनाए रखते हुए ट्रेनिंग को स्थिर करने के लिए ग्रेडिएंट फ्लो को तोड़ देता है।

3. सेगमेंटेड कोलोकेशन स्ट्रैटेजी (Segmented Collocation Strategy)

बड़े समय क्षितिज $[0, T]$ पर स्केलेबिलिटी और स्थिरता में सुधार के लिए, डोमेन को $K$ उप-अंतरालों $I_k$ में विभाजित किया जाता है।

स्वतंत्र ट्रेनिंग: प्रत्येक उप-अंतराल के लिए एक विशिष्ट कोलोकेशन पॉइंट्स $C_k$ के सेट का उपयोग करके एक अलग न्यूरल सबमॉडल को प्रशिक्षित किया जाता है।
असेंबली (Assembly): प्रशिक्षण के बाद, सबमॉडेल्स को एक एकल पीसवाइज ग्लोबल मॉडल बनाने के लिए जोड़ा जाता है।
निरंतरता (Continuity): इंटरफेस विच्छिन्नता (discontinuities) को कम करने के लिए सेगमेंट्स के बीच सीमाओं पर एक सॉफ्ट कंस्ट्रेंट लॉस टर्म ( $L_{bc}$ ) जोड़ा जाता है, जो सबडोमेन के बीच निरंतरता सुनिश्चित करता है।

लॉस फंक्शन (Loss Function)

कुल लॉस फंक्शन $L(w)$ तीन घटकों को जोड़ता है:
$L(w) = \lambda_{dde}L_{dde}(w) + \lambda_{hist}L_{hist}(w) + \lambda_{bc}L_{bc}(w)$

$L_{dde}$ : भौतिक अवशेष (physics residual) $\partial_t \hat{u} - f(t, \hat{u}, u_\tau)$ , जिसे ऑटोमैटिक डिफरेंशिएशन के माध्यम से गणना किया जाता है।
$L_{hist}$ : हिस्ट्री डोमेन $H$ पर हिस्ट्री फंक्शन को लागू करने वाला एक पद, जो सीमाओं के पास संख्यात्मक स्थिरता प्रदान करता है।
$L_{bc}$ : एक बाउंड्री लॉस जो आसन्न उप-सेगमेंट्स के बीच निरंतरता सुनिश्चित करता है।

मुख्य योगदान

शोध पत्र दावा करता है कि वह पहले व्यापक PINN-आधारित ढांचे को विकसित करने वाला है जो सामान्य प्रथम-क्रम के DDEs के लिए निम्नलिखित को एकीकृत करता है:

डिफरेंशिएबल हिस्ट्री स्विच: डिलेड डिपेंडेंसी को संभालने के लिए एक तंत्र, जो स्थिरता सुनिश्चित करने के लिए ग्रेडिएंट फ्लो को रोकता है।
स्पष्ट हिस्ट्री एनफोर्समेंट: एक ट्रायल-सॉल्यूशन फॉर्मूलेशन जो गणितीय रूप से गारंटी देता है कि केवल लॉस पेनल्टी पर निर्भर रहने के बजाय हिस्ट्री कंस्ट्रेंट पूरा हो।
सेगमेंटेड कोलोकेशन: बड़े टेम्पोरल डोमेन को प्रबंधनीय उप-अंतरालों में विभाजित करने की एक रणनीति, जो एरर संचय और स्टिफनेस (stiffness) को कम करती है।

लेखक इस बात पर जोर देते हैं कि यह दृष्टिकोण एक ऐसा मेष-फ्री (mesh-free), स्केलेबल और भौतिक रूप से सुसंगत सन्निकटन प्रदान करता है जो मॉडल की जटिलता (जैसे, गहरे नेटवर्क का उपयोग करके) को बढ़ाए बिना उप-अंतरालों के बीच निरंतरता बनाए रखता है।

संख्यात्मक परिणाम (Numerical Results)

विधि का मूल्यांकन TensorFlow का उपयोग करके CPU पर तीन बेंचमार्क पर किया गया, जिसमें सेगमेंटेड ट्रायल-PINN की तुलना नॉन-सेगमेंटेड PINN बेसलाइन्स और हाई-एक्यूरेसी न्यूमेरिकल रेफरेंस (MATLAB का dde23) से की गई।

हारमोनिक DDE (लीनियर/स्मूथ):
- परिणाम: दोनों सेगमेंटेड और नॉन-सेगमेंटेड मॉडल्स ने उच्च सटीकता प्राप्त की। नॉन-सेगमेंटेड मॉडल RMSE/MAE में थोड़ा बेहतर प्रदर्शन करता है क्योंकि यह एक निरंतर ग्लोबल रिप्रेजेंटेशन है।
- अवलोकन: यहाँ सेगमेंटेशन ने कोई महत्वपूर्ण लाभ नहीं दिया, क्योंकि समस्या वेल-कंडीशन्ड और स्मूथ थी। हालांकि, इसने फ्रेमवर्क की मजबूती को स्थापित किया।
लॉजिस्टिक DDE (नॉनलीन/ट्रांजिएंट):
- परिणाम: सेगमेंटेड मॉडल ने नॉन-सेगमेंटेड बेसलाइन्स की तुलना में काफी बेहतर प्रदर्शन किया।
- प्रदर्शन: सेगमेंटेड दृष्टिकोण ने सर्वश्रेष्ठ नॉन-सेगमेंटेड बेसलाइन की तुलना में 50 गुना अधिक कम RMSE प्राप्त किया।
- अवलोकन: नॉन-सेगमेंटेड मॉडल तीव्र ग्रेडिएंट्स और ट्रांजिएंट व्यवहारों के साथ संघर्ष करते हैं, और सेगमेंटेड मॉडल की सटीकता तक पहुँचने के लिए बहुत बड़े नेटवर्क और लंबे प्रशिक्षण समय की आवश्यकता होती है।
कपल्ड नॉनलीन DDE सिस्टम (स्केलेबिलिटी):
- परिणाम: दो कपल्ड इक्वेशंस के सिस्टम के लिए, सेगमेंटेड मॉडल ने कुल मिलाकर सबसे कम एरर प्राप्त किया।
- प्रदर्शन: सेगमेंटेड मॉडल का RMSE सबसे गहरे नॉन-सेगमेंटेड मॉडल की तुलना में लगभग दो ऑर्डर ऑफ मैग्नीट्यूड कम था।
- अवलोकन: नॉन-सेगमेंटेड मॉडल्स में स्पष्ट फेज लैग (phase lag) और एम्प्लीट्यूड ड्रिफ्ट देखा गया। सेगमेंटेड विधि ने पूरे डोमेन में सटीक एम्प्लीट्यूड और फेज अलाइनमेंट बनाए रखा।

महत्व और दावे

यह शोध पत्र इस कार्य को डिले सिस्टम के लिए PINNs को सामान्य बनाने की दिशा में एक महत्वपूर्ण कदम के रूप में प्रस्तुत करता है। लेखक दावा करते हैं कि:

सामान्यीकरण (Generality): फ्रेमवर्क केस-डिपेंडेंट कार्यान्वयन के विपरीत, मनमाने इतिहास कार्यों और डिले टर्म्स को एक एकीकृत तरीके से संभालता है।
स्थिरता (Stability): डिलेड ब्रांचेस में ग्रेडिएंट्स को रोकने और डोमेन को सेगमेंट करने से, यह विधि लंबे समय के क्षितिज और डिलेड फीडबैक से जुड़े ग्रेडिएंट अस्थिरता को कम करती है।
दक्षता (Efficiency): हालांकि सेगमेंटेशन के लिए कुछ कम्प्यूटेशनल ओवरहेड (कई सबमॉडेल्स को प्रशिक्षित करना) होता है, फिर भी यह जटिल, नॉनलीन और कपल्ड DDEs के लिए केवल एक सिंगल ग्लोबल नेटवर्क की क्षमता बढ़ाने की तुलना में काफी उच्च सटीकता प्रदान करता है।

लेखक निष्कर्ष निकालते हैं कि हालांकि सरल, स्मूथ समस्याओं के लिए सेगमेंटेशन अनिवार्य नहीं है, लेकिन यह चुनौतीपूर्ण डिले डायनेमिक्स के लिए एक मजबूत और स्केलेबल फ्रेमवर्क प्रदान करता है जहाँ पारंपरिक PINNs संघर्ष करते हैं। भविष्य के कार्य के रूप में इसे उच्च-क्रम के समीकरणों, समय- और स्टेट-डिपेंडेंट डिले, और एडेप्टिव सेगमेंटेशन रणनीतियों तक विस्तारित करने का सुझाव दिया गया है।