🤖 machine learning

Integral regularization PINNs for evolution equations

यह शोध पत्र इंटीग्रल रेगुलराइजेशन PINNs (IR-PINNs) का प्रस्ताव करता है, जो एक नवीन विधि है जो उप-अंतरालों पर इंटीग्रल-आधारित रेसिडुअल बाधाओं को शामिल करके और कोलोकेशन पॉइंट्स को गतिशील रूप से परिष्कृत करने के लिए एडेप्टिव सैंपलिंग का उपयोग करके इवोल्यूशन इक्वेशंस के लिए दीर्घकालिक एकीकरण सटीकता को बढ़ाता है।

मूल लेखक: Xiaodong Feng, Haojiong Shangguan, Tao Tang, Xiaoliang Wan

प्रकाशित 2026-04-23

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xiaodong Feng, Haojiong Shangguan, Tao Tang, Xiaoliang Wan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप अगले एक महीने के मौसम की भविष्यवाणी करने की कोशिश कर रहे हैं। आपके पास एक सुपर-स्मार्ट कंप्यूटर मॉडल (एक न्यूरल नेटवर्क) है जो भौतिकी के नियमों को जानता है। हालाँकि, एक समस्या है: जैसे-जैसे आपका मॉडल दिन-प्रतिदिन भविष्यवाणी करता है, छोटी-छोटी गलतियाँ जमा होने लगती हैं। 10वें दिन तक, पूर्वानुमान थोड़ा गलत होता है; 20वें दिन तक, यह पूरी तरह से गलत हो जाता है। यह एक रस्सी पर चलते समय आँखें बंद करके चलने जैसा है; शुरुआत में एक छोटा सा कदम भी लड़खड़ाने से आप किनारे से नीचे गिर सकते हैं।

यह उस समस्या को दर्शाता है जिसका सामना वैज्ञानिक इवोल्यूशन इक्वेशन्स (Evolution Equations) (गणितीय सूत्र जो बताते हैं कि चीजें समय के साथ कैसे बदलती हैं, जैसे गर्मी का फैलना, तरल पदार्थों का बहना, या आबादी का बढ़ना) के साथ करते हैं। मानक AI तरीके, जिन्हें PINNs (फिजिक्स-इन्फॉर्म्ड न्यूरल नेटवर्क्स) कहा जाता है, इन नियमों को सीखने में बहुत अच्छे हैं, लेकिन वे "लॉन्ग-टाइम इंटीग्रेशन" (लंबे समय तक निरंतरता बनाए रखने) में संघर्ष करते हैं। वे अतीत को भूलते जाते हैं, जिससे त्रुटियों का एक सिलसिला शुरू हो जाता है।

यह शोध पत्र एक नया समाधान पेश करता है जिसे IR-PINNs (इंटीग्रल रेगुलराइजेशन PINNs) कहा जाता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. समस्या: "पॉइंट-बाय-पॉइंट" की अंध बिंदु (Blind Spot)

कल्पना कीजिए कि आप एक गाने को सीखने की कोशिश कर रहे हैं जहाँ प्रत्येक नोट को एक-एक करके बजाया जा रहा है, और उनके बीच कोई संबंध नहीं है। आप प्रत्येक नोट की पिच को सही पकड़ सकते हैं, लेकिन आप धुन या लय को नहीं समझ पाएंगे।

मानक PINNs इसी तरह काम करते हैं। वे समय के विशिष्ट क्षणों (कोलोकेशन पॉइंट्स) को देखते हैं और यह सुनिश्चित करने की कोशिश करते हैं कि उस सटीक क्षण में भौतिकी सही रहे। वे समय को अलग-अलग स्नैपशॉट की एक श्रृंखला के रूप में देखते हैं। क्योंकि वे यह स्पष्ट रूप से नहीं देखते कि एक क्षण से दूसरे क्षण में प्रवाह कैसे होता है, इसलिए शुरुआत में होने वाली छोटी त्रुटियां समय के साथ बढ़ती जाती हैं, जिससे पूरा पूर्वानुमान ढह जाता है।

2. समाधान: "ग्रुप फोटो" दृष्टिकोण (इंटीग्रल रेगुलराइजेशन)

लेखक एक नई तकनीक प्रस्तावित करते हैं: इंटीग्रल रेगुलराइजेशन।

केवल एकल बिंदुओं पर भौतिकी की जांच करने के बजाय, IR-PINNs समय के टुकड़ों (सब-इंटरवल्स) को देखते हैं और पूछते हैं: "क्या इस पूरे टुकड़े के दौरान कुल परिवर्तन तर्कसंगत है?"

उपमा: कल्पना कीजिए कि आप न्यूयॉर्क से बोस्टन तक कार चला रहे हैं।
- पुराना तरीका (PINNs): आप हर 10 सेकंड में अपना स्पीडोमीटर चेक करते हैं। यदि आप 10:00:00 पर 60 मील प्रति घंटा की गति से चल रहे हैं और 10:00:10 पर भी 60 मील प्रति घंटा की गति से चल रहे हैं, तो आप सोचते हैं कि आप ठीक हैं। लेकिन हो सकता है कि आपने बीच में कोई बड़ा रास्ता भटक लिया हो।
- नया तरीका (IR-PINNs): आप एक घंटे की शुरुआत में और एक घंटे के अंत में ओडोमीटर (दूरी मापने वाला यंत्र) चेक करते हैं। आप तय की गई कुल दूरी की गणना करते हैं। यदि गणित कहता है कि आपको 60 मील चलना चाहिए था, लेकिन आपका ओडोमीटर 100 मील दिखाता है, तो आप जानते हैं कि कुछ गलत है, भले ही हर एक सेकंड में आपका स्पीडोमीटर एकदम सही दिख रहा हो।

समय के छोटे टुकड़ों पर "कुल दूरी" (इंटीग्रल) को संतुष्ट करने के लिए मजबूर करके, मॉडल को अतीत और भविष्य के बीच के संबंध का सम्मान करने के लिए मजबूर किया जाता है। यह त्रुटियों को दूर जाने से रोकता है।

3. बोनस फीचर: एडेप्टिव सैंपलिंग (एक टॉर्च की तरह)

इस नए तरीके के साथ भी, समाधान के कुछ हिस्से दूसरों की तुलना में अधिक कठिन होते हैं। हो सकता है कि एक तरल पदार्थ एक स्थान पर हिंसक रूप से घूम रहा हो, जबकि वह दूसरी जगह शांत हो।

शोध पत्र में एक एडेप्टिव सैंपलिंग रणनीति जोड़ी गई है।

उपमा: कल्पना कीजिए कि आप एक अंधेरे कमरे में टॉर्च की मदद से खोई हुई चाबी ढूंढ रहे हैं। एक मानक दृष्टिकोण यह है कि आप ग्रिड पैटर्न में, समान अंतराल पर रोशनी डालें।
IR-PINN दृष्टिकोण: AI एक स्मार्ट टॉर्च की तरह काम करता है। वह महसूस करता है, "हे, चाबी कपड़ों के इस बिखरे हुए ढेर में होने की संभावना अधिक है जहाँ रोशनी कम है।" इसलिए, वह अपने दिमाग की शक्ति को ठीक वहीं केंद्रित करता है जहाँ इसकी सबसे अधिक आवश्यकता है—अराजक, उच्च-तनाव वाले क्षेत्रों (शार्प ग्रेडिएंट्स) पर तेज़ और अधिक बार रोशनी डालता है, और शांत फर्श पर कम रोशनी डालता है।

यह सुनिश्चित करता है कि AI अपनी मानसिक ऊर्जा ठीक वहीं खर्च करे जहाँ इसकी सबसे अधिक आवश्यकता है, जिससे कठिन क्षेत्रों में समाधान को और बेहतर बनाया जा सके।

यह क्यों महत्वपूर्ण है?

लेखकों ने कुछ बहुत ही कठिन समस्याओं पर इसका परीक्षण किया:

लॉरेंज सिस्टम (Lorenz System): एक क्लासिक "केओस" (अराजकता) मॉडल (जैसे बटरफ्लाई इफेक्ट) जहाँ सूक्ष्म बदलाव भी बड़े अंतर पैदा करते हैं।
फ्लुइड डायनेमिक्स (Fluid Dynamics): यह सिम्युलेट करना कि ज्वाला या लहरें अराजक रूप से कैसे चलती हैं।
प्रोबेबिलिटी (संभाव्यता): यह अनुमान लगाना कि कणों का एक बादल समय के साथ कैसे फैलता है।

परिणाम: प्रत्येक परीक्षण में, नए IR-PINNs पुराने तरीकों की तुलना में लंबे समय तक काफी अधिक सटीक थे। उन्होंने केवल भविष्य का "अनुमान" नहीं लगाया; उन्होंने समय के निरंतर प्रवाह का सम्मान किया, जिससे भविष्यवाणी स्थिर और विश्वसनीय बनी रही।

संक्षेप में

शोध पत्र कहता है: "केवल वर्तमान क्षण को न देखें। क्षणों के बीच की यात्रा को देखें। केवल व्यक्तिगत वाक्यों के बजाय समय के अंतराल की 'पूरी कहानी' की जांच करके, और भ्रमित करने वाले हिस्सों पर तेज़ रोशनी डालकर, हम ऐसे AI मॉडल बना सकते हैं जो रास्ता भटके बिना लंबे समय तक भविष्य की भविष्यवाणी कर सकें।"

यहाँ शोध पत्र "Integral regularization PINNs for evolution equations" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

विकास समीकरण (Evolution equations), जिनमें साधारण अवकल समीकरण (ODEs) और आंशिक अवकल समीकरण (PDEs) दोनों शामिल हैं, भौतिकी, जीव विज्ञान और इंजीनियरिंग में गतिशील प्रणालियों के मॉडलिंग के लिए मौलिक हैं। जबकि फिजिक्स-इन्फॉर्म्ड न्यूरल नेटवर्क्स (PINNs) इन समीकरणों को हल करने के लिए एक मेश-फ्री (mesh-free) ढांचा प्रदान करते हैं, वे एक महत्वपूर्ण सीमा का सामना करते हैं: लंबे समय के एकीकरण (long-time integration) के दौरान अस्थायी त्रुटि संचय (temporal error accumulation)।

मुख्य मुद्दा: मानक PINNs अस्थायी कोलोकेशन बिंदुओं (temporal collocation points) को अलग-थलग मानते हैं। वे विशिष्ट बिंदुओं पर अवकल समीकरण के अवशेष (residual) को न्यूनतम करते हैं लेकिन विकास समीकरणों में निहित मजबूत अस्थायी सहसंबंधों (temporal correlations) को स्पष्ट रूप से लागू करने में विफल रहते हैं (जहाँ समय $t$ पर अवस्था, $t-\Delta t$ पर अवस्था पर निर्भर करती है)।
परिणाम: इसके कारण प्रशिक्षण बिंदुओं पर ओवरफिटिंग होती है और दीर्घकालिक गतिकी (long-time dynamics) को पकड़ने में विफलता होती है, विशेष रूप से कठिन (stiff) प्रणालियों या अराजक व्यवस्थाओं (जैसे लोरेन्ज़ सिस्टम, कुरामोटो-सिवाशिंस्की समीकरण) में। त्रुटि अक्सर समय के साथ तेजी से बढ़ती है, जिससे लंबे समय के सिमुलेशन के लिए समाधान सटीक नहीं रह जाता है।

2. कार्यप्रणाली: इंटीग्रल रेगुलराइजेशन PINNs (IR-PINNs)

लेखक इंटीग्रल रेगुलराइजेशन PINNs (IR-PINNs) का प्रस्ताव करते हैं, जो एक नया ढांचा है जो अस्थायी निरंतरता (temporal consistency) को लागू करने के लिए लॉस फंक्शन में एक इंटीग्रल-आधारित अवशेष पद (integral-based residual term) को शामिल करके मानक PINNs को उन्नत करता है।

A. इंटीग्रल सूत्रीकरण (Integral Formulation)

केवल $u_t + \mathcal{N}[u] = f$ के अवकल रूप पर निर्भर रहने के बजाय, यह विधि एक अंतराल $[a, b]$ पर समीकरण को पुनर्गठित करती है:
$u(b,x) - u(a,x) + \int_a^b (\mathcal{N}[u](t,x) - f(t,x)) \, dt = 0$
यह इंटीग्रल रूप स्वाभाविक रूप से अंतराल के सीमाओं ( $a$ और $b$ ) पर समाधान की अवस्थाओं को प्रणाली के व्यवहार के साथ जोड़ता है।

B. लॉस फंक्शन निर्माण (Loss Function Construction)

कुल लॉस फंक्शन को एक इंटीग्रल रेगुलराइजेशन पद के साथ बढ़ाया गया है:
$\mathcal{L}_{total} = \mathcal{L}_{r} + \alpha \mathcal{L}_{int} + \mathcal{L}_{ic} + \mathcal{L}_{bc}$
जहाँ:

$\mathcal{L}_{r}$ : मानक डिफरेंशियल रेसिडुअल लॉस।
$\mathcal{L}_{int}$ $L_{in t}$ : नया इंटीग्रल-आधारित रेसिडुअल लॉस। समय डोमेन $[0, T]$ $[0, T]$ को $N$ $N$ उप-अंतरालों में विभाजित किया गया है। दो वेरिएंट प्रस्तावित किए गए हैं:
1. IR-PINNs1: प्रत्येक स्थानीय उप-अंतराल $[t_k, t_{k+1}]$ पर इंटीग्रल बाधा को लागू करता है।
2. IR-PINNs2: वर्तमान समय $t_{k+1}$ तक प्रारंभिक समय $t_0$ से इंटीग्रल बाधा को लागू करता है (इतिहास को संचित करता है)।
हाइपरपैरामीटर $\alpha$ : मीन वैल्यू थ्योरम के आधार पर 1 निर्धारित किया गया है, जो सुझाव देता है कि डिफरेंशियल और इंटीग्रल रेसिडुअल्स का परिमाण समान होता है।
कंप्यूटेशनल दक्षता: यह विधि इंटीग्रल टर्म का मूल्यांकन करने के लिए प्री-कंप्यूटेड डिफरेंशियल ऑपरेटर के मानों का पुन: उपयोग करती है, जिससे अतिरिक्त कंप्यूटेशनल लागत नगण्य रहती है।

C. एडेप्टिव सैंपलिंग रणनीति (Adaptive Sampling Strategy)

जटिल परिदृश्यों (तीव्र ग्रेडिएंट, अनबाउंडेड डोमेन) को संभालने के लिए, लेखक एक एडेप्टिव सैंपलिंग रणनीति को एकीकृत करते हैं:

एक निरंतर जॉइंट प्रोबेबिलिटी डेंसिटी मॉडल $p(t,x)$ बनाया जाता है ताकि स्क्वेर्ड रेसिडुअल $r^2(t,x)$ के वितरण का अनुमान लगाया जा सके।
मॉडल समय के लिए एक बाउंडेड पॉलीनोमियल लेयर और स्पेस के लिए एक बाउंडेड KR-net का उपयोग करता है।
उच्च रेसिडुअल वाले क्षेत्रों से इम्पॉर्टेंस सैंपलिंग के माध्यम से नए कोलोकेशन पॉइंट्स उत्पन्न किए जाते हैं, जो तेजी से परिवर्तन वाले क्षेत्रों पर ध्यान केंद्रित करने के लिए प्रशिक्षण सेट को गतिशील रूप से परिष्कृत करते हैं।

3. मुख्य योगदान (Key Contributions)

नया ढांचा (IR-PINNs): एक इंटीग्रल रेगुलराइजेशन पद का परिचय जो स्पष्ट रूप से अस्थायी सहसंबंधों को मजबूत करता है, जो मानक PINNs में त्रुटि संचय के मूल कारण को संबोधित करता है।
दो वेरिएंट: विभिन्न समस्या विशेषताओं के अनुकूल होने के लिए दो विशिष्ट सूत्रीकरणों (स्थानीय बनाम संचयी इंटीग्रल बाधाएं) का प्रस्ताव।
एडेप्टिव इंटीग्रेशन: विकसित होते समाधान अवशेषों के आधार पर कोलोकेशन पॉइंट्स को गतिशील रूप से परिष्कृत करने के लिए IR-PINNs का एडेप्टिव सैंपलिंग के साथ विस्तार।
व्यापक बेंचमार्किंग: ODEs, PDEs, अराजक प्रणालियों और अनबाउंडेड डोमेन को कवर करने वाली चार अलग-अलग बेंचमार्क समस्याओं पर कठोर सत्यापन।

4. संख्यात्मक परिणाम (Numerical Results)

पेपर चार बेंचमार्क पर IR-PINNs का मानक PINNs और कॉज़ल PINNs के विरुद्ध मूल्यांकन करता है:

बेंचमार्क	सिस्टम प्रकार	मुख्य निष्कर्ष
लोरेन्ज़ सिस्टम	अराजक ODE	IR-PINNs ने मानक PINNs की तुलना में सापेक्ष $L_2$ त्रुटि को दो क्रम (two orders) कम कर दिया (जैसे, $3.5 \times 10^{-3}$ बनाम $5.5 \times 10^{-1}$ )। IR-PINNs ने $T=20$ पर अराजक प्रक्षेपवक्र (chaotic trajectory) को सफलतापूर्वक कैप्चर किया, जबकि मानक PINNs विचलित हो गए।
कुरामोटो-सिवाशिंस्की	अराजक PDE	मानक PINNs $[0.1, 0.2]$ समय विंडो में त्रुटि विस्फोट के कारण विफल रहे। IR-PINNs ने त्रुटि वृद्धि को नियंत्रित किया, जिससे $\approx 4 \times 10^{-3}$ की त्रुटि प्राप्त हुई, जबकि मानक PINNs के लिए यह $1.1 \times 10^{-1}$ थी। इसने सटीकता और प्रशिक्षण दक्षता दोनों में कॉज़ल PINNs को पछाड़ दिया।
बौसिनस्क-बर्गर	युग्मित PDE	इसने एडेप्टिव सैंपलिंग की प्रभावकारिता को प्रदर्शित किया। जहाँ स्मूथ समाधानों के लिए इंटीग्रल रेगुलराइजेशन ने मामूली लाभ प्रदान किया, वहीं एडेप्टिव सैंपलिंग के संयोजन ने तीव्र ग्रेडिएंट वाले क्षेत्रों में सटीकता में काफी सुधार किया।
फॉकर-प्लांक समीकरण	अनबाउंडेड डोमेन	टेम्पोरल नॉर्मलाइजिंग फ्लोज़ का उपयोग करके 2D प्रोबेबिलिटी डेंसिटी इवोल्यूशन समस्या पर लागू किया गया। एडेप्टिव सैंपलिंग के साथ IR-PINNs ने प्रोबेबिलिटी नॉर्मलाइजेशन और गैर-ऋणात्मकता (non-negativity) को सफलतापूर्वक बनाए रखा, जिससे मानक PINNs की तुलना में कम KL डाइवर्जेंस प्राप्त हुआ।

सामान्य अवलोकन: सभी मामलों में, IR-PINNs (दोनों वेरिएंट) ने बेहतर दीर्घकालिक स्थिरता और सटीकता प्रदर्शित की। इंटीग्रल टर्म के कारण कंप्यूटेशनल लागत केवल थोड़ी सी (लगभग 10-20% रनिंग टाइम में) बढ़ी, जो सटीकता में भारी वृद्धि की तुलना में नगण्य है।

5. महत्व (Significance)

दीर्घकालिक एकीकरण को हल करना: यह कार्य PINNs में "लॉन्ग-टाइम इंटीग्रेशन" की बाधा को हल करने के लिए एक मजबूत समाधान प्रदान करता है, जो गतिशील प्रणालियों के लिए डीप लर्निंग को लागू करने में एक बड़ी बाधा है।
संख्यात्मक विश्लेषण और डीप लर्निंग को जोड़ना: क्लासिकल न्यूमेरिकल एनालिसिस (एक अवधारणा) को न्यूरल नेटवर्क के लॉस फंक्शन में शामिल करके, यह विधि सिस्टम की "मेमोरी" का लाभ उठाती है, जो पारंपरिक टाइम-स्टेपिंग स्कीमों के स्थिरता गुणों की नकल करती है और साथ ही PINNs की मेश-फ्री लचीलेपन को भी बनाए रखती है।
स्केलेबिलिटी: यह विधि कठिन (stiff) ODEs से लेकर उच्च-आयामी PDEs और स्टोकेस्टिक प्रक्रियाओं तक, समस्याओं की एक विस्तृत श्रृंखला के लिए लागू करने योग्य है, जो विकास समीकरणों के लिए एक एकीकृत ढांचा प्रदान करती है।
भविwi प्रभाव: यह दृष्टिकोण जटिल गतिशील प्रणालियों, जैसे फ्लूइड डायनेमिक्स, मटेरियल साइंस और सांख्यिकीय भौतिकी में नए रास्ते खोलता है जहाँ दीर्घकालिक भविष्यवाणी की सटीकता महत्वपूर्ण है।