🤖 machine learning

Do physics-informed neural networks (PINNs) need to be deep? Shallow PINNs using the Levenberg-Marquardt algorithm

यह शोध पत्र यह प्रदर्शित करता है कि शैलो फिजिक्स-इन्फॉर्म्ड न्यूरल नेटवर्क्स (PINNs), लेवेनबर्ग-मार्क्वार्ड एल्गोरिदम और विश्लेणात्मक डेरिवेटिव्स का उपयोग करके फॉरवर्ड और इनवर्स नॉनलीनियर PDE समस्याओं को कुशलतापूर्वक हल कर सकते हैं, जो गति और सटीकता में BFGS जैसे मानक अनुकूलन तरीकों से बेहतर प्रदर्शन करते हैं।

मूल लेखक: Muhammad Luthfi Shahab, Imam Mukhlash, Hadi Susanto

प्रकाशित 2026-02-12

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Muhammad Luthfi Shahab, Imam Mukhlash, Hadi Susanto

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: क्या प्रकृति की पहेलियों को सुलझाने के लिए आपको सुपरकंप्यूटर की आवश्यकता है?

कल्पना कीजिए कि आप एक परिदृश्य (landscape) के एक विशाल, जटिल जिग्सॉ पहेली (jigsaw puzzle) को सुलझाने की कोशिश कर रहे हैं।

आजकल अधिकांश वैज्ञानिक भौतिकी की समस्याओं (जैसे कि एक धातु की छड़ के माध्यम से गर्मी कैसे चलती है या समुद्र में लहरें कैसे टकराती हैं) को हल करने के लिए "डीप" (Deep) न्यूरल नेटवर्क का उपयोग करते हैं। एक "डीप" नेटवर्क का उपयोग करना 1,000 विशेषज्ञों की एक विशाल टीम को काम पर रखने जैसा है, जिनमें से प्रत्येक एक अलग कमरे में बैठा है, और एक एकल पहेली के टुकड़े को कहाँ रखना है, यह जानने के लिए एक-दूसरे को नोट्स भेज रहा है। यह अविश्वसनीय रूप से शक्तिशाली है, लेकिन यह धीमा, महंगा है, और इसके लिए बहुत अधिक "बौद्धिक क्षमता" (कंप्यूटिंग ऊर्जा और हाई-एंड GPUs) की आवश्यकता होती है।

यह शोध पत्र एक उत्तेजक प्रश्न पूछता है: "क्या हमें वास्तव में उस विशाल टीम की आवश्यकता है? क्या विशेषज्ञों की एक छोटी, चुनिस्थ टीम वही काम तेजी से और बेहतर तरीके से कर सकती है?"

लेखक सुझाव देते हैं कि एक "डीप" टीम के बजाय, हम एक "शैलो" (Shallow) नेटवर्क—एक बहुत छोटा, अधिक सुव्यवस्थित समूह—का उपयोग कर सकते हैं, बशर्ते हम उन्हें एक बहुत बेहतर "प्रबंधन रणनीति" (Management Strategy) दें।

दो मुख्य पात्र

इस शोध पत्र को समझने के लिए, आपको तुलना किए जा रहे दो "श्रमिकों" से मिलना होगा:

1. "डीप" श्रमिक (मानक तरीका)

इसे एक विशाल, फैलते हुए निगम (corporation) के रूप में सोचें। उनके पास मध्य प्रबंधन (middle management) की कई परतें हैं। जब वे कोई गलती करते हैं, तो सूचना को वापस ऊपर तक पहुँचने के लिए दर्जनों स्तरों से गुजरना पड़ता है। गलतियों को सुधारने में बहुत समय लगता है, और वे अक्सर "नौकरशाही में खो जाते हैं" (इसे वैज्ञानिक प्रशिक्षण अक्षमता/training inefficiency कहते हैं)।

2. "शैलो" श्रमिक + "LM" मैनेजर (शोध पत्र का तरीका)

लेखक एक "शैलो" नेटवर्क का उपयोग करने का प्रस्ताव देते हैं। यह एक छोटे स्टार्टअप की तरह है जिसमें प्रबंधन के केवल दो स्तर हैं। यह बहुत तेज़ है और कम "ऑफिस स्पेस" (मेमोरी) का उपयोग करता है।

लेकिन असली राज यहाँ है: यह सुनिश्चित करने के लिए कि यह छोटी टीम गलतियाँ न करे, उन्होंने एक विश्व स्तरीय मैनेजर नियुक्त किया है जिसे लेवनबर्ग-मार्क्वार्ड (Levenberg–Marquardt - LM) एल्गोरिदम कहा जाता है।

पुराना मैनेजर (BFGS): यह मैनेजर एक धुंध भरे पहाड़ पर नीचे उतरने वाले व्यक्ति की तरह है। वे अपने पैरों के नीचे ढलान को महसूस करते हैं और नीचे की ओर एक कदम बढ़ाते हैं। यह काम करता है, लेकिन वे नीचे तक पहुँचने से पहले काफी समय तक बिना किसी दिशा के भटकते रह सकते हैं।
नया मैनेजर (LM): यह मैनेजर हाई-टेक जीपीएस और ड्रोन वाले व्यक्ति की तरह है। केवल ढलान को महसूस करने के बजाय, वे पहाड़ के वक्रता (curvature) को देखते हैं। वे केवल यह नहीं पूछते कि "नीचे जाने का रास्ता कौन सा है?" बल्कि वे पूछते हैं कि "ढलान कितनी तेजी से बदल रही है, और मैं सबसे कुशलता से नीचे की ओर छलांग कैसे लगा सकता हूँ?"

उन्होंने वास्तव में क्या किया? (प्रयोग)

शोधकर्ताओं ने भौतिकी की दुनिया के प्रसिद्ध "बॉस बैटल्स" (जैसे Burgers, Schrödinger, और Bratu जैसे समीकरण) का उपयोग करके इन दोनों विधियों को परखा। ये गणितीय पहेलियाँ हैं जो बताती हैं कि तरल पदार्थ कैसे बहते हैं या क्वांटम कण कैसे व्यवहार करते हैं।

परिणाम आश्चर्यजनक थे:

सटीकता (Accuracy): "छोटा स्टार्टअप" (Shallow PINN) और "हाई-टेक मैनेजर" (LM) ने वास्तव में "विशाल निगम" (Deep PINNs) की तुलना में अधिक सटीकता के साथ उत्तर खोजे।
गति (Speed): छोटा समूह उत्तर तक बहुत तेजी से पहुँचा।
दक्षता (Efficiency): एक परीक्षण में, छोटे समूह ने 25 गुना कम पैरामीटर्स (कम "बौद्धिक क्षमता") का उपयोग किया, फिर भी भारी दिग्गजों को पछाड़ दिया।

यह आपके लिए क्यों मायने रखता है?

अभी, जटिल भौतिकी की समस्याओं को हल करने के लिए अविश्वसनीय रूप से महंगे सुपरकंप्यूटर और बिजली की भारी मात्रा की आवश्यकता होती है। यह शोध पत्र सिद्ध करता है कि जटिलता हमेशा आकार के बारे में नहीं होती; यह बुद्धिमत्ता के बारे में होती है।

"स्मार्ट" गणित (LM एल्गोरिदम) के साथ "शैलो" नेटवर्क का उपयोग करके, हम:

एक साधारण लैपटॉप पर सिमुलेशन चला सकते हैं बजाय एक बहु-मिलियन डॉलर के सुपरकंप्यूटर के।
समस्याओं को तेजी से हल कर सकते हैं, जिससे मौसम के पूर्वानुमान, इंजीनियरिंग या चिकित्सा में त्वरित प्रगति हो सकती है।
ऊर्जा बचा सकते हैं, जिससे AI और भौतिकी सिमुलेशन बहुत अधिक "हरित" (green) बन सकते हैं।

निष्कर्ष: आपको एक कठिन समस्या को हल करने के लिए एक विशाल, भारी मशीन की आवश्यकता नहीं है; आपको बस एक चुस्त, स्मार्ट टीम और एक बहुत अच्छे मानचित्र की आवश्यकता है।

तकनीकी सारांश: लेवेनबर्ग–मार्क्वार्ड्ट एल्गोरिदम का उपयोग करते हुए शैलो (Shallow) फिजिक्स-इन्फॉर्म्ड न्यूरल नेटवर्क (PINNs)

1. समस्या विवरण

यह शोध पत्र वैज्ञानिक मशीन लर्निंग के क्षेत्र में एक मौलिक प्रश्न को संबोधित करता है: क्या प्रभावी होने के लिए फिजिक्स-इन्फॉर्म्ड न्यूरल नेटवर्क्स (PINNs) का गहरा (Deep) होना आवश्यक है?

जबकि मानक PINN फ्रेमवर्क (जिसे राइसी एट अल. द्वारा लोकप्रिय बनाया गया था) आमतौर पर गहरे आर्किटेक्चर और प्रथम-क्रम या क्वाजी-न्यूटन ऑप्टिमाइज़र (जैसे Adam या L-BFGS) का उपयोग करता है, ये गहरे मॉडल अक्सर उच्च कम्प्यूटेशनल लागत और प्रशिक्षण अक्षमता से ग्रस्त होते हैं। लेखक यह जांचते हैं कि क्या शैलो न्यूरल नेटवर्क (विशेष रूप से वे जिनमें केवल दो हिडन लेयर्स हैं), जब एक अधिक सुदृढ़ द्वितीय-क्रम (second-order) अनुकूलन रणनीति के साथ जोड़े जाते हैं, तो वे फॉरवर्ड समस्याओं (PDEs को हल करने के लिए) और इनवर्स समस्याओं (अज्ञात PDE मापदंडों की पहचान करने के लिए) दोनों के लिए गहरे PINNs की सटीकता और दक्षता के बराबर या उससे बेहतर प्रदर्शन कर सकते हैं।

2. कार्यप्रणाली (Methodology)

लेखक PINNs को प्रशिक्षित करने के तरीके में एक प्रतिमान परिवर्तन (paradigm shift) का प्रस्ताव करते हैं, जो एक मानक स्केलर लॉस फंक्शन के न्यूनीकरण (minimization) से हटकर एक नॉनलीनर समीकरणों के सिस्टम के समाधान की ओर जाता है।

आर्किटेटेक्चर: वे शैलो फीड-फॉरवर्ड न्यूरल नेटवर्क का उपयोग करते हैं जिसे $NN(a, m_1, m_2, 1)$ के रूप में दर्शाया गया है, जहाँ $a$ इनपुट की संख्या है, $m_1$ और $m_2$ दो हिडन लेयर्स में न्यूरॉन्स की संख्या है, और आउटपुट एक एकल स्केलर है।
प्रतिबंध प्रवर्तन (Constraint Enforcement): स्थिरता में सुधार के लिए, प्रारंभिक और सीमा स्थितियों (initial and boundary conditions) को केवल लॉस फंक्शन में पेनल्टी टर्म्स के माध्यम से ही नहीं, बल्कि नेटवर्क के कार्यात्मक रूप (auxiliary functions $p(x, t)$ और $q(x)$ का उपयोग करके) के भीतर सीधे लागू किया जाता है।
अनुकूलन (लेवेनबर्ग–मार्क्वार्ड्ट): ग्रेडिएंट डिसेंट का उपयोग करने के बजाय, लेखक PDE अवशेष (residual) को एक नॉनलीनर लीस्ट-स्क्वायर्स समस्या के रूप में पुनर्गठित करते हैं: $F(W) = 0$ । वे लेवेनबर्ग–मार्क्वार्ड्ट (LM) एल्गोरिदम का उपयोग करते हैं, जो गॉस-न्यूटन एल्गोरिदम और ग्रेडिएंट डिसेंट पद्धति के बीच अनुकूल रूप से इंटरपोलेट करता है।
विश्लेषणात्मक अवकलन (Analytical Differentiation): एक मुख्य तकनीकी योगदान इनपुट वेरिएबल्स ( $x, t$ ) और नेटवर्क पैरामीटर्स ( $W$ ) दोनों के संबंध में न्यूरल नेटवर्क के डेरिवेटिव्स (द्वितीय क्रम तक) के लिए सटीक विश्लेषणात्मक अभिव्यक्तियों का व्युत्पन्न (derivation) है। यह जैकोबियन मैट्रिक्स ( $J$ ) के स्पष्ट निर्माण की अनुमति देता है, जो LM अपडेट स्टेप के लिए आवश्यक है:
$\Delta W = (J^T J + \kappa I)^{-1} J^T F$
यह ऑटोमैटिक डिफरेंशिएशन की "ब्लैक बॉक्स" प्रकृति से बचता है और यह स्पष्ट दृश्य प्रदान करता है कि वेट्स (weights) डिफरेंशियल ऑपरेटर्स को कैसे प्रभावित करते हैं।

3. मुख्य योगदान

PINNs का पुनर्गठन: PINN प्रशिक्षण प्रक्रिया को एक मानक अनुकूलन समस्या से नॉनलीनर सिस्टम-सॉल्विंग समस्या में बदलना।
विश्लेषणात्मक जैकोबियन फ्रेमवर्क: PINNs के लिए एक पूर्ण जैकोबियन के लिए एक पूर्ण, क्लोज्ड-फॉर्म गणितीय व्युत्पन्न प्रदान करना, जो साझा वेट्स और परिणामी डेरिवेटिव्स के बीच निर्भरता संरचना को स्पष्ट करता है।
शैलो आर्किटेक्चर के माध्यम से दक्षता: यह प्रदर्शित करना कि नेटवर्क की गहराई कम करने से सटीकता से समझौता किए बिना (और अक्सर सुधार करते हुए) जैकोबियन मूल्यांकन की कम्प्यूटेशनल लागत काफी कम हो जाती है।
तुलनात्मक बेंचमार्किंग: व्यापक रूप से उपयोग किए जाने वाले BFGS/L-BFGS तरीकों और LM एल्गोरिदम के बीच एक कठोर तुलना स्थापित करना।

4. परिणाम

इस कार्यप्रणाली का परीक्षण चार जटिल नॉनलीनर PDEs पर किया गया: बर्गर्स (Burgers), नॉनलीनर श्रोडिंगर (nonlinear Schrödinger), एलन-कैन (Allen–Cahn), और 3D ब्रैटू (3D Bratu) समीकरण।

फॉरवर्ड प्रॉब्लम्स: बर्गर्स और श्रोडिंगर समीकरणों में, शैलो LM-आधारित PINN ने BFGS विधि की तुलना में कई परिमाण (orders of magnitude) कम सापेक्ष $L_2$ त्रुटि प्राप्त की। विशेष रूप से, शैलो नेटवर्क (जैसे 751 पैरामीटर्स) ने मूल डीप PINN (3021 पैरामीटर्स) की तुलना में बेहतर सटीकता प्रदर्शित की।
इनवर्स प्रॉब्लम्स: एलन–कैन और 3D ब्रैटू समीकरणों के लिए, LM एल्गोरिदम ने BFGS की तुलना में बहुत अधिक सटीकता और तेज़ अभिसरण (convergence) के साथ अज्ञात PDE मापदंडों ( $\lambda$ ) की पहचान की।
कम्प्यूटेशनल प्रदर्शन: हालांकि एक एकल LM इटरेशन एक BFGS इटरेशन की तुलना में अधिक महंगा है, लेकिन LM दृष्टिकोण को अभिसरण तक पहुँचने के लिए काफी कम इटरेशन की आवश्यकता होती है, जिसके परिणामस्वरूप उच्च-सटीकता वाले समाधानों के लिए कम कुल कम्प्यूटेशनल समय लगता है।

5. महत्व

यह कार्य PINNs में "डीपर इज बेटर" (जितना गहरा, उतना बेहतर) की धारणा को चुनौती देता है। यह प्रदर्शित करता है कि अनुकूलन रणनीति आर्किटेक्चर की गहराई जितनी ही महत्वपूर्ण है। LM जैसे सेकंड-ऑर्डर विधियों और शैलो नेटवर्क का उपयोग करके, शोधकर्ता मानक CPU हार्डवेयर का उपयोग करके जटिल PDEs के लिए उच्च-निष्ठा (high-fidelity) समाधान प्राप्त कर सकते हैं, जिससे PINNs उन लोगों के लिए अधिक सुलभ हो जाते हैं जिनके पास हाई-परफॉर्मेंस GPU क्लस्टर नहीं हैं। इसके अलावा, प्रदान किया गया विश्लेषणात्मक ढांचा फिजिक्स-इन्फॉर्म्ड लर्निंग के आंतरिक तंत्र को समझने के लिए एक सैद्धांतिक आधार प्रदान करता है।