Improving the accuracy of physics-informed neural networks via last-layer retraining

यहाँ साद कदीर और पैनोस स्टिनिस के शोध पत्र "Improving the accuracy of physics-informed neural networks via last-layer retraining" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

फिजिक्स-इन्फॉर्मड न्यूरल नेटवर्क्स (PINNs) आंशिक अवकल समीकरणों (PDEs) को हल करने के लिए एक शक्तिशाली उपकरण के रूप में उभरे हैं, जो भौतिक नियमों (शासी समीकरणों) को सीधे लॉस फंक्शन (loss function) में समाहित करते हैं। हालाँकि, PINNs अक्सर निम्नलिखित समस्याओं से ग्रस्त होते हैं:

• मध्यम सटीकता (Moderate Accuracy): उनके समाधान आमतौर पर ऐसे त्रुटि स्तर प्रदान करते हैं जो उच्च-सटीकता वाले वैज्ञानिक अनुप्रयोगों के लिए अपर्याप्त हैं।
• प्रशिक्षण जटिलता (Training Complexity): इष्टतम प्रशिक्षण रणनीतियों (वेट चयन, कोलोकेशन पॉइंट प्लेसमेंट, आर्किटेक्चर डिज़ाइन) को निर्धारित करना गैर-तुच्छ है और अक्सर उप-इष्टतम अभिसरण (sub-optimal convergence) का परिणाम होता है।
• मानक दृष्टिकोणों की सीमाएँ (Limitations of Standard Approaches): जबकि मल्टीफिडेलिटी, मल्टीस्टेज और स्टैक्ड आर्किटेक्चर मौजूद हैं, एक एकीकृत, पोस्ट-प्रोसेसिंग दृष्टिकोण की आवश्यकता है जो पूरे नेटवर्क को फिर से प्रशिक्षित किए बिना सटीकता को महत्वपूर्ण रूप से बढ़ा सके।

लेखक एक प्रशिक्षित PINN का उपयोग एक 'बेसिस फंक्शन जनरेटर' के रूप में करके, न्यूरल नेटवर्क के लचीलेपन और स्पेक्ट्रल विधियों की उच्च सटीकता के बीच के अंतर को पाटने का लक्ष्य रखते हैं।

2. कार्यप्रणाली (Methodology)

प्रस्तावित विधि एक प्रशिक्षित PINN को अंतिम समाधान के रूप में नहीं, बल्कि एक आगामी, अधिक सटीक स्पेक्ट्रल-जैसे सॉल्वर के लिए बेसिस फंक्शन्स (basis functions) के जनरेटर के रूप में मानती है। इस प्रक्रिया में तीन मुख्य चरण शामिल हैं:

A. आर्किटेक्चर और बेसिस एक्सट्रैक्शन (Architecture and Basis Extraction)

• नेटवर्क संरचना: लेखक पूर्णतः जुड़े हुए (fully connected) नेटवर्क पर विचार करते हैं जहाँ अंतिम परत रैखिक (linear) होती है (कोई एक्टिवेशन फंक्शन नहीं)। आउटपुट $u_{\theta}^{NN}(x)$ अंतिम छिपी हुई परत (hidden layer) के न्यूरॉन्स का एक रैखिक संयोजन है:
  $$u_{\theta}^{NN}(x) = \sum_{j=0}^{d_L} w_j \phi_j(x)$$
  जहाँ $\{\phi_j\}$ अंतिम छिपी हुई परत के न्यूरॉन्स हैं।
• बेसिस निर्माण: सीखे गए वेट्स $w_j$ (जो स्टोकेस्टिक ग्रेडिएंट डिसेंट के माध्यम से प्राप्त किए गए हैं और उप-इष्टतम हो सकते हैं) का उपयोग करने के बजाय, यह विधि फंक्शन्स $\{\phi_j\}$ को निकालती है और स्पेस $S_\theta = \text{span}(\{\phi_j\})$ के लिए एक ऑर्थोनॉर्मल बेसिस (orthonormal basis) का निर्माण करती है।
• ऑर्थोगोनलाइजेशन (Orthogonalization):
  1. डोमेन $\Omega$ पर एक उच्च-क्रम क्वाड्रचर नियम $\{(x_i, \omega_i)\}$ को परिभाषित किया जाता है।
  2. एक मैट्रिक्स $\Phi$ बनाया जाता है जहाँ $\Phi_{ij} = \omega_i^{1/2} \phi_j(x_i)$।
  3. $\Phi = QSV^T$ पर सिंगुलर वैल्यू डीकंपोजिशन (SVD) किया जाता है।
  4. SVD घटकों से एक पदानुक्रमित ऑर्थोनॉर्मल बेसिस $\{q_k\}$ प्राप्त किया जाता है। संख्यात्मक अस्थिरता (near-zero मानों के विभाजन के कारण) को रोकने के लिए एक थ्रेशोल्ड $r$ लागू किया जाता है।

B. वेरिएशनल फॉर्मूलेशन (रिट्रेनिंग) (Variational Formulation - Retraining)

एक बार ऑर्थोनॉर्मल बेसिस $\{q_k\}$ स्थापित हो जाने के बाद, विधि इन बेसिस फंक्शन्स द्वारा स्पैन किए गए सबस्पेस के भीतर PDE समाधान का सर्वोत्तम अनुमान खोजती है।

• निट्सचे का तरीका (Nitsche's Method): लेखक बाउंडरी कंडीशंस को कमजोर रूप से (weakly) संभालने के लिए एक वेरिएशनल फॉर्मूलेशन (विशेष रूप से नित्सचे की विधि) का उपयोग करते हैं। यह बेसिस फंक्शन्स के लिए बाउंडरी कंडीशंस को सख्ती से संतुष्ट करने की आवश्यकता को समाप्त करता है, जो कोलोकेशन विधियों की एक सामान्य सीमा है।
• न्यूनतमीकरण समस्या (Minimization Problem): विधि इस फंक्शनल को कम करती है:
  $$J[v] = \frac{1}{2}\int_\Omega k |\nabla v|^2 - fv \, dx - \int_{\partial\Omega} k (\partial_n v)(v-g) \, ds + \beta \int_{\partial\Omega} k(v-g)^2 \, ds$$
• लीनियर सिस्टम: इससे एक छोटा, सुव्यवस्थित लीनियर सिस्टम $Ac = b$प्राप्त होता है, जहाँ गुणांक$c$ बेसिस फंक्शन्स के लिए इष्टतम वेट्स का प्रतिनिधित्व करते हैं। बेसिस फंक्शन्स के डेरिवेटिव्स की गणना चेन रूल और नेटवर्क संरचना का उपयोग करके सटीक रूप से की जाती है।

C. ट्रांसफर लर्निंग और विस्तार (Transfer Learning and Extension)

• बेसिस का पुन: उपयोग: एक सरल समस्या (जैसे पॉइसन समीकरण) पर प्रशिक्षित PINN से निकाले गए बेसिस फंक्शन्स को उसी डोमेन पर अधिक जटिल समस्याओं (समय-निर्भर, नॉनलीनियर) के लिए पुन: उपयोग किया जा सकता है।
• समय-निर्भर/नॉनलीनियर समस्याएं: हीट इक्वेशन या बर्गर्स' इक्वेशन जैसी समस्याओं के लिए, लेखक BDF-4 के साथ युग्मित एक टाइम-स्टेपिंग स्कीम का उपयोग करते हैं। मैट्रिक्स $A$ को केवल प्रत्येक टाइम स्टेप साइज $\Delta t$ के लिए बनाया जाना आवश्यक है, जिससे यह दृष्टिकोण गणनात्मक रूप से कुशल बनता है।

3. प्रमुख योगदान (Key Contributions)

1. पोस्ट-प्रोसेसिंग सटीकता वृद्धि: यह विधि एक "लास्ट-लेयर रिट्रेनिंग" चरण के रूप में कार्य करती है जो पैरेंट PINNs की सटीकता को चार से पांच ऑर्डर ऑफ मैग्नीट्यूड तक बढ़ा देती है।
2. वेरिएशनल बनाम कोलोकेशन: लीस्ट-स्क्वायर कोलोकेशन दृष्टिकोण के बजाय वेरिएशनल फॉर्मूलेशन (नित्सचे की विधि) का उपयोग करके, यह विधि डेरिवेटिव्स के क्रम को कम करती है, जिससे बेहतर-कंडीशन्ड लीनियर सिस्टम प्राप्त होते हैं।
3. रेसिड्यूल-आधारित मेट्रिक: लेखक एक रेसिड्यूल-आधारित मेट्रिक ($\|e_r\|) पेश करते हैं जो वास्तविक त्रुटि के साथ मजबूती से सह-संबंध रखता है। यह बिना ग्राउंड ट्रुथ समाधान के भी **बेसिस फंक्शन्स की संख्या ($r$) के इष्टतम चयन** की अनुमति देता है।
4. ट्रांसफर लर्निंग क्षमता: निकाले गए बेसिस फंक्शन्स को सामान्यीकृत (generalizable) दिखाया गया है। पॉइसन समीकरण पर प्रशिक्षित बेसिस का सफलतापूर्वक हीट इक्वेशन और स्टेडी-स्टेट विस्कस बर्गर्स' इक्वेशन को हल करने के लिए उपयोग किया गया, जो दर्शाता है कि नेटवर्क डोमेन की अंतर्निहित ज्यामिति को प्रभावी ढंग से सीखता है।

4. परिणाम (Results)

विधि का परीक्षण विभिन्न डोमेन और PDEs पर किया गया:

• पॉइसन समीकरण (Poisson Equation): 1D अंतराल, स्क्वायर बॉक्स और L-आकार के डोमेन पर परीक्षण किया गया।
  • सटीकता: त्रुटियाँ विशिष्ट PINN स्तरों ($10^{-2}$ से $10^{-3}$) से गिरकर $10^{-6}$ से $10^{-7}$ तक पहुँच गईं।
  • त्रुटि प्रोफाइल: त्रुटि वक्र बेसिस फंक्शन्स $r$ की संख्या के सापेक्ष एक "V-आकार" प्रदर्शित करते हैं, जो छोटे सिंगुलर मानों से होने वाले संख्यात्मक शोर के कारण तेजी से गिरते हैं और फिर बढ़ते हैं। रेसिड्यूल वक्र इस व्यवहार को पूरी तरह से ट्रैक करता है, जो इसके स्टॉपिंग क्राइटेरिया के रूप में उपयोग को प्रमाणित करता है।
• हीट इक्वेशन (समय-निर्भर): पॉइसन समस्या से प्राप्त बेसिस का उपयोग करके, इस विधि ने उच्च सटीकता के साथ 1D और 2D हीट इक्वेशन को हल किया।
• नॉनलीनियर समस्याएं:
  • विस्कस बर्गर्स' इक्वेशन: इटरेटिव स्कीम का उपयोग करके सफल रूप से स्टेडी-स्टेट नॉनलीनियर समस्या को हल किया।
  • पॉइसन-बोल्ट्ज़मैन समीकरण: एक अन्य नॉनलीनियर समीकरण पर प्रभावशीलता प्रदर्शित की, जहाँ त्रुटियां और रेसिड्यूल्स लीनियर मामलों की तरह ही कम हुए।

सभी मामलों में, विधि ने अपने पैरेंट PINN को काफी बेहतर प्रदर्शन किया, और इष्टतम $r$ नेटवर्क की चौड़ाई के साथ बढ़ता गया, जो बढ़ी हुई एक्सप्रेसिविटी को दर्शाता है।

5. महत्व (Significance)

यह कार्य मानक PINNs की सटीकता सीमाओं को दूर करने के लिए एक मजबूत, कम लागत वाला ढांचा प्रदान करता है।

• व्यावहारिकता: इसके लिए गहरे नेटवर्क को फिर से प्रशिक्षित करने की आवश्यकता नहीं है; यह एक पोस्ट-प्रोसेसिंग चरण है जो मौजूदा प्रशिक्षित मॉडलों का लाभ उठाता है।
• मजबूती: ऑर्थोगोनलाइजेशन के लिए SVD का उपयोग और वेरिएशनल फॉर्मूलेशन यह सुनिश्चित करता है कि यह संख्यात्मक रूप से स्थिर है और जटिल ज्यामिति एवं बाउंडरी कंडीशंस को सुचारू रूप से संभालता है।
• वैज्ञानिक मशीन लर्निंग (SciML) में प्रगति: यह डीप लर्निंग (लचीलापन) और शास्त्रीय संख्यात्मक विधियों (सटीकता और स्थिरता) के बीच के अंतर को पाटता है, जो PDEs के लिए "मशीन प्रिसिजन" सन्निकटन (approximations) की ओर एक मार्ग प्रदान करता है। एक ही डोमेन पर विभिन्न भौतिक मॉडलों के लिए बेसिस फंक्शन्स को पुनः उपयोग करने की क्षमता वैज्ञानिक कंप्यूटिंग में ट्रांसफर लर्निंग के लिए एक नया प्रतिमान (paradigm) सुझाती है।