तकनीकी सारांश: भौतिकी-सूचित तंत्रिका नेटवर्क (PINNs) के लिए वक्रता-जागरूक गतिशील परिशुद्धता दृष्टिकोण

1. समस्या विवरण

फिजिक्स-इन्फॉर्म्ड न्यूरल नेटवर्क्स (PINNs) भौतिक नियमों को सीधे प्रशिक्षण हानि (loss) में समाहित करके आंशिक अंतर समीकरणों (PDEs) को हल करने के लिए एक शक्तिशाली ढांचा बनकर उभरे हैं। हालांकि, PINN अनुकूलन (optimization) संख्यात्मक परिशुद्धता के प्रति अत्यधिक संवेदनशील है। मौजूदा कार्यान्वयन एक महत्वपूर्ण समझौते (trade-off) का सामना करते हैं:

• सिंगल प्रिसिजन (FP32): यह गणनात्मक रूप से कुशल है लेकिन "विफलता मोड" (failure modes) के प्रति संवेदनशील है जहाँ हानि (loss) अभिसरण (converge) करती हुई प्रतीत होती है, जबकि अनुमानित समाधान वास्तविक PDE समाधान से बहुत दूर रहता है। यह अक्सर खराब-अनुकूलित (ill-conditioned) अनुकूलन परिदृश्य और उच्च-क्रम व्युत्पन्न पदों (high-order derivative terms) द्वारा संख्यात्मक त्रुटियों के प्रवर्धन के कारण होता है।
• डबल प्रिसिजन (FP64): यह सुदृढ़ है और परिशुद्धता संबंधी विफलताओं को कम करने में सक्षम है, लेकिन कम-परिशुद्धता अंकगणित के लिए अनुकूलित आधुनिक हार्डवेयर पर यह गणनात्मक रूप से महंगा है।

वर्तमान अनुकूली रणनीतियाँ, जैसे कि मिश्रित-परिशुद्धता प्रशिक्षण या अनुकूली कोलोकेशन (adaptive collocation), अक्सर स्थिर आवंटन या परत-वार परिशुद्धता परिवर्तनों पर निर्भर करती हैं। वे प्रशिक्षण गतिकी (training dynamics) के विशिष्ट चरणों (phases) के अनुसार परिशुद्धता को नहीं बदलती हैं या अनुकूलन ज्यामिति (वक्रता/curvature) का उपयोग करके परिशक्वता स्विचिंग को शेड्यूल नहीं करती हैं। मुख्य चुनौती जटिल PDEs के लिए आवश्यक सुदृढ़ता से समझौता किए बिना, FP64 प्रशिक्षण की गणनात्मक लागत को कम करना है, जबकि इसकी सटीकता को बनाए रखा जा सके।

2. कार्यप्रणाली

लेखक एक वक्रता-जागरूक गतिशील परिशुद्धता नियंत्रक (curvature-aware dynamic precision controller) प्रस्तावित करते हैं जो PINNs के प्रशिक्षण के दौरान FP32 और FP64 के बीच अनुकूल रूप से स्विच करता है। यह विधि निम्नलिखित घटकों पर आधारित है:

2.1. वक्रता संकेत निष्कर्षण (Curvature Signal Extraction)

यह दृष्टिकोण उस वक्रता जानकारी का पुन: उपयोग करता है जो पहले से ही L-BFGS (लिमिटेड-मेमरी ब्रोडेन-फletcher-गोल्डफेब-शैनी) ऑप्टिमाइज़र द्वारा संगणित की जाती है, जो PINNs के लिए उपयोग किया जाने वाला एक सेकंड-ऑर्डर क्वासी-न्यूटन विधि है।

• L-BFGS पैरामीटर अपडेट ($s_k$) और ग्रेडिएंट अपडेट ($y_k$) के इतिहास को बनाए रखता है।
• लेखक एक दिशात्मक वक्रता प्रॉक्सी, $\kappa_k = \frac{s_k^\top y_k}{s_k^\top s_k}$ को परिभाषित करते हैं, जो स्थानीय हेसियन सन्निकटन (Hessian approximation) के रेले कोटिएंट (Rayleigh quotient) का प्रतिनिधित्व करता है।
• एक कंडीशनिंग प्रॉक्सी, $\hat{\kappa}_{cond}$, वर्तमान L-BFGS मेमोरी विंडो के भीतर अधिकतम और न्यूनतम वक्रता मानों के अनुपात के रूप में गणना की जाती है। यह स्थानीय अनुकूलन परिदृश्य की कंडीशनिंग के एक हल्के संकेतक के रूप में कार्य करता है।

2.2. परिशुद्धता नियंत्रक तर्क (Precision Controller Logic)

लघु अवधि के उतार-चढ़ाव के विरुद्ध संकेत को स्थिर करने के लिए, कंडीशनिंग प्रॉक्सी एक लॉग-ट्रांसफॉर्म और एक्सपोनेंशियल मूविंग एवरेज स्मूथिंग ($\tilde{z}_j$) से गुजरती है। नियंत्रक प्रत्येक 10 L-BFGS चरणों के बाद स्मूथ किए गए संकेत और उसके ढाल ($\Delta \tilde{z}_j$) का मूल्यांकन करता है ताकि परिशुद्धता अवस्था का निर्णय लिया जा सके:

• FP32 में स्विच करना: तब होता है जब स्मूथ किया गया वक्रता प्रॉक्सी $\tilde{z}_j$, एक समस्या-निर्भर थ्रेशोल्ड ($\tau_z$) से नीचे होता है और ढाल (slope) कम होती है, जो एक स्थिर, सुव्यवस्थित चरण का संकेत देती है।
• FP64 में स्विच करना: तब होता है जब $\tilde{z}_j$ थ्रेशोल्ड से अधिक हो जाता है, ढाल तेजी से बढ़ती है, या FP32 में पैरामीटर अपडेट नगण्य हो जाते हैं (जो ठहराव या संख्यात्मक संवेदनशीलता का संकेत देते हैं)।

यह आर्किटेक्चर-अज्ञेय (architecture-agnostic) नियंत्रक प्रशिक्षण को स्थिर चरणों के दौरान FP32 की गति का उपयोग करने और संख्यात्मक रूप से महत्वपूर्ण चरणों (जैसे, उच्च वक्रता या खराब-अनुकूलन) के दौरान FP64 की सुदृढ़ता का लाभ उठाने की अनुमति देता है।

3. प्रमुख योगदान

1. गतिशील परिशुद्धता रणनीति: एक नवीन दृष्टिकोण जो परिशुद्धता को एक निश्चित कार्यान्वयन विकल्प के बजाय प्रशिक्षण चरणों के अनुकूल एक गतिशील चर के रूप में मानता है।
2. वक्रता-जागरूक नियंत्रण: पहला तरीका जो PINNs में परिशुद्धता शेड्यूलिंग के लिए ऑनलाइन सिग्नल के रूप में L-BFGS वक्रता इतिहास को स्पष्ट रूप से पुन: उपयोग करता है, जो अनुकूलन ज्यामिति को सीधे संख्यात्मक स्थिरता से जोड़ता है।
3. आर्किटेक्चर अज्ञेयता (Architecture Agnosticism): इस विधि को मानक MLPs, PINNsFormer, PINNMamba, और KAN (कोलमोगोरोव-आर्नोल्ड नेटवर्क) सहित विभिन्न न्यूरल नेटवर्क आर्किटेक्चर में प्रभावी दिखाया गया है।
4. लागत-सटीकता संतुलन: यह दृष्टिकोण पूर्ण FP64 प्रशिक्षण की तुलना में कम दीवार-घड़ी समय (wall-clock time) के साथ FP64-स्तर की सटीकता प्राप्त करता है, जिससे यह दक्षता-सटीकता के ट्रेड-ऑफ को प्रभावी ढंग से हल करता है।

4. प्रयोगात्मक परिणाम

विधि का मूल्यांकन चार कैनोनिकल PINN विफलता-मोड बेंचमार्क (Convection, Reaction, Wave, और Allen–Cahn समीकरणों) और एक इरेडिएंस-संचालित प्लांट-ग्रोथ ODE पर किया गया।

• निश्चित परिशुद्धता बनाम प्रदर्शन:

  • सटीकता: गतिशील दृष्टिकोण लगातार पूर्ण FP64 प्रशिक्षण की सटीकता (rRMSE और rMAE द्वारा मापा गया) से मेल खाता है या उससे थोड़ा बेहतर होता है। इसके विपरीत, शुद्ध FP32 प्रशिक्षण अक्सर स्वीकार्य समाधानों तक पहुँचने में विफल रहता है, जिससे त्रुटियाँ एक से दो क्रम (orders) अधिक होती हैं।
  • गति: गतिशील विधि ने सभी बेंचमार्क में पूर्ण FP64 के सापेक्ष प्रशिक्षण समय को कम किया। उदाहरण के लिए, Reaction समीकरण पर, इसने कम त्रुटि बनाए रखते हुए FP64 पर 1.07x की गति वृद्धि (speedup) प्राप्त की। Wave समीकरण पर, इसने 1.04x की गति वृद्धि प्राप्त की।
  • ट्रेड-ऑफ: विधि ने निरंतर गति-सटीकता ट्रेड-ऑफ में सुधार किया, जिससे परिणाम निश्चित-परिशुद्धता बेसलाइन की तुलना में पारेटो फ्रंटियर (Pareto frontier) के करीब पहुँच गए।

• आर्किटेक्चर प्रभाव:

  • जबकि उन्नत आर्किटेक्चर (PINNsFormer, PINNMamba, KAN) ने आशाजनक प्रदर्शन दिखाया, कुछ समीकरणों (जैसे, Convection और Allen–Cahn) के लिए वे रैंडम सीड के आधार पर अस्थिरता प्रदर्शित करते हैं।
  • प्रस्तावित डायनेमिक प्रिसिजन कंट्रोलर को एक मानक वेनिला MLP पर लागू करने से सभी चार PDEs में मजबूत अभिसरण (100% कन्वर्जेंस रेट) प्राप्त हुआ, जो निश्चित परिशुद्धता में प्रशिक्षित उन्नत आर्किटेक्चर की तुलना में बेहतर था।
  • दिलचस्प बात यह है कि उन्नत आर्किटेक्चर (जैसे PINNsFormer) के साथ डायनेमिक कंट्रोलर को मिलाने से और अधिक सुधार हुआ, जो बताता है कि इन आर्किटेक्चर में सुचारू वक्रता प्रक्षेपवक्र (smooth curvature trajectories) नियंत्रक को अधिक कुशलता से संचालित करने की अनुमति देते हैं।

• चरण-निर्भर संवेदनशीलता (Phase-Dependent Sensitivity):

  • वक्रता सिग्नल के विश्लेषण से पता चला कि संख्यात्मक संवेदनशीलता चरण-निर्भर है। कम, सुचारू वक्रता वाले प्रशिक्षण चरणों को FP32 में कुशलतापूर्वक संभाला जा सकता था, जबकि उच्च वक्रता या तीव्र सिग्नल परिवर्तन वाले चरणों के लिए FP64 की आवश्यकता थी।
  • डायनेमिक दृष्टिकोण ने इन चरणों को सफलतापूर्वक पार किया, और ठहराव या अस्थिरता को रोकने के लिए केवल आवश्यकता पड़ने पर ही FP64 में स्विच किया।

5. महत्व और दावे

पेपर का दावा है कि प्रस्तावित वक्रता-जागरूक गतिशील परिशुद्धता दृष्टिकोण PINN प्रशिक्षण के गणनात्मक बाधा (bottleneck) के लिए एक व्यावहारिक समाधान प्रदान करता है। यह प्रदर्शित करते हुए कि PINN अनुकूलन में परिशुद्धता संवेदनशीलता चरण-निर्भर है, लेखक तर्क देते हैं कि केवल संख्यात्मक रूप से महत्वपूर्ण चरणों के दौरान उच्च परिशुद्धता को चुनिंदा रूप से लागू करने से बिना भविष्य कहने वाली सटीकता खोए गणनात्मक लागत को कम किया जा सकता है।

लेखक इस कार्य को आर्किटेक्चरल सुधारों के पूरक विकास के रूप में देखते हैं। वे नोट करते हैं कि जबकि विशिष्ट आर्किटेक्चर अनुकूलन परिदृश्य को सुचारू कर सकते हैं, वे परिशुद्धता-संबंधी अस्थिरता को पूरी तरह से समाप्त नहीं करते हैं। इसलिए, डायनेमिक प्रिसिजन कंट्रोल एक सुदृढ़, आर्किटेक्चर-अज्ञेय परत के रूप में कार्य करता है जो विविध समस्या सेटिंग्स में PINN प्रशिक्षण की दक्षता और विश्वसनीयता को बढ़ाता है।

अध्ययन निष्कर्ष निकालता है कि यह विधि कम लागत पर FP64-स्तर की सटीकता को सुरक्षित रखती है, जिससे यह वैज्ञानिक कंप्यूटिंग के जटिल कार्यों के लिए एक व्यवहार्य रणनीति बन जाती है जहाँ स्थिरता के लिए पारंपरिक रूप से डबल प्रिसिजन की आवश्यकता होती है।