The Coercivity Gap in Neural PDE Solvers: Parameter Escape and Functional Convergence

तकनीकी सारांश: न्यूरल PDE सॉल्वर में कोएर्सिविटी गैप (Coercivity Gap)

1. समस्या का निरूपण और कोएर्सिविटी गैप

यह शोध पत्र वेरिएशनल पार्ट-डिफरेंशियल इक्वेशन (PDE) सॉल्वरों में, जैसे कि फिजिक्स-इन्फॉर्म्ड न्यूरल नेटवर्क्स (PINNs) और डीप रिट्ज़ विधि (Deep Ritz method) में, एक मौलिक विसंगति को संबोधित करता है। इन सेटिंग्स में, PDE ऊर्जा को एक रैखिक ट्रायल स्पेस के बजाय एक नॉनलीन फैमिली ऑफ रियलाइजेशनों (nonlinear family of realizations) पर मिनिमाइज किया जाता है। लेखक कोएर्सिविटी गैप (coercivity gap) को औपचारिक रूप देते हैं: एक ऐसी घटना जहाँ PDE ऊर्जा भौतिक अवस्था स्थान (physical state space) पर कोएर्सिव (coercive) होती है, लेकिन यह कोएर्सिविटी न्यूरल रिप्रजेंटेशन के पैरामीटर्स को नियंत्रित नहीं करती है। इसके परिणामस्वरूप, मिनिमाइजिंग सीक्वेंस (minimizing sequences) पैरामीटर एस्केप (parameter escape) (विचलन करते हुए वेट्स या सेंटर्स) प्रदर्शित कर सकते हैं, जबकि उनके संगत वास्तविक अवस्थाएँ (realized states) बाध्य (bounded) रहती हैं और प्राकृतिक ऊर्जा नॉर्म में स्ट्रॉन्गली कन्वर्ज होती हैं।

लेखक इसे मानक एप्रोक्सिमेशन थ्योरी (approximation theory) के मुद्दों से अलग करते हुए इस बात पर जोर देते हैं कि पैरामीटर विचलन अनिवार्य रूप से PDE एप्रोक्सिमेशन की विफलता का संकेत नहीं है। इसके बजाय, यह एक इल-कंडीशन्ड या नॉन-यूनिक पैरामीट्रिज़ेशन को दर्शाता है जहाँ लक्षित अवस्था (target state) रियलाइजेशन क्लास की सीमा (boundary) पर स्थित होती है, जिसके लिए अवस्था तक पहुँचने हेतु पैरामीटर्स का अनंत की ओर जाना आवश्यक होता है।

2. कार्यप्रणाली और अमूर्त ढांचा (Methodology and Abstract Framework)

विश्लेषण दो चरणों में आगे बढ़ता है: एक अमूर्त हिल्बर्ट-स्पेस फॉर्मूलेशन और फिक्स्ड-वेरिएंस गाऊसीयन रेडियल-बेसिस फंक्शन्स का एक ठोस मॉडल।

• अमूर्त सेटिंग (Abstract Setting): मान लीजिए $X$ भौतिक अवस्था स्थान (जैसे, $H^1(\mathbb{R}^d)$) है और $E: X \to \mathbb{R}$ एक कॉन्वेक्स, कोएर्सिव और स्ट्रॉन्गली कॉन्वेक्स ऊर्जा फंक्शनल है। मान लीजिए $\Phi_P: \Theta_P \to X$ एक रियलाइजेशन मैप है जो पैरामीटर स्पेस $\Theta_P$ से स्टेट स्पेस $X$ तक जाता है, जो एक रियलाइजेशन क्लास $A_P = \Phi_P(\Theta_P)$ बनाता है। लेखक सिद्ध करते हैं कि यदि $E$, $\lambda$-स्ट्रॉन्गली कॉन्वेक्स है, तो नियर-मिनिमल एनर्जी एरर, पैरामीटर्स के बाध्य रहने या न रहने के बावजूद, $X$ में वास्तविक अवस्थाओं के स्ट्रॉन्ग कन्वर्जेंस को सुनिश्चित करते हैं। विशेष रूप से, यदि $v_P \in A_P$ इस प्रकार है कि $E(v_P) \le \inf_{v \in A_P} E(v) + \epsilon_P$, तो $\|v_P - u\|_X^2 \le \frac{2}{\lambda}(\alpha_P + \epsilon_P)$, जहाँ $u$ सटीक मिनिमाइज़र है और $\alpha_P$ बेस्ट एप्रोक्सिमेशन एरर है।
• गाऊसीयन एलिप्टिक मॉडल (Gaussian Elliptic Model): इस गैप को ठोस रूप से प्रदर्शित करने के लिए, लेखक पूरे-स्थान (whole-space) एलिप्टिक समीकरण $-\Delta u + u = f$ में $\mathbb{R}^d$ पर विचार करते हैं। रियलाइजेशन क्लास $M_P$ फिक्स्ड-वेरिएंस गाऊसीयन्स के फाइनाइट मिक्सचर से बनी है:
  $$\Phi_P(\Theta)(x) = \sum_{j=1}^P w_j G(x - x_j), \quad G(x) = (4\pi)^{-d/2}e^{-|x|^2/4}.$$
  ऊर्जा $J(v) = \frac{1}{2}\|v\|_{H^1}^2 - \langle f, v \rangle$ 1-स्ट्रॉन्गली कॉन्वेक्स है, जो पहचान $J(v) - J(u) = \frac{1}{2}\|v - u\|_{H^1}^2$ को संतुष्ट करती है।

3. मुख्य योगदान और परिणाम

• कोलिजन मैकेनिज्म और नॉन-अटेनमेंट (Collision Mechanism and Nonattainment): कोएर्सिविटी गैप को चलाने वाला मुख्य तंत्र सक्रिय न्यूरॉन्स का कोलिजन (collision of active neurons) है। लेखक दो-न्यूरॉन रियलाइजेशन $q_h(x) = \frac{G(x+he_1) - G(x-he_1)}{2h}$ का निर्माण करते हैं, जो एक डिफरेंस कोटिएंट (difference quotient) को दर्शाता है। जैसे-जैसे $h \to 0$, सेंटर्स आपस में टकराते हैं और वेट्स विचलन करते हैं ($\|w\| \sim h^{-1}$), फिर भी वास्तविक अवस्थाएँ $H^1(\mathbb{R}^d)$ में गाऊसीय डेरिवेटिव $\partial_1 G$ की ओर स्ट्रॉन्गली कन्वर्ज होती हैं। चूंकि $\partial_1 G$ किसी भी फाइनाइट-डायमेंशनल रियलाइजेशन क्लास $M_P$ का हिस्सा नहीं है (फूरियर विश्लेषण के माध्यम से यह सिद्ध होता है कि $\partial_1 G$ का फूरियर ट्रांसफॉर्म गाऊसीय ट्रांसलेट्स के बाउंडेड एक्सपोनेंशियल डिके के सापेक्ष अनबाउंडेड है), इसलिए रियलाइजेशन क्लास $M_P$ नॉन-क्लोज्ड (non-closed) है।
• इन्फिमम का नॉन-अटेनमेंट (Nonattainment of Infimum): विशिष्ट फोर्सिंग टर्म $f = (-\Delta + I)\partial_1 G$ के लिए, सटीक समाधान $u = \partial_1 G$ है। लेखक सिद्ध करते हैं कि किसी भी $P \ge 2$ के लिए, रिड्यूस्ड इन्फिमम $I_P = \inf_{v \in M_P} J(v)$ सटीक न्यूनतम $I = J(u)$ के बराबर है, लेकिन यह इन्फिमम $M_P$ में प्राप्त (attained) नहीं होता है। फलस्वरूप, प्रत्येक पैरामीटर-स्पेस मिनिमाइजिंग सीक्वेंस को अनंत की ओर भागना ही होगा ($\|\Theta_k\| \to \infty$)।
• क्वांटिटेटिव स्टेट कन्वर्जेंस (Quantitative State Convergence): पैरामीटर एस्केप के बावजूद, अवस्थाएँ कन्वर्ज होती हैं। लेखक स्पष्ट एप्रोक्सिमेशन रेट्स प्राप्त करते हैं। हर्मिट स्पेक्ट्रल ट्रंकेशन (Hermite spectral truncation) को गाऊसीय जेट्स के फाइनाइट-डिफरेंस रियलाइजेशन के साथ जोड़कर, वे स्थापित करते हैं कि $u \in H^1_1(\mathbb{R}^d) \cap H^2(\mathbb{R}^d)$ के लिए (जहाँ $H^1_1$ एक वेटेड सोबोलेव स्पेस है), बेस्ट एप्रोक्सिमेशन एरर निम्नलिखित है:
  $$\inf_{w \in M_P} \|u - w\|_{H^1} \le \frac{C_d}{\sqrt{\log(2+P)}} (\|u\|_{H^1_1} + \|u\|_{H^2}).$$
  यह स्टेट एरर के लिए लॉगरिदमिक कन्वर्जेंस रेट $O((\log P)^{-1/2})$ प्रदान करता है, जो पैरामीटर बाउंडेडनेस से स्वतंत्र है।
• मेजर-वैल्यूड रिलैक्सेशन (Measure-Valued Relaxation): लेखक एक कॉन्वेक्स रिलैक्सेशन का विश्लेषण करते हैं जहाँ फाइनाइट सम्स को साइन्ड रेडन मेजर्स (signed Radon measures) $\mu$ द्वारा प्रतिस्थापित किया जाता है। वे दिखाते हैं कि जबकि रिलैक्स्ड समस्या सही लिमिटिंग स्टेट प्राप्त करती है, प्रतिनिधित्व करने वाले मेजर्स अभी भी टोटल वेरिएशन नॉर्म में विचलन कर सकते हैं। अतः, कॉन्वेक्स रिलैक्सेशन स्वाभाविक रूप से पैरामीटरों में कोएर्सिविटी की कमी को हल नहीं करता है, जब तक कि स्पष्ट रूप से टिखोनोव रेगुलराइजेशन (Tikhonov regularization) जैसा टोटल-वेरिएशन पेनल्टी न जोड़ा जाए।
• रेसिड्यूल मिनिमाइजेशन और HYCO: कोएर्सिविटी गैप रेसिड्यूल-आधारित विधियों (PINNs) तक भी विस्तृत है। यदि रेसिड्यूल को स्टेबिलिटी नॉर्म (जैसे, सेकंड-ऑर्डर एलिप्टिक समस्याओं के लिए $H^{-1}$) में मापा जाता है, तो छोटा रेसिड्यूल स्टेट कन्वर्जेंस को दर्शाता है, लेकिन पैरामीटर कॉम्पैक्टनेस को नहीं। लेखक हिल्बर्ट स्पेस में एक हाइब्रिड फिजिक्स-डेटा (HYCO) फ्रेमवर्क भी तैयार करते हैं जो PDE स्टेबिलिटी के अनुकूल है, यह नोट करते हुए कि हालांकि हाइब्रिड स्टेट समस्या वेल-पोज़्ड और स्ट्रॉन्गली कॉन्वेक्स है, फिर भी फाइनाइट-डायमेंशनल पैरामीट्रिज़ेशन में एस्केप हो सकता है।

4. महत्व और दावे

यह शोध पत्र दावा करता है कि यह एक सामान्य तंत्र को अलग करता है जहाँ वेरिएशनल न्यूरल PDE सॉल्वर वास्तविक अवस्था में कोएर्सिव होते हैं लेकिन पैरामीटर्स में नहीं। इसका महत्व निम्नलिखित में निहित है:

1. गणितीय स्पष्टीकरण: इस सामान्य कम्प्यूटेशनल अवलोकन के लिए एक कठोर स्पष्टीकरण प्रदान करना कि न्यूरल PDE सॉल्वर सटीक फिजिकल फील्ड्स उत्पन्न कर सकते हैं, भले ही उनके वेट्स या सेंटर्स अनबाउंडेड या व्याख्या करने में कठिन हों।
2. चिंताओं का पृथक्करण (Separation of Concerns): स्टेट स्टेबिलिटी (PDE ऊर्जा/रेसिड्यूल नॉर्म द्वारा नियंत्रित) और पैरामीटर कॉम्पैक्टनेस (आर्किटेक्चर और रेगुलराइजेशन पर निर्भर) के बीच अंतर करना। लेखक तर्क देते हैं कि पैरामीटर एस्केप को एप्रोक्सिमेशन की विफलता के बजाय एक कंडीशनिंग या आइडेंटिफिएबिलिटी इश्यू के रूप में देखा जाना चाहिए।
3. मॉडल मैकेनिज्म: फिक्स्ड-वेरिएंस गाऊसीयन कोलिजन का उपयोग एक पारदर्शी मॉडल के रूप में करना यह दिखाने के लिए कि रियलाइजेशन क्लासेस की नॉन-क्लोज्डनेस, नॉन-अटेनमेंट और पैरामीटर एस्केप की ओर ले जाती है, भले ही लक्षित अवस्था को ऊर्जा नॉर्म में कितनी भी अच्छी तरह से एप्रोक्सिमेट क्यों न किया गया हो।

लेखक स्पष्ट रूप से कहते हैं कि यह गाऊसीयन्स की आर्किटेक्चरल ऑप्टिमलिटी का दावा नहीं है, बल्कि एक ऐसे मैकेनिज्म का प्रदर्शन है जो विभिन्न आर्किटेक्चरों में बना रहता है जब रियलाइजेशन मैप के पास नॉन-कॉम्पैक्ट फाइबर्स या नॉन-क्लोज्ड इमेज होती है। यह कार्य एल्गोरिथमिक ट्रेनिंग डायनेमिक्स (जैसे, ग्रेडिएंट डिसेंट कन्वर्जेंस) को संबोधित नहीं करता है बल्कि ग्लोबल या नियर-ग्लोबल मिनिमाइजिंग सीक्वेंस के वेरिएशनल गुणों पर ध्यान केंद्रित करता है।