Neural operators for solving nonlinear inverse problems

यहाँ ओटमार शेर्ज़र, थी लैन नि ह्वी वू, और जिकाई यान के शोध पत्र "Neural operators for solving nonlinear inverse problems" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र ऑपरेटर समीकरणों के रूप में तैयार की गई नॉनलीनर इनवर्स प्रॉब्लम्स (nonlinear inverse problems) को हल करने की चुनौती को संबोधित करता है:
$$F[x] = y$$
जहाँ $F: D(F) \subseteq X \to Y$ अनंत-आयामी फलन स्थानों (आमतौर पर सोबोलेव या लेबेग स्पेस) के बीच एक नॉनलीनर ऑपरेटर है। ये समस्याएँ इल-पोज़्ड (ill-posed) हैं, जिसका अर्थ है कि समाधान $y$ पर निरंतर रूप से निर्भर नहीं करते हैं, और शोर ($y^\delta$) अस्थिर समाधानों की ओर ले जा सकता है।

मुख्य चुनौती:
पारंपरिक रूप से, इन समस्याओं को हल करने में फॉरवर्ड ऑपरेटर $F$ को अनुमानित करने के लिए शास्त्रीय विविक्तकरण (जैसे, फाइनाइट एलीमेंट मेथड्स - FEM) का उपयोग करके टिखोनोव रेगुलराइजेशन (Tikhonov regularization) शामिल होता है। हालाँकि, कई आधुनिक अनुप्रयोगों में, ऑपरेटर $F$ भौतिक नियमों के माध्यम से स्पष्ट रूप से ज्ञात नहीं होता है, बल्कि इसे अप्रत्यक्ष रूप से प्रशिक्षण डेटा (training data) (इनपुट-आउटपुट युग्मों) के माध्यम से निर्दिष्ट किया जाता है। लेखक शास्त्रीय विविक्तकृत ऑपरेटर $F_n$ को प्रशिक्षण डेटा से सीखे गए एक न्यूरल ऑपरेटर (Neural Operator) (विशेष रूप से DeepONet आर्किटेक्चर) से बदलने का लक्ष्य रखते हैं, और टिखोनोव रेगुलराइजेशन के ढांचे के भीतर इस दृष्टिकोण की अभिसरण (convergence) और स्थिरता का कठोर विश्लेषण करते हैं।

2. कार्यप्रणाली (Methodology)

यह शोध पत्र एक रणनीतिक ढांचा विकसित करता है जो टिखोनोव रेगुलराइजेशन को न्यूरल ऑपरेटर्स के साथ जोड़ता है।

A. रेगुलराइजेशन फ्रेमवर्क (Regularization Framework)

लेखक इनवर्स समस्या को स्थिर करने के लिए टिखोनोव रेगुलराइजेशन का उपयोग करते हैं। वे निम्नलिखित कार्यात्मक (functional) के मिनिमाइज़र $x_{\alpha}^\delta$ की खोज करते हैं:
$$T_{\alpha}^\delta[x] := \|F_n[x] - y^\delta\|_Y^2 + \alpha \|x - x^{(0)}\|_X^2$$
जहाँ:

• $F_n$ एक सरोगेट ऑपरेटर (Neural Operator) है।
• $y^\delta$ शोर स्तर $\delta$ वाला शोर युक्त डेटा है।
• $\alpha$ एक रेगुलराइजेशन पैरामीटर है।
• $x^{(0)}$ एक पूर्व अनुमान (prior guess) है (अक्सर 0)।

B. न्यूरल ऑपरेटर निर्माण (Neural Operator Construction)

शोध पत्र DeepONet आर्किटेक्चर पर आधारित न्यूरल ऑपरेटर $F_n$ को परिभाषित करता है, जो फलन स्थानों के बीच मैपिंग करने वाले ऑपरेटरों का अनुमान लगाता है।

• आर्किटेक्चर: ऑपरेटर को एक "ब्रांच" नेटवर्क (इनपुट के फलनल का अनुमान लगाने के लिए) और एक "ट्रंक" नेटवर्क (आउटपुट फंक्शन का अनुमान लगाने के लिए) का उपयोग करके बनाया जाता है।
• प्रशिक्षण रणनीति: नेटवर्क को एक 'ब्लैक बॉक्स' के रूप में मानने के बजाय, लेखक नेटवर्क गुणांकों (priors) को निर्धारित करने के लिए एक दो-चरणीय रणनीति प्रस्तावित करते हैं:
  1. रैखिकीकरण (Linearization): एक संदर्भ बिंदु के आसपास नॉनलीनर ऑपरेटर $F$ का रैखिकीकरण करें।
  2. ऑर्थोनॉर्मलाइजेशन (Orthonormalization): एक स्पष्ट रैखिक सरोगेट $F_N^\#$ बनाने के लिए प्रशिक्षण डेटा पर ग्रैम-श्मिट ऑर्थोनॉर्मलाइजेशन का उपयोग करें।
  3. न्यूरल एप्रोक्सिमेशन (Neural Approximation): $F_N^\#$ के रैखिक फलनल्स और आउटपुट फंक्शन्स को न्यूरल नेटवर्क का उपयोग करके अनुमानित करें। यह नेटवर्क मापदंडों (जैसे, सैंपलिंग पॉइंट्स, क्वाड्रचर रूल्स से प्राप्त वेट्स) के पूर्व-निर्धारण की अनुमति देता है, जिससे प्रशिक्षण प्रक्रिया काफी सरल हो जाती है।

C. सोबोलेव और लेबेग स्पेस में विस्तार (Extension to Sobolev and Lebesgue Spaces)

एक महत्वपूर्ण पद्धतिगत योगदान न्यूरल ऑपरेटर्स के लिए यूनिवर्सल एप्रोक्सिमेशन थ्योरम का विस्तार करना है।

• मानक प्रमेय निरंतर फलनों ($C(\Omega)$) के स्थानों पर लागू होते हैं।
• इनवर्स प्रॉब्लम्स को अक्सर सोबोलेव स्पेस ($H^s$) या लेबेग स्पेस ($L^2$) में समाधानों की आवश्यकता होती है, जहाँ पॉइंटवाइज इवैल्यूएशन (pointwise evaluation) हमेशा परिभाषित नहीं होता है।
• $L^2$ के लिए समाधान: लेखक एक मोलिफिकेशन (mollification) तकनीक पेश करते हैं। वे न्यूरल ऑपरेटर में फीड करने से पहले समाधान $x$ को एक स्मूथ फंक्शन $x_\xi$ (एक मोलिफायर के साथ कनवल्शन के माध्यम से) के रूप में अनुमानित करते हैं। यह सुनिश्चित करता है कि पॉइंटवाइज इवैल्यूएशन वैध हों जबकि $L^2$ नॉर्म में अभिसरण गुण बने रहें।

3. मुख्य योगदान (Key Contributions)

1. सैद्धांतिक अभिसरण दरें (Theoretical Convergence Rates):
   शोध पत्र न्यूरल ऑपरेटर सरोगेट का उपयोग करने पर $x_{\alpha}^\delta$ के लिए कठोर त्रुटि अनुमान (error estimates) प्राप्त करता है। वे निम्नलिखित के बीच इष्टतम संतुलन स्थापित करते हैं:

   • शोर स्तर ($\delta$)।
   • न्यूरल ऑपरेटर का एप्रोक्सिमेशन एरर ($\rho_n$)।
   • रेगुलराइजेशन पैरामीटर ($\alpha$)।
   • $L^2$ स्पेस के लिए मोलिफिकेशन पैरामीटर ($\xi$)।
     मुख्य परिणाम दिखाता है कि उपयुक्त पैरामीटर चयन (जैसे, $\alpha \sim \delta$, $\rho_n \sim \delta$) के साथ, अभिसरण दर $O(\sqrt{\delta})$ है, जो शास्त्रीय परिणामों से मेल खाती है।

2. गैर-निरंतर स्थानों में सामान्यीकरण (Generalization to Non-Continuous Spaces):
   लेखक यह सिद्ध करते हैं कि न्यूरल ऑपरेटर्स कॉम्पैक्ट एम्बेडिंग थ्योरम्स और मोलिफिकेशन का लाभ उठाकर सोबोलेव स्पेस ($s > m/2$ के साथ $H^s$) और लेबेग स्पेस ($L^2$) पर परिभाषित ऑपरेटरों का अनुमान लगा सकते हैं। यह न्यूरल ऑपरेटर सिद्धांत (जो आमतौर पर $C(\Omega)$ पर परिभाषित होता है) और इनवर्स प्रॉब्लम रेगुलराइजेशन की आवश्यकताओं के बीच के अंतर को पाटता है।

3. संरचित प्रशिक्षण (Priors) (Structured Training):
   शोध पत्र प्रशिक्षण डेटा की ज्यामिति (ऑर्थोनॉर्मलाइजेशन) और शास्त्रीय इंटीग्रेशन रूल्स के आधार पर न्यूरल ऑपरेटर संरचना के हिस्सों को पूर्व-गणना करने का एक तरीका प्रस्तावित करता है। यह न्यूरल ऑपरेटर के प्रशिक्षण की जटिलता को कम करता है और नेटवर्क आर्किटेक्चर के लिए एक सैद्धांतिक आधार प्रदान करता है।

4. सरोगेट्स का मात्रात्मक विश्लेषण (Quantitative Analysis of Surrogates):
   लेखक प्रशिक्षण नमूनों की संख्या ($N$), नेटवर्क गुणांकों की संख्या ($n$), और एप्रोक्सिमेशन एरर के बीच के ट्रेड-ऑफ का विश्लेषण करते हैं, जो रैखिक और नॉनलीनर दोनों मामलों के लिए स्पष्ट सीमाएँ (bounds) प्रदान करते हैं।

4. संख्यात्मक परिणाम (Numerical Results)

लेखक दो बेंचमार्क इनवर्स प्रॉब्लम्स पर अपने सिद्धांत को सत्यापित करते हैं:

• उदाहरण 3.1 (The "a-example"): एक नॉनलीनर डिफरेंशियल इक्वेशन जहाँ गुणांक $x$, $H^1$ में है।
• उदाहरण 3.2 (The "c-example"): एक श्रोडिंगर-प्रकार का समीकरण जहाँ गुणांक $x$, $L^2$ में है।

प्रयोगों से मुख्य निष्कर्ष:

• सटीकता (Accuracy): न्यूरल ऑपरेटर सरोगेट ($F_n$) आमतौर पर मीन स्क्वेर्ड एरर (MSE) के मामले में क्लासिकल फाइनाइट एलीमेंट मेथड्स (FEM) से बेहतर प्रदर्शन करता है, विशेष रूप से तब जब प्रारंभिक अनुमान वास्तविक समाधान से दूर हो।
• आरंभीकरण के प्रति मजबूती (Robustness to Initialization): FEM-आधारित अनुकूलन (optimization) प्रारंभिक अनुमान के प्रति अत्यधिक संवेदनशील है। न्यूरल ऑपरेटर दृष्टिकोण अधिक मजबूत है, जो विभिन्न आरंभीकरणों के बावजूद कम त्रुटि बनाए रखता है।
• शोर स्थिरता (Noise Stability):
  • रैखिक सरोगेट ($F_N^\#$) शोर के प्रति अत्यंत स्थिर है लेकिन जटिल नॉनलिनैरिटी के लिए कम लचीला है।
  • प्रशिक्षित न्यूरल ऑपरेटर ($F_n$) नॉनलिनैरिटी को अच्छी तरह से संभालता है लेकिन उच्च शोर के तहत ऑप्टिमाइज़र (AdamW) की स्टोकेस्टिक प्रकृति के कारण कुछ दोलन (oscillation) दिखाता है।
  • FEM का प्रदर्शन शोर के साथ काफी खराब हो जाता है, जिसे अक्सर बारीक मेश की आवश्यकता होती है जो विरोधाभासी रूप से शोर को ओवरफिट करने के कारण परिणामों को बिगाड़ देता है।
• प्रशिक्षण दक्षता (Training Efficiency): न्यूरल ऑपरेटर के लिए कुल प्रशिक्षण समय (डेटा जनरेशन सहित) $N=20$ नमूनों के लिए लगभग 10 सेकंड था, जो इन 1D समस्याओं के लिए उच्च दक्षता प्रदर्शित करता है।
• डेटा संतृप्ति (Data Saturation): प्रशिक्षण नमूनों की संख्या को एक निश्चित बिंदु (जैसे, $N=30$ से $40$) से आगे बढ़ाने पर घटते रिटर्न (diminishing returns) मिले, जिससे पता चलता है कि मॉडल ने आवश्यक ऑपरेटर विशेषताओं को पहले ही पकड़ लिया था।

5. महत्व (Significance)

• सिद्धांत और व्यवहार को जोड़ना: यह कार्य महत्वपूर्ण है क्योंकि यह न्यूरल ऑपरेटर्स को एक "ब्लैक बॉक्स" ह्यूरिस्टिक से हटाकर इल-पोज़्ड इनवर्स प्रॉब्लम्स के लिए एक गणितीय रूप से कठोर उपकरण बनाता है। यह आवश्यक अभिसरण दरें और पैरामीटर चयन नियम प्रदान करता है जो व्यावहारिक तैनाती के लिए आवश्यक हैं।
• अनंत आयामों को संभालना: न्यूरल ऑपरेटर्स को सोबोलेव और $L^2$ स्पेस तक विस्तारित करके, यह शोध पत्र न्यूरल ऑपरेटर साहित्य की एक बड़ी सीमा को संबोधित करता है, जिससे यह मानक PDE-आधारित इनवर्स प्रॉब्लम्स के लिए लागू हो जाता है।
• दक्षता: प्रस्तावित "स्ट्रक्चर्ड ट्रेनिंग" (प्रायर्स और ऑर्थोनॉर्मलाइजेशन का उपयोग करना) न्यूरल ऑपरेटर्स के प्रशिक्षण की कम्प्यूटेशनल लागत और जटिलता को कम करने का मार्ग प्रदान करता है, जो अक्सर एक बाधा होती है।
• FEM का विकल्प: परिणाम बताते हैं कि उन समस्याओं के लिए जहाँ फॉरवर्ड ऑपरेटर को सिम्युलेट करना महंगा या अज्ञात है, एक न्यूरल ऑपरेटर सरोगेट सीखना पारंपरिक विविक्तकरण विधियों की तुलना में अधिक मजबूत और सटीक पुनर्निर्माण प्रदान कर सकता है, बशर्ते कि प्रशिक्षण डेटा उपलब्ध हो।

संक्षेप में, यह शोध पत्र टिखोनोव रेगुलराइजेशन में सरोगट्स के रूप में न्यूरल ऑपरेटर्स के उपयोग के लिए एक ठोस सैद्धांतिक आधार स्थापित करता है, उनके अभिसरण को सिद्ध करता है, आवश्यक फंक्शन स्पेस में उनकी प्रयोज्यता का विस्तार करता है, और शास्त्रीय तरीकों की तुलना में संख्यात्मक प्रयोगों में उनके बेहतर प्रदर्शन को प्रदर्शित करता है।