From Spectral Methods to Sample Complexity Bounds for Fourier Neural Operators

समस्या विवरण
फूरियर न्यूरल ऑपरेटर्स (FNOs) ने आंशिक अवकल समीकरणों (PDEs) के समाधान ऑपरेटरों को सीखने में, विशेष रूप से प्रारंभिक अवस्थाओं को भविष्य की अवस्थाओं में मैप करने वाले विसरणी विकास समीकरणों (dissipative evolution equations) में, अनुभवजन्य सफलता प्रदर्शित की है। हालाँकि, उन संरचनात्मक स्थितियों की एक कठोर सैद्धांतिक समझ अभी भी अपूर्ण है जिनके तहत FNOs इन ऑपरेटरों को कुशलतापूर्वक अनुमानित (approximate) और सीख सकते हैं। जबकि सामान्य ऑपरेटर लर्निंग "डायमेंशनलिटी के अभिशाप" (curse of dimensionality) की बाधाओं का सामना करती है—जहाँ $k$-बार फ्रेट (Fréchet) डिफरेंशिएबल या लिप्सचिट्ज़ (Lipschitz) ऑपरेटरों को सीखने के लिए सबसे खराब स्थिति में तेजी से बढ़ते नमूनों (exponentially many samples) की आवश्यकता होती है—यह शोध पत्र उन विशिष्ट संरचनात्मक गुणों की पहचान करने का प्रयास करता है जो FNOs को बहुपद नमूना जटिलता (polynomial sample complexity) प्राप्त करने में सक्षम बनाते हैं।

कार्यप्रणाली
लेखक शास्त्रीय स्पेक्ट्रल सन्निकटन सिद्धांत (spectral approximation theory) और आधुनिक ऑपरेटर लर्निंग के बीच एक संबंध स्थापित करते हैं। उनका दृष्टिकोण चार तार्किक चरणों में आगे बढ़ता है:

1. स्पेक्ट्रल विविक्तीकरण (Spectral Discretization): वे सेमी-इम्प्लिसिट फूरियर स्पेक्ट्रल स्कीम्स के वर्गों को पेश करते हैं जो स्थान (space) और समय (time) में विसरणी विकास समीकरणों को विविक्त (discretize) करते हैं। ये स्कीम्स रैखिक विसरण (linear dissipation) पदों को इमप्लिसिटली और गैर-रैखिक प्रतिक्रिया/परिवहन (nonlinear reaction/transport) पदों को एक्सप्लिसिटली उपचारित करती हैं, जिसमें अक्सर स्थिरीकरण (stabilization) शामिल होता है।
2. ऑपरेटर क्लास परिभाषा: वे विशिष्ट समाधान ऑपरेटर वर्गों ($S_{poly}$ बहुपद गैर-रैखिकता के लिए और $S_{smooth}$ सामान्य चिकनी गैर-रैखिकता के लिए) को परिभाषित करते हैं, जो स्थिर और सटीक स्पेक्ट्रल चरणों को पुनरावृत्त (iterating) करने की क्षमता द्वारा अभिलक्षित हैं। ये वर्ग विसरण की शक्ति, गैर-रैखिकता की चिकनाई (smoothness) और इनपुट स्पेस की नियमितता को नियंत्रित करने वाले मापदंडों द्वारा परिभाषित किए गए हैं।
3. FNO निर्माण: वे ऐसे FNOs का निर्माण करते हैं जो इन स्पेक्ट्रल विधियों के एकल चरणों का अनुकरण (emulate) करते हैं। इन एकल-चरण FNOs को संयोजित करके, वे पूर्ण समय-$T$ समाधान मानचित्र (solution map) को अनुमानित करने में सक्षम आर्किटेक्चर बनाते हैं। यह निर्माण इस तथ्य का लाभ उठाता है कि FNOs उन रैखिक ऑपरेटरों का कुशलतापूर्वक प्रतिनिधित्व कर सकते हैं जो फूरियर आधार (Fourier basis) में विकर्ण योग्य (diagonalizable) हैं, और पॉइंटवाइज न्यूरल नेटवर्क के माध्यम से गैर-रैखिकता का अनुमान लगा सकते हैं।
4. लर्निंग गारंटी: वे निर्मित सन्निकटन सीमाओं (approximation bounds) को मेट्रिक-एन्ट्रॉपी अनुमानों के साथ जोड़कर, परिभाषित FNO वर्गों पर एम्पेरिकल रिस्क मिनिमाइजेशन (ERM) के लिए लर्निंग गारंटियाँ प्राप्त करते हैं।

प्रमुख योगदान

• स्पेक्ट्रल-मेथड-आधारित ऑपरेटर वर्ग: यह शोध पत्र समय-$T$ समाधान ऑपरेटरों का एक विस्तृत वर्ग पेश करता है जो स्थिर सेमी-इम्प्लिसिट फूरियर स्पेक्ट्रल सन्नकन (approximations) के माध्यम से परिभाषित हैं। यह वर्ग उन विसरणी समीकरणों की साझा संख्यात्मक संरचना को कैप्चर करता है जो कई मानक गैर-रैखिक PDEs में शामिल हैं।
• समान सन्नकटन सीमाएँ (Uniform Approximation Bounds): बहुपद गैर-रैखिकता वाले समीकरणों के लिए, लेखक सिद्ध करते हैं कि प्रत्येक ऑपरेटर वर्ग को एक FNO द्वारा समान रूप से (uniformly) अनुमानित किया जा सकता है। आवश्यक नेटवर्क आकार (गहराई, चौड़ाई और भार का परिमाण) वांछित सटीकता और ऑपरेटर वर्ग को परिभाषित करने वाले मापदंडों के संदर्भ में मात्रात्मक रूप से निर्धारित किया गया है (प्रमेय 3.4)।
• बहुपद नमूना जटिलता (Polynomial Sample Complexity): सन्नकटन सीमाओं को मेट्रिक-एन्ट्रॉपी अनुमानों के साथ जोड़कर, यह शोध पत्र स्थापित करता है कि ERM के माध्यम से प्रशिक्षित FNOs इन वर्गों में ऑपरेटरों को बहुपद नमूना जटिलता के साथ सीख सकते हैं। बहुपद गैर-रैखिकता के लिए, लर्निंग दर मुख्य रूप से इनपुट स्पेस की सोबोलेव (Sobblev) चिकनाई और भौतिक डोमेन के आयाम पर निर्भर करती है (प्रमेय 3.6)।
• सामान्य चिकनी गैर-रैखिकता तक विस्तार: इस ढांचे को गैर-बहुपद चिकनी गैर-रैखिकता वाले समीकरणों तक विस्तारित किया गया है (प्रमेय 4.3, 4.4)। इस सेटिंग में, बहुपद नमूना जटिलता संरक्षित रहती है, हालांकि दरें अतिरिक्त रूप से गैर-रैखिकता की चिकनाई और विसरण की शक्ति पर निर्भर करती हैं।
• ठोस अनुप्रयोग: इस सिद्धांत को यह सत्यापित करने के लिए लागू किया गया है कि नेवियर-स्टोक्स (Navier–Stokes), एलन-कैहन (Allen–Cahn), और कान-हिलियर्ड (Cahn–Hilliard) समीकरणों के समय-$T$ समाधान मानचित्र अमूर्त ढांचे के भीतर आते हैं, जो इन विशिष्ट PDEs के लिए ठोस लर्निंग गारंटियाँ प्रदान करते हैं। इसके अतिरिक्त, सिद्धांत को लॉगरिदमिक पोटेंशियल वाले कान-हिलियर्ड समीकरण पर लागू किया गया है, जो सिंगुलैरिटी (singularity) वाला मामला है जिसके लिए सावधानीपूर्वक प्रबंधन की आवश्यकता है।

परिणाम

• सन्नकटन (Approximation): शोध पत्र मात्रात्मक सीमाएँ प्रदान करता है जो दिखाती हैं कि FNOs विसरणी PDEs के समाधान ऑपरेटरों को किसी भी सटीकता $\epsilon$ के लिए अनुमानित कर सकते हैं, जहाँ नेटवर्क का आकार $\epsilon^{-1}$ के बहुपद रूप में स्केल करता है (बहुपद गैर-रैखिकता के लिए) या सामान्य चिकनी गैर-रैखिकता के लिए थोड़े अधिक जटिल निर्भरता के साथ।
• लर्निंग दरें (Learning Rates): बहुपद गैर-रैखिकता के लिए, सामान्यीकरण त्रुटि (generalization error) $O(M^{-1/(6 + 2d/a)})$ की दर से घटती है, जहाँ $M$ नमूनों की संख्या है, $d$ भौतिक आयाम है, और $a$ इनपुट स्पेस की सोबोलेव चिकनाई है। यह जेनेरिक ऑपरेटरों के लिए नकारात्मक परिणामों के विपरीत है, जिन्हें घातीय नमूना जटिलता की आवश्यकता होती है।
• विशिष्ट PDEs:
  • नेवियर-स्टोक्स: लर्निंग दरें $a=2$ और $d=2$ पर निर्भर करती हैं, जिससे $M^{-1/8}$ की दर प्राप्त होती है।
  • एलन-कैहन: $a=4$ और $d=2$ के साथ, दर $M^{-1/7}$ है।
  • कान-हिलियर्ड: इसी प्रकार $a=4, d=2$ के लिए $M^{-1/7}$ प्राप्त होता है।
  • लॉगरिदमिक कान-हिलियर्ड: दर गैर-रैखिकता की चिकनाई $\alpha$ पर निर्भर करती है, जो $M^{-1/(7 + 24/(5\alpha))}$ देती है।

महत्व
यह शोध पत्र दावा करता है कि "स्थिर स्पेक्ट्रल सन्नकनीयता" (stable spectral approximability) एक व्यापक संरचनात्मक स्थिति है जो FNOs को गैर-रैखिक विकास ऑपरेटरों को कुशलतापूर्वक सीखने में सक्षम बनाती है। यह औपचारिक रूप से इस धारणा को स्थापित करके कि FNOs तब कुशलतापूर्वक ऑपरेटरों को सीख सकते हैं जब वे ऑपरेटर स्थिर और सटीक स्पेक्ट्रल विविक्तकरणों को स्वीकार करते हैं, यह कार्य शास्त्रीय संख्यात्मक विश्लेषण और आधुनिक डीप लर्निंग सिद्धांत के बीच की खाई को पाटता है। परिणाम बताते हैं कि FNOs कब और क्यों PDE समाधान ऑपरेटरों को सीखने में सफल होते हैं, जो एकल निश्चित PDE के बजाय समीकरणों के परिवारों पर समान गारंटियाँ प्रदान करते हुए विशिष्ट अनुभवजन्य सफलताओं से आगे बढ़ते हैं। लेखक नोट करते हैं कि ये गारंटियाँ डेटा एसिमिलेशन (data assimilation) में उपयोग किए जाने वाले डेटा-संचालित सरोगेट फोरकास्टिंग मॉडल के लिए विशेष रूप से प्रासंगिक हैं, जो यह सुझाव देती हैं कि भविष्य का कार्य डेटा एसिमिलेशन सटीकता गारंटियों के साथ बेहतर तालमेल बिठाने के लिए उच्च-क्रम सोबोलेव नॉर्म्स तक इन सीमाओं को विस्तारित कर सकता है।