तकनीकी सारांश: गैर-स्थिर (Non-Stationary) PDEs के सीखने के लिए TF-SNO

1. समस्या विवरण

गैर-स्थिर आंशिक अवकल समीकरण (Partial Differential Equations - PDEs) कई वैज्ञानिक प्रणालियों को नियंत्रित करते हैं, जैसे कि विक्षोभ (turbulence), तरंग प्रसार (wave propagation), और बहु-पैमाने वाला परिवहन (multi-scale transport), जहाँ प्रमुख आवृत्ति सामग्री (frequency content) और ऊर्जा वितरण समय के साथ बदलते रहते हैं। इन प्रणालियों में, ऊर्जा आवृत्तियों के बीच स्थानांतरित होती है, प्रमुख मोड (modes) बदलते हैं, और क्षणिक उच्च-आवृत्ति विस्फोट (transient high-frequency bursts) होते हैं, जिसके परिणामस्वरूप समय-परिवर्ती स्पेक्ट्रा (time-varying spectra) प्राप्त होते हैं।

यद्यपि न्यूरल ऑपरेटर्स, विशेष रूप से फूरियर न्यूरल ऑपरेटर्स (FNO), PDEs के लिए कुशल सरोगेट्स के रूप में उभरे हैं, वे आमतौर पर सभी रोलआउट चरणों में एक साझा, स्थिर स्पेक्ट्रल कर्नेल (static spectral kernel) पर निर्भर करते हैं। यह डिज़ाइन एक सुसंगत स्पेक्ट्रल प्रतिक्रिया की धारणा बनाता है, जो गैर-स्थिर गतिकी (non-stationary dynamics) को लागू करने पर बेमेल (mismatch) का कारण बनता है जहाँ स्पेक्ट्रल ऊर्जा मोड के बीच प्रवास करती है। फलस्वरूप, निश्चित-कर्नेल दृष्टिकोण लंबे क्षितिज (long horizons) पर संचित रोलआउट त्रुटियों और अस्थिरता का शिकार होते हैं।

मौजूदा विकल्प अक्सर स्पष्ट समय आयाम (explicit time dimensions), टेम्पोरल शाखाओं (temporal branches), या स्थानिक-कालिक ऑपरेटरों (spatio-temporal operators) को शामिल करते हैं ताकि समय-परिवर्ती गतिकी को संभाला जा सके। हालाँकि, ये दृष्टिकोण मॉडलिंग जटिलता को बढ़ाते हैं और उन चरणों के बीच संक्रमण के दौरान स्पेक्ट्रल प्रतिक्रियाओं के अवस्था-निर्भर अनुकूलन (state-dependent adaptation) के लिए एक स्पष्ट तंत्र की कमी रख सकते हैं जब सिस्टम अलग-अलग प्रमुख आवृत्तियों वाले चरणों के बीच बदलता है।

2. कार्यप्रणाली: TF-SNO

लेखक टाइम-फ्रीक्वेंसी गेटेड स्पेक्ट्रल न्यूरल ऑपरेटर (TF-SNO) का प्रस्ताव करते हैं, जो एक अवस्था-अनुकूली (state-adaptive) फ्रेमवर्क है जिसे स्पष्ट समय कंडीशनिंग या इनपुट आयामीता को बढ़ाए बिना गैर-स्थिर गतिकी को संबोधित करने के लिए डिज़ाइन किया गया है।

मुख्य तंत्र: अवस्था-निर्भर गेटिंग (State-Dependent Gating)

TF-SNO स्पेक्ट्रल ऑपरेटर ब्लॉकों के भीतर एक सीखने योग्य टाइम-फ्रीक्वेंसी गेटिंग तंत्र पेश करता है। एक एकल स्थिर स्पेक्ट्रल कर्नेल का उपयोग करने के बजाय, मॉडल वर्तमान छिपी हुई अवस्था (hidden state) से निकाले गए संक्षिप्त सांख्यिकी (compact statistics) के आधार पर स्पेक्ट्रल प्रतिक्रिया को गतिशील रूप से नियंत्रित करता है।

• अनुकूली स्पेक्ट्रल ऑपरेटर ब्लॉक (ASOB): प्रत्येक ब्लॉक एक आधार स्पेक्ट्रल प्रतिक्रिया $\Phi_0(k)$ और एक अवस्था-निर्भर गेटिंग फंक्शन $\delta_\theta(k; z)$ द्वारा पैरामीटराइज्ड है। अंतिम कर्नेल की गणना $\Phi(k; z) = (1 + \delta_\theta(k; z)) \odot \Phi_0(k)$ के रूप में की जाती है।
• निहित समय मॉडलिंग (Implicit Time Modeling): यह फ्रेमवर्क समय को एक स्पष्ट इनपुट निर्देशांक के रूप में नहीं मानता है। इसके बजाय, टेम्पोरल भिन्नता को विकसित हो रही अवस्था $z$ के माध्यम से निहित रूप से मॉडल किया जाता है, जो आयाम (amplitude), खुरदरापन (roughness), और स्पेक्ट्रल ऊर्जा वितरण के माध्यम से विकास के चरण को एनकोड करता है।

फीचर एक्सट्रैक्शन और गेटिंग नेटवर्क

गेटिंग तंत्र को चलाने के लिए, TF-SNO वर्तमान अवस्था से एक 8-आयामी संयुक्त एम्बेडिंग $s_{tf}$ निकालता है:

1. फ्रीक्वेंसी-डोमेन सांख्यिकी ($s_{freq}$): इसमें रिटेन किए गए मोड्स पर लॉग स्पेक्ट्रल ऊर्जा ($E$), स्पेक्ट्रल सेंट्रॉइड ($\mu_K$), स्पेक्ट्रल स्प्रेड ($\sigma_K$), और स्पेक्ट्रल स्क्यूनेस ($Skew_K$) शामिल हैं।
2. फिजिकल-स्पेस सांख्यिकी ($s_{time}$): इसमें लॉग आयाम स्केल ($\log \sigma_z$), स्थानीय खुरदरापन ($R_{rough}$), कर्टोसिस ($\kappa_z$), और क्षणिक विशेषताओं के लिए एक आकार डिस्क्रिप्टर ($c$) शामिल है।

इन सांख्यिकी को एक हल्के गेटिंग नेटवर्क (MetaNet) में फीड किया जाता है ताकि मोड-वार मॉड्यूलेशन गुणांक उत्पन्न किए जा सकें। यह विभिन्न प्रक्षेपवक्र चरणों (trajectory stages) को विभिन्न फ्रीक्वेंसी मोड्स को सक्रिय करने की अनुमति देता है।

आर्किटेक्चर और प्रशिक्षण

• मल्टीस्केल बैकबोन: एडेप्टिव स्पेक्ट्रल ब्लॉक्स को एक U-आकार के मल्टीस्केल बैकबोन (U-NO से प्रेरित) में एम्बेड किया गया है। यह सुनिश्चित करता है कि अवस्था-अनुकूली स्पेक्ट्रल मॉड्यूलेशन विभिन्न रिज़ॉल्यूशन पर सुसंगत रूप से कार्य करे, जिससे मोटे स्तरों (coarse scales) पर निम्न-आवृत्ति रुझानों को स्थिर करते हुए सूक्ष्म स्तरों (fine scales) पर क्षणिक विवरणों को कैप्चर किया जा सके।
• प्रशिक्षण उद्देश्य: मॉडल को फील्ड-वैल्यू एरर ($L_2$) और एक ग्लोबल $H^1$ सेमीनॉर्म टर्म को संयोजित करने वाले सुपरवाइज्ड लॉस का उपयोग करके प्रशिक्षित किया जाता है। $H^1$ रेगुलराइजेशन ग्रेडिएंट मिसमैच को दंडित करता है, जिससे स्थानीय स्थानिक संरचनाओं में निष्ठा (fidelity) बढ़ती है और दीर्घ-क्षितिज स्थिरता में सुधार होता है।

3. मुख्य योगदान

1. अवस्था-अनुकूली गेटिंग: TF-SNO का प्रस्ताव, जो स्पष्ट समय कंडीशनिंग के बिना, संक्षिप्त अवस्था सांख्यिकी द्वारा संचालित रोलआउट के दौरान स्पेक्ट्रल प्रतिक्रियाओं के बैंड-वाइज़ मॉड्यूलेशन को सक्षम बनाता है।
2. मल्टीस्केल एकीकरण: एक U-आकार के मल्टीस्केल आर्किटेक्चर में गेटेड स्पेक्ट्रल ऑपरेटर ब्लॉक्स का एकीकरण, जो वैश्विक संरचनाओं और क्षणिक स्थानीय विशेषताओं दोनों को दर्शाने के लिए सुसंगत अवस्था-अनुकूली मॉड्यूलेशन की अनुमति देता है।
3. रेगुलराइज्ड ट्रेनिंग: एक $H^1$-रेगुलराइज्ड प्रशिक्षण उद्देश्य को अपनाना, जो ग्रेडिएंट फिडेलिटी और रोलआउट स्थिरता में सुधार को अनुभवजन्य रूप से प्रदर्शित करता है।
4. सैद्धांतिक विश्लेषण: एक स्थानीय स्थिरता विश्लेषण जो दिखाता है कि अवस्था-निर्भर गेटिंग एक सीमित, नियंत्रणीय एडिटिव सेंसिटिविटी फैक्टर पेश करता है, जो अनियंत्रित संवेदनशीलता वृद्धि को रोकता है।

4. प्रयोगात्मक परिणाम

लेखकों ने 1D और 2D समस्याओं (Burgers, Allen-Cahn, Kuramoto-Sivashinsky, और Navier-Stokes equations) को कवर करने वाले PDEBench से छह गैर-स्थिर PDE बेंचमार्क पर TF-SNO का मूल्यांकन किया।

• प्रदर्शन: TF-SNO ने FNO, DeepONet, U-NO, PINO, WNO, और FINO सहित मजबूत बेसलाइन्स की तुलना में भविष्यवाणी त्रुटियों (MSE, $L_2$, और $H^1$) को काफी कम कर दिया।
• दीर्घ-क्षितिज स्थिरता (Long-Horizon Stability): मॉडल ने विशेष रूप से लंबे रोलआउट परिदृश्यों (स्टेप 25 और 50) में स्पष्ट लाभ दिखाया, जहाँ बेसलाइन अक्सर ड्रिफ्ट या अस्थिरता प्रदर्शित करते हैं। उदाहरण के लिए, 2D नेवियर-स्टोक्स समीकरण (E6) पर, TF-SNO ने स्टेप 50 पर $0.00006$ का MSE प्राप्त किया, जबकि FNO के लिए यह $0.00379$ था।
• एब्लेशन अध्ययन: अवस्था-निर्भर गेटिंग ($\delta_\theta$) को हटाने से सबसे गंभीर प्रदर्शन गिरावट हुई, जो बैंड-वाइज़ अनुकूलन की आवश्यकता की पुष्टि करती है। इसी तरह, $H^1$ लॉस को हटाने या सांख्यिकीय फीचर्स (जैसे फिजिकल-स्पेस स्टैटिस्टिक्स को अक्षम करना) को कम करने से त्रुटियां बढ़ गईं।
• स्पेक्ट्रल वैलिडेशन: सीखे गए गेटिंग वेट्स के विश्लेषण ने एक सुसंगत पदानुक्रमित प्रसंस्करण पैटर्न (hierarchical processing pattern) दिखाया। मॉडल ने पुनर्निर्माण चरणों में प्रमुख निम्न-आवृत्ति ऊर्जा और रूटिंग स्ट्रेंथ के बीच सकारात्मक संरेखण प्रदर्शित किया, जबकि मध्यवर्ती ब्लॉक्स ने उच्च-आवृत्ति अवशेष संरचनाओं के लिए क्षमता को पुनर्वितरित किया। TF-SNO ने बेसलाइन्स की तुलना में कम पावर स्पेक्ट्रम रिलेटिव एरर (PSRE) और स्पेक्ट्रल सेंट्रॉइड एरर (SCE) भी प्राप्त किया।
• सामान्यीकरण (Generalization): मॉडल ने क्रॉस-पैरामीटर सामान्यीकरण (जैसे नेवियर-स्टोक्स में रेनॉल्ड्स नंबर को बदलना) में मजबूती दिखाई, जिससे प्रशिक्षण के दौरान न देखे गए टारगेट डोमेन पर भी कम त्रुटियां बनी रहीं।

5. महत्व और दावे

पेपर का दावा है कि TF-SNO FFT-आधारित ऑपरेटरों की कम्प्यूटेशनल दक्षता को बनाए रखते हुए विकास के चरणों के दौरान स्पेक्ट्रल प्रतिक्रियाओं को समायोजित करने के लिए एक स्पष्ट तंत्र प्रदान करता है। विकसित हो रही अवस्था के माध्यम से समय की भिन्नता को निहित रूप से मॉडल करके, यह फ्रेमवर्क स्पष्ट समय एम्बेडिंग या स्थानिक-कालिक शाखाओं की जटिलता से बचता है।

लेखक इस बात पर जोर देते हैं कि अवस्था-निर्भर स्पेक्ट्रल अनुकूलन उन गैर-स्थिर भौतिक प्रणालियों को मॉडल करने के लिए प्रभावी है जहाँ ऊर्जा मोड के बीच प्रवास करती है। परिणाम बताते हैं कि यह दृष्टिकोण फील्ड-लेवल सटीकता और ग्रेडिएंट-लेवल स्थिरता दोनों में सुधार करता है, जो दीर्घ-क्षितिज PDE सिमुलेशन के लिए एक हल्का और व्याख्या योग्य विकल्प प्रदान करता है। यह कार्य TF-SNO को उन प्रणालियों के लिए अधिक मजबूत ऑपरेटर लर्निंग की दिशा में एक कदम के रूप में स्थापित करता जिनके स्पेक्ट्रल लक्षण विकसित होते रहते हैं, बिना उस दक्षता से समझौता किए जो स्पेक्ट्रल न्यूरल ऑपरेटर्स को आकर्षक बनाती है।