🤖 AI

Higher-Order Fourier Neural Operator: Explicit Mode Mixer for Nonlinear PDEs

यह शोध पत्र हायर-ऑर्डर फूरियर न्यूरल ऑपरेटर (HO-FNO) प्रस्तुत करता है, जो एक नवीन आर्किटेक्चर है जो गैर-रेखीय PDEs में संरचित अंतःक्रियाओं को बेहतर ढंग से पकड़ने के लिए स्पष्ट n-रेखीय मोड मिक्सिंग को शामिल करके मानक FNO को उन्नत करता है, जिससे विशेष रूप से अत्यधिक गैर-रेखीय शासन में मौजूदा स्पेक्ट्रल न्यूरल ऑपरेटर्स, ट्रांसफॉर्मर्स और स्टेट-स्पेस मॉडल्स की तुलना में बेहतर प्रदर्शन और दक्षता प्राप्त होती है।

मूल लेखक: Alex Colagrande, Paul Caillon, Eva Feillet, Alexandre Allauzen

प्रकाशित 2026-06-29

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Alex Colagrande, Paul Caillon, Eva Feillet, Alexandre Allauzen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप यह भविष्यवाणी करने की कोशिश कर रहे हैं कि एक जटिल प्रणाली, जैसे कि घूमता हुआ तरल पदार्थ या कंपन करती हुई धातु की बीम, समय के साथ कैसा व्यवहार करेगी। भौतिक विज्ञान की दुनिया में, इन प्रणालियों को पार्शियल डिफरेंशियल इक्वेशंस (PDEs) नामक समीकरणों द्वारा वर्णित किया जाता है। कंप्यूटर पर इन समीकरणों को हल करना आमतौर पर समुद्र में ज्वार की भविष्यवाणी करने के लिए रेत के हर एक कण को गिनने जैसा है—यह अविश्वसनीय रूप से सटीक तो है लेकिन इसमें बहुत समय लगता है।

हाल ही में, वैज्ञानिकों ने समीकरणों को चरण-दर-चरण हल करने के बजाय, पैटर्न सीखने के लिए AI का उपयोग करना शुरू किया है। एक लोकप्रिय AI विधि है जिसे फूरियर न्यूरल ऑपरेटर (FNO) कहा जाता है। FNO को एक मास्टर शेफ के रूप में सोचें जो सूप को चखकर तुरंत उसकी रेसिपी का अंदाजा लगा सकता है। यह डेटा के "स्वादों" (आवृत्तियों/frequencies) को देखकर काम करता है।

हालाँकि, मानक FNO की एक सीमा है। यह मान लेता है कि ये स्वाद मुख्य रूप से अपने आप विकसित होते हैं, जैसे स्वतंत्र संगीतकार एक सरल धुन बजा रहे हों। लेकिन वास्तविक दुनिया में, विशेष रूप से नॉन-लीनियर (गैर-रेखीय) प्रणालियों में (जहाँ चीजें जटिल और अराजक हो जाती हैं), ये स्वाद जटिल तरीकों से एक-दूसरे के साथ परस्पर क्रिया करते हैं। यह केवल एक सोलो नहीं है; यह एक जैज़ इम्प्रोवाइजेशन (jazz improvisation) है जहाँ सैक्सोफोन, ड्रम और बास लगातार एक-दूसरे की प्रतिक्रिया देते हैं, और मिलकर नई ध्वनियाँ पैदा करते हैं।

मानक FNO इन जटिल अंतःक्रियाओं को सुनने में संघर्ष करता है क्योंकि वह केवल व्यक्तिगत रूप से संगीतकारों को सुनता है।

नया समाधान: HO-FNO

लेखक इस नए AI मॉडल को हायर-ऑर्डर फूरियर न्यूरल ऑपरेटर (HO-FNO) के रूप में पेश करते हैं।

यहाँ एक सरल उपमा का उपयोग करके मूल विचार दिया गया है:

पुराना तरीका (FNO): कल्पना कीजिए कि एक कमरे में लोगों का एक समूह है। पुराना AI मॉडल प्रत्येक व्यक्ति से पूछता है, "आप क्या सोच रहे हैं?" और केवल उनके अपने उत्तर के आधार पर उनके विचार को अपडेट करता है। यदि दो लोगों को किसी समस्या को हल करने के लिए बातचीत करने की आवश्यकता है, तो मॉडल अंत तक उस संबंध का अनुमान नहीं लगा पाता।
नया तरीका (HO-FONO): नया मॉडल यह समझता है कि एक अराजक कमरे में, लोग समूहों में बात करते हैं। यह स्पष्ट रूप से लोगों के समूहों (मोड्स) को सोचने की प्रक्रिया के दौरान एक-दूसरे से बात करने की अनुमति देता है। यदि व्यक्ति A और व्यक्ति B को व्यक्ति C को प्रभावित करने के लिए अपने विचारों को मिलाने की आवश्यकता है, तो HO-FNO उस विशिष्ट अंतःक्रिया के लिए एक सीधा संपर्क स्थापित करता है।

यह क्यों महत्वपूर्ण है

पेपर का दावा है कि AI के मस्तिष्क में इस "समूह बातचीत" को सीधे शामिल करके, यह जटिल भौतिक समस्याओं को बहुत तेज़ी से और अधिक सटीकता से हल कर सकता है।

एक लेयर बनाम सोलह: अपने प्रयोगों में, उन्होंने एक कठिन गणितीय समस्या (एक जटिल, बहु-स्तरीय स्रोत वाला पॉइसन समीकरण) बनाई। उन्होंने पाया कि उनके नए HO-FNO का एक एकल लेयर (single layer) एक मानक FNO की तुलना में बेहतर ढंग से काम कर सकता है जिसमें 16 लेयर्स थीं। यह एक पहेली को सुलझाने वाले एक अकेले जीनियस की तरह है जिसे सुलझाने में 16 औसत लोगों की टीम को घंटों लग सकते हैं।
दक्षता (Efficiency): इतनी जटिल "समूह सोच" करने के बावजूद, नया मॉडल धीमा नहीं होता है। यह पुराने तरीके की गति बनाए रखता है क्योंकि यह डेटा को संभालने के लिए अभी भी उन्हीं कुशल गणितीय युक्तियों (फूरियर ट्रांसफॉर्म) का उपयोग करता है।
दिग्गजों से बेहतर: उन्होंने HO-FNO का परीक्षण अन्य शक्तिशाली AI मॉडलों (जैसे ट्रांसफॉर्मर, जो स्मार्ट होने के लिए प्रसिद्ध हैं लेकिन भारी हैं) के विरुद्ध किया। HO-FNO ने कम कंप्यूटर मेमोरी और समय का उपयोग करते हुए उनकी सटीकता के बराबर या उनसे बेहतर प्रदर्शन किया।

उन्होंने इसका परीक्षण कहाँ किया

लेखकों ने केवल सिद्धांत की बात नहीं की; उन्होंने इसे कई वास्तविक दुनिया के भौतिक परिदृश्यों पर परखा:

द्रव गति विज्ञान (Fluid Dynamics): हवाई जहाज के पंख के ऊपर हवा के प्रवाह या पाइप के माध्यम से पानी के बहने का अनुकरण करना।
तनाव और विरूपण (Stress and Deformation): दबाव के तहत धातु कैसे मुड़ती या टूटती है, इसकी भविष्यवाणी करना।
मौसम के पैटर्न: एक गोले (जैसे पृथ्वी) पर पानी की लहरों का अनुकरण करना।
कस्टम गणित परीक्षण: उन्होंने एक विशिष्ट परीक्षण बनाया जहाँ समस्या का "स्रोत" कई इनपुट का गुणनफल था (जैसे, $Input_1 \times Input_2 \times Input_3$ )। यह ठीक वही प्रकार की "समूह अंतःक्रिया" है जिसके लिए नया मॉडल बनाया गया था, और इसने प्रतियोगिता को पछाड़ दिया।

निष्कर्ष

पेपर का तर्क है कि कई भौतिक प्रणालियाँ विशिष्ट प्रकार की अंतःक्रियाओं (जैसे तीन लहरों के आपस में टकराकर चौथी लहर बनाना) पर निर्भर करती हैं। पुराने AI मॉडलों को इन अंतःक्रियाओं का अनुमान लगाने के लिए अपने ऊपर कई लेयर्स को एक के ऊपर एक रखना पड़ता था। नया HO-FNO मॉडल इन अंतःक्रियाओं को सीधे अपने डिज़ाइन में शामिल करता है।

परिणामस्वरूप, यह एक ऐसा मॉडल है जो जटिल भौतिक प्रणालियों के व्यवहार की भविष्यवाणी करने में अधिक स्मार्ट, तेज़ और कुशल है, विशेष रूप से जब वे प्रणालियाँ अस्त-व्यस्त, नॉन-लीनियर अंतःक्रियाओं से जुड़ी हों। लेखकों ने अपना कोड सार्वजनिक कर दिया है ताकि अन्य लोग भी इसका उपयोग कर सकें।

तकनीकी सारांश: हायर-ऑर्डर फूरियर न्यूरल ऑपरेटर (HO-FNO)

समस्या विवरण

न्यूरल ऑपरेटर्स, विशेष रूप से फूरियर न्यूरल ऑपरेटर (FNO), फलन स्थानों (function spaces) के बीच मैपिंग सीखने के लिए प्रभावी उपकरण के रूप में स्थापित हुए हैं, जो आवधिक डोमेन (periodic domains) पर रेजोल्यूशन-इनवेरिएंट प्रदर्शन और दक्षता प्रदान करते हैं। हालाँकि, मानक FNO आर्किटेक्चर स्पेक्ट्रल कनवल्शन पर निर्भर करते हैं जो फूरियर मोड पर विकर्ण रूप से (diagonally) कार्य करते हैं। यह डिज़ाइन मानता है कि मोड स्वतंत्र रूप से विकसित होते हैं, जो आवधिक डोमेन पर रैखिक, स्थिर-गुणांक वाले आंशिक अवकल समीकरणों (PDEs) के साथ अच्छी तरह से मेल खाता है।

यह शोध पत्र एक महत्वपूर्ण सीमा की पहचान करता है: नॉनलीनियर PDEs अक्सर फूरियर मोड के बीच संरचित अंतःक्रियाओं (structured interactions) को प्रदर्शित करते हैं जो बहुपद गैर-रैखिकता (polynomial nonlinearities) द्वारा नियंत्रित होते हैं (जैसे, नेवियर-स्टोक्स में एडवेक्टिव टर्म या पॉइसन समीकरणों में बहुपद फोर्सिंग)। इन मामलों में, भौतिक गतिकी (physical dynamics) में मोड का स्पष्ट मिश्रण शामिल होता है (जैसे, ट्रायडिक इंटरैक्शन जहाँ $k_1 + k_2 = k_3$ )। मानक FNOs केवल उन लीनियर स्पेक्ट्रल लेयर्स के बाद लागू होने वाली पॉइंटवाइज (pointwise) गैर-रैखिकता के माध्यम से इस मिश्रण को स्पष्ट रूप से प्रेरित कर सकते हैं। यह मॉडल को विभिन्न इंटरैक्शन ऑर्डर्स और फैक्टर्स के बीच वेट शेयरिंग (weight sharing) पर निर्भर करने के लिए मजबूर करता है, जिससे इंटरैक्शन का एक "टाइड" (tied) वर्ग बनता है जो अंतर्निहित PDE की विशिष्ट गैर-रैखिकता की संरचना को पर्याप्त रूप से कैप्चर नहीं कर सकता है।

कार्यप्रणाली: हायर-ऑर्डर स्पेक्ट्रल कनवल्शन

इसे संबोधित करने के लिए, लेखक हायर-ऑर्डर फूरियर न्यूरल ऑपरेटर (HO-FNO) का प्रस्ताव करते हैं, जो एक हायर-ऑर्डर स्पेक्ट्रल कनवल्शन के माध्यम से एक एक्सप्लिसिट मोड मिक्सर (Explicit Mode Mixer) पेश करता है।

मुख्य तंत्र

यह विधि स्पेक्ट्रल कनवल्शन को विकर्ण मॉड्यूलेशन (diagonal modulation) से बदलकर स्पष्ट $n$ -लीनियर मोड मिक्सिंग में विस्तारित करती है।

फिजिकल स्पेस फॉर्मुलेशन: एक लीनियर ऑपरेटर को पॉइंटवाइज नॉनलिनियटी के बाद लागू करने के बजाय, HO-FNO लेयर फिजिकल स्पेस में रूपांतरित इनपुट फील्ड्स का एक $m$ -लीनियर उत्पाद कंप्यूट करती है:
$(H_\theta u)(x) = \int_\Omega \kappa_\theta(x-y) \mathcal{T}_M \left( (A_1 u)(A_2 u) \cdots (A_m u) \right)(y) dy$
यहाँ, $A_i$ चैनल-वाइज कार्य करने वाले लर्न करने योग्य लीनियर ऑपरेटर्स हैं, और $\mathcal{T}_M$ फूरियर ट्रंकेशन (Fourier truncation) है।
फूरियर स्पेस फॉर्मुलेशन: कन्वर्सेशन थ्योरम द्वारा, फिजिकल स्पेस में पॉइंटवाइज उत्पाद फूरियर डोमेन में कन्वर्लेशन बन जाता है। एक विशिष्ट फूरियर मोड $k$ के लिए अपडेट, उन सभी $m$ -टुपल्स $(k_1, \dots, k_m)$ के मोड को एकत्रित करता है जिनका योग $k$ है:
$\widehat{(H_\theta v)}(k) = R(k) \sum_{k_1 + \dots + k_m = k} A_1 \hat{v}(k_1) \odot \dots \odot A_m \hat{v}(k_m)$
यह संरचना फूरियर गुणांकों के $m$ -लीनियर मिश्रण को स्पष्ट रूप से पैरामीट्राइज करती है, जो PDEs की बहुपद गैर-रैखिकता की बीजगणितीय संरचना को दर्शाती है।

आर्किटेक्चरल विवरण

दक्षता (Efficiency): इसकी कम्प्यूटेशनल जटिलता प्रति लेयर $O(N \log N)$ बनी रहती है, जो मानक FFT-आधारित ऑपरेटर्स से मेल खाती है, और यह स्पैटियल डोमेन में उच्च-क्रम के अटेंशन मैकेनिज्म से जुड़ी $O(N^m)$ जटिलता से बचती है।
पैरामीटर काउंट: $m$ लीनियर मैप्स ( $A_i$ ) द्वारा पेश किए गए अतिरिक्त पैरामीटर्स $mC^2$ हैं (जहाँ $C$ चैनल डायमेंशन है), जो मानक स्पेक्ट्रल कन्वर्लेशन के $MC^2$ पैरामीटर्स (जहाँ $M$ रिटेन किए गए मोड्स की संख्या है) की तुलना में नगण्य हैं।
सामान्यीकरण (Generalization): इस फ्रेमवर्क को गैर-यूक्लिडियन ज्यामिति (जैसे, गोले/spheres) में विस्तारित किया गया है, जिसमें मानक फूरियर ट्रांसफॉर्म को लाप्लास-बेल्ट्रामी ऑपरेटर के स्पेक्ट्रल डीकंपोजिशन (स्फेरिक हार्मोनिक्स) से बदल दिया गया है, जिसके परिणामस्वरूप स्फेरिक HO-FNO (HO-SFNO) प्राप्त होता है।

प्रमुख योगदान

नॉनलीनियर PDEs के लिए पहला एक्सप्लिसिट स्पेक्ट्रल मिक्सर: लेखक पहला ऐसा स्पेक्ट्रल न्यूरल ऑपरेटर डिजाइन करते हैं जो स्पष्ट रूप से मोड इंटरैक्शन को मॉडल करता है जो बहुपद गैर-रैखिकता के अनुरूप है, जो मानक FNOs के विकर्ण मॉड्यूलेशन से आगे बढ़ता है।
सैद्धांतिक संरेखण (Theoretical Alignment): पेपर एक सैद्धांतिक तर्क (Appendix C) प्रदान करता है जो "टाइड" क्लास के इंटरैक्शन को दर्शाता है जहाँ एक ही लेटेंट लीनियर मैप को विभिन्न फैक्टर्स पर पुन: उपयोग किया जाता है। इसके विपरीत, HO-FNO इंटरैक्शन के एक व्यापक वर्ग को साकार करता है जहाँ प्रत्येक फैक्टर अलग-अलग लीनियर ट्रांसफॉर्मेशन रख सकता है, जिससे डिग्री- $n$ वाले नॉनलीनियर PDEs के सॉल्यूशन ऑपरेटर का अधिक सटीक अनुमान लगाया जा सकता है।
ज्यामितीय लचीलापन (Geometric Flexibility): विधि को स्फेरिक हार्मोनिक कन्वर्शन्स के साथ हायर-ऑर्डर मिक्सिंग को जोड़कर गोलाकार ज्यामिति (spherical geometries) में सफलतापूर्वक अनुकूलित किया गया है।
व्यापक बेंचमार्किंग: लेखक नियमित ग्रिड, स्ट्रक्चर्ड मेश और पॉइंट क्लाउड्स सहित विभिन्न बेंचमार्क्स पर HO-FNO का मूल्यांकन करते हैं, जिसकी तुलना 20 से अधिक हालिया विधियों (ट्रांसफॉर्मर्स, स्टेट-स्पेस मॉडल्स और अन्य न्यूरल ऑपरेटर्स) से की गई है।

प्रयोगात्मक परिणाम

प्रयोगों से पता चलता है कि HO-FNO, एफिशिएंसी बनाए रखते हुए सटीकता में काफी सुधार करता है, विशेष रूप से अत्यधिक नॉनलीनियर शासन (regimes) में।

पॉलीनोमियल-सोर्स पॉइसन इक्वेशन: डिग्री $p$ के बहुपद फोर्सिंग वाले एक नियंत्रित डेटासेट पर, एक सिंगल-लेयर HO-FNO (ऑर्डर $p$ के साथ) लगातार 16 लेयर्स तक के FNOs को पछाड़ता है। $p=5$ के लिए, HO-FNO टेस्ट लॉस FNO की तुलना में दो ऑर्डर ऑफ मैग्नीट्यूड कम प्राप्त करता है।
नेवियर-स्टोक्स समीकरण: HO-FNO तीन विस्कोसिटी शासन ( $\nu \in \{10^{-3}, 10^{-4}, 10^{-5}\}$ ) में मानक FNO और अन्य स्पेक्ट्रल बेसलाइन्स को पछाड़ता है। विशेष रूप से, यह फ्रीक्वेंसी-आधारित मॉडल्स में स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त करता है, और ट्रांसफॉर्मर एवं स्टेट-स्पेस मॉडल (SSM) बेसलाइन्स जैसे LaMO और Transolver के बराबर या उनसे बेहतर प्रदर्शन करता है।
मानक बेंचमार्क: डार्सी फ्लो, प्लास्टिसिटी, एयरफॉइल, पाइप और इलास्टिसिटी जैसे कार्यों में, HO-FNO फ्रीक्वेंसी-आधारित मॉडल्स के बीच लगातार सबसे कम रिलेटिव $L_2$ $L_{2}$ एरर प्राप्त करता है और सबसे मजबूत ट्रांसफॉर्मर/SSM बेसलाइन्स के साथ प्रतिस्पर्धी है।
- उदाहरण: प्लास्टिसिटी डेटासेट पर (गैर-बहुपद, गैर-स्मूथ नॉन-रैखिकता शामिल), HO-FNO 0.0006 का एरर प्राप्त करता है, जो सर्वश्रेष्ठ फ्रीक्वेंसी-आधारित बेसलाइन (0.0010) और सर्वश्रेष्ठ ट्रांसफॉर्मर बेसलाइन (0.0011) से काफी बेहतर है।
स्फेरिक शैलो वॉटर इक्वेशंस (SWE): गोले पर, HO-SFNO रोलआउट एरर को $7.7 \times 10^{-1}$ (SFNO) से घटाकर $7.0 \times 10^{-1}$ कर देता है, जो बेहतर लॉन्ग-होरिज़न स्टेबिलिटी को प्रदर्शित करता है।
दक्षता: HO-FNO, FNO की तुलना में नगण्य कम्प्यूटेशनल ओवरहेड जोड़ता है (जैसे, नेवियर-स्टोक्स पर +1.8% ट्रेनिंग टाइम) जबकि यह ट्रांसफॉर्मर और SSM बेसलाइन्स की तुलना में काफी तेज़ और अधिक मेमोरी-एफिशिएंट रहता है।

महत्व और दावे

पेपर का दावा है कि HO-FNO, स्पेक्ट्रल मेथड्स की दक्षता और जटिल नॉनलीनियर डायनेमिक्स के लिए आवश्यक अभिव्यंजना (expressivity) के बीच के अंतर को पाटता है।

इंडक्टिव बायस (Inductive Bias): प्राथमिक महत्व उस इंडक्टिव बायस के परिचय में है जो बहुपद गैर-रैखिकता के बीजगणितीय संरचना के साथ संरेखित है। मोड मिक्सिंग को स्पष्ट रूप से पैरामीट्राइज करके, यह फ्लूइड डायनेमिक्स और अन्य भौतिक प्रणालियों में निहित "ट्रायडिक" (या $n$ -adic) इंटरैक्शन को उच्च-क्रम के अटेंशन की कम्प्यूटेशनल लागत के बिना कैप्चर करता है।
डेप्थ एफिशिएंसी: परिणाम बताते हैं कि HO-FNO काफी अधिक डेप्थ-एफिशिएंट है। HO-FNO की एक सिंगल लेयर, मानक FNO लेयर्स के गहरे स्टैक को पछाड़ सकती है, विशेष रूप से जब नेटवर्क का ऑर्डर लक्षित PDE की नॉन-रैखिकता की डिग्री से मेल खाता हो।
सामान्यीकरण: विधि FNO की रेजोल्यूशन-इनवेरिएंट प्रॉपर्टी को बनाए रखती है, जो यह सिद्ध करती है कि हायर-ऑर्डर मिक्सिंग अलग-अलग डिसक्रेटाइजेशन के बीच सामान्यीकरण करने की क्षमता से समझौता नहीं करती है।

लेखक निष्कर्ष निकालते हैं कि हालांकि HO-FNO को बहुपद गैर-रैखिकता के लिए डिज़ाइन किया गया है, गैर-बहुपद कार्यों (जैसे प्लास्टिसिटी) पर इसकी सफलता यह सुझाव देती है कि हायर-ऑर्डर स्पेक्ट्रल इंटरैक्शन विविध प्रकार के नॉनलीनियर PDEs के लिए एक मजबूत और सामान्यीकरण योग्य इंडक्टिव बायस प्रदान करते हैं।