🤖 machine learning

Factorized Neural Operators Decompose Dynamic and Persistent Responses

यह शोध पत्र फैक्टरइज़्ड न्यूरल ऑपरेटर्स (FaNO) को प्रस्तुत करता है, जो एक एकीकृत ढांचा है जो स्पेक्ट्रल निरूपणों को इक्विवैरिएंट डायनेमिक और इनवेरिएंट पर्सिस्टेंट शाखाओं में विघटित करता है ताकि विषम भौतिक तंत्रों को बेहतर ढंग से कैप्चर किया जा सके, जिससे पारंपरिक सिंगल-बायस न्यूरल ऑपरेटर्स की तुलना में विभिन्न पैमानों और डोमेन में सटीकता, दक्षता और सामान्यीकरण में सुधार होता है।

मूल लेखक: Hao Tang, Yuechen Duan, Jiongyu Zhu, Zimeng Feng, Hao Li, Chao Li

प्रकाशित 2026-06-16

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hao Tang, Yuechen Duan, Jiongyu Zhu, Zimeng Feng, Hao Li, Chao Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप मौसम की भविष्यवाणी करने की कोशिश कर रहे हैं या यह समझने की कोशिश कर रहे हैं कि एक चट्टान के चारों ओर पानी कैसे बहता है। ये प्रणालियाँ बहुत जटिल होती हैं। इनमें एक ही समय में दो बहुत अलग चीजें घटित हो रही होती हैं:

तेज़ चीज़ें (The Fast Stuff): तेज़ी से बदलती लहरें, घूमती हुई हवाएँ और ऊर्जा के अचानक विस्फोट। ये हर सेकंड बदलती हैं और इस बात पर निर्भर करती हैं कि एक क्षण पहले क्या हुआ था।
धीमी चीज़ें (The Slow Stuff): बड़ी, स्थिर आकृतियाँ। जैसे समुद्र तट का स्थायी आकार, एक नदी की सामान्य दिशा, या एक इमारत जो हवा को रोकती है। ये नहीं बदलतीं, चाहे हवा कितनी भी तेज़ क्यों न चले।

पुराने मॉडल्स की समस्या

लंबे समय तक, कंप्यूटर वैज्ञानिकों ने AI को इन प्रणालियों की भविष्यवाणी करने के लिए एक "एक ही आकार के सभी के लिए" (one-size-fits-all) वाले दृष्टिकोण से सिखाने की कोशिश की। उन्होंने एक ही न्यूरल नेटवर्क (एक प्रकार का AI मस्तिष्क) बनाया जो सब कुछ एक साथ सीखने की कोशिश करता है।

यह तर्क देता है कि यह एक तेज़ गति वाले जैज़ सोलो (jazz solo) और एक धीमी, स्थिर ड्रम बीट को एक ही कान से सुनने की कोशिश करने जैसा है। AI भ्रमित हो जाता है। वह तेज़ बदलावों और धीमी संरचनाओं को एक ही डिब्बे में डालने की कोशिश करता है। यह AI को कम सटीक बनाता है, खासकर जब आप उससे भविष्य की लंबी भविष्यवाणी करने के लिए कहते हैं, या जब डेटा उस डेटा से थोड़ा अलग दिखता है जिस पर उसे प्रशिक्षित किया गया था।

नया समाधान: FaNO (एक "दोहरे मस्तिष्क" वाला दृष्टिकोण)

लेखक एक नई विधि पेश करते हैं जिसे फैक्टराइज़्ड न्यूरल ऑपरेटर्स (FaNO) कहा जाता है। एक बड़े मस्तिष्क के बजाय जो सब कुछ करने की कोशिश करता है, वे AI को दो विशिष्ट "शाखाओं" में विभाजित करते हैं जो एक साथ काम करती हैं, जो एक क्लासिक गणितीय अवधारणा ग्रीन'स फंक्शन (Green's Function) से प्रेरित है (जो मूल रूप से इस बात की रेसिपी है कि एक प्रणाली किसी झटके या दबाव के प्रति कैसी प्रतिक्रिया देती है)।

FaNO को एक दो-सदस्यीय टीम के रूप में सोचें:

"डांसर" (गतिशील शाखा - The Dancer): AI का यह हिस्सा तेज़ चीज़ों को देखने के लिए प्रशिक्षित है। यह एक डांसर की तरह है जो संगीत के प्रति तुरंत प्रतिक्रिया देता है, घूमते हुए भंवरों और तेज़ लहरों को पकड़ता है। यह बदलावों और हलचल के प्रति बहुत संवेदनशील है।
"आर्किटेक्ट" (स्थिर शाखा - The Architect): यह हिस्सा धीमी चीज़ों को देखने के लिए प्रशिक्षित है। यह एक आर्किटेक्ट की तरह है जो इमारत के ब्लूप्रिंट को जानता है। यह नदी के तल के आकार या पानी में बाधा को याद रखता है। इसे हवा के क्षणिक झोंकों की परवाह नहीं है; इसे केवल उस स्थायी संरचना की परवाह है जो वैसी ही रहती है।

वे एक साथ कैसे काम करते हैं

पुराने मॉडल्स में, "डांसर" और "आर्किटेक्ट" को आपस में मिला दिया गया था, जिससे भ्रम पैदा हुआ। FaNO में, वे साथ-साथ काम करते हैं:

आर्किटेक्ट एक स्थिर आधार तैयार करता है (स्थिर संरचनाएँ)।
डांसर उस आधार के ऊपर तेज़, चलती हुई बारीकियों को जोड़ता है।
अंतिम भविष्यवाणी स्थिर मानचित्र और चलती हुई नृत्य का एक आदर्श मिश्रण होती है।

यह क्यों महत्वपूर्ण है (परिणाम)

पेपर ने इस नए "दोहरे मस्तिष्क" वाले मॉडल का वास्तविक दुनिया के विभिन्न परिदृश्यों में पुराने "एक मस्तिष्क" वाले मॉडल्स के विरुद्ध परीक्षण किया:

मौसम का पूर्वानुमान: कई दिनों पहले के मौसम की भविष्यवाणी करते समय, पुराने मॉडल्स में "भ्रम" (गलत तूफान या हवा के पैटर्न बनाना) होने लगा। FaNO लंबे समय तक सटीक रहा क्योंकि "आर्किटेक्ट" ने बड़े चित्र को स्थिर रखा जबकि "डांसर" ने दैनिक बदलावों को संभाला।
द्रव गति विज्ञान (Fluid Dynamics): जब एक सिलेंडर के चारों ओर पानी के प्रवाह का अनुकरण (simulation) किया गया, तो पुराने मॉडल्स अंततः वस्तु के पीछे घूमते पानी का ट्रैक खो देते थे। FaNO ने भंवरों को लंबे समय तक व्यवस्थित और सटीक बनाए रखा।
क्रॉस-रेज़ोल्यूशन (Cross-Resolution): यदि आपने AI को कम गुणवत्ता वाले मानचित्र पर प्रशिक्षित किया और उससे उच्च गुणवत्ता वाले मानचित्र पर भविष्यवाणी करने के लिए कहा, तो पुराने मॉडल्स विफल हो गए। FaNO इस बदलाव को बहुत बेहतर तरीके से संभालता है क्योंकि वह दुनिया के आकार (आर्किटेक्ट) और उसके भीतर की हलचल (डांसर) के बीच के अंतर को समझता है।

मुख्य निष्कर्ष

पेपर का दावा है कि यह महसूस करके कि भौतिक प्रणालियाँ तेज़ी से बदलने वाली गतिशीलता और धीमी, स्थायी संरचनाओं से बनी होती हैं, हम बेहतर AI बना सकते हैं। एक ही मॉडल से सब कुछ करने के बजाय, FaNO काम को विभाजित करता है। यह AI को अधिक सटीक बनाता है, कम कंप्यूटर संसाधनों का उपयोग करता है, और मौसम, समुद्री धाराओं और द्रव प्रवाह जैसी जटिल भौतिक प्रणालियों की भविष्यवाणी करने में बहुत अधिक विश्वसनीय बनाता है।

यह AI को सामान्य अर्थ में "स्मार्टर" बनाने के बारे में नहीं है; यह इसे सही काम के लिए सही उपकरण देने के बारे में है, ठीक वैसे ही जैसे आप बल्ब को कसने के लिए हथौड़े का उपयोग नहीं करेंगे।

तकनीकी सारांश: फैक्टराइज्ड न्यूरल ऑपरेटर्स डायनेमिक और पर्सिस्टेंट रिस्पॉन्स को डीकंपोज करते हैं

1. समस्या विवरण (Problem Statement)

भौतिक प्रणालियाँ, जो भू-भौतिकीय प्रवाह (geophysical flows) से लेकर इंजीनियरिंग टर्बुलेंस तक फैली हुई हैं, अक्सर विषम तंत्रों (heterogeneous mechanisms) को प्रदर्शित करती हैं जहाँ तेजी से विकसित होने वाले डायनेमिक्स, ज्यामिति, सीमा स्थितियों (boundary conditions) और विषम माध्यमों द्वारा प्रेरित स्थिर संरचनाओं (persistent structures) के साथ सह-अस्तित्व में रहते हैं। मौजूदा न्यूरल ऑपरेटर्स, विशेष रूप से स्पेक्ट्रल-आधारित दृष्टिकोण (जैसे FNO, SFNO), आमतौर पर एक एकल प्रमुख इंडक्टिव बायस (single dominant inductive bias) (अक्सर इक्विवैरिएंस/equivariance) पर निर्भर करते हैं। यह फॉर्मूलेशन अलग-अलग भौतिक प्रतिक्रियाओं को एक साझा प्रतिनिधित्व में जोड़ देता है, जिससे मॉडल को ट्रांसफॉर्मेशन-सेंसिटिव डायनेमिक्स और ट्रांसफॉर्मेशन-स्टेबल स्ट्रक्चर्स को एक साथ संभालने के लिए मजबूर होना पड़ता है।

लेखकों का तर्क है कि यह कपलिंग व्याख्यात्मकता (interpretability) को सीमित करती है, लंबे समय तक चलने वाले रोलआउट्स (long-horizon rollouts) के दौरान ऑटोरिग्रेसिव त्रुटियों (autoregressive errors) को बढ़ाती है, और क्रॉस-रेसोल्यूशन जनरलाइजेशन को कमजोर करती है। केंद्रीय चुनौती यह है कि क्या भौतिक ऑपरेटर्स को एक एकल रिस्पॉन्स के रूप में सीखा जाना चाहिए या तंत्र-विशिष्ट घटकों (mechanism-specific components) में फैक्टराइज किया जाना चाहिए ताकि भौतिक प्रणालियों के विषम संगठन को बेहतर ढंग से दर्शाया जा सके।

2. कार्यप्रणाली: यूनिफाइड ग्रीन'स फंक्शन फ्रेमवर्क और FaNO

2.1 यूनिफाइड ग्रीन'स फंक्शन फ्रेमवर्क (Unified Green's Function Framework)

लेखक शास्त्रीय ग्रीन'स फंक्शन की पुनर्व्याख्या केवल एक विश्लेतिक कर्नेल (analytic kernel) के रूप में नहीं, बल्कि ज्यामिति-नेटिव ऑपरेटर सिस्टम के लिए एक डिज़ाइन सिद्धांत के रूप la करते हैं। वे एक यूनिफाइड फ्रेमवर्क प्रस्तावित करते हैं जहाँ भौतिक प्रणाली के समाधान को एक इंटीग्रल रिस्पॉन्स के रूप में प्रस्तुत किया जाता है। इस फ्रेमवर्क के भीतर, वे उनकी निर्भरता के आधार पर दो प्रकार के कर्नेल के बीच अंतर करते हैं:

सापेक्ष स्थिति-निर्भर कर्नेल ( $G(T^{-1}u)$ ): ये स्वाभाविक रूप से इक्विवैरिएंट (equivariant) (डायनेमिक) रिस्पॉन्स की ओर ले जाते हैं, जो ट्रांसफॉर्मेशन-सेंसिटिव डायनेमिक्स को कैप्चर करते हैं।
निरपेक्ष स्थिति-निर्भर कर्नेल ( $G(u)$ ): ये इनवेरिएंट (invariant) (पर्सिस्टेंट) रिस्पॉन्स का प्रतिनिधित्व करते हैं, जो ट्रांसफॉर्मेशन के तहत स्थिर रहने वाली संरचनाओं को कैप्चर करते हैं, जैसे कि फिक्स्ड बाउंड्रीज़ या ग्लोबल ज्योमेट्री द्वारा प्रेरित संरचनाएं।

2.2 फैक्टराइज्ड न्यूरल ऑपरेटर्स (FaNO)

इस फ्रेमवर्क के आधार पर, लेखक FaNO पेश करते हैं, जो एक स्पेक्ट्रल आर्किटेक्चर है जो ऑपरेटर को दो विशिष्ट शाखाओं में डीकंपोज करता है:

डायनेमिक ब्रांच (इक्विवैरिएंट - Dynamic Branch): इसे एक सीखने योग्य कर्नेल $G^E_\theta$ का उपयोग करके मॉडल किया गया है जो सापेक्ष स्थितियों (या ग्रुप ट्रांसफॉर्मेशन $T$ ) पर निर्भर है। यह शाखा तेजी से बदलने वाले, क्षणिक (transient) और स्टेट-डिपेंडेंट डायनेमिक्स को कैप्चर करती है। यह मानक स्पेक्ट्रल ट्रांसफॉर्म्स (यूक्लिडियन ग्रिड के लिए फूरियर, स्फेरिकल डोमेन के लिए स्फेरिकल हार्मोनिक्स, मैनिफोल्ड्स के लिए लाप्लास-बेल्ट्रामी आइगेनबेसिस) का उपयोग करती है।
- फॉर्मूलेशन: $g^E(u) = \mathcal{F}^{-1}[G^E_\theta \cdot \mathcal{F}[f]]$
पर्सिस्टेंट ब्रांच (इनवेरिएंट - Persistent Branch): इसे एक सीखने योग्य कर्नेल $G^I_\theta$ का उपयोग करके मॉडल किया गया है जो पूर्ण स्थितियों पर निर्भर है। यह इनपुट फंक्शन के ज्यामिति-जागरूक इंटीग्रल सूचना ( $C_f$ ) द्वारा संचालित होती है और सुसंगत, सिस्टम-डिपेंडेंट संरचनाओं को निकालती है जो विभिन्न स्केल्स पर स्थिर रहती हैं।
- फॉर्मूलेशन: $g^I(u) = \mathcal{F}^{-1}[C_f \cdot G^I_\theta]$
फ्यूजन (Fusion): दोनों शाखाओं के आउटपुट को चैनल इंटरैक्शन के लिए एक लीनियर लेयर ( $w_1$ ) के माध्यम से संयोजित (concatenate) किया जाता है:
- $g(u) = \mathcal{F}^{-1}[\text{Concat}(\mathcal{F}[f] \cdot G^E_\theta, C_f \cdot G^I_\theta)] \cdot w_1$

यह डिज़ाइन मॉडल को स्पेक्ट्रल ऑपरेटर्स की ग्रिड-इनवेरिएंस और दक्षता बनाए रखने की अनुमति देता है जबकि स्पष्ट विशेषज्ञता (explicit specialization) सक्षम करता है। यह आर्किटेक्चर यूक्लिडियन ग्रिड, स्फेरिकल डोमेन और अनस्ट्रक्चर्ड मैनिफोल्ड्स के लिए लागू करने योग्य है।

3. मुख्य योगदान (Key Contributions)

वैचारिक बदलाव (Conceptual Shift): सिंगल-इंडक्टिव-बायस फॉर्मूलेशन से आगे बढ़कर फैक्टराइज्ड ऑपरेटर रिप्रेजेंटेशन की ओर बढ़ने का प्रस्ताव करता है जो स्पष्ट रूप से डायनेमिक और पर्सिस्टेंट भौतिक रिस्पॉन्स को अलग करता है।
यूनिफाइड फ्रेमवर्क: एक यूनिफाइड ग्रीन'स फंक्शन फ्रेमवर्क पेश करता है जो इक्विवैरिएंट और इनवेरिएंट कर्नेल स्ट्रक्चर्स के बीच अंतर करके विभिन्न ज्यामितीय डोमेन (यूक्लिडियन, स्फेरिकल, मैनिफोल्ड) में ऑपरेटर डिज़ाइन को सामान्य बनाता है।
स्वैच्छिक विशेषज्ञता (Spontaneous Specialization): यह प्रदर्शित करता है कि FaNO की दोनों शाखाएं बिना किसी स्पष्ट पर्यवेक्षण (explicit supervision) के विशिष्ट भौतिक भूमिकाओं में स्वतः विशेषज्ञता प्राप्त कर लेती हैं: डायनेमिक ब्रांच क्षणिक परिवर्तनों को ट्रैक करती है, जबकि इनवेरिएंट ब्रांच स्थिर स्थानिक संगठन को एंकर करती है।
जनरलाइजेबिलिटी (Generalizability): दिखाता है कि यह फैक्टराइजेशन न केवल फ्लूइड डायनेमिक्स में बल्कि टाइम-इंडिपेंडेंट फिजिकल सिस्टम (डार्सी, हेल्महोल्ट्ज़) और ज्यामितीय लर्निंग कार्यों (वर्गीकरण, सेगमेंटेशन) में भी प्रदर्शन में सुधार करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने विविध सेटिंग्स में सिंगल-ब्रांच बेसलाइन्स (SFNO, FNO, NORM) और स्टेट-ऑफ-द-आर्ट मॉडल्स के विरुद्ध FaNO का मूल्यांकन किया:

मैकेनिज्म स्पेशलाइजेशन: शैलो वॉटर इक्वेशंस (SWE), नेवियर-स्टोक्स (NS), और सिलेंडर फ्लो (Cylinder Flow) के लिए ऑटोरिग्रेसिव फोरकास्टिंग में, डायनेमिक ब्रांच ने हाई-एम्प्लीट्यूड, सैंपल-डिपेंडेंट वेरिएशंस को कैप्चर किया, जबकि पर्सिस्टेंट ब्रांच ने लो-एम्प्लीट्यूड, सुसंगत बड़े पैमाने की संरचनाओं (जैसे पोलर जियोपोटेंशियल, ज्योमेट्री-प्रेरित वेक्स) को एनकोड किया।
मल्टीस्केल जियोफिजिकल मॉडलिंग (SWE): FaNO ने टेम्पोरल और स्पेशियल स्केल्स में सबसे कम मीन रिलेटिव एरर (MRE) प्राप्त किया। महत्वपूर्ण रूप से, क्रॉस-रेसोल्यूशन एक्सट्रपलेशन (कोर्स ग्रिड पर ट्रेनिंग, फाइन ग्रिड पर टेस्टिंग) के तहत, FaNO ने $2.5 \times 10^{-3}$ से नीचे स्थिर एरर बनाए रखा, जबकि सिंगल-ब्रांच SFNO का प्रदर्शन काफी गिर गया (एरर $10^{-2}$ के करीब या उससे अधिक हो गया)।
रियल-वर्ल्ड वेदर फोरकास्टिंग (WeatherBench): ERA5 डेटासेट पर, FaNO ने केवल 2.7M पैरामीटर्स का उपयोग करके मीडियम और लॉन्ग-रेंज फोरकास्ट (3-डे और 5-डे) के लिए उच्चतम एनोमली कोरिलेशन कोएफिशिएंट (ACC) प्राप्त किया। इसने 120-घंटे के क्षितिज पर अन्य विधियों की तुलना में सुसंगत प्लेनेटरी-स्केल फ्लो स्ट्रक्चर्स को सुरक्षित रखा, जहाँ अन्य विधियों में स्ट्रक्चरल डिस्टॉर्शन जमा हो गया।
फ्लूड डायनेमिक्स और ज्योमेट्री कंस्ट्रेंट्स:
- नेवियर-स्टोक्स: FaNO ने विस्कोसिटी और रेसोल्यूशन ट्रांसफर के दौरान सुसंगत वोर्टेक्स ऑर्गनाइजेशन को बनाए रखते हुए रोलआउट एरर्स को कम किया, जिसमें FNO की तुलना में 45.8% कम पैरामीटर्स का उपयोग किया गया।
- सिलेंडर फ्लो (अनस्ट्रक्चर्ड मेश): लॉन्ग-होराइजन ऑटोरिग्रेसिव रोलआउट्स में, FaNO ने NORM की तुलना में प्रति-स्टेप MSE को लगभग 28.8% कम किया, जिससे डाउनस्ट्रीम वेक (wake) में डिस्टॉर्शन के संचय को रोका जा सका।
टाइम-डिपेंडेंट फिजिक्स से परे: FaNO ने टाइम-इंडिपेंडेंट डार्सी और हेल्महोल्ट्ज़ समीकरणों के साथ-साथ स्फेरिकल MNIST क्लासिफिकेशन और सरफेस सेगमेंटेशन जैसे ज्यामितीय कार्यों पर भी बेसलाइन्स को पछाड़ दिया, जो यह दर्शाता है कि फैक्टराइजेशन सिद्धांत स्थानीय इनपुट वेरिएशंस से स्थिर ग्लोबल स्ट्रक्चर को अलग करने में मदद करता है।

5. महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि स्केलेबल फिजिकल मॉडलिंग सिंगल-इंडक्टिव-बायस फॉर्मूलेशन से आगे बढ़ने से लाभान्वित होती है। डायनेमिक और पर्सिस्टेंट कंपोनेंट्स में ऑपरेटर रिस्पॉन्स को डीकंपोज करके, FaNO विषम भौतिक प्रणालियों के लिए एक अधिक उपयुक्त इंडक्टिव बायस प्रदान करता है।

लेखकों द्वारा रेखांकित मुख्य निहितार्थों में शामिल हैं:

बेहतर मजबूती (Improved Robustness): फैक्टराइज्ड मैकेनिज्म स्केल्स, डोमेन और फिजिकल रिजीम्स के बीच जनरलाइजेशन को बढ़ाता है, विशेष रूप से लंबे समय तक चलने वाले ऑटोरिग्रेसिव रोलआउट्स और क्रॉस-रेसोल्यूशन एक्सट्रपलेशन में।
व्याख्यात्मकता (Interpretability): शाखाओं की स्वतः विशेषज्ञता भौतिक प्रणालियों का अधिक व्याख्यात्मक मॉडल प्रदान करती है, जो आर्किटेक्चर को अंतर्निहित भौतिकी के विषम संगठन के साथ संरेखित करती है।
दक्षता (Efficiency): ये सुधार बढ़ी हुई मॉडल कैपेसिटी के बजाय नियंत्रित आर्किटेक्चरल संशोधनों के माध्यम से प्राप्त किए गए हैं, जिसके परिणामस्वरूप अक्सर तुलनीय सिंगल-ब्रांच मॉडल्स की तुलना में कम पैरामीटर्स होते हैं।

लेखक निष्कर्ष निकालते हैं कि यह कार्य अधिक व्याख्यात्मक, मजबूत और जनरलाइजेबल फाउंडेशन के लिए एक कदम है, जो यह सुझाव देता कि भविष्य के फिजिक्स-इंफॉर्म्ड मशीन लर्निंग को उन विशिष्ट तंत्रों को प्रतिबिंबित करने वाले फैक्टराइज्ड रिप्रेजेंटेशन पर विचार करना चाहिए जो भौतिक प्रणालियों को नियंत्रित करते हैं।