💻 computer science

Adaptive Coordinate Transforms for Neural Operators

यह शोध पत्र एडेप्टिव कोऑर्डिनेट ट्रांसफॉर्म (ACT) ब्लॉक का प्रस्ताव करता है, जो एक प्लग-एंड-प्ले मॉड्यूल है जो स्थानिक मिसअलाइनमेंट (spatial misalignment) को हल करने, ऑपरेटर की जटिलता को कम करने और आंशिक अवकल समीकरणों (partial differential equations) पर भविष्य कहने की सटीकता में महत्वपूर्ण सुधार करने के लिए डेटा-संचालित समन्वय रूपांतरणों को सीखकर न्यूरल ऑपरेटर्स को बढ़ाता है।

मूल लेखक: Chaoyu Liu, Zhonghao Li, Gaohang Chen, Zakhar Shumaylov, Zhongying Deng, Qian Zhang, Zhonghua Qiao, Carola-Bibiane Schönlieb

प्रकाशित 2026-05-08

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chaoyu Liu, Zhonghao Li, Gaohang Chen, Zakhar Shumaylov, Zhongying Deng, Qian Zhang, Zhonghua Qiao, Carola-Bibiane Schönlieb

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Adaptive Coordinate Transforms for Neural Operators" पेपर का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।

बड़ी समस्या: "स्थिर ग्रिड" बनाम "चलती लहर"

कल्पना कीजिए कि आप एक विशाल लहर पर सवार तेजी से चलती सर्फर की फिल्म बनाने की कोशिश कर रहे हैं।

पुराना तरीका (निश्चित निर्देशांक - Fixed Coordinates):
भौतिकी की समस्याओं (जैसे फ्लूइड डायनेमिक्स या मौसम) को हल करने वाले अधिकांश वर्तमान AI मॉडल एक निश्चित स्थान पर ट्राइपॉड पर लगे कैमरे की तरह काम करते हैं। कैमरा पिक्सेल का एक ग्रिड रिकॉर्ड करता है।

यदि सर्फर केंद्र में रहता है, तो कैमरा उसे पूरी तरह से कैप्चर करता है।
लेकिन यदि सर्फर किनारे पर चला जाता है, या यदि लहर टूटती है और अपना आकार बदल लेती है, तो कैमरे को उसी स्थिर ग्रिड का उपयोग करके उस गति को वर्णित करने की कोशिश करनी पड़ती है।
AI के लिए, यह एक गड़बड़ी जैसा दिखता है। सर्फर केवल हिल नहीं रहा है; पूरी छवि ही ग्रिड के सापेक्ष खिसकती और विकृत होती हुई प्रतीत होती है। AI को यह समझने के लिए बहुत कड़ी मेहनत करनी पड़ती है कि, "ओह, सर्फर 5 पिक्सेल बाईं ओर चला गया, और लहर 2 पिक्सेल ऊंची हो गई।" यह एक "स्थानिक मिसअलाइनमेंट" (spatial misalignment) पैदा करता है। AI अक्सर सरल गति को वर्णित करने के लिए जटिल, अव्यवस्थित नियम सीखने की कोशिश करता है, जिससे लहर के किनारों (जैसे लहर का शिखर) धुंधले हो जाते हैं क्योंकि वह बहुत अधिक स्मूथ होने की कोशिश कर रहा होता है।

पेपर का समाधान: "स्मार्ट कैमरा" (ACT)
लेखकों ने ACT (Adaptive Coordinate Transform) नामक एक नया मॉड्यूल प्रस्तावित किया है। इसे एक ऐसे कैमरे के रूप में सोचें जिसके पास अपना स्वयं का दिमाग है।

ग्रिड को स्थिर रखने के बजाय, ACT मॉड्यूल एक स्मार्थ, लचीले लेंस की तरह काम करता है जो एक्शन के साथ चलता है।

जब सर्फर चलता है, तो कैमरा केवल गति को रिकॉर्ड नहीं करता; वह सर्फर को केंद्र में रखने के लिए अपने ग्रिड को भौतिक रूप से स्थानांतरित करता है।
जब लहर टूटती है, तो ग्रिड स्थानीय स्तर पर फैलता या सिकुड़ता है ताकि ठीक वहीं ध्यान केंद्रित किया जा सके जहाँ हलचल हो रही है।
AI के लिए, सर्फर अब हमेशा केंद्र में रहता है, और लहर हमेशा स्पष्ट रहती है। "अव्यवस्थित" गति को एक सरल, स्थिर चित्र में बदल दिया गया है।

यह कैसे काम करता है: "परत-दर-परत" नृत्य

पेपर केवल शुरुआत में एक बार कैमरा नहीं बदलता है। वे इन "स्मार्ट लेंसों" (ACT ब्लॉक्स) को पूरे AI मस्तिष्क में, परत-दर-परत, डाला गया है।

मध्य परतें (ट्रैकर्स - The Trackers):
कल्पना कीजिए कि AI एक रिले रेस है। मध्य धावक (इंटरमीडिएट लेयर्स) डेटा के गुजरने के दौरान ग्रिड को लगातार समायोजित करने के लिए ACT ब्लॉक्स का उपयोग करते हैं। वे ट्रैकर्स की तरह कार्य करते हैं, जो लगातार दृश्य को पुनर्गणना (realign) करते हैं ताकि चलती लहरें या घूमते हुए भंवर (vortices) खो न जाएं या धुंधले न पड़ें। वे "लेटेंट स्पेस" (डेटा का आंतरिक प्रतिनिधित्व) को व्यवस्थित और सुव्यवस्थित रखते हैं।
अंतिम परत (शार्पनर - The Sharper):
सबसे अंतिम धावक (अंतिम ACT ब्लॉक) का काम अलग है। यह एक आवर्धक लेंस (magnifying glass) या शार्पनिंग टूल की तरह कार्य करता है।

भौतिकी में अक्सर "तीव्र परिवर्तन" होते हैं—जैसे कि अचानक आया शॉकवेव या तरल पदार्थ में ढलान का किनारा। मानक AI अक्सर इन्हें धुंधला कर देता है।
अंतिम ACT ब्लॉक क्रिया के ठीक स्थान पर समन्वय स्थान (coordinate space) को संकुचित करता है। विशिष्ट स्थानों पर ग्रिड को सिकोड़कर, यह गणितीय रूप से ग्रेडिएंट्स (ढलान) को बढ़ाता है, जिससे प्रभावी रूप से इमेज को "शार्प" किया जाता है ताकि उन स्पष्ट, कठोर किनारों को वापस पाया जा सके जिन्हें अन्य मॉडल मिस कर देते हैं।

परिणाम: यह क्यों मायने रखता है

लेखकों ने छह अलग-अलग भौतिकी डेटासेट्स पर इस "स्मार्ट कैमरा" दृष्टिकोण का परीक्षण किया, जिनमें शामिल हैं:

फ्लुइड्स (Fluids): जैसे पाइप में पानी का घूमना (Navier-Stokes)।
रासायनिक प्रतिक्रियाएं (Chemical Reactions): पेट्री डिश में बनते पैटर्न।
उथला पानी (Shallow Water): सुनामी या बांध टूटने का अनुकरण।
चुंबकत्व (Magnetism): अंतरिक्ष में अशांत चुंबकीय क्षेत्र।

उन्होंने इस ACT मॉड्यूल को तीन अलग-अलग प्रकार के मौजूदा AI मॉडलों (FNO, CNextU, और Transolver) में लगाया।

परिणाम:

भारी सटीकता वृद्धि: लगभग हर मामले में, ACT मॉड्यूल जोड़ने से AI भौतिक अवस्था की भविष्यवाणी करने में काफी बेहतर हो गया। एक मॉडल (Transolver) के लिए, त्रुटि लगभग 76% कम हो गई। दूसरे (FNO) के लिए, यह 38% गिर गई।
केवल "अधिक दिमाग" नहीं: उन्होंने साबित किया कि यह केवल इसलिए नहीं था क्योंकि उन्होंने AI को बड़ा या अधिक जटिल बनाया। एक छोटा ACT मॉड्यूल जोड़ने से एक छोटे AI ने बिना ACT वाले बहुत बड़े AI की तुलना में बेहतर प्रदर्शन किया।
"प्लग-एंड-प्ले" जादू: सबसे अच्छी बात यह है कि यह मॉड्यूल एक यूनिवर्सल एडेप्टर की तरह है। आप इसे विभिन्न मौजूदा AI आर्किटेक्चर में लगा सकते हैं, और यह बस काम करता है, जिससे चलती और बदलते भौतिक घटनाओं को संभालने की उनकी क्षमता में सुधार होता है।

सारांश उपमा

यदि मानक AI के साथ भौतिकी समीकरणों को हल करना एक चलती कार को कागज पर पेंसिल को स्थिर रखकर और कार की गति को रेखाओं के धुंधलेपन के रूप में चित्रित करने की कोशिश करने जैसा है, तो ACT एक ऐसे कलाकार को देने जैसा है जिसके पास कागज का एक टुकड़ा है जो उसके हाथ के नीचे फिसलता है। कागज कार के साथ चलता है, जिससे कलाकार कार के आकार की एक स्पष्ट, सटीक रेखा खींच सकता है, चाहे वह कितनी भी तेज क्यों न जा रही हो।

पेपर का दावा है कि AI को अपने स्वयं के "ग्रिड" को भौतिकी के अनुरूप चलाने देने से, हम जटिल समस्याओं को बहुत तेज़ी से और अधिक सटीकता से हल कर सकते हैं, विशेष रूप से तब जब चीजें तेज़ी से चल रही हों या अचानक आकार बदल रही हों।

तकनीकी सारांश: न्यूरल ऑपरेटर्स के लिए एडेप्टिव कोऑर्डिनेट ट्रांसफॉर्म्स (Adaptive Coordinate Transforms)

समस्या विवरण

न्यूरल ऑपरेटर्स ने फंक्शन स्पेस के बीच मैपिंग सीखने के माध्यम से आंशिक अवकल समीकरणों (PDEs) को हल करने में महत्वपूर्ण सफलता प्रदर्शित की है। हालाँकि, एक मौलिक सीमा बनी हुई है: अधिकांश मौजूदा आर्किटेक्चर (जैसे, फूरियर न्यूरल ऑपरेटर्स, ConvNeXt-UNet, Transolver) निश्चित युलरियन कोऑर्डिनेट्स (fixed Eulerian coordinates) पर आधारित हैं। यह स्थिर समन्वय प्रणाली (static coordinate system) एक स्थानिक मिसअलाइनमेंट (spatial misalignment) पैदा करती है, जो कई PDEs की विकसित होती भौतिक संरचनाओं, जैसे कि प्रसारित तरंगें (propagating waves), चलते हुए भंवर (moving vortices), और संचरित इंटरफेस (advecting interfaces) के साथ मेल नहीं खाती।

यह मिसअलाइनमेंट न्यूरल ऑपरेटर को अत्यधिक गैर-स्थानीय (non-local) और जटिल इनपुट-आउटपुट मैपिंग सीखने के लिए मजबूर करता है, जिससे सीखने की जटिलता काफी बढ़ जाती है और सामान्यीकरण (generalization) बाधित होता है। इसके अलावा, ये निश्चित-कोऑर्डिनेट वाले ऑपरेटर्स एक "स्मूथनेस प्रेफरेंस" (smoothness preference) प्रदर्शित करते हैं, जो अक्सर समाधानों की सही नियमितता (regularity) को बनाए रखने में विफल रहते हैं और शॉक (shocks) या तीव्र संक्रमण (sharp transitions) जैसी उच्च-आवृत्ति वाली भौतिक घटनाओं को धुंधला कर देते हैं। शास्त्रीय PDE विश्लेषण इन समस्याओं को एडेप्टिव कोऑर्डिनेट ट्रांसफॉर्मेशन (जैसे, आर्बिट्ररी लैग्रेंजियन-युलरियन फॉर्मुलेशन, मूविंग मेश विधियाँ) के माध्यम से संबोधित करता है, जो संरचनाओं को ट्रैक करने और तीव्र ग्रेडिएंट्स के आसपास ग्रिड को संकुचित करने के लिए गतिशील रूप से कंप्यूटेशनल ग्रिड को नया आकार देता है।

कार्यप्रणाली: एडेप्टिव कोऑर्डिनेट ट्रांसफॉर्म (ACT) ब्लॉक

शास्त्रीय एडेप्टिव तकनीकों से प्रेरित होकर, लेखक एडेप्टिव कोऑर्डिनेट ट्रांसफॉर्म (ACT) ब्लॉक का प्रस्ताव करते हैं, जो एक प्लग-एंड-प्ले मॉड्यूल है जिसे न्यूरल ऑपरेटर्स को डेटा-संचालित ज्यामितीय पुनर्गठन (geometric realignment) क्षमताओं से लैस करने के लिए डिज़ाइन किया गया है।

मुख्य तंत्र

ACT ब्लॉक वर्तमान फीचर मैप के आधार पर आइडेंटिटी मैपिंग के सापेक्ष एक इन्क्रीमेंटल कोऑर्डिनेट ऑफसेट (incremental coordinate offset) की भविष्यवाणी करने के लिए न्यूरल ऑपरेटर लर्निंग पाइपलाइन के भीतर कार्य करता है। यह प्रक्रिया तीन चरणों में शामिल है:

कोऑर्डिनेट ऑफसेट प्रेडिक्शन: इनपुट फीचर मैप को प्रोजेक्ट और स्वतंत्र वैल्यू टेंसरों में विभाजित किया जाता है। एक हल्का मल्टी-स्केल कनवल्शनल मॉड्यूल वर्तमान फीचर्स पर आधारित एक $d$ -डायमेंशनल ऑफसेट फील्ड ( $\Delta_h$ ) की भविष्यवाणी करता है। स्थिरता सुनिश्चित करने के लिए, कच्चे ऑफसेट्स को $\tanh$ फंक्शन का उपयोग करके एक अधिकतम विस्थापन परिमाण $\alpha$ द्वारा सीमित किया जाता है।
ग्रिड रीसैंपलिंग: प्रेडिक्टेड ऑफसेट्स एक सैंपलिंग मैप $\phi(\xi) = \xi + \Delta(\xi)$ को परिभाषित करते हैं। मध्यवर्ती फीचर्स को इन नए स्थानों पर डिफरेंशिएबल ग्रिड सैंपलिंग के माध्यम से रीसेंपल किया जाता है। यह ऑपरेशन सिग्नल वैल्यूज को संरक्षित करते हुए उनके स्थानिक प्रतिनिधित्व को बदल देता है, जो प्रभावी रूप से उसी भौतिक मात्रा को एक रूपांतरित समन्वय प्रणाली में व्यक्त करता है। लेखक आउट-ऑफ-डोमेन कोऑर्डिनेट्स को संभालने के लिए फिजिक्स-इंफॉर्म्ड बाउंड्री कंडीशंस (जैसे, पीरियडिक रैपिंग) को लागू करते हैं, ताकि बाउंड्री आर्टिफैक्ट्स को रोका जा सके।
फीचर मर्जिंग: रीसेंपल्ड फीचर्स को मूल प्रतिनिधित्व के साथ कॉन्कैटिनेट, प्रोजेक्ट और रेसिडुअल कनेक्शन के माध्यम से मर्ज किया जाता है। यह स्थिर, इन्क्रीमेंटल अपडेट सुनिश्चित करता है।

आर्किटेक्चरल इंटीग्रेशन

ACT ब्लॉक्स को फाउंडेशनल ऑपरेटर बैकबोन (जैसे, FNO, CNextU, Transolver) के साथ लेयर-वाइज इंटरलीव किया जाता है। हिडन फीचर्स $h_{l+1} = T^l_\theta \circ G^l_\theta (h_l)$ के रूप में विकसित होते हैं, जहाँ $G^l_\theta$ एक लेटेंट ऑपरेटर अपडेट है और $T^l_\theta$ ACT ब्लॉक है। यह निरंतर ज्यामितीय पुनर्गठन (geometric realignment) यह सुनिश्चित करता है कि जैसे-जैसे फीचर्स नेटवर्क की गहराई के माध्यम से आगे बढ़ते हैं, स्थानिक मिसअलाइनमेंट जमा न हो।

ऑटोनॉमस रोल डिकपलिंग (Autonomous Role Decoupling)

पेपर उनके टोपोलॉजिकल स्थान के आधार पर ACT ब्लॉक्स के बीच कार्य विभाजन की पहचान करता है:

इंटरमीडिएट ब्लॉक्स: प्रगतिशील स्थानिक ट्रैकर्स (progressive spatial trackers) के रूप में कार्य करते हैं। वे स्थानिक मिसअलाइनमेंट को बेअसर करने और एक स्थिर लेटेंट स्पेस बनाए रखने के लिए विकसित होते हुए फीचर्स को पुनर्गठित करते हैं, जो प्रभावी रूप से अगले लेयर्स के लिए ऑपरेटर मैपिंग को सरल बनाता है।
टर्मिनल ब्लॉक: एक रेगुलैरिटी मॉड्युलेटर (regularity modulator) के रूप में कार्य करता है। स्थानीय कोऑर्डिनेट स्पेस को अप्रत्यक्ष रूप से संकुचित करके, यह स्थानिक ग्रेडिएंट्स को स्पष्ट रूप से बढ़ाने के लिए जैकोबियन मल्टीप्लायर (Jacobian multiplier) का लाभ उठाता है। यह न्यूरल नेटवर्क्स की अंतर्निहित स्मूथनेस प्रेफरेंस का मुकाबला करता है, जिससे शार्प फिजिकल ट्रांजिशन की रिकवरी में मदद मिलती है।

मुख्य योगदान

ACT ब्लॉक का प्रस्ताव: शास्त्रीय PDE तकनीकों से प्रेरित एक लर्न करने योग्य, ज्यामितीय पुनर्गठन मॉड्यूल का प्रस्ताव, जिसे विशेष रूप से फिक्स्ड-कोऑर्डिनेट न्यूरल ऑपरेटर्स में स्थानिक मिसअलाइनमेंट और स्मूथनेस प्रेफरेंस को दूर करने के लिए डिज़ाइन किया गया है।
अनुभवजन्य सत्यापन (Empirical Validation): विविध फाउंडेशनल आर्किटेक्चर (CNextU, Transolver, FNO) और छह PDE बेंचमार्क (Navier-Stokes, Shallow Water, और MHD टर्बुलेंस जैसे 2D और 3D डेटासेट सहित) पर व्यापक प्रयोगों से सिद्ध होता है कि ACT-ऑगमेंटेड मॉडल भविष्य कहने की सटीकता में महत्वपूर्ण सुधार करते हैं।
मैकेनिस्टिक इनसाइट: एक ऑटोनॉमस रोल डिकपलिंग घटना की खोज, जहाँ इंटरमीडिएट ACTs लेटेंट अलाइनमेंट के लिए एडवेक्शन को ट्रैक करते हैं, जबकि टर्मिनल ACT जैकोबियन-ड्रिवन स्पेशियल कम्प्रेशन के माध्यम से शार्प ग्रेडिएंट्स को पुनर्गठित करते हैं।

प्रयोगात्मक परिणाम

लेखकों ने छह डेटासेट्स पर वैनिला बेसलाइन्स के विरुद्ध ACT-ऑगमेंटेड मॉडल्स का मूल्यांकन किया। परिणाम नॉर्मलाइज्ड रूट मीन स्क्वेर्ड एरर (NRMSE) में निरंतर और महत्वपूर्ण सुधार दिखाते हैं:

Transolver: औसत सापेक्ष त्रुटि में 76.4% की कमी।
FNO: औसत सापेक्ष त्रुटि में 38.4% की कमी।
CNextU: औसत सापेक्ष त्रुटि में 30.8% की कमी।

नेवियर-स्टोक्स समीकरण पर एब्लेशन स्टडीज ने पुष्टि की कि ये लाभ केवल बढ़े हुए मॉडल कैपेसिटी के कारण नहीं हैं। दोगुने पैरामीटर्स वाले बड़े FNO ने वैनिला मॉडल की तुलना में सीमित सुधार दिखाया, जबकि ACT ब्लॉक्स जोड़ने (यहाँ तक कि एक सिंगल टर्मिनल ब्लॉक भी) से पर्याप्त लाभ हुआ। लेयर-वाइज़ एप्लीकेशन ने और अधिक सुधार प्रदान किए, जो इस परिकल्पना को मान्य करता है कि कोऑर्डिनेट एडैप्टेशन, न कि पैरामीटर स्केलिंग, प्रदर्शन को संचालित करता है।

महत्व और दावे

पेपर का दावा है कि कोऑर्डिनेट सिस्टम को सीखना ऑपरेटर लर्निंग को बढ़ाने के लिए एक शक्तिशाली तंत्र प्रदान करता है। क्लासिकल एडेप्टिव मेश तकनीकों और आधुनिक ऑपरेटर लर्निंग के बीच के अंतर को पाटकर, ACT नेटवर्क्स को विकसित होती संरचनाओं को बेहतर ढंग से ट्रैक करने, ऑपरेटर जटिलता को कम करने और महत्वपूर्ण फीचर्स पर गतिशील रूप से ध्यान केंद्रित करने की अनुमति देता है।

लेखक इन सुधारों के दायरे के संबंध में एक मध्यम रुख रखते हैं, यह नोट करते हुए कि ACT तब सबसे अधिक फायदेमंद होता है जब स्थानिक मिसअलाइनमेंट, ट्रांसपोर्ट, मिक्सिंग, या शार्प मूविंग इंटरफेस प्रमुख कठिनाई के स्रोत हों। उन समस्याओं के लिए जहाँ डायनेमिक्स फिक्स्ड युलरियन कोऑर्डिनेट्स में अच्छी तरह से दर्शाए गए हैं, सुधार कम महत्वपूर्ण हो सकता है। इसके अतिरिक्त, जबकि अनुभवजन्य साक्ष्य इस दावे का पुरजोर समर्थन करते हैं कि एडेप्टिव ट्रांसफॉर्मेशन बाद के अपडेट द्वारा देखे जाने वाले प्रभावी ऑपरेटर को सरल बनाता है, यह कब और क्यों होता है, इसका एक औपचारिक सैद्धांतिक लक्षण वर्णन भविष्य के शोध के लिए एक खुला विषय बना हुआ है। वर्तमान फ्रेमवर्क स्ट्रक्चर्ड ग्रिड तक सीमित है, जिसमें जटिल ज्योमेट्री और अनियमित मेश के लिए विस्तार भविष्य के अनुसंधान के अधीन है।