🤖 machine learning

Zero-shot generalization of transformer neural operators to larger domains

यह शोधपत्र एक नवीन ट्रांसफार्मर-आधारित न्यूरल ऑपरेटर प्रस्तावित करता है जो मूल आर्किटेक्चर को बदले बिना स्थानिक स्थानीयता (spatial locality) और अनुवाद समानता (translation equivariance) को लागू करने के लिए रोटरी पोजीशनल एम्बेडिंग्स और अटेंशन लॉजिट्स में एक विघटनीय बायस (decomposable bias) को शामिल करके काफी बड़े स्थानिक डोमेन तक ज़ीरो-शॉट सामान्यीकरण प्राप्त करता है।

मूल लेखक: Armand de Villeroché, Sibo Cheng, Vincent Le Guen, Marc Bocquet, Rem-Sophia Mouradi, Patrick Armand, Alban Farchi, Patrick Massin

प्रकाशित 2026-06-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Armand de Villeroché, Sibo Cheng, Vincent Le Guen, Marc Bocquet, Rem-Sophia Mouradi, Patrick Armand, Alban Farchi, Patrick Massin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक छोटे, 10-फुट के स्विमिंग पूल में पानी के बहाव की भविष्यवाणी करना सिखा रहे हैं। आप उसे लहरों के टकराने, लहरों के फैलने और उस विशिष्ट 10-फुट के बॉक्स के भीतर धाराओं के घूमने के हजारों सिमुलेशन दिखाते हैं। रोबोट उस छोटे पूल के नियमों को पूरी तरह से सीख जाता है।

अब, कल्पना कीजिए कि आप उसी रोबोट से एक विशाल नदी के बहाव की भविष्यवाणी करने के लिए कहते हैं जो 100 मील लंबी है, बिना उसे कोई नया ट्रेनिंग डेटा दिए। यह वही है जिसे पेपर में "डोमेन एक्सटेंशन" (domain extension) कहा गया है। यह एक बाथटब से महासागर तक एक्सट्रपलेशन (extrapolate) करने के लिए पूछने जैसा है।

समस्या: "घोस्ट" इंटरैक्शन (The "Ghost" Interactions)

शोधकर्ताओं ने पाया कि मानक AI मॉडल (विशेष रूप से "ट्रांसफॉर्मर न्यूरल ऑपरेटर्स") इस कार्य में विफल हो जाते हैं। इसका कारण यहाँ दिया गया है:

AI के 'अटेंशन मैकेनिज्म' को एक भीड़ भरे कमरे में बातचीत सुनने की कोशिश करने वाले व्यक्ति की तरह समझें।

मानक AI (RoPE): यह AI दूरी को समझने के लिए एक "पीरियोडिक" (periodic) तरीके का उपयोग करता है। यह एक घड़ी के चेहरे की तरह है। यदि आप 12 घंटे आगे बढ़ते हैं, तो आप वापस शुरुआत में पहुँच जाते हैं। AI के दिमाग में, 100 मील दूर का बिंदु 1 मील दूर के बिंदु के गणितीय रूप से समान दिख सकता है क्योंकि "घड़ी" घूमकर वापस आ गई थी।
परिणाम: जब AI एक विशाल डोमेन देखता है, तो वह दूर स्थित बिंदुओं को ऐसे जोड़ने लगता है जैसे वे पड़ोसी हों। यह "घोस्ट इंटरैक्शन" (ghost interactions) पैदा करता है। इसे लगता है कि 100 मील लंबी नदी के बाईं ओर की एक लहर तुरंत दाईं ओर की लहर से बात कर रही है, भले ही भौतिकी कहती है कि वे अभी तक जुड़े नहीं होने चाहिए। इसके कारण भविष्यवाणी निरर्थक (nonsense) हो जाती है।

समाधान: एक "लोकल नेबरहुड" नियम

लेखकों ने, EDF R&D और CEREA के सहयोगियों के साथ मिलकर, एक समाधान प्रस्तावित किया। उन्होंने महसूस किया कि वास्तविक भौतिक दुनिया में, चीजें आमतौर पर केवल अपने तत्काल पड़ोसियों को प्रभावित करती हैं। यहाँ एक लहर का प्रभाव वहाँ नहीं पड़ता जब तक कि उसे यात्रा करने में समय न लगे।

उन्होंने एक नई विधि पेश की जिसे LAAPE (Local Anisotropic Asymmetric Positional Encoding) कहा जाता है।

यहाँ इसकी उपमा दी गई है:

पुराना तरीका: AI के पास एक "ग्लोबल मैप" था जहाँ हर बिंदु दूसरे हर बिंदु से बात कर सकता था, लेकिन वह पैमाने (scale) को लेकर भ्रमित हो जाता था।
नया तरीका (LAAPE): उन्होंने AI को एक "लोकल नेबरहुड नियम" दिया। उन्होंने AI को बताया: "आप केवल एक निश्चित त्रिज्या (radius) के भीतर के बिंदुओं को ही सुन सकते हैं। यदि कोई बिंदु बहुत दूर है, तो सिग्नल शून्य हो जाएगा।"

लेकिन उन्होंने केवल एक सख्त घेरा नहीं बनाया। उन्होंने इसे स्मार्ट बनाया:

डिकम्पोजेबल (Decomposable): उन्होंने इस नियम को ऐसे गणित के साथ बनाया जो मौजूदा, सुपर-फास्ट कंप्यूटर चिप्स (जैसे FlashAttention) में पूरी तरह फिट बैठता है। यह एक कैमरा लेंस में नया फिल्टर जोड़ने जैसा है बिना पूरे कैमरे को फिर से बनाए।
एसिमेट्रिक (Asymmetric): वास्तविक दुनिया में, हवा बाईं से दाईं ओर बह सकती है, जिससे प्रदूषण नीचे की ओर (downstream) बहता है। AI को यह जानने की आवश्यकता है कि "डाउनस्ट्रीम" "अपस्ट्रीम" से अलग है। नया तरीका "सुनने की त्रिज्या" को विभिन्न दिशाओं में खींचने या सिकोड़ने की अनुमति देता है, ठीक वैसे ही जैसे एक वास्तविक हवा का क्षेत्र होता है।

प्रयोग: बाथटब से शहरों तक

टीम ने तीन अलग-अलग चुनौतियों पर इसका परीक्षण किया:

उथला पानी (1D): एक लंबे चैनल में पानी की ऊंचाई का सिमुलेशन।
ग्रे-स्कॉट (2D): रासायनिक प्रतिक्रियाओं का सिमुलेशन जो पैटर्न बनाते हैं (जैसे तेंदुए पर धब्बे)।
शहरी हवा (3D): एक वास्तविक औद्योगिक चुनौती, जिसमें इमारतों के बीच से बहने वाली हवा का सिमुलेशन किया गया है। यह सबसे कठिन परीक्षण है क्योंकि हवा इमारतों के साथ जटिल, एकतरफा तरीकों से परस्पर क्रिया करती है (एसिमेट्री)।

परिणाम:

मानक AI (RoPE): जब डोमेन का आकार बढ़ा (जैसे, 1x से 5x), तो त्रुटि (error) तेजी से बढ़ गई। भविष्यवाणियाँ अराजक और बेकार हो गईं।
नया AI (LAAPE): जब डोमेन का आकार बढ़ा, तो त्रुटि कम और स्थिर रही। AI ने उस विशाल शहर के सिमुलेशन में प्रवाह की सफलतापूर्वक भविष्यवाणी की, जिसे उसने ट्रेनिंग के दौरान कभी नहीं देखा था।

मुख्य निष्कर्ष (The Bottom Line)

पेपर का दावा है कि AI को स्पेशियल लोकैलिटी (spatial locality) (केवल पास की चीजों पर ध्यान देने) का सम्मान करने के लिए मजबूर करके और उस अटेंशन को एसिमेट्रिक (asymmetric) (विभिन्न दिशाओं में अलग-अलग) होने की अनुमति देकर, वे एक छोटे डेटासेट पर मॉडल को प्रशिक्षित कर सकते हैं और इसे एक विशाल, अनदेखे डोमेन पर पूरी तरह से काम करने के लिए तैयार कर सकते हैं।

उन्होंने केवल AI को "स्मार्टर" नहीं बनाया; उन्होंने उसे दूरी की बेहतर समझ दी। उन्होंने दिखाया कि यदि आप AI को दूर के बिंदुओं के बीच संबंध की कल्पना (hallucinate) करने से रोकते हैं, तो यह बिना पुन: प्रशिक्षण के वास्तविक दुनिया के पैमाने पर सामान्यीकरण (generalize) कर सकता है।

सीमाओं पर नोट: लेखक स्वीकार करते हैं कि जबकि यह स्केल बढ़ाने के लिए बहुत अच्छा काम करता है, यदि समस्या की भौतिकी वास्तव में लंबी दूरी के कनेक्शन की आवश्यकता रखती है जो ट्रेनिंग डेटा से अधिक लंबे हैं (जो दुर्लभ है लेकिन संभव है), तो यह विधि उन्हें मिस कर सकती है। साथ ही, हालांकि गणित तेज़ कंप्यूटिंग की अनुमति देता है, उन्होंने अभी तक कोड को सुपर-फास्ट बनाने के लिए पूरी तरह से अनुकूलित नहीं किया है; उन्होंने पहले यह साबित करने पर ध्यान केंद्रित किया कि अवधारणा काम करती है।

तकनीकी सारांश: बड़े डोमेन के लिए ट्रांसफॉर्मर न्यूरल ऑपरेटर्स का ज़ीरो-शॉट जनरलाइजेशन (Zero-shot Generalization)

समस्या विवरण (Problem Statement)

ट्रांसफॉर्मर-आधारित न्यूरल ऑपरेटर्स ने जटिल ज्यामिति (complex geometries) पर आंशिक अंतर समीकरणों (PDEs) के समाधान ऑपरेटरों के सन्निकटन (approximation) में मजबूत प्रदर्शन किया है। हालांकि, मौजूदा दृष्टिकोण आमतौर पर प्रशिक्षण के दौरान एक निश्चित डोमेन आकार मानकर चलते हैं, जो अनुमान (inference) के दौरान उनके सामान्यीकरण (generalization) की क्षमता को सीमित करता है। यह शोध पत्र डोमेन विस्तार (domain extension) को संबोधित करता है: यानी प्रशिक्षण के दौरान देखे गए स्थानिक डोमेन से काफी बड़े डोमेन पर ज़ीरो-शॉट इन्फरेंस करने की चुनौती।

सुपर-रिज़ॉल्यूशन या आंशिक अवलोकन (partial observation) कार्यों के विपरीत, जो कि इंटरपोलेशन (interpolation) की समस्याएँ हैं, डोमेन विस्तार मौलिक रूप से एक एक्सट्रपलेशन (extrapolation) समस्या है। वर्तमान ट्रांसफॉर्मर-आधारित ऑपरेटर्स गैर-स्थानीय एकीकरण कर्नेल (non-local integration kernels) पर निर्भर करते हैं जो परिमित प्रशिक्षण डोमेन द्वारा अंतर्निहित रूप से सीमित होते हैं। जब अनुमानित डोमेन का आकार बदलता है, तो मानक पोजीशनल एम्बेडिंग्स (जैसे कि रोटरी पोजीशनल एम्बेडिंग्स, RoPE) की अंतर्निहित आवधिक प्रकृति (quasi-periodic nature) उन स्थानिक बिंदुओं के बीच "घोस्ट" (ghost) इंटरैक्शन उत्पन्न कर सकती है जो प्रशिक्षण के दौरान कभी एक साथ नहीं देखे गए थे। यह मॉडल की क्षमता को तोड़ देता है, क्योंकि ऑपरेटर नए डोमेन स्केल के सापेक्ष भौतिक स्थानीयता (physical locality) का सम्मान करने में विफल रहता है।

कार्यप्रणाली (Methodology)

लेखक मूल आर्किटेक्चर को बदले बिना या अनुकूलित अटेंशन कर्नेल्स (जैसे कि FlashAttention) के साथ अनुकूलता से समझौता किए बिना, ट्रांसफॉर्मर न्यूरल ऑपरेटर्स के अटेंशन मैकेनिज्म के भीतर स्पष्ट, नियंत्रणीय स्थानिक स्थानीयता (explicit, controllable spatial locality) को लागू करने के लिए एक विधि प्रस्तावित करते हैं।

मुख्य तंत्र: डिकम्पोज़ेबल लोकैलिटी बायस (Decomposable Locality Bias)

यह दृष्टिकोण अटेंशन लॉजिट्स (attention logits) में एक डिकम्पोज़ेबल डिस्टेंस बायस (decomposable distance bias) के साथ रोटरी पोशनल एम्बेडिंग्स (RoPE) को जोड़ता है।

RoPE बैकबोन: RoPE ट्रांसलेशन इक्विवैरिएंस (translation equivariance) और अभिव्यंजक रिलेटिव पोजीशनल एनकोडिंग प्रदान करता है। हालांकि, यह स्वाभाविक रूप से गैर-स्थानीय और अर्ध-आवधिक (quasi-periodic) है।
लोकैलिटी कंस्ट्रेंट: स्पूरियस (spurious) लंबी दूरी के इंटरैक्शन को रोकने के लिए, अटेंशन लॉजिट्स से एक बायस टर्म $\phi$ घटाया जाता है। यह बायस एक ज्यामितीय क्षमता (geometrical potential) के रूप में कार्य करता है जो अटेंशन कर्नेल को एक विशिष्ट दूरी $r$ के बाहर तेजी से घटने के लिए मजबूर करता है, जिससे प्रभावी रूप से एक पड़ोस $B_r(c)$ के भीतर एकीकरण समर्थन (integration support) को प्रतिबंधित किया जाता है।
डिकम्पोज़ेबिलिटी (Decomposability): कुशल GPU कर्नेल्स के साथ संगतता बनाए रखने के लिए, बायस को क्वेरी स्थिति के फलन (function) और की (key) स्थिति के फलन में विघटित (decomposable) होना चाहिए ( $z = q^\top R_\theta k - \phi$ )।

प्रस्तावित एम्बेडिंग्स (Proposed Embeddings)

शोध पत्र इस बायस के लिए दो विशिष्ट सूत्रीकरण पेश करता है:

लोकल अनिसोट्रोपिक सिमेट्रिक पोशनल एनकोडिंग (LASPE):
एक अनिसोट्रोपिक $L_2$ डिस्टेंस बायस का उपयोग करता है:
$z_{LASPE} = q^\top(c) R_\theta^\top(c-\xi) k(\xi) - \frac{\sqrt{d}}{2} (c-\xi)^\top A (c-\xi)$
यहाँ, $A$ एक डायगोनल मैट्रिक्स है जो अनिसोट्रॉपी को नियंत्रित करता है। हालांकि प्रभावी, यह विधि द्विघाती पदों (quadratic terms) पर निर्भर करती है जो बड़े कोऑर्डिनेट मानों पर संख्यात्मक अस्थिरता (numerical instabilities) पैदा कर सकते हैं।
लोकल अनिसोट्रोपिक एसिमेट्रिक पोशनल एनकोडिंग (LAAPE):
असममिति (asymmetry) (जैसे कि हवा का प्रवाह जहाँ अपस्ट्रीम बनाम डाउनस्ट्रीम इंटरैक्शन भिन्न होते हैं) को संभालने और संख्यात्मक स्थिरता में सुधार करने के लिए, लेखक हाइपरबोलिक फलनों (विशेष रूप से एक्सपोनेंशियल) पर आधारित एक बायस प्रस्तावित करते हैं:
$z_{LAAPE} = q^\top(c) R_\theta^\top(c-\xi) k(\xi) - \frac{\sqrt{d}}{2} \sum_i \left[ \exp(A_-^{1/2}(c-\xi)\cdot e_i) + \exp(A_+^{1/2}(\xi-c)\cdot e_i) \right]$
यह सूत्रीकरण सकारात्मक और नकारात्मक दिशाओं में अलग-अलग क्षय दरों ( $A_+$ और $A_-$ ) की अनुमति देता है, जिससे कर्नेल सपोर्ट को असममित और अनिसोट्रोपिक बनाया जा सकता है। इसे छोटे विस्थापन के लिए LASPE के एक प्राकृतिक विस्तार के रूप में दिखाया गया है, लेकिन यह बड़े डोमेन के लिए बेहतर स्थिरता प्रदान करता है।

कर्नेल विड्थ चयन (Kernel Width Selection)

लेखक तर्क देते हैं कि कर्नेल की चौड़ाई (जो क्षय पैरामीटर $\lambda$ द्वारा नियंत्रित होती है) को प्रशिक्षण डोमेन के आकार के आधार पर चुना जाना चाहिए। विशेष रूप रूप से, $\lambda$ को इस तरह सेट किया जाना चाहिए कि अटेंशन वेट्स प्रशिक्षण डोमेन से अधिक दूरियों के लिए सांख्यिकीय रूप से नगण्य हो जाएं, जिससे मॉडल को विस्तारित टेस्ट डोमेन से स्पूरियस सहसंबंधों (spurious correlations) को सीखने से रोका जा सके।

मुख्य योगदान (Key Contributions)

समस्या का निरूपण: शोध पत्र औपचारिक रूप से न्यूरल ऑपरेटर्स के लिए डोमेन विस्तार को एक ज़ीरो-शॉट जनरलाइजेशन चुनौती के रूप में परिभाषित करता है, और वर्तमान गैर-स्थानीय धारणाओं की सीमाओं को उजागर करता है।
नवीन पोशनल एनकोडिंग्स: लेखक LAAPE और LASPE प्रस्तावित करते हैं, जो RoPE को डिकम्पोज़ेबल डिस्टेंस बायस के साथ जोड़ते हैं। ये एनकोडिंग्स प्रदान करते हैं:
- नियंत्रणीय स्थानीयता (Controllable Locality): इंटरैक्शन रेंज को स्पष्ट रूप से बांधना।
- अनिसोट्रॉपी और असममिति (Anisotropy and Asymmetry): दिशा-निर्भर इंटरैक्शन रेंज को मॉडल करने की क्षमता, जो फ्लूइड डायनेमिक्स जैसे जटिल भौतिक प्रणालियों के लिए महत्वपूर्ण है।
- दक्षता (Efficiency): डिकम्पोज़ेबिलिटी के माध्यम से अनुकूलित अटेंशन कर्नेल्स (FlashAttention) के साथ पूर्ण संगतता।
अनुभवजन्य सत्यापन (Empirical Validation): दृष्टिकोण को दो अकादमिक PDE बेंचमार्क (1D में शैलो वॉटर समीकरण और 2D में ग्रे-स्कॉट समीकरण) और एक चुनौतीपूर्ण 3D औद्योगिक अनुप्रयोग (शहरी वातावरण में माइक्रोस्केल वायुमंडलीय प्रवाह) पर सत्यापित किया गया है।

प्रयोगात्मक परिणाम (Experimental Results)

मॉडलों को छोटे डोमेन पर प्रशिक्षित किया गया था और बढ़ते हुए बड़े डोमेन (स्केलिंग फैक्टर $s$ 10x तक) पर परीक्षण किया गया था।

अकादमिक बेंचमार्क (1D और 2D):
- मानक RoPE मॉडल डोमेन का आकार बढ़ने के साथ महत्वपूर्ण त्रुटि गिरावट (error degradation) दिखाते हैं (उदाहरण के लिए, Gray-Scott के लिए $s=10$ पर L1 एरर ~30% से बढ़कर >400% हो जाता है)।
- LASPE और LAAPE मॉडल स्केलिंग फैक्टर्स केAcross लगभग स्थिर त्रुटि दर बनाए रखते हैं।
- उच्च स्केलिंग फैक्टर्स ( $s \ge 7$ ) पर Gray-Scott बेंचमार्क में LAAPE, LASPE से बेहतर प्रदर्शन करता है, जहाँ बड़े कोऑर्डिनेट मानों के कारण LASPE अस्थिरता प्रदर्शित करता है।
औद्योगिक अनुप्रयोग (3D वायुमंडलीय प्रवाह):
- AB-SWIFT मॉडल (माइक्रोस्केल वायुमंडलीय प्रवाह) में, कार्य में मजबूत अनिसोट्रॉपी और असममिति शामिल थी (इमारतें अपविंड में स्थित हैं)।
- RoPE स्केल्ड डोमेन ( $5\times5$ ) पर विफल रहा, जिससे असंगत प्रवाह भविष्यवाणियां (incoherent flow predictions) हुईं।
- LAAPE ने समग्र प्रवाह संरचना को संरक्षित किया और वेक क्षेत्रों (wake regions) की सटीक भविष्यवाणी की, जिसमें त्रुटि वृद्धि RoPE की तुलना में काफी कम थी। लेखक LAAPE में शेष त्रुटि का श्रेय बड़े डोमेन से उत्पन्न होने वाले नए प्रवाह पैटर्न को देते हैं, न कि स्वयं ऑपरेटर की विफलता को।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि संरचित स्थानिक स्थानीयता (structured spatial locality) को लागू करना न्यूरल ऑपरेटर्स को औद्योगिक अनुप्रयोगों तक स्केल करने के लिए एक महत्वपूर्ण इंडक्टिव बायस (inductive bias) है। इंटरैक्शन के प्रभावी सपोर्ट को प्रशिक्षण डोमेन के अनुरूप स्पष्ट रूप से बाधित करके, मॉडल बिना प्रशिक्षण डेटा या मॉडल क्षमता में आनुपातिक वृद्धि के बड़े डोमेन में सामान्यीकरण कर सकते हैं।

लेखक इस कार्य को भौतिकी के लिए मशीन लर्निंग में "उपयुक्त स्केलिंग लॉज़" (appropriate scaling laws) की ओर एक कदम के रूप में देखते हैं, जो यह सुझाव देता है कि प्रदर्शन में सुधार केवल डेटा और मॉडल स्केल पर निर्भर रहने के बजाय, सूचना के स्थानिक प्रसार को प्रतिबिंबित करने के लिए इंडक्टिव बायस को संशोधित करने से प्राप्त किया जा सकता है। यह विधि मजबूत ज़ीरो-शॉट डोमेन विस्तार सक्षम करती है, जो पहले डोमेन डीकंपोजिशन रणनीतियों या ग्राफ-आधारित मॉडलों तक सीमित थी, लेकिन यहाँ एक एकीकृत ट्रांसफॉर्मर आर्किटेक्चर के भीतर हासिल की गई है जो हाई-परफॉर्मेंस कंप्यूटिंग कर्नेल्स के अनुकूल है।

लेखक सीमाओं को स्वीकार करते हुए कहते हैं कि जबकि स्थानीयता (locality) सामान्यीकरण में सुधार करती है, यह उन भौतिक सहसंबंधों को कैप्चर नहीं कर सकती जो स्वाभाविक रूप से प्रशिक्षण डोमेन से बड़े पैमाने पर मौजूद होते हैं। वे सुझाव देते हैं कि ऐसे मामलों के लिए, कुछ बड़े पैमाने के मामलों पर फाइन-ट्यूनिंग करना एक आवश्यक भविष्य की दिशा बनी रहेगी।