💻 computer science

Revisiting Neural Processes via Fourier Transform and Volterra Series

यह शोधपत्र ट्रांसलेशन-इक्विवेरिएंट न्यूरल प्रोसेसेज का एक नया वर्ग प्रस्तावित करता है जो विश्लेषणात्मक पारदर्शिता के लिए वोल्टेरा सीरीज़ (Volterra series) का लाभ उठाता है और ग्लोबल रिसेप्टिव फील्ड्स एवं लीनियर स्केलिंग के साथ अनियमित रूप से सैंपल किए गए डेटा को कुशलतापूर्वक मॉडल करने के लिए सेट फूरियर कन्वोल्यूशन (Set Fourier Convolutions) पेश करता है।

मूल लेखक: Peiman Mohseni, Nick Duffield, Raymond K. W. Wong

प्रकाशित 2026-06-02

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Peiman Mohseni, Nick Duffield, Raymond K. W. Wong

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Revisiting Neural Processes via Fourier Transform and Volterra Series" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ अनुवाद दिया गया है।

बड़ी तस्वीर: अनदेखे की भविष्यवाणी करना

कल्पना कीजिए कि आप एक मौसम विज्ञानी हैं। आपके पास कुछ बिखरे हुए मौसम केंद्र (कुछ शहरों में, कुछ निर्जन स्थानों में) हैं जो तापमान और हवा की रिपोर्ट दे रहे हैं। आपका लक्ष्य मानचित्र के हर दूसरे बिंदु के लिए मौसम की भविष्यवाणी करना है, यहाँ तक कि उन जगहों के लिए भी जहाँ कोई सेंसर नहीं है।

मशीन लर्निंग की दुनिया में, इसे न्यूरल प्रोसेसेज (NPs) कहा जाता है। ये स्मार्ट मॉडल कुछ बिखरे हुए, अनियमित डेटा पॉइंट्स से सीखते हैं ताकि उस पूरे अदृश्य वक्र (लैटेंट फंक्शन) के आकार का अनुमान लगाया जा सके जिसने उन्हें उत्पन्न किया है।

हालाँकि, मौजूदा मॉडलों के साथ दो बड़ी समस्याएँ हैं:

"ग्रिड" की समस्या: कुछ मॉडल सभी डेटा को एक आदर्श, साफ़ ग्रिड (जैसे ग्राफ पेपर) पर डालने की कोशिश करते हैं। यदि आपका डेटा बिखरा हुआ है या मानचित्र बहुत बड़ा है, तो यह ग्रिड संभालने के लिए बहुत बड़ा हो जाता है, या आप विवरण खो देते हैं।
"ऑल-टू-ऑल" की समस्या: अन्य मॉडल (जैसे ट्रांसफॉर्मर) हर एक डेटा पॉइंट को देखते हैं और पैटर्न खोजने के लिए हर दूसरे पॉइंट की तुलना करते हैं। यह अविश्वसनीय रूप से सटीक है लेकिन जैसे-जैसे आप डेटा जोड़ते हैं, यह बहुत धीमा और महंगा हो जाता है (जैसे किसी पार्टी में हर व्यक्ति का दूसरे व्यक्ति से परिचय कराना)।

यह पेपर इन दोनों समस्याओं को एक साथ हल करने का एक नया तरीका प्रस्तावित करता है।

दो मुख्य विचार

लेखक इन समस्याओं को ठीक करने के लिए दो गणितीय उपकरणों का उपयोग करते हैं: वोल्टेरा सीरीज़ (Volterra Series) और फूरियर ट्रांसफॉर्म (Fourier Transforms)।

1. वोल्टेरा सीरीज़: जटिलता का "नुस्खा" (Recipe)

समस्या: वर्तमान मॉडल 'ब्लैक बॉक्स' की तरह हैं। वे गणित की परत दर परत लगाते हैं, और हमें वास्तव में यह नहीं पता होता कि वे क्यों काम करते हैं या वे वास्तव में किस तरह के पैटर्न सीख रहे हैं। इसे समझना कठिन है।

समाधान: लेखक वोल्टेरा सीरीज़ नामक चीज़ का उपयोग करते हैं।

उपमा: कल्पना कीजिए कि आप केक बना रहे हैं। एक साधारण मॉडल बस कह सकता है, "आटा और चीनी मिलाएं।" एक जटिल मॉडल कह सकता है, "आटा, चीनी, अंडे, मक्खन, वैनिला मिलाएं और 350 डिग्री पर 30 मिनट तक बेक करें, लेकिन यदि बारिश हो रही है, तो एक अतिरिक्त अंडा डालें।"
वोल्टेरा सीरीज़ एक मास्टर रेसिपी बुक की तरह है जो किसी भी जटिल "मिश्रण" की प्रक्रिया को सरल चरणों के योग में तोड़ देती है:
- चरण 1: केवल सामग्री (लीनियर/रैखिक)।
- चरण 2: सामग्रियाँ आपस में कैसे क्रिया करती हैं (क्वाड्रेटिक)।
- चरण 3: तीन सामग्रियाँ आपस में कैसे क्रिया करती हैं (क्यूबिक), इत्यादि।

इसका उपयोग करके, लेखक अपने मॉडल के व्यवहार का स्पष्ट वर्णन कर सकते हैं (यह "एनालिटिकली ट्रांसपेरेंट" है), न कि केवल अनुमान लगाते हैं। वे यह साबित कर सकते हैं कि मॉडल डेटा पॉइंट्स को कैसे जोड़ता है।

2. सेट फूरियर कॉन्वोल्यूशन्स (SFConvs): "रेडियो ट्यूनर"

समस्या:

ग्रिड मॉडल (जैसे ConvCNPs) तेज़ होते हैं लेकिन उन्हें डेटा एक सटीक ग्रिड पर चाहिए होता है। यदि आपके पास एक टेढ़े-मेढ़े तट रेखा या 3D बादल का डेटा है, तो आपको उसे एक बॉक्स में फिट करना होगा, जिससे मेमोरी बर्बाद होती है और विवरण खो जाते हैं।
अटेंशन मॉडल (जैसे ट्रांसफॉर्मर्स) अव्यवस्थित डेटा पर काम करते हैं लेकिन वे धीमे होते हैं क्योंकि वे हर बिंदु की तुलना हर दूसरे बिंदु से करते हैं।

समाधान: लेखक फूरियर ट्रांसफॉर्म्स (SFConvs) का उपयोग करते हैं।

उपमा: कल्पना कीजिए कि आप रेडियो सुन रहे हैं।
- स्पेशियल डोमेन (पुराना तरीका): आप समय के साथ ध्वनि तरंग (sound wave) को चलते हुए देखते हैं। पूरे गाने को समझने के लिए, आपको लहर के हर एक उतार-चढ़ाव का विश्लेषण करना होगा। यदि लहर अव्यवस्थित है, तो यह कठिन है।
- फ्रीक्वेंसी डोमेन (नया तरीका): आप रेडियो को विशिष्ट फ्रीक्वेंसी (सुरों) पर ट्यून करते हैं। पूरी अव्यवस्थित लहर को देखने के बजाय, आप केवल "लो बास," "मिड-ट्रेबल," और "हाई-पिच" नॉब्स को देखते हैं।
यह क्यों काम करता है: अधिकांश प्राकृतिक संकेत (जैसे मौसम, चित्र, या तरल प्रवाह) अपनी महत्वपूर्ण जानकारी "लो नोट्स" (कम आवृत्तियों) में रखते हैं।
जादू: सीधे इन "सुरों" (फ्रीक्वेंसी) के साथ काम करके, मॉडल:
1. ग्रिड को छोड़ देता है: इसे डेटा को ग्रिड पर डालने की आवश्यकता नहीं है। यह सीधे बिखरे हुए बिंदुओं को संभाल सकता है।
2. सब कुछ एक साथ देखता है: फ्रीक्वेंसी की दुनिया में, एक "सुर" पूरे सिग्नल से जुड़ जाता है। यह मॉडल को एक "ग्लोबल व्यू" देता है (यह देख सकता है कि लंदन में तूफान पेरिस के मौसम को कैसे प्रभावित करता है) बिना हर बिंदु की व्यक्तिगत तुलना किए।
3. तेज़ रहता है: यह लीनियर रूप से स्केल करता है (अधिक डेटा जोड़ने का मतलब थोड़ा अधिक काम है), ट्रांसफॉर्मर के धीमे क्वाड्रेटिक स्केलिंग के विपरीत।

नए मॉडल: SFConvCNPs और SFVConvCNPs

लेखक इन विचारों के आधार पर दो नए मॉडल बनाते हैं:

SFConvCNPs: ये मॉडल "रेडियो ट्यूनर" (फूरियर) दृष्टिकोण का उपयोग करते हैं। वे इन फ्रीक्वेंसी-आधारित ऑपरेशन्स की परतों को जोड़ते हैं। वे तेज़ हैं, अव्यवस्थित डेटा को संभालते हैं, और "बड़ी तस्वीर" देख सकते हैं।
SFVConvCNPs: ये मॉडल "रेडियो ट्यूनर" को "रे meskipun रेसिपी बुक" (वोल्टेरा) के साथ मिलाते हैं। वे डेटा को कुशलतापूर्वक संभालने के लिए फूरियर पद्धति का उपयोग करते हैं, लेकिन वे मॉडल को व्याख्या योग्य (interpretable) बनाने और जटिल गैर-रेखीय अंतःक्रियाओं को पकड़ने के लिए गणित को वोल्टेरा सीरीज़ के रूप में व्यवस्थित करते हैं।

उन्होंने क्या पाया? (परिणाम)

लेखकों ने इन नए मॉडलों का परीक्षण कई चुनौतियों पर मौजूदा सर्वश्रेष्ठ मॉडलों (जैसे मानक न्यूरल प्रोसेसेज, ट्रांसफॉर्मर्स और कन्वोल्यूशनल न्यूरल प्रोसेसेज) के विरुद्ध किया:

सिंथेटिक मैथ टास्क: उन्होंने टेढ़ी-मेढ़ी लहरों (सॉ-टूथ वेव्स) और चिकनी वक्रों (smooth curves) की भविष्यवाणी करने की कोशिश की। नए मॉडल उन तीखे, टेढ़े हिस्सों की भविष्यवाणी करने में बेहतर थे जहाँ अन्य मॉडल विफल रहे।
प्रिडेटर-प्रे (शिकारी-शिकार) डायनेमिक्स: उन्होंने लोमड़ियों और खरगोशों का अनुकरण किया। नए मॉडलों ने जनसंख्या चक्रों की सटीक भविष्यवाणी की, यहाँ तक कि सिम्युलेटेड डेटा से वास्तविक ऐतिहासिक डेटा (हडसन बे हेयर-लिंक्स रिकॉर्ड) पर जाने के बाद भी।
इमेज कंप्लीशन: उन्होंने छवियों के गायब हिस्सों को "भरने" की कोशिश की (जैसे CIFAR-10)। नए मॉडलों ने गायब पिक्सेल को फिर से बनाने में बहुत अच्छा काम किया।
फ्लुइड डायनेमिक्स और क्लाइमेट: उन्होंने जटिल घूमते हुए तरल पदार्थों (कोलमोगोरोव फ्लो) और वास्तविक दुनिया के जलवायु डेटा (ERA5 तापमान) को मॉडल किया।
- मुख्य जीत: जब उन्होंने यूरोप के एक ऐसे क्षेत्र पर परीक्षण किया जिसे उन्होंने प्रशिक्षण के दौरान नहीं देखा था (एक "शिफ्टेड" मैप), तो नए मॉडलों ने (जो ट्रांसलेशन सिमेट्री का सम्मान करते हैं) पूरी तरह से प्रदर्शन किया। पुराने मॉडल, जो पूर्ण स्थितियों (absolute positions) पर निर्भर थे, मैप के हिलने पर पूरी तरह विफल रहे।

सारांश

इस पेपर को एक कार के इंजन को अपग्रेड करने के रूप में सोचें।

पुरानी कारें या तो बेहतरीन सस्पेंशन (चिकनी सड़कों/ग्रिड के लिए) रखती थीं लेकिन ऊबड़-खाबड़ रास्तों को नहीं संभाल पाती थीं, या उनमें बेहतरीन ऑफ-रोड टायर (अटेंशन) थे लेकिन वे बहुत भारी और धीमी थीं।
यह पेपर एक नया सस्पेंशन सिस्टम (वोल्टेरा) पेश करता है जो बताता है कि कार झटकों को कैसे संभालती है, और नए टायर (फूरियर) पेश करता है जो किसी भी इलाके (बिखरे हुए डेटा) पर चल सकते हैं, बिना फंसे, और साथ ही तेज़ और ईंधन-कुशल रहते हैं।

परिणामस्वरूप, यह एक ऐसा मॉडल है जो तेज़, सटीक, व्याख्या योग्य (हमें पता है कि यह कैसे काम करता है), और मजबूत (यह काम करता है भले ही डेटा नई जगह चला जाए) है।

तकनीकी सारांश: फूरियर ट्रांसफॉर्म और वोल्टेरा सीरीज़ के माध्यम से न्यूरल प्रोसेसेज का पुनरावलोकन

समस्या विवरण

अनिश्चित, अनियमित रूप से नमूना लिए गए मापों से अज्ञात लेटेंट फंक्शन्स (latent functions) को मॉडल करना टर्बुलेंस मॉडलिंग और जलवायु विज्ञान जैसे वैज्ञानिक और इंजीनियरिंग डोमेन में एक निरंतर चुनौती है। जबकि न्यूरल प्रोसेसेज (NPs) फंक्शन के वितरणों को सीखने के लिए एक संभावabilistic ढांचा प्रदान करते हैं, मौजूदा ट्रांसलेशन-इक्विवेरिएंट (translation-equivariant) वेरिएंट्स दो प्राथमिक सीमाओं का सामना करते हैं:

व्याख्यात्मकता का अभाव (Lack of Interpretability): वर्तमान आर्किटेक्चर आमतौर पर गैर-रेखीय घटकों (non-linearities) के साथ जेनेरिक कंपोनेंट्स को स्टैक करते हैं। हालांकि ये अनुभवजन्य रूप से प्रभावी हैं, लेकिन ये प्रेरित फंक्शन क्लास (induced function class) को अस्पष्ट कर देते हैं, जिससे सिद्धांतिक विश्लेषण और व्याख्यात्मकता सीमित हो जाती है।
स्केलेबिलिटी ट्रेड-ऑफ (Scalability Trade-offs): मौजूदा ट्रांसलेशन-इक्विवेरिएंट NPs में पूरक स्केलेबिलिटी बाधाएं हैं। कनवल्शनल CNPs (ConvCNPs) डेंस यूनिफॉर्म ग्रिड पर निर्भर करते हैं ताकि कनवल्शनल नेटवर्क्स का लाभ उठाया जा सके, जो उच्च-आयामी या बड़े स्थानिक डोमेन में कम्प्यूटेशनल रूप से निषेधात्मक हो जाता है और रिसेप्टिव फील्ड को स्थानीय पड़ोस तक सीमित कर देता है। इसके विपरीत, अटेंशन-आधारित विधियां (जैसे, TE-TNPs) अनस्ट्रक्चर्ड इनपुट पर सीधे काम करती हैं और ग्लोबल इंटरैक्शन को मॉडल करती हैं, लेकिन वे अवलोकनों की संख्या के साथ द्विघाती (quadratically) रूप से स्केल करती हैं, जिससे वे बड़े कॉन्टेक्स्ट सेट्स के लिए अव्यावहारिक हो जाती हैं।

कार्यप्रणाली (Methodology)

लेखक एक ऐसा ढांचा प्रस्तावित करते हैं जो दो मुख्य तकनीकी नवाचारों के माध्यम से विश्लेषणात्मक पारदर्शिता और व्यावहारिक दक्षता का सामंजस्य स्थापित करता है: वोल्टेरा सीरीज़ प्रतिनिधित्व (Volterra series representation) और सेट फूरियर कनवल्शन (Set Fourier Convolutions - SFConvs)।

1. इक्विवेरिएंट ऑपरेटर्स का वोल्टेरा प्रतिनिधित्व

यह पेपर कनवल्शनल डीप सेट फ्रेमवर्क का विस्तार करता है और निरंतर ट्रांसलेशन-इक्विवेरिएंट ऑपरेटर्स को वोल्टेरा सीरीज़ के सिद्धांत का उपयोग करके लक्षणित करता है।

विश्लेषणात्मक लक्षण वर्णन (Analytical Characterization): टेलर एक्सपेंशन के समान, एक वोल्टेरा सीरीज़ किसी भी निरंतर ट्रांसलेशन-इक्विवेरिएंट ऑपरेटर को बढ़ते क्रम के मल्टी-लीनर कनवल्शन ऑपरेटर्स के अनंत योग के रूप में व्यक्त करती है। यह ऑपरेटर $\rho_d$ का एक स्पष्ट, रचनात्मक लक्षण वर्णन प्रदान करता है, जो मानक डीप लर्निंग कंस्ट्रक्शनों में अनुपस्थित विश्लेषणात्मक पारदर्शिता प्रदान करता है।
कुशल सन्निकटन (Efficient Approximation): उच्च-क्रम के कनवल्शन का सीधा मूल्यांकन कम्प्यूटेशनल रूप से अव्यवहार्य है। लेखक वोल्टेरा ऑपरेटर्स की मल्टी-लिनैरिटी और फ्यूबिनी के प्रमेय (Fubini's theorem) का लाभ उठाते हैं ताकि उच्च-क्रम के पदों को एक नेस्टेड (कैस्केड) रूप में पुनर्गठित किया जा सके। यह एक ट्रंकेटेड वोल्टेरा एक्सपेंशन के मूल्यांकन को केवल प्रथम- और द्वितीय-क्रम के कनवल्शन की गणना करने तक सीमित कर देता है।
लो-रैंक अपघटन (Low-Rank Decomposition): द्वितीय-क्रम के कनवल्शन (जो द्विघाती टेंसर उत्पादों में शामिल हैं) की कम्प्यूटेशनल बाधा को दूर करने के लिए, लेखक हिल्बर्ट-श्मिड्ट स्पेक्ट्रल अपघटन के माध्यम से द्विघाती कर्नेल (quadratic kernel) पर एक लो-रैंक संरचना लागू करते हैं। यह द्वितीय-क्रम के पद को प्रथम-क्रम के कनवल्शन के उत्पादों के योग के रूप में सन्निकट करता है, जिसे बिना सख्त ऑर्थोनॉर्मलिटी बाधाओं को लागू किए सीधे पैरामीटराइज और सीखा जाता है।

2. सेट फूरियर कनवल्शन (SFConvs)

ग्रिड-आधारित विधियों की विविक्तीकरण (discretization) और स्थानीयता की सीमाओं को दूर करने के लिए, लेखक SFConvs पेश करते हैं, जो कनवल्शनल डीप सेट्स का एक फ्रीक्वेंसी-डोमेन पैरामीट्राइजेशन है।

प्रत्यक्ष फ्रीक्वेंसी पैरामीट्राइजेशन: इनपुट को स्थानिक ग्रिड पर विविक्तीकृत करने के बजाय, SFConvs फूरियर डोमेन में कॉन्टेक्स्ट सेट के फंक्शनल एम्बेडिंग पर सीधे कार्य करते हैं। कनवल्शन थ्योरम के अनुसार, स्थानिक डोमेन में कनवल्शन फ्रीक्वेंसी डोमेन में पॉइंटवाइज मल्टीप्लिकेशन के अनुरूप होता है।
अनियमित इनपुट को संभालना: जब गॉसियन कर्नेल का उपयोग किया जाता है, तो फंक्शनल एम्बेडिंग $\rho_e[D_c]$ का एक क्लोज्ड-फॉर्म फूरियर ट्रांसफॉर्म प्राप्त होता है। यह बिना स्थानिक विविक्तीकरण के मनमाने आवृत्तियों (arbitrary frequencies) पर स्पेक्ट्रल गुणांकों की गणना करने की अनुमति देता है, जिससे "ग्रिड मिसमैच" की समस्याओं से बचा जा सकता है जहाँ ग्रिड रिज़ॉल्यूशन बदलने से सीखे गए वेट्स से जुड़े भौतिक फ्रीक्वेंसी बदल जाते हैं।
ग्लोबल रिसेप्टिव फील्ड्स और लीनियर स्केलिंग: फ्रीक्वेंसी-डोमेन मल्टीप्लिकेशन लगभग ग्लोबल रिसेप्टिव फील्ड्स को प्रेरित करता है, जिससे लंबी दूरी की निर्भरताओं (long-range dependencies) को पकड़ना संभव होता है। महत्वपूर्ण रूप से, क्योंकि यह विधि एक निश्चित, कॉम्पैक्ट फ्रीक्वेंसी ग्रिड $\Xi$ (जहाँ $|\Xi| \ll |G|$ , एक घने स्थानिक ग्रिड का आकार है) पर कार्य करती है, इसकी कम्प्यूटेशनल जटिलता अवलोकनों की संख्या के साथ रैखिक रूप से स्केल करती है, $O(|\Xi|(|D_c| + |D_q|))$ ।

3. प्रस्तावित मॉडल

इन घटकों पर निर्माण करते हुए, लेखक दो प्रकार के कंडीशनल न्यूरल प्रोसेसेज (CNPs) प्रस्तावित करते हैं:

SFConvCNPs: इन्हें पॉइंटवाइज नॉन-लिनैरिटीज के साथ इंटरलीव्ड SFConv ब्लॉक्स को स्टैक करके बनाया गया है।
SFVConvCNPs: इन्हें वोल्टेरा फ्रेमवर्क के भीतर बनाया गया है, जो उच्च-क्रम इंटरैक्शन को स्पष्ट रूप से सन्निकट करने के लिए वोल्टेरा फॉर्मूलेशन को SFConvs के साथ एकीकृत करता है।

मुख्य योगदान

सिद्धांतिक लक्षण वर्णन: यह पेपर वोल्टेरा सीरीज़ के माध्यम से उच्च-क्रम के कनवल्शन के योग के रूप में निरंतर ट्रांसलेशन-इक्विवेरिएंट ऑपरेटर्स का एक सिद्धांतिक लक्षण वर्णन प्रदान करता है, जो अपारदर्शी डीप लर्निंग स्टैक के बजाय एक विश्लेषणात्मक रूप से पारदर्शी विकल्प प्रदान करता है।
सेट फूरियर कनवल्शन: SFConvs की शुरूआत ग्रिड-आधारित विधियों की स्केलेबिलिटी सीमाओं को दूर करती है, जो अनियमित इनपुट पर सीधे फूरियर डोमेन में कार्य करके ग्लोबल रिसेप्टिव फील्ड्स को प्रेरित करती है और साथ ही लीनियर कॉम्प्लेक्सिटी बनाए रखती है।
नए मॉडल आर्किटेक्चर: SFConvCNPs और SFVConvCNPs का प्रस्ताव, जो सिंथेटिक और वास्तविक दुनिया के बेंचमार्क पर मजबूत अनुभवजन्य प्रदर्शन प्रदर्शित करते हैं, और स्टेट-ऑफ-द-आर्ट बेसलाइन्स को पीछे छोड़ते हैं या उनके बराबर प्रदर्शन करते हैं।

प्रयोगात्मक परिणाम

लेखकों ने पांच रिग्रेशन बेंचमार्क पर अपने तरीकों का मूल्यांकन किया जिनकी इनपुट आयामीता $d_X \in \{1, 2, 3\}$ थी:

सिंथेटिक 1D रिग्रेशन: RBF, Matérn, पीरियडिक, सॉ टूथ (sawtooth), और स्क्वायर-वेव प्रोसेस से जुड़े कार्यों पर, SFConvCNPs और SFVConvCNPs ने प्रतिस्पर्धी विधियों (CNPs, AttnCNPs, TNP, TE-TNP, और ConvCNPs सहित) को लगातार पछाड़ दिया या उनके बराबर प्रदर्शन किया। विशेष रूप से, अटेंशन-आधारित मॉडल सॉ टूथ कार्य (एक उच्च-आवृत्ति चुनौती) पर विफल रहे, जबकि प्रस्तावित कनवल्शन-आधारित मॉडल सफल रहे।
प्रिडेटर-प्रे (Predator–Prey) रिग्रेशन: सिम्युलेटेड लोटका-वोल्टेरा ट्रैजेक्टरीज और वास्तविक दुनिया के हडसन बे हेयर-लिंक्स डेटा पर, SFConv-आधारित मॉडलों ने बेसलाइन्स की तुलना में प्रतिस्पर्धी या बेहतर प्रेडिक्टिव लॉग-लाइक्लीहुड और CRPS स्कोर प्राप्त किए।
2D इमेज कम्प्लीशन: CIFAR-10 और SVHN डेटासेट्स पर, SFConvCNPs ने ग्रिड-आधारित स्पेक्ट्रल बेसलाइन्स (SConvCNPs) और ट्रांसफार्मर-आधारित मॉडलों को पछाड़ते हुए सर्वश्रेष्ठ प्रेडिक्टिव लॉग-लाइक्लीहुड हासिल किया।
3D स्पैटियोटेम्पोरल रिग्रेशन:
- कोलमोगोरोव फ्लो (Kolmogorov Flow): जटिल फ्लूइड डायनेमिक्स कार्यों पर SFConvCNPs ने उच्चतम लॉग-लाइक्लीहुड (1.89) और न्यूनतम CRPS (0.03) प्राप्त किया, जो ग्रिड-आधारित ConvCNPs और नॉन-कनवल्शनल बेसलाइन्स से बेहतर है।
- ERA5 क्लाइमेट: यूरोप में वायु तापमान की भविष्यवाणी करने वाले सिम-टू-रियल ट्रांसफर टास्क में, SFConvCNPs ने गैर-इक्विवेरिएंट बेसलाइन्स की तुलना में विस्थापित भौगोलिक क्षेत्रों (पश्चिम और उत्तर) के प्रति बेहतर सामान्यीकरण (generalization) दिखाया, जो महत्वपूर्ण प्रदर्शन गिरावट का शिकार हुए। इक्विवेरिएंट मॉडलों ने प्रदर्शन बनाए रखा, जो सापेक्ष विस्थापन (relative displacements) पर उनकी निर्भरता की पुष्टि करता है न कि पूर्ण स्थितियों (absolute positions) पर।

महत्व और दावे

यह पेपर दावा करता है कि यह ट्रांसलेशन-इक्विवेरिएंट कंडीशनल न्यूरल प्रोसेसेज के लिए एक सिद्धांतिक, स्केलेबल ढांचा प्रस्तुत करता है। इसका महत्व निम्नलिखित में निहित है:

सिद्धांत और व्यवहार को जोड़ना: वोल्टेरा सीरीज़ का उपयोग करके, लेखक न्यूरल प्रोसेसेज की प्रतिनिधित्व संरचना को विश्लेषणात्मक रूप से पारदर्शी बनाते हैं, जो अनुभवजन्य ह्यूरिस्टिक्स से आगे बढ़कर व्यवस्थित ऑपरेटर-थ्योरेटिक डिजाइन की ओर बढ़ते हैं।
स्केलेबिलिटी ट्रेड-ऑफ को हल करना: SFConv दृष्टिकोण ग्लोबल इंटरैक्शन की आवश्यकता और लीनियर स्केलेबिलिटी के बीच संघर्ष को हल करता है। यह उच्च आयामों में स्थानिक विविक्तीकरण (spatial discretization) की घातीय लागत से बचता है और अटेंशन मैकेनिज्म की द्विघाती लागत से भी बचता है।
मजबूत सामान्यीकरण: मॉडल अनदेखे स्थानिक क्षेत्रों और अनियमित सैंपलिंग पैटर्न के प्रति मजबूत सामान्यीकरण प्रदर्शित करते हैं, जो जलवायु मॉडलिंग और फ्लूइड डायनेमिक्स जैसे वैज्ञानिक अनुप्रयोगों के लिए एक महत्वपूर्ण आवश्यकता है।

लेखक इस बात पर जोर देते हैं कि उनका कार्य फ्रीक्वेंसी-डोमेन न्यूरल प्रोसेसेज पेश करता है जो अनियमित रूप से नमूना लिए गए स्पैटियोटेम्पोरल डेटा पर कुशल संभाव्यता अनुमान (probabilistic inference) करने में सक्षम है, जो लीनियर स्केलेबिलिटी को ग्लोबल इंटरैक्शन और व्याख्यात्मक ऑपरेटर्स के साथ जोड़ता है।