📊 statistics

Regularized Random Fourier Features and Finite Element Reconstruction for Operator Learning in Sobolev Space

यह शोध पत्र एक नियमितीकृत रैंडम फूरियर फीचर विधि को परिमित तत्व पुनर्निर्माण (RRFF-FEM) के साथ युग्मित करने का प्रस्ताव करता है जो विभिन्न आंशिक अवकल समीकरण बेंचमार्क में सैद्धांतिक सामान्यीकरण गारंटी और बेहतर कम्प्यूटेशनल दक्षता के साथ सुदृढ़, शोर-प्रतिरोधी ऑपरेटर लर्निंग प्राप्त करने के लिए बहुभिन्नरूपी स्टुडेंट $t$ -वितरित विशेषताओं और आवृत्ति-भारित टिखोनोव नियमितीकरण का उपयोग करता है।

मूल लेखक: Xinyue Yu, Hayden Schaeffer

प्रकाशित 2026-06-30

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xinyue Yu, Hayden Schaeffer

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक जटिल प्रणाली के भविष्य के व्यवहार की भविष्यवाणी करना सिखाने की कोशिश कर रहे हैं, जैसे कि किसी इमारत के चारों ओर हवा का प्रवाह या एक धातु की प्लेट के माध्यम से गर्मी का प्रसार। भौतिकी और इंजीनियरिंग की दुनिया में, इन प्रणालियों को पार्शियल डिफरेंशियल इक्वेशंस (PDEs) नामक समीकरणों द्वारा वर्णित किया जाता है।

पारंपरिक रूप से, इन्हें हल करने के लिए आपको सटीक नियमों (समीकरणों) को जानने और भारी, धीमे सिमुलेशन चलाने की आवश्यकता होती है। लेकिन क्या होगा यदि आप सटीक नियम नहीं जानते, या आपके पास जो डेटा है वह अव्यवजनपूर्ण (messy) और त्रुटियों (शोर/noise) से भरा है? यहीं पर ऑपरेटर लर्निंग (Operator Learning) काम आता है। समीकरण को हर बार हल करने के बजाय, आप एक कंप्यूटर मॉडल को स्वयं "नियम पुस्तिका" (rulebook) सीखना सिखाते हैं—यानी इनपुट (जैसे हवा के झोंके का आकार) से आउटपुट (परिणामी वायु प्रवाह) तक का मानचित्र।

यहाँ इस शोध पत्र द्वारा प्रस्तावित समाधान का सरल विवरण दिया गया है, जिसमें रोजमर्रा के उदाहरणों का उपयोग किया गया है:

1. समस्या: "शोर वाला" क्लासरूम

कल्पना कीजिए कि एक शिक्षक एक छात्र (कंप्यूटर मॉडल) को आकृतियों को पहचानना सिखाने की कोशिश कर रहा है।

आदर्श परिदृश्य: शिक्षक छात्र को बिल्ली का एक आदर्श चित्र दिखाता है, और छात्र बिल्ली बनाना सीख जाता है।
वास्तविक दुनिया की समस्या: शिक्षक के चित्र टेढ़े-मेढ़े, धुंधले और यादृच्छिक स्याही के धब्बों (यह शोर/noise है) से भरे हुए हैं।
पुरानी विधि (मानक रैंडम फीचर्स): यदि आप पुराने तरीके का उपयोग करके छात्र को सिखाने की कोशिश करते हैं, तो वे स्याही के धब्बों से भ्रमित हो सकते हैं। वे उन धब्बों को बिल्ली के हिस्से के रूप में याद करने की कोशिश कर सकते हैं, जिससे एक खराब चित्र बनेगा। इसे ओवरफिटिंग (overfitting) कहा जाता है।
कर्नेल विधि (Kernel Method): एक अन्य तरीका यह है कि छात्र द्वारा देखे गए हर नए चित्र की तुलना उसके द्वारा देखे गए प्रत्येक पुराने चित्र से की जाए। यह अविश्वसनीय रूप से सटीक है लेकिन इसमें बहुत समय लगता है, जैसे कि हर एक किताब को एक-एक करके चेक करके लाइब्रेरी में एक विशिष्ट किताब खोजने की कोशिश करना।

2. समाधान: "स्मार्ट फ़िल्टर" (RRFF)

लेखक एक नई विधि प्रस्तावित करते हैं जिसे रेगुलराइज्ड रैंडम फूरियर फीचर्स (RRFF) कहा जाता है। इसे एक छात्र को स्मार्ट फ़िल्टर और बेहतर संदर्भ कार्ड (reference cards) देने के रूप में समझें।

रैंडम फूरियर फीचर्स (संदर्भ कार्ड): हर विवरण को याद रखने के बजाय, छात्र चित्र को पुनर्गठित करने के लिए यादृच्छिक "बिल्डिंग ब्लॉक्स" (गणितीय तरंगों) के एक सेट का उपयोग करता है। यह LEGO ब्रिक्स से एक मॉडल बनाने जैसा है। यह तेज़ और कुशल है।
रेगुलराइजेशन (स्मार्ट फ़िल्टर): यही मुख्य नवाचार है। "स्याही के धब्बे" (शोर) आमतौर पर उच्च-तीव्रता वाले, अराजक स्टैटिक (static) की तरह दिखते हैं। लेखक एक फ़िल्टर जोड़ते हैं जो कहता है, "उच्च-तीव्रता वाले स्टैटिक को अनदेखा करें; चिकनी, महत्वपूर्ण आकृतियों पर ध्यान केंद्रित करें।" यह छात्र को डेटा की गलतियों को याद करने से रोकता है।
स्टूडेंट टी-डिस्ट्रीब्यूशन (लचीला शिक्षक): आमतौर पर, ये यादृच्छिक ब्लॉक एक मानक "गौसियन" (बेल कर्व) वितरण से चुने जाते हैं। लेखक कहते हैं, "आइए एक अधिक लचीले वितरण (Student's t) का उपयोग करें जो चरम आउटलेर्स (outliers) को बेहतर ढंग से संभाल सकता है।" यह एक ऐसे शिक्षक की तरह है जो सामान्य दिनों और अराजक, तूफानी दिनों दोनों के लिए तैयार रहता है।

3. फिनिश लाइन: "फाइनाइट एलीमेंट मैप" (FEM)

एक बार जब छात्र फ़िल्टर्ड ब्लॉक्स का उपयोग करके नियम पुस्तिका सीख लेता है, तो उसे परिणाम को केवल उन विशिष्ट ग्रिड बिंदुओं पर ही नहीं, बल्कि कहीं भी चित्रित करने में सक्षम होना चाहिए।

लेखक एक फाइनाइट एलीमेंट रिकंस्ट्रक्शन मैप जोड़ते हैं। इसे एक उच्च-गुणवत्ता वाले प्रिंटर के रूप में सोचें। छात्र कम-रिज़ॉल्यूशन वाले स्केच पर पैटर्न सीखता है, और यह "प्रिंटर" उसे सुचारू बनाता है और अंतराल को भर देता है ताकि आप पेज के किसी भी हिस्से पर परिणाम स्पष्ट रूप से देख सकें।

4. उन्होंने क्या पाया (परिणाम)

लेखकों ने इस "स्मार्ट फ़िल्टर + प्रिंटर" संयोजन का परीक्षण विभिन्न कठिन भौतिकी समस्याओं (जैसे तरल प्रवाह, ध्वनि तरंगें और संरचनात्मक तनाव) पर किया।

शोर हैंडलिंग (Noise Handling): जब डेटा शोर वाला था, तो पुरानी विधि (unregularized) भ्रमित हो गई और उसने अस्त-व्यस्त भविष्यवाणियां कीं। नया तरीका (RRFF) शोर को अनदेखा कर देता है और साफ, सटीक परिणाम देता है।
गति (Speed): पुरानी "लाइब्रेरी" विधि (कर्नेल विधियाँ) बहुत सटीक थी लेकिन उसे प्रशिक्षित करने में बहुत समय लगा। नया तरीका लगभग उतना ही सटीक है लेकिन बहुत तेजी से प्रशिक्षित होता है।
बहुमुखी प्रतिभा (Versatility): यह सरल हवा के समीकरणों से लेकर जटिल संरचनात्मक यांत्रिकी तक सब कुछ पर अच्छी तरह से काम करता है, जो साबित करता है कि यह अव्यवजनपूर्ण, वास्तविक दुनिया के डेटा के लिए एक मजबूत उपकरण है।

सारांश उपमा

कल्पना कीजिए कि आप एक रेडियो को एक स्पष्ट स्टेशन पर ट्यून करने की कोशिश कर रहे हैं, लेकिन वहां बहुत अधिक स्टैटिक (शोर) है।

पुरानी विधि: आप बेतरतीब ढंग से डायल घुमाते हैं और उम्मीद करते हैं कि आपको सिग्नल मिल जाएगा, लेकिन स्टैटिक के कारण सुनना कठिन हो जाता है।
कर्नेल विधि: आप एक ही समय में ब्रह्मांड की हर आवृत्ति (frequency) को सुनते हैं ताकि सही एक मिल सके। यह काम तो करता है, लेकिन इसमें एक जीवन बीत जाता है।
इस पेपर की विधि: आप एक नॉइज़-कैंसलिंग हेडफ़ोन (रेगुलराइजेशन) का उपयोग करते हैं जो स्वचालित रूप से स्टैटिक को फ़िल्टर करता है, और आप एक विशेष फ्रीक्वेंसी बैंड (Student's t distribution) पर ट्यून करते हैं जो हस्तक्षेप (interference) के प्रति कम संवेदनशील है। आप बिना पूरे ब्रह्मांड को सुने, जल्दी से एक स्पष्ट, तेज़ सिग्नल प्राप्त करते हैं।

संक्षेप में: यह पेपर हमें शोर वाले, अव्यवजनपूर्ण डेटा से भौतिकी के नियमों को सीखने के लिए कंप्यूटर को सिखाने का एक तेज़, अधिक मजबूत तरीका देता है, जिसके लिए सुपरकंप्यूटर या पूर्ण जानकारी की आवश्यकता नहीं है।

तकनीकी सारांश: सोबोलेव स्पेस में ऑपरेटर लर्निंग के लिए रेगुलराइज्ड रैंडम फूरियर फीचर्स और फाइनाइट एलीमेंट रिकंस्ट्रक्शन

समस्या विवरण
ऑपरेटर लर्निंग का लक्ष्य अनंत-आयामी फंक्शन स्पेस (जैसे कि आंशिक अंतर समीकरणों (PDEs) के समाधान ऑपरेटर) के बीच मैपिंग को अनुमानित करना है। जबकि कर्नेल-आधारित विधियाँ सैद्धांतिक रूप से न्यायसंगत सन्निकटन और मजबूत अभिसरण गारंटी प्रदान करती हैं, वे बड़े प्रशिक्षण सेटों पर लागू होने पर कम्प्यूटेशनल बाधाओं (कर्नेल मैट्रिक्स की $O(m^2)$ जटिलता के कारण) का सामना करती हैं और शोर (noise) के प्रति संवेदनशील होती हैं। मानक न्यूरल ऑपरेटर्स (जैसे DeepONet, FNO) स्केलेबिलिटी की समस्या को हल करते हैं, लेकिन उन्हें अक्सर व्यापक प्रशिक्षण संसाधनों की आवश्यकता होती है और उनमें कंडीशनिंग तथा शोर वाले परिदृश्यों में सामान्यीकरण (generalization) के संबंध में स्पष्ट सैद्धांतिक गारंटी का अभाव होता है। कई मौजूदा रैंडम फीचर विधियाँ शोर-मुक्त डेटा मानती हैं या आवृत्ति-डोमेन (frequency-domain) नमूनों की आवश्यकता होती है जो सुलभ नहीं हो सकते हैं। यह कार्य शोर वाले डेटा (noisy data) से ऑपरेटर सीखने की चुनौती को संबोधित करता है, जबकि कम्प्यूटेशनल दक्षता और सैद्धांतिक स्थिरता बनाए रखता है।

कार्यप्रणाली (Methodology)
लेखक एक रेगुलराइज्ड रैंडम फूरियर फीचर (RRFF) दृष्टिकोण प्रस्तावित करते हैं जो एक फाइनाइट एलीमेंट रिकंस्ट्रक्शन मैप (RRFF-FEM) के साथ जुड़ा हुआ है। यह ढांचा ऑपरेटर लर्निंग की समस्या को दो चरणों में विभाजित करता है: एक परिमित-आयामी मानचित्र $\hat{f}$ सीखना और रिकवरी मैप के माध्यम से आउटपुट फंक्शन को पुनर्गठित करना।

रेगुलराइज्ड रैंडम फूरियर फीचर्स (RRFF):
- मानक न्यूनतम-नॉर्म इंटरपोलेशन के बजाय, यह विधि फ्रीक्वेंसी-वेटेड टिखोनोव रेगुलराइजेशन (frequency-weighted Tikhonov regularization) का उपयोग करती है। रैंडम फीचर एक्सपेंशन के गुणांक $c^{(j)}$ को निम्नलिखित को हल करके प्राप्त किया जाता है:
  $c^{(j)} = \arg\min_{x \in \mathbb{R}^N} \|Ax - v^{(j)}\|_2^2 + \alpha \sum_{k=1}^N \|\omega_k\|_2^p |x_k|^2$
  जहाँ $A$ एक रैंडम फीचर मैट्रिक्स है, $v^{(j)}$ शोर युक्त लक्षित डेटा का प्रतिनिधित्व करता है, और रेगुलराइजेशन टर्म उच्च-आवृत्ति वाले भार $\omega_k$ से जुड़े गुणांकों को दंडित करता है। यह विशेष रूप से उच्च-आवृत्ति वाले शोर को दबाने के लिए लक्षित है।
- फीचर वेट्स (Feature Weights): रैंडम फीचर वेट्स $\{\omega_k\}$ को मल्टीवेरिएट स्टूडेंट्स t वितरण (multivariate Student's $t$ distribution) से $\nu$ डिग्री ऑफ फ्रीडम के साथ सैंपल किया जाता है। यह पूर्ववर्ती कार्यों का सामान्यीकरण करता है, जिसमें कॉची ( $\nu=1$ ) से लेकर गौसियन ( $\nu \to \infty$ ) वितरणों तक की सीमा शामिल है, जिससे फंक्शन की नियमितता (regularity) को एनकोड करने में लचीलापन मिलता है।
फाइनाइट एलीमेंट रिकवरी मैप (FEM):
- किसी भी स्थानिक डोमेन और मेश को संभालने के लिए, यह विधि निरंतर फंक्शन को टारगेट स्पेस $V$ में मैप करने के लिए लाग्रेंज फाइनाइट एलीमेंट इंटरपोलेशन को रिकवरी मैप ( $R_V$ ) के रूप में उपयोग करती है। यह सीखे गए ऑपरेटर को केवल प्रशिक्षण कोलोकेशन पॉइंट्स पर ही नहीं, बल्कि स्थानिक डोमेन के किसी भी बिंदु पर मूल्यांकन करने की अनुमति देता है।
सैद्धांतिक ढांचा (Theoretical Framework):
- लेखक स्टूडेंट्स $t$ वितरण से जुड़े रैंडम फीचर मैट्रिक्स $A$ के एक्सट्रीम सिंगुलर मानों (extreme singular values) के लिए उच्च-संभाव्यता बाउंड्स (high-probability bounds) स्थापित करते हैं।
- वे सिद्ध करते हैं कि यदि फीचर्स की संख्या $N$ इस प्रकार स्केल होती है कि $N \sim m \log m$ (जहाँ $m$ प्रशिक्षण नमूनों की संख्या है), तो मैट्रिक्स उच्च संभाव्यता के साथ वेल-कंडीशन्ड (well-conditioned) होता है। यह स्थिर अनुमान और सामान्यीकरण गारंटी सुनिश्चित करता है।

प्रमुख योगदान

नवीन एल्गोरिदम: RRFF-FEM का परिचय, जो शोर वाले ऑपरेटर लर्निंग के लिए विशेष रूप से डिज़ाइन किए गए रेगुलराइज्ड रैंडम फीचर्स और फाइनाइट एलीमेंट रिकंस्ट्रक्शन को संयोजित करता है।
सैद्धांतिक सामान्यीकरण: मल्टीवेरिएट स्टूडेंट्स $t$ वितरणों से प्राप्त रैंडम फीचर मैट्रिसेस के कंडीशन नंबर के लिए कंसंट्रेशन बाउंड्स का व्युत्पत्ति। यह गौसियन और कॉची वितरणों के पिछले परिणामों को एकीकृत और विस्तारित करता है।
कंडीशनिंग विश्लेषण: यह प्रमाण कि जब जटिलता अनुपात $N/m$ नमूना आकार के साथ लॉगरिदमिक रूप से स्केल होता है, तो सिस्टम वेल-कंडीशन्ड रहता है, जो विधि की स्थिरता के लिए एक सैद्धांतिक आधार प्रदान करता है।
शोर के प्रति मजबूती (Robustness to Noise): यह प्रदर्शन करता है कि फ्रीक्वेंसी-वेटेड रेगुलराइजेशन उच्च-आवृत्ति वाले शोर को प्रभावी ढंग से दबाता है, जो शोर वाले परिवेश में अनरेगुलराइज्ड रैंडम फूरियर फीचर्स (RFF) की तुलना में बेहतर प्रदर्शन करता है।

प्रायोगिक परिणाम
लेखकों ने बेंचमार्क PDE समस्याओं पर व्यापक संख्यात्मक प्रयोग किए: एडवेक्शन (I, II, III), बर्गर्स समीकरण, डार्सी फ्लो, हेल्महोल्ट्ज़ समीकरण, नेवियर-स्टोक्स समीकरण और स्ट्रक्चरल मैकेनिक्स।

अनरेगुलराइज्ड RFF बनाम प्रदर्शन: सभी बेंचमार्क में, रेगुलराइज्ड RRFF विधियों ने लगातार अनरेगुलराइज्ड RFF की तुलना में कम रिलेटिव टेस्ट एरर और तेज़ प्रशिक्षण समय प्राप्त किया। रेगुलराइजेशन ने रैखिक प्रणाली (linear system) की कंडीशनिंग में सुधार किया, जिससे अभिसरण (convergence) तेज हुआ।
कर्नेल विधियों के साथ तुलना: बर्गर्स और डार्सी फ्लो समस्याओं के लिए, RRFF विधियों ने RBF और मेटर्न कर्नेल विधियों के तुलनीय टेस्ट एरर प्राप्त किए, लेकिन इसके लिए काफी कम प्रशिक्षण समय (उदाहरण के लिए, डार्सी फ्लो के लिए कई गुना कम समय) की आवश्यकता पड़ी।
न्यूरल ऑपरेटर्स के साथ तुलना: हालांकि पेपर नोट करता है कि (शोर-मुक्त डेटा पर उद्धृत) DeepONet और FNO के परिणाम प्रतिस्पर्धी सटीकता दिखाते हैं, RRFF दृष्टिकोण गहरे न्यूरल नेटवर्क को प्रशिक्षित करने की उच्च कम्प्यूटेशनल लागत के बिना शोर वाले डेटा पर समान सटीकता प्राप्त करता है।
स्टूडेंट्स $t$ वितरण: प्रयोगों में विभिन्न डिग्री ऑफ फ्रीडम ( $\nu = 2, 3, \infty$ ) का उपयोग किया गया। परिणामों ने संकेत दिया कि $\nu = \infty$ (गौसियन) अक्सर सबसे कम त्रुटि देता है, हालांकि सीमित $\nu$ के साथ स्टूडेंट्स $t$ ने मजबूत प्रदर्शन प्रदान किया।
शोर प्रतिरोध (Noise Resilience): पॉइंटवाइज एरर विज़ुअलाइज़ेशन ने पुष्टि की कि RRFF-FEM ने अनरेगुलराइज्ड समकक्षों की तुलना में पुनर्गठित समाधानों में शोर आर्टिफैक्ट्स को प्रभावी ढंग से कम किया।

महत्व और दावे
पेपर का दावा है कि प्रस्तावित RRFF-FEM विधि शोर वाले डेटा से ऑपरेटर सीखने के लिए कर्नेल-आधारित और न्यूरल ऑपरेटर विधियों दोनों के लिए एक कम्प्यूटेशनल रूप से कुशल और मजबूत विकल्प है। रेगुलर फीचर्स और फाइनाइट एलीमेंट रिकंस्ट्रक्शन का लाभ उठाकर, यह विधि:

कर्नेल विधियों की $O(m^2)$ कम्प्यूटेशनल बाधा से बचती है।
लर्निंग समस्या की कंडीशनिंग पर सैद्धांतिक गारंटी प्रदान करती है।
प्रशिक्षण समय को काफी कम करते हुए प्रतिस्पर्धी सटीकता बनाए रखती है।
विशेष हार्डवेयर (जैसे GPU) या महंगी कम्प्यूटेशनल संसाधनों की आवश्यकता नहीं होती है, जिससे यह वैज्ञानिक कंप्यूटिंग अनुप्रयोगों की एक विस्तृत श्रृंखला के लिए सुलभ हो जाता है।

लेखक निष्कर्ष निकालते हैं कि यह विधि विशेष रूप से उन स्थितियों में प्रभावी है जहाँ डेटा शोर से दूषित होता है, जो कि व्यावहारिक वैज्ञानिक और इंजीनियरिंग अनुप्रयोगों में एक सामान्य परिदृश्य है जहाँ शासी समीकरण (governing equations) अज्ञात हो सकते हैं या डेटा अपूर्ण हो सकता है।

1. समस्या: "शोर वाला" क्लासरूम

2. समाधान: "स्मार्ट फ़िल्टर" (RRFF)

3. फिनिश लाइन: "फाइनाइट एलीमेंट मैप" (FEM)

4. उन्होंने क्या पाया (परिणाम)

सारांश उपमा

इसी तरह के और पेपर