📊 statistics

Multiple Neural Operators Achieve Near-Optimal Rates for Multi-Task Learning

यह शोध पत्र यह स्थापित करता है कि मल्टीपल न्यूरल ऑपरेटर्स (MNO) आर्किटेक्चर मल्टी-टास्क ऑपरेटर लर्निंग के लिए निकट-इष्टतम सन्निकटन (approximation) और सांख्यिकीय जटिलता प्राप्त करता है, जो यह प्रदर्शित करता है कि साझा प्रतिनिधित्व (shared representations) सिंगल-टास्क लर्निंग की तुलना में समग्र शिक्षण लागत को नहीं बढ़ाते हैं और कॉनकैटिनेटेड (concatenated) DeepONet एक्सटेंशन के समतुल्य स्पर्शोन्मुख (asymptotically) प्रदर्शन करते हैं।

मूल लेखक: Adrien Weihs, Hayden Schaeffer

प्रकाशित 2026-05-22

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Adrien Weihs, Hayden Schaeffer

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को गणित की विभिन्न समस्याओं की एक विशाल लाइब्रेरी हल करना सिखाने की कोशिश कर रहे हैं। कुछ समस्याएं पाइप के आकार पर निर्भर करती हैं, कुछ कार की गति पर, और कुछ कमरे के तापमान पर। मशीन लर्निंग की दुनिया में, इनमें से प्रत्येक एक अलग "कार्य" (task) है।

आमतौर पर, यदि आप चाहते हैं कि एक रोबोट इन सभी कार्यों को सीख ले, तो आप एक ही विशाल, अत्यंत जटिल मस्तिष्क बनाने की कोशिश कर सकते हैं जो एक साथ हर एक नियम को याद रखने की कोशिश करता है। या, आप प्रत्येक कार्य के लिए एक अलग, छोटा मस्तिष्क बना सकते हैं।

यह शोध पत्र एक विशिष्ट प्रकार के रोबोट मस्तिष्क के बारे में है जिसे मल्टीपल न्यूरल ऑपरेटर (MNO) कहा जाता है। MNO को एक "स्विस आर्मी नाइफ" (Swiss Army Knife) मस्तिष्क के रूप में समझें। इसके पास हर काम के लिए एक अलग ब्लेड होने के बजाय, इसमें एक मुख्य हैंडल है जो कार्य के आधार पर अलग-अलग औजारों के बीच स्विच कर सकता है। लक्ष्य यह देखना है कि इस स्विस आर्मी नाइफ को सभी कार्यों को पूरी तरह से सीखने के लिए कितना बड़ा और जटिल होने की आवश्यकता है।

लेखकों ने क्या खोजा है, इसे यहाँ सरल भाषा में समझाया गया है:

1. "विशाल मस्तिष्क" का डर (पुराना तरीका)

इस शोध पत्र से पहले, शोधकर्ता एक समस्या को लेकर चिंतित थे जिसे वे "पैरामेट्रिक कॉम्प्लेक्सिटी का अभिशाप" (Curse of Parametric Complexity) कहते थे।

कल्पना कीजिए कि आप 100 अलग-अलग भाषाएँ सीखने की कोशिश कर रहे हैं। पुराने सिद्धांत ने सुझाव दिया था कि यदि आप एक ही मस्तिष्क के साथ एक साथ वे सभी भाषाएँ सीखने की कोशिश करते हैं, तो आपका मस्तिष्क तेजी से बड़ा होता जाएगा—जैसे ब्लॉक्स का एक टॉवर जो हर नई भाषा जोड़ने पर दोगुना बड़ा हो जाता है। यह डर था कि कई कार्यों को एक साथ सीखना बहुत अधिक कठिन होगा और इसके लिए एक अकेले कार्य की तुलना में बहुत अधिक मेमोरी की आवश्यकता होगी।

2. "स्मार्ट ऑर्गनाइज़र" की खोज (नया तरीका)

लेखकों ने देखा कि MNO "स्विस आर्मी नाइफ" कैसे बना है। उन्होंने महसूस किया कि पिछले डर एक भद्दे तरीके से मस्तिष्क बनाने पर आधारित थे। यह एक सूटकेस पैक करने जैसा था जहाँ आप सब कुछ बेतरतीब ढंग से फेंक देते हैं और फिर अपने मोजे ढूँढने की कोशिश करते हैं।

उन्होंने एक बेहतर पैकिंग रणनीति (एक परिष्कृत गणितीय निर्माण) प्रस्तावित की। जटिलता को जमा होने देने के बजाय, उन्होंने सीखने को इस तरह व्यवस्थित किया कि "टूल-स्विचिंग" (औजार बदलने वाला) हिस्सा और "प्रॉब्लम-सॉल्विंग" (समस्या सुलझाने वाला) हिस्सा समानांतर (parallel) रूप से काम करें, न कि एक अव्यवस्थित श्रृंखला अभिक्रिया की तरह।

परिणाम: उन्होंने सिद्ध किया कि इस बेहतर संगठन के साथ, मस्तिष्क को केवल इसलिए घातीय रूप से (exponentially) बढ़ने की आवश्यकता नहीं है क्योंकि कार्य बढ़ रहे हैं।

उपमा: इस नए MNO के साथ 100 कार्यों को सीखना लगभग उतना ही कठिन है जितना कि केवल एक कार्य को सीखना, बशर्ते आपके पास सही संरचना हो। "लागत" (मस्तिष्क का आकार) अच्छी तरह से स्केल होती है, विस्फोट की तरह नहीं।

3. "अनिवार्य दीवार" (The Unavoidable Wall)

लेखकों ने केवल यह नहीं कहा, "हे, हमने एक बेहतर तरीका खोज लिया है!" बल्कि उन्होंने यह भी पूछा, "क्या कोई मौलिक सीमा है जिसे हम तोड़ नहीं सकते?"

उन्होंने सिद्ध किया कि सबसे अच्छे संभव मस्तिष्क के साथ भी, जटिलता की एक "दीवार" मौजूद है। यदि कार्य बहुत अव्यवset और अप्रत्याशित (गणितीय रूप से "लिप्सचिट्ज़" लेकिन स्मूथ नहीं) हैं, तो आपको वास्तव में एक बहुत बड़े मस्तिष्क की आवश्यकता होगी।

उपमा: इसे मौसम की भविष्यवाणी करने की कोशिश करने जैसा समझें। आपके कंप्यूटर के कितना भी स्मार्ट होने के बावजूद, यदि मौसम अराजक (chaotic) है, तो आपको इसे सही ढंग से समझने के लिए भारी कंप्यूटिंग शक्ति की आवश्यकता होगी। आप भौतिकी (physics) को धोखा नहीं दे सकते। यह शोध पत्र सिद्ध करता है कि इन विशिष्ट प्रकार की अव्यवस्थित समस्याओं के लिए, आप एक छोटे मस्तिष्क से काम नहीं चला सकते; आपको एक बड़े मस्तिष्क की आवश्यकता है, लेकिन कम से कम आपको केवल कई कार्यों के कारण एक असंभव रूप से विशाल मस्तिष्क की आवश्यकता नहीं है।

4. "कॉन्केटनेटेड" बनाम "स्पेशलाइज्ड" बहस

शोध पत्र ने MNO (विशेषज्ञ स्विस आर्मी नाइफ) की तुलना एक सरल दृष्टिकोण से भी की: बस कार्य के विवरण और समस्या को एक साथ जोड़कर एक बड़े इनपुट के रूप में एक मानक मस्तिष्क (जैसे DeepONet) में डाल देना।

निष्कर्ष: गणितीय रूप से, सबसे खराब स्थिति (worst-case scenario) में, दोनों दृष्टिकोणों को काम पूरा करने के लिए लगभग समान मात्रा में मस्तिष्क शक्ति की आवश्यकता होती है। वे एक ही "अनिवार्य दीवार" से टकराते हैं।
पेंच: भले ही गणित कहता है कि दोनों समान हैं, लेकिन पिछले प्रयोगों ने दिखाया कि वास्तविक जीवन में MNO वास्तव में बहुत बेहतर काम करता है।
क्यों? शोध पत्र सुझाव देता है कि जबकि worst-case गणित समान है, MNO वास्तविक दुनिया की समस्याओं की संरचना को संभालने में बहुत बेहतर है। यह इस तथ्य का सम्मान करता है कि "कार्य विवरण" और "इनपुट डेटा" अलग-अलग चीजें हैं, जो इसे व्यवहार में तेजी से सीखने में मदद करता है। यह वैसा ही है जैसे दो कारों की टेस्ट ट्रैक पर टॉप स्पीड समान हो सकती है, लेकिन एक कार वास्तविक सड़क पर मोड़ बहुत बेहतर तरीके से लेती है। MNO इस तथ्य का सम्मान करता है कि "टास्क डिस्क्रिप्शन" और "इनपुट डेटा" अलग-अलग चीजें हैं, जो इसे व्यवहार में तेजी से सीखने में मदद करता है।

सारांश

समस्या: हमें डर था कि एक साथ कई कार्यों को सीखने के लिए एक ऐसा मस्तिष्क चाहिए होगा जो बहुत बड़ा होकर उपयोगी न रहे।
समाधान: लेखकों ने मस्तिष्क बनाने का एक स्मार्ट तरीका (MNO) खोजा जो आकार के इस विस्फोट से बचता है।
वास्तविकता की जाँच: अव्यवस्थित समस्याओं के लिए मस्तिष्क के आकार की एक मौलिक सीमा अभी भी है, लेकिन वह सीमा एक एकल कार्य को सीखने के समान ही है।
मुख्य बात: मल्टी-टास्क लर्निंग स्वाभाविक रूप से सिंगल-टास्क लर्निंग से कठिन नहीं है यदि आप सही आर्किटेक्चर का उपयोग करते हैं। जिसे लोग "अतिरिक्त लागत" समझ रहे थे, वह केवल एक भद्दे डिज़ाइन का परिणाम था, न कि प्रकृति का कोई नियम।

तकनीकी सारांश: मल्टी-टास्क लर्निंग के लिए निकट-इष्टतम दरें प्राप्त करने वाले बहु-न्यूरल ऑपरेटर्स

समस्या विवरण
यह शोध पत्र मल्टी-टास्क ऑपरेटर लर्निंग (multi-task operator learning) की समस्या को संबोधित करता है, विशेष रूप से एक साझा न्यूरल नेटवर्क मॉडल के भीतर ऑपरेटरों के संग्रह के सन्निकटन (approximation) को। मानक ऑपरेटर लर्निंग, जो एक एकल मानचित्र $G: U \to V$ का सन्निकटन करता है, के विपरीत मल्टी-टास्क लर्निंग एक मानचित्र $G: W \to \{G[\alpha]: U \to V\}_{\alpha \in W}$ का सन्निकटन करने का प्रयास करती है, जहाँ $\alpha \in W$ विशिष्ट ऑपरेटर या कार्य (जैसे पैरामीट्रिक PDEs, बदलते सीमा स्थितियाँ) के लिए एक डिस्क्रिप्टर (descriptor) के रूप में कार्य करता है।

पहचाना गया केंद्रीय संकट पैरामीट्रिक जटिलता (parametric complexity) की संभावना है। पिछले कार्य में मल्टीपल न्यूरल ऑपरेटर्स (MNO) आर्किटेक्चर [47] द्वारा स्थापित रचनात्मक सन्निकटन सीमाएँ (constructive approximation bounds) दर्शाती थीं कि वे मानक सिंगल-ऑपरेटर लर्निंग की तुलना में "एक्सपोनेंशियल ब्लो-अप" (exponential blow-up) प्रदर्शित करती हैं। विशेष रूप से, $\varepsilon$ सटीकता प्राप्त करने के लिए आवश्यक पैरामीटर गणना $N^\#$ का पैमाना $N^\# \lesssim \varepsilon^{-\varepsilon^{-\varepsilon^{-d_W}}}$ था, जो यह सुझाव देता था कि मल्टी-टास्क लर्निंग, सिंगल-टास्क लर्निंग की तुलना में स्वाभाविक रूप से अधिक जटिल हो सकती है। यह शोध पत्र इस जांच करता है कि क्या यह जटिलता रचनात्मक प्रमाण रणनीति (constructive proof strategy) का एक आर्टिफैक्ट (artifact) है या समस्या वर्ग की एक अंतर्निहित बाधा है।

कार्यप्रणाली (Methodology)
लेखक रचनात्मक सन्निकटन सिद्धांत (constructive approximation theory), सांख्यिकीय लर्निंग सिद्धांत (statistical learning theory), और लोअर-बाउंड कॉम्प्लेक्सिटी विश्लेषण (lower-bound complexity analysis) के संयोजन का उपयोग करते हैं।

परिष्कृत रचनात्मक सन्निकटन (MNO): लेखक MNO आर्किटेक्चर का विश्लेषण करते हैं, जिसे सब-नेटवर्क्स के विभाज्य योग (separable sum) के रूप में परिभाषित किया गया है:
$\text{MNO}[\alpha][u](x) = \sum_{p=1}^P \sum_{k=1}^H l_p(M_W(\alpha)) b_{pk}(M_U(u)) \tau_{pk}(x)$
वे एक समानांतर त्रुटि विश्लेषण (parallel error analysis) रणनीति पेश करते हैं (जो पिछले "नेस्टेड" (nested) रणनीति के विपरीत है)। नेस्टेड दृष्टिकोण में, दूसरे चरण (इनपुट फंक्शन डिपेंडेंस का सन्निकटन) की त्रुटि पहले चरण (पैरामीटर डिपेंडेंस) के पदों की संख्या के साथ संचित होती है, जिससे बहुत अधिक सटीक प्रति-पद सटीकता की आवश्यकता होती है और जटिलता बढ़ जाती है। नए समानांतर दृष्टिकोण में, गुणांक $l_p$ एक अनुमानित 'पार्टिशन ऑफ यूनिटी' ( $\sum l_p \approx 1$ ) बनाते हैं। यह दूसरे चरण की त्रुटि को पहले चरण के पदों की संख्या से अलग (decouple) कर देता है, जिससे दूसरा चरण लक्षित सटीकता $\varepsilon$ पर कार्य कर पाता है, न कि बहुत छोटी $\varepsilon^{\gamma+1}$ पर।
सांख्यिकीय सामान्यीकरण (Statistical Generalization): परिष्कृत सन्निकटन सीमाओं का उपयोग करते हुए, लेखक [46] द्वारा स्थापित ढांचे का अनुसरण करते हुए, हाइपोथीसिस क्लास के मेट्रिक एंट्रॉपी (metric entropy) के साथ अपने सांख्यिकीय लर्निंग रेट्स प्राप्त करते हैं।
लोअर-बाउंड थ्योरी: मिनिमैक्स दरों (minimax rates) को स्थापित करने के लिए, लेखक [26] के लोअर-कॉम्प्लेक्सिटी फ्रेमवर्क (जो अनंत-आयामी क्यूब्स और पैथोलॉजिकल ऑपरेटर्स पर आधारित है) को मल्टी-टास्क सेटिंग में विस्तारित करते हैं। वे न्यूरल नेटवर्क प्रकार के मल्टीपल ऑपरेटर मैप्स और सिमेट्रिक मल्टीपल ऑपरेटर मैप्स को परिभाषित करते हैं, और यह सिद्ध करते हैं कि व्यापक लिप्सचिट्ज़ (Lipschitz) और डिफरेंशिएबल मैप्स के लिए, कोई भी न्यूरल नेटवर्क जो सटीकता $\varepsilon$ प्राप्त करता है, उसे $C(NN) \gtrsim \exp(c \varepsilon^{-1/\eta})$ के रूपв रूप में एक लोअर बाउंड को संतुष्ट करना होगा।
आर्किटेक्चरल तुलना: शोध पत्र एक कॉन्केटेनेटेड डीप-ओनेट (concatenated DeepONet) बेसलाइन का विश्लेषण करता है, जहाँ ऑपरेटर डिस्क्रिप्टर $\alpha$ और इनपुट $u$ को कॉन्केटेनेट किया जाता है और उन्हें एक एकल नेटवर्क में फीड किया जाता है। वे MNO के स्केलिंग लॉ के साथ तुलना करने के लिए इस आर्किटेक्चर के लिए ऊपरी और निचली दोनों सीमाएँ प्राप्त करते हैं।

प्रमुख योगदान और परिणाम

निकट-इष्टतम सन्निकटन दरें (Near-Optimal Approximation Rates): प्राथमिक सैद्धांतिक योगदान MNO के लिए रचनात्मक ऊपरी सीमाओं (constructive upper bounds) में एक महत्वपूर्ण सुधार है। लेखक सिद्ध करते हैं कि लिप्सचिट्ज़ मल्टीपल ऑपरेटर मैप्स के लिए, $\varepsilon$ सटीकता प्राप्त करने के लिए आवश्यक कुल गैर-शून्य पैरामीटर्स $N^\#$ निम्नलिखित रूप में संतुष्ट होते हैं:
$N^\# \lesssim \exp\left( d \log(\varepsilon^{-1}) \varepsilon^{-\max\{d_W, d_U\}} \right)$
इस संबंध को उलटने (inverting) पर प्राप्त होता है:
$\varepsilon \lesssim \left( \frac{\log N^\#}{\log \log N^\#} \right)^{-1/\max\{d_W, d_U\}}$
ये दरें गुणात्मक रूप से उन दरों के समान हैं जो सिंगल-ऑपरेटर लर्निंग के लिए ज्ञात हैं, जो यह प्रदर्शित करती हैं कि पिछला "एक्सपोनेंशियल ब्लो-अप" प्रमाण तकनीक का एक आर्टिफैक्ट था, न कि मल्टी-टास्क लर्निंग का कोई अंतर्निहित गुण।
परिष्कृत सांख्यिकीय लर्निंग दरें: फलस्वरूप, MNO के लिए सांख्यिकीय सामान्यीकरण त्रुटि इस प्रकार स्केल होती है:
$O\left( \left( \frac{\log n_\alpha}{\log \log n_\alpha} \right)^{-2/\max\{d_W, d_U\}} \right)$
जहाँ $n_\alpha$ नमूने लिए गए ऑपरेटर्स की संख्या है। यह सिंगल-ऑपरेटर लर्निंग के स्केलिंग लॉ से मेल खाता है, जो पुष्टि करता है कि साझा प्रतिनिधित्व (shared representations) समग्र सांख्यिकीय लागत को नहीं बढ़ाते हैं।
लोअर कॉम्प्लेक्सिटी बाउंड्स और मिनिमैक्स दरें: शोध पत्र मल्टी-टास्क लर्निंग के लिए पैरामीट्रिक कॉम्प्लेक्सिटी के अभिशाप (curse of parametric complexity) को स्थापित करता है। वे सिद्ध करते हैं कि व्यापक लिप्सचिट्ज़ और डिफरेंशिएबल मल्टीपल ऑपरेटर मैप्स के लिए, कॉम्प्लेक्सिटी का लोअर बाउंड है:
$C(NN) \gtrsim \exp\left( c \varepsilon^{-1/[(\eta+1+\delta)r]} \right)$
सुधारित ऊपरी सीमाओं के साथ संयोजन करते हुए, लेखक मिनिमैक्स सन्निकटन-जटिलता दरें प्राप्त करते हैं। हालांकि ऊपरी और निचली सीमाएं सटीक घातांक (exponent) में भिन्न हैं, लेकिन दोनों एक डबल-एक्सपोनेंशियल कॉम्प्लेक्सिटी रिजीम की पुष्टि करती हैं, जो यह संकेत देती है कि जबकि पिछले कार्य का विशिष्ट "ब्लो-अप" टाला जा सकता है, सामान्य लिप्सचिट्ज़ वर्गों के लिए एक वास्तविक एक्सपोनेंशियल बाधा बनी रहती है।
कॉन्केटेनेटेड डीप-ओनेट के साथ तुलना: लेखक सिद्ध करते हैं कि कॉन्केटेनेटेड डीप-ओनेट आर्किटेक्चर (जहाँ $\alpha$ और $u$ को कॉन्केटेनेट किया जाता है) अनिवार्य रूप से MNO के समान मिनिमैक्स सन्निकटन-जटिलता स्केलिंग लॉ को संतुष्ट करता है। विशेष रूप से, दोनों आर्किटेक्चर एक ही वर्स्ट-केस कॉम्प्लेक्सिटी बाउंड साझा करते हैं।

महत्व और दावे
शोध पत्र मल्टी-टास्क ऑपरेटर लर्निंग की एक मौलिक समस्या को हल करने का दावा करता है: कार्य के बीच साझा प्रतिनिधित्व समग्र लागत को नहीं बढ़ाते हैं। परिणाम प्रदर्शित करते हैं कि मल्टी-टास्क ऑपरेटर लर्निंग, सिंगल-ऑपरेटर लर्निंग के समान ही स्केलिंग लॉ का पालन करती है।

इस कार्य का महत्व निम्नलिखित में निहित है:

जटिलता के स्रोतों को स्पष्ट करना: यह रचनात्मक विश्लेषण के आर्टिफैक्ट (पिछला एक्सपोनेंशियल ब्लो-अप) और अंतर्निहित बाधाओं (डबल-एक्सपोनेंशियल पैरामीट्रिक कॉम्प्लेक्सिटी का अभिशाप) के बीच अंतर करता है।
MNO का सैद्धांतिक सत्यापन: यह MNO आर्किटेक्चर के लिए एक सैद्धांतिक औचित्य प्रदान करता है, यह दिखाते हुए कि यह बिना किसी संदिग्ध अंतर्निहित दंड के निकट-इष्टतम दरें प्राप्त करता है।
वर्स्ट-केस में आर्किटेक्चरल समानता: यह निष्कर्ष कि MNO और कॉन्केटेनेटेड डीप-ओनेट समान मिनिमैक्स दरें साझा करते हैं, यह सुझाव देता है कि पिछले कार्य [47] में देखा गया MNO का अनुभवजन्य श्रेष्ठता (जहाँ MNO ने कॉन्केटेनेटेड डीप-ओनेट को कई गुना पीछे छोड़ दिया था) संभवतः डेटा और कार्यों के विशिष्ट संरचनात्मक या ज्यामितीय गुणों के कारण है, न कि वर्स्ट-केस सन्निकटन जटिलता में अंतर के कारण। शोध पत्र यह तर्क देता है कि MNO का पैरामीटर और इनपुट भूमिकाओं का स्पष्ट पृथक्करण व्यावहारिक रूप से फायदेमंद है, भले ही मिनिमैक्स दरएं दोनों आर्किटेटेक्चर के बीच अंतर न करती हों।

लेखक निष्कर्ष निकालते हैं कि हालांकि केवल लिप्सचिट्ज़ रेगुलैरिटी (regularity) पैरामीट्रिक कॉम्प्लेक्सिटी के अभिशाप को दूर नहीं कर सकती है, लेकिन अतिरिक्त संरचनाओं (जैसे होलोमोर्फिक डिपेंडेंस या PDE-विशिष्ट रेगुलैरिटी) का लाभ उठाना काफी बेहतर दर प्राप्त करने के लिए एक आशाजनक दिशा बनी हुई है।

1. "विशाल मस्तिष्क" का डर (पुराना तरीका)

2. "स्मार्ट ऑर्गनाइज़र" की खोज (नया तरीका)

3. "अनिवार्य दीवार" (The Unavoidable Wall)

4. "कॉन्केटनेटेड" बनाम "स्पेशलाइज्ड" बहस

सारांश

इसी तरह के और पेपर