📊 statistics

Towards regularized learning from functional data with covariate shift

यह शोध पत्र कोवेरिएट शिफ्ट के तहत अनसुपरवाइज्ड डोमेन एडाप्टेशन के लिए वेक्टर-वैल्यूड रिप्रोड्यूसिंग कर्नेल हिल्बर्ट स्पेस का उपयोग करते हुए एक रेगुलराइज्ड लर्निंग फ्रेमवर्क प्रस्तावित करता है, जो इष्टतम अभिसरण दर (कन्वर्जेंस रेट) स्थापित करता है और ट्यूनिंग पैरामीटर चयन को संबोधित करने के लिए एक एग्रीगेशन-आधारित दृष्टिकोण पेश करता है और वास्तविक दुनिया के फंक्शनल डेटा पर प्रभावशीलता प्रदर्शित करता है।

मूल लेखक: Markus Holzleitner, Sergiy Pereverzyev, Sergei V. Pereverzyev, Vaibhav Silmana, S. Sivananthan

प्रकाशित 2026-01-30

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Markus Holzleitner, Sergiy Pereverzyev, Sergei V. Pereverzyev, Vaibhav Silmana, S. Sivananthan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ सरल भाषा और रचनात्मक उपमाओं का उपयोग करते हुए शोध पत्र का स्पष्टीकरण दिया गया है।

बड़ी तस्वीर: एक "अलग" दुनिया से सीखना

कल्पना कीजिए कि आप एक शेफ हैं जो एक आदर्श केक बनाना सीखने की कोशिश कर रहे हैं। आपके पास एक कुकबुक (ट्रेनिंग डेटा) है जिसमें धूप वाले, गर्म किचन में पके हुए केक की रेसिपी और तस्वीरें भरी हुई हैं (सोर्स डोमेन)। आप जानते हैं कि उस गर्म किचन में सामग्री कैसे व्यवहार करती है।

हालाँकि, जिस दिन आपको किसी क्लाइंट के लिए केक बनाना होता है, अचानक आप एक ठंडी, हवादार गुफा में पहुँच जाते हैं (टगेट डोमेन)। यहाँ सामग्रियाँ अलग तरह से प्रतिक्रिया करती हैं; आटा अजीब व्यवहार करता है, और ओवन असमान रूप से गर्म होता है। यदि आप अपनी पुरानी रेसिपी का बिल्कुल वैसे ही उपयोग करने की कोशिश करेंगे, तो केक के विफल होने की संभावना अधिक है। जहाँ आपने सीखा और जहाँ आप अपने ज्ञान को लागू कर रहे हैं, उसके बीच इस अंतर को कोवेरिएट शिफ्ट (Covariate Shift) कहा जाता है।

डेटा साइंस की दुनिया में, यह तब होता है जब ट्रेनिंग और टेस्टिंग के बीच "इनपुट" डेटा (सामग्री) का वितरण बदल जाता है, भले ही अंतर्निहित नियम (कैसे बेक करना है) वही रहता है।

समस्या: फंक्शनल डेटा (Functional Data) पेचीदा है

इस समस्या पर अधिकांश पिछले शोध सरल डेटा से संबंधित थे, जैसे कि एक एकल संख्या की भविष्यवाणी करना (जैसे, "तापमान क्या है?")।

यह पेपर एक बहुत कठिन चुनौती से निपटता है: फंक्शनल डेटा (Functional Data)। कल्पना कीजिए कि केवल एक संख्या बताने के बजाय, आप एक पूरी इमेज या एक वेवफॉर्म (waveform) को प्रेडिक्ट करने की कोशिश कर रहे हैं।

उपमा: तापमान का अनुमान लगाने के बजाय, आप एक धुंधले, विकृत एक्स-रे (सिनोग्राम) से पूरा चेहरा पुनर्गठित करने की कोशिश कर रहे हैं। "आउटपुट" केवल एक बिंदु नहीं है; यह एक जटिल, उच्च-रिज़ॉल्यूशन वाली तस्वीर है।
चुनौती: जब आप एक "अलग दुनिया" (गुफा) से इन जटिल छवियों को पुनर्गठित करना सीखने की कोशिश करते हैं, तो मानक तरीके विफल हो जाते हैं। वे शोर (noise) और डेटा के दिखने के तरीके में आए बदलाव से भ्रमित हो जाते हैं।

समाधान: एक स्मार्ट "वेटेड" (Weighted) रेसिपी बुक

लेखक इसे ठीक करने के लिए एक नया तरीका प्रस्तावित करते हैं, जो vRKHS (वेक्टर-वैल्यूड रिप्रोड्यूसिंग कर्नेल हिलबर्ट स्पेस) नामक गणितीय ढांचे पर आधारित है। इसे एक सुपर-एडवांस्ड, लचीली कुकबुक के रूप में समझें जो सामग्रियों के रूप में पूरी इमेज को संभाल सकती है।

यहाँ बताया गया है कि उनका तरीका कैसे काम करता है, चरण-दर-चरण:

1. "इंपॉर्टेंस वेट" (अनुवादक)

चूँकि गुफा (टारगेट) में डेटा किचन (सोर्स) से अलग दिखता है, इसलिए एल्गोरिदम को यह जानने की आवश्यकता है कि कौन सी रेसिपी अधिक प्रासंगिक है।

उपमा: एल्गोरिदम आपकी पुरानी कुकबुक की हर रेसिपी को एक "महत्व स्कोर" (वेट) देता है। यदि कोई रेसिपी ऐसी सामग्री का उपयोग करती है जो गुफा में आम है, तो उसे उच्च स्कोर मिलता है। यदि वह ऐसी सामग्री का उपयोग करती है जो गुफा में मौजूद नहीं है, तो उसे कम स्कोर मिलता है।
गणित: वे इन वेट्स का अनुमान लगाने के लिए KuLSIF नामक तकनीक का उपयोग करते हैं। यह एक अनुवादक की तरह है जो कहता है, "हे, इस प्रकार का आटा गुफा में दुर्लभ है, इसलिए हमें उन रेसिपीों पर भरोसा करना चाहिए जिनमें इसका कम उपयोग होता है।"

2. रेगुलराइजेशन (सुरक्षा जाल)

जब आप शोर वाले, शिफ्ट हुए डेटा से सीखने की कोशिश करते हैं, तो "ओवरफिटिंग" का जोखिम होता है। यह उस शेफ की तरह है जो धूप वाले किचन के लिए रेसिपी को इतनी बारीकी से याद कर लेता है कि वह ठंडी गुफा के अनुकूल होना भूल जाता है। वह फोटो में दिखने वाले धूल के कणों सहित, फोटो के बिल्कुल सटीक जैसा ही केक बनाने की कोशिश करता है।

उपमा: लेखक एक "रेगुलराइजेशन" पेनल्टी जोड़ते हैं। यह एक नियम है जो कहता है, "बहुत जटिल न बनें। रेसिपी को सरल और स्मूथ रखें।" यह एल्गोरिदम को केवल शोर को याद करने के बजाय, बेकिंग के सामान्य पैटर्न को खोजने के लिए मजबूर करता है।

3. "एग्रीगेशन" रणनीति (विशेषज्ञों का पैनल)

इस गणित का सबसे कठिन हिस्सा सही "नॉब्स" (पैरामीटर्स) चुनना है। कौन सा महत्व भार (importance weight) सही है? सुरक्षा जाल कितना मजबूत होना चाहिए? गलत नॉब चुनना केक को खराब कर सकता है।

उपमा: एक ही सेट ऑफ नॉब्स के साथ एक अकेले शेफ पर भरोसा करने के बजाय, लेखक एक विशेषज्ञों का पैनल (Panel of Experts) बनाते हैं।
- शेफ A बहुत मजबूत सुरक्षा जाल के साथ रेसिपी आज़माता है।
- शेफ B कमजोर सुरक्षा जाल के साथ इसे आज़माता है।
- शेफ C एक अलग प्रकार की कुकबुक (अलग कर्नेल) का उपयोग करता है।
जादू: एल्गोरिदम फिर इन सभी अलग-अलग प्रयासों को लेता है और उन्हें एक अंतिम, सुपर-रेसिपी में मिला देता है (एग्रीगेट करता है)।
परिणाम: भले ही एल्गोरिदम को यह न पता हो कि कौन सा एक "नॉब" एकदम सही है, लेकिन मिश्रित परिणाम सबसे अच्छे एकल नॉब के लगभग बराबर होता है। यह एक समिति के विशेषज्ञों से वोट लेने जैसा है; समूह का निर्णय आमतौर पर किसी एक व्यक्ति के अनुमान से बेहतर होता है।

वास्तविक दुनिया का परीक्षण: चेहरों का पुनर्निर्माण

यह साबित करने के लिए कि यह काम करता है, लेखकों ने चेहरे की छवियों (face images) के डेटासेट पर इसका परीक्षण किया।

सेटअप: उन्होंने चेहरों की स्पष्ट तस्वीरें लीं और उन्हें "सिनोग्राम" (मेडिकल स्कैन डेटा का एक प्रकार) में बदल दिया।
ट्विस्ट: इसके बाद उन्होंने इन सिनोग्राम को धुंधला (blur) कर दिया (गुफा के वातावरण का अनुकरण करते हुए) और मूल स्पष्ट चेहरे को पुनर्गठित करने की कोशिश की।
परिणाम: उनकी विधि ने मानक तरीकों की तुलना में चेहरों को बहुत बेहतर तरीके से पुनर्गठित किया। भले ही इनपुट डेटा अत्यधिक धुंधला (आउट-ऑफ-फोकस या मोशन-ब्लर) था, एल्गोरिदम उस विकृति के "पार देख सका" और चेहरे की विशेषताओं को वापस पा सका।

दावों का सारांश

नया ढांचा: उन्होंने जटिल, इमेज-जैसे डेटा (फंक्शनल डेटा) से सीखने के लिए एक गणितीय प्रणाली बनाई है जब प्रशिक्षण और परीक्षण के वातावरण अलग हों।
इष्टतम गति: उन्होंने गणितीय रूप से सिद्ध किया कि उनका तरीका कुछ शर्तों के तहत सैद्धांतिक रूप से संभव जितनी तेज़ गति से सीखता है।
बिना सिरदर्द के ट्यूनिंग: उन्होंने एक "एग्रीगेशन" विधि पेश की जो सही सेटिंग्स चुनने की समस्या को हल करने के लिए कई अलग-अलग प्रयासों को जोड़ती है, जिससे यह विधि मजबूत और वास्तविक जीवन में उपयोग में आसान हो जाती है।
प्रमाण: उन्होंने वास्तविक चेहरे की छवियों पर प्रदर्शित किया कि यह विधि मानक तकनीकों की तुलना में धुंधले, विकृत इनपुट से स्पष्ट चित्र प्राप्त करने में बेहतर है।

संक्षेप में, यह पेपर कंप्यूटर को एक लचीला शेफ बनना सिखाता है जो विशेषज्ञों के पैनल की बात सुनकर और शोर को अनदेखा करके, परिस्थितियों के पूरी तरह बदल जाने पर भी एक बेहतरीन भोजन बनाना सीख सकता है।

तकनीकी सारांश: कोवेरिएट शिफ्ट के साथ फंक्शनल डेटा से नियमितकृत शिक्षण की ओर

समस्या विवरण
यह शोधपत्र कोवेरिएट शिफ्ट (covariate shift) की धारणा के तहत वेक्टर-मूल्य वाले रिग्रेशन (vector-valued regression) की चुनौती को संबोधित करता है, विशेष रूप से फंक्शनल डेटा के संदर्भ में जहाँ इनपुट और आउटपुट दोनों चर फलन (functions) होते हैं। मानक सांख्यिकीय शिक्षण में, यह माना जाता है कि प्रशिक्षण और परीक्षण डेटा एक ही वितरण से लिए गए हैं। हालांकि, कई व्यावहारिक परिदृश्यों में—जैसे संरचनात्मक स्वास्थ्य निगरानी (structural health monitoring) या मेडिकल इमेजिंग में—स्रोत (source) और लक्ष्य (target) डोमेन के इनपुट वितरण भिन्न होते हैं, जबकि इनपुट के दिए पर आउटपुट का सशर्त वितरण अपरिवर्तित रहता है।

लेखक उस स्थिति पर ध्यान केंद्रित करते हैं जहाँ स्रोत वितरण $p(x, y) = p(y|x)p_X(x)$ है और लक्ष्य वितरण $q(x, y) = p(y|x)q_X(x)$ है। लक्ष्य एक रिग्रेशन फलन $f^*: X \to Y$ सीखना है जो लक्ष्य मार्जिनल वितरण $q_X$ पर अपेक्षित जोखिम (expected risk) को कम करता है, बावजूद इसके कि हमारे पास केवल लेबल किए गए स्रोत नमूने $\{(x_i, y_i)\}$ और बिना लेबल वाले लक्ष्य इनपुट $\{x'_j\}$ उपलब्ध हैं। यह समस्या विशेष रूप से जटिल हो जाती है जब आउटपुट स्पेस $Y$ एक अनंत-आयामी हिल्बर्ट स्पेस (infinite-dimensional Hilbert space) होता है (फंक्शनल डेटा), जो मौजूदा साहित्य की तुलना में कम खोजा गया क्षेत्र है।

कार्यप्रणाली (Methodology)
प्रस्तावित ढांचा फंक्शनल आउटपुट को संभालने के लिए वेक्टर-वैल्यूड रिप्रोड्यूसिंग कर्नेल हिल्बर्ट स्पेस (vRKHS) का उपयोग करता है। कार्यप्रणाली निम्नलिखित प्रमुख चरणों के माध्यम से आगे बढ़ती है:

ऑपरेटर लर्निंग फॉर्मूलेशन:
लेखक एक स्केलर मल्टीप्लिकेटिव कर्नेल $K(x, t) = k(x, t)I_Y$ द्वारा प्रेरित स्केलर RKHS $\mathcal{H}$ और vRKHS $\mathcal{G}$ के बीच आइसोमोर्फिज्म (isomorphism) का लाभ उठाते हैं। यह रिग्रेशन समस्या को एक इष्टतम ऑपरेटर $C \in \mathcal{S}_2(\mathcal{H}, Y)$ खोजने के रूप में पुनर्गठित करने की अनुमति देता है ताकि $f(\cdot) = C\phi(\cdot)$ हो सके।
इम्पॉर्टेंस वेटेड रेगुलराइज्ड लीस्ट स्क्वायर्स (IWRLS):
कोवेरिएट शिफ्ट को ध्यान में रखने के लिए, अनुभवजन्य जोखिम (empirical risk) को एक फलन $\beta(x)$ का उपयोग करके पुन: भारित (reweighted) किया जाता है ताकि $dq_X(x) = \beta(x)dp_X(x)$ हो सके। अनुभवजन्य जोखिम कार्यात्मक को महत्व भारों (importance weights) और स्रोत डेटा के संदर्भ में व्यक्त किया गया है। लेखक एक सामान्य स्पेक्ट्रल फिल्टर फंक्शन $g_\lambda$ का उपयोग करके एक नियमितकृत समाधान प्राप्त करते हैं, जिससे एक एस्टीमेटर $\hat{C}_{\lambda}^\beta$ प्राप्त होता है जिसे अनुभवजन्य कोवेरिएंस ऑपरेटर $\hat{C}_X^\beta$ के माध्यम से परिभाषित किया गया है।
सैद्धांतिक विश्लेषण:
यह शोधपत्र प्रस्तावित एस्टीमेटर के लिए $L^2(q_X, Y)$ नॉर्म और vRKHS नॉर्म दोनों में इष्टतम अभिसरण दरें (convergence rates) स्थापित करता है। विश्लेषण निम्नलिखित पर आधारित है:

सामान्य सोर्स कंडीशंस: यह माना गया है कि लक्ष्य ऑपरेटर $C^*$ इस प्रकार है कि $C^* = C_0 \phi(C_X)$ , जहाँ $\phi$ एक सामान्य इंडेक्स फंक्शन है जो समाधान की स्मूथनेस (smoothness) को दर्शाता है।
स्पेक्ट्रल डिके (Spectral Decay): कोवेरिएंस ऑपरेटर $C_X$ के आइजनवैल्यू के बहुपद क्षय (polynomial decay) के संबंध में धारणाएं बनाई गई हैं।
कंसंट्रेशन इनइक्वेलिटीज (Concentration Inequalities): अनुभवजन्य और जनसंख्या ऑपरेटरों के बीच विचलन को नियंत्रित करने के लिए हिल्बर्ट-स्पेस-मूल्य वाले रैंडम वेरिएबल्स के लिए कंसंट्रेशन इनइक्वेलिटीज का उपयोग करके सैद्धांतिक सीमाएं प्राप्त की गई हैं।

एग्रीगेशन रणनीति (Aggregation Strategy):
व्यावहारिक रूप से इष्टतम रेगुलराइजेशन पैरामीटर ( $\lambda$ ) और कर्नेल्स ( $k$ ) के चयन की कठिनाई को पहचानते हुए, लेखक एक एग्रीगेशन-आधारित दृष्टिकोण प्रस्तावित करते हैं। यह विधि विभिन्न रेगुलराइजेशन पैरामीटर्स और/या विभिन्न कर्नेल्स द्वारा उत्पन्न एस्टीमेटर्स के रैखिक संयोजन (linear combination) का निर्माण करती है। इस रैखिक संयोजन के भार को ग्राम मैट्रिक्स (Gram matrix) और क्रॉस-कोवेरिएंस वेक्टर के अनुभवजन्य अनुमानों को हल करके निर्धारित किया जाता है, जिन्हें स्रोत डेटा और महत्व भारों का उपयोग करके अनुमानित किया जाता है।

प्रमुख योगदान

ऑपरेटर लर्निंग एल्गोरिदम: यह शोधपत्र फंक्शनल डेटा के लिए विशेष रूप से तैयार किए गए vRKHS ढांचे के भीतर कोवेरिएट शिफ्ट के तहत वेक्टर-वैल्यूड रिग्रेशन के लिए पहला व्यवस्थित ऑपरेटर-लर्निंग एल्गोरिदम प्रस्तावित करता है।
इष्टतम अभिसरण दरें: लेखक सामान्य सोर्स कंडीशंस के तहत सामान्य रेगुलराइजेशन स्कीम्स के लिए इष्टतम अभिसरण दरें स्थापित करते हैं। ये दरें मिनिमैक्स ऑप्टिमल (minimax optimal) सिद्ध होती हैं, जो फंक्शनल मामले में विशेषज्ञता के साथ ज्ञात स्केलर सेटिंग्स के परिणामों से मेल खाती हैं।
एग्रीगेशन फ्रेमवर्क: ट्यूनिंग पैरामीटर्स और कर्नेल्स के चयन के प्रति संवेदनशीलता को कम करने के लिए एक नवीन एग्रीगेशन रणनीति पेश की गई है। सैद्धांतिक गारंटी प्रदान करती है कि एग्रीगेटेड एस्टीमेटर व्यक्तिगत एस्टीमेटर्स के समूह (ensemble) के सर्वश्रेष्ठ एस्टीमेटर के स्तर के बराबर प्रदर्शन करता है।
फंक्शनल डेटा का विस्तार: यह कार्य मौजूदा कोवेरिएट शिफ्ट साहित्य (जो मुख्य रूप से परिमित-आयामी है) और फंक्शनल डेटा विश्लेषण के बीच के अंतर को पाटता है, जो वितरण संबंधी बदलावों के तहत अनंत-आयामी आउटपुट स्पेस में सीखने के लिए एक सैद्धांतिक आधार प्रदान करता है।

प्रायोगिक परिणाम
लेखक एक वास्तविक चेहरे के चित्र डेटासेट (The 10k US Adult Faces Database) का उपयोग करके अपने तरीके को सत्यापित करते हैं। कार्य का उद्देश्य सिनोग्राम (sinogram) प्रतिनिधित्व (रेडॉन ट्रांसफॉर्म) से विकृत चेहरे की छवियों को पुनर्गठित करना है (जहाँ लक्ष्य डोमेन धुंधले सिनोग्राम है)।

सेटअप: दो प्रायोगिक मामलों का परीक्षण किया गया: (1) सिनोग्राम पर ब्लरिंग (blurring) लागू करना, और (2) सिनोग्राम बनाने से पहले चेहरे की छवियों पर ब्लरिंग लागू करना।
प्रदर्शन: प्रस्तावित पद्धति का मूल्यांकन मीन स्क्वेर्ड एरर (MSE), रिलेटिव एरर और पीक सिग्नल-टू-नॉइज़ रेशियो (PSNR) का उपयोग करके किया गया।
निष्कर्ष:
- नियमितकृत शिक्षण दृष्टिकोण ने गंभीर इनपुट गिरावट के बावजूद पर्याप्त चेहरे की जानकारी को सफलतापूर्वक पुनर्प्राप्त किया, जिसने मानक इनवर्स रेडॉन ट्रांसफॉर्म (iradon) बेसलाइन की तुलना में बेहतर या उसके बराबर प्रदर्शन किया।
- एग्रीगेशन पद्धति ने "लैम्ब्डा स्वीप" (lambda sweep) के माध्यम से पाए गए सर्वश्रेष्ठ व्यक्तिगत रेगुलराइजेशन पैरामीटर के बहुत करीब परिणाम दिए, जो व्यापक पैरामीटर ट्यूनिंग की आवश्यकता को समाप्त करने में इसकी प्रभावशीलता को प्रदर्शित करता है।
- मल्टीपल कर्नेल लर्निंग प्रयोगों में (Gaussian, Cauchy, Exponential, और IMQ कर्नेल्स को मिलाकर), एग्रीगेटेड प्रेडिक्टर ने सर्वश्रेष्ठ व्यक्तिगत कर्नेल के समान प्रदर्शन हासिल किया, जो एक अपर्याप्त हाइपोथीसिस स्पेस के चयन के जोखिम के विरुद्ध एग्रीगेशन रणनीति की मजबूती की पुष्टि करता है।

महत्व और दावे
यह शोधपत्र वेक्टर-वैल्यूड कोवेरिएट-शिफ्ट रिग्रेशन के पहले व्यवस्थित उपचार का दावा करता है, जो उच्च-आयामी सेटिंग्स में सैद्धांतिक विकास को व्यावहारिक अनुप्रयोग के साथ प्रभावी ढंग से जोड़ता है। सामान्य सोर्स कंडीशंस के तहत इष्टतम अभिसरण दरें स्थापित करके, यह कार्य इस डोमेन में नियमितकृत शिक्षण के लिए एक कठोर सैद्धांतिक आधार प्रदान करता है। इसके अलावा, प्रस्तावित एग्रीगेशन दृष्टिकोण एक महत्वपूर्ण व्यावहारिक बाधा—ट्यूनिंग पैरामीटर्स और कर्नेल्स का चयन—को संबोधित करता है, जिससे यह विधि उन वास्तविक दुनिया के अनुप्रयोगों के लिए अधिक व्यवहार्य हो जाती है जहाँ इष्टतम हाइपरपैरामीटर्स का पूर्व ज्ञान उपलब्ध नहीं होता है। लेखक अपने कार्य को फंक्शनल डेटा समस्याओं पर मशीन लर्निंग लागू करने की दिशा में एक महत्वपूर्ण कदम के रूप में प्रस्तुत करते हैं, जहाँ पर्यावरणीय या परिचालन कारकों के कारण इनपुट वितरण बदल जाते हैं।