📊 statistics

Functional Liu Regression for Scalar-on-Functional Models in High-Dimensional Settings

यह शोध पत्र उच्च-आयामी स्केलर-ऑन-फंक्शन रिग्रेशन के लिए एक कार्यात्मक लियू-प्रकार के श्रिंकेज एस्टिमेटर को प्रस्तुत करता है जो सैद्धांतिक रूप से व्युत्पन्न इष्टतम ट्यूनिंग नियम के माध्यम से बहु-सहसंबंध (मल्टीकोलिनैरिटी) को संबोधित करता है, जबकि अल्प-निर्धारित (अंडरडिटरमिन्ड) सेटिंग्स में मानक क्रॉस-वैलिडेशन मानदंडों की सीमाओं को प्रकट करता है।

मूल लेखक: Shaista Ashraf, Stephen Becker, Farrukh Javed, Ismail Shah

प्रकाशित 2026-05-05

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shaista Ashraf, Stephen Becker, Farrukh Javed, Ismail Shah

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप अनुमान लगाने की कोशिश कर रहे हैं कि एक शहर में साल भर में कितनी बारिश होगी। आपके पास 35 अलग-अलग मौसम केंद्रों का डेटा है। प्रत्येक स्टेशन के लिए, आपके पास केवल एक संख्या नहीं है; आपके पास साल के हर दिन के तापमान को दर्शाने वाला एक स्मूथ, निरंतर वक्र (curve) है।

यह विशेषज्ञों द्वारा फंक्शनल डेटा एनालिसिस (Functional Data Analysis) कहा जाता है। कुछ संख्याओं के बजाय, आप पूरी आकृतियों (वक्रों) के साथ भविष्यवाणी कर रहे हैं।

समस्या: "बहुत अधिक सुराग" का जाल

पेपर एक बड़ी समस्या से शुरू होता है: मल्टीकोलिनैरिटी (Multicollinearity)।

तापमान के वक्र को एक गाने की तरह समझें। यदि आप जनवरी का तापमान जानते हैं, तो आप लगभग अनुमान लगा सकते हैं कि फरवरी का तापमान क्या होगा। यदि आप फरवरी जानते हैं, तो आप मार्च का अनुमान लगा सकते हैं। डेटा बिंदु इतने मजबूती से जुड़े हुए हैं कि वे व्यावहारिक रूप से एक ही बात को बार-बार चिल्ला रहे हैं।

जब आप इन तापमान वक्रों और कुल बारिश के बीच संबंध खोजने के लिए मानक गणित (Ordinary Least Squares) का उपयोग करने की कोशिश करते हैं, तो गणित भ्रमित हो जाता है। यह एक पहेली को हल करने की कोशिश करने जैसा है जहाँ हर टुकड़ा अपने पड़ोसी जैसा दिखता है। इसका परिणाम एक "शोर भरा" (noisy) पूर्वानुमान होता है जो बेतहाशा उछलता-कूदता है और नए डेटा पर विफल हो जाता है।

पुराने समाधान: "ब्रूट फोर्स" और "एक ही आकार सबके लिए"

इसे ठीक करने के लिए, सांख्यिकीविद आमतौर पर रिज रिग्रेशन (Ridge Regression) का उपयोग करते हैं। इसे एक "ब्रूट फोर्स" विधि के रूप में कल्पना करें। यह कहता है, "ठीक है, आइए सभी उत्तरों को थोड़ा छोटा और सुरक्षित बनाने के लिए उन्हें थोड़ा सिकोड़ (shrink) देते हैं।" यह काम करता है, लेकिन यह थोड़ा अनाड़ी है। यह वक्र के हर हिस्से के साथ एक जैसा व्यवहार करता है, भले ही कुछ हिस्से दूसरों की तुलना में अधिक महत्वपूर्ण हों।

नया समाधान: "स्मार्ट श्रिंकर" (fLiu)

लेखक फंक्शनल लियू रिग्रेशन (fLiu) नामक एक नई विधि प्रस्तावित करते हैं।

पुराने रिज मेथड को एक भारी कंबल के रूप में सोचें जो सब कुछ समान रूप से दबा देता है। नया fLiu तरीका एक स्मार्ट, एडजस्टेबल दस्ताने (glove) की तरह है।

यह आकार को जानता है: यह भविष्यवाणी को सुचारू रखने के लिए तापमान वक्र की सहजता (smoothness) का उपयोग करता है (जैसे यह जानना कि गाने में एक लय है)।
यह दिशा को जानता है: यह केवल अंधाधुंध तरीके से सब कुछ नहीं सिकोड़ता है। इसमें एक विशेष "नॉब" (जिसे पैरामीटर d कहा जाता है) है जो इसे यह तय करने की अनुमति देता है कि उसे मानक उत्तर बनाम "सिकुड़े हुए" उत्तर की ओर कितना झुकना चाहिए।

पेपर का दावा है कि यह "स्मार्ट दस्ताना" एक बेहतर संतुलन बनाता है। यह "शोर" (variance) को कम करता है बिना उत्तर को बहुत अधिक "गलत" (bias) बनाए। कनाडाई मौसम डेटा के साथ अपने परीक्षणों में, इस नई विधि ने पुराने तरीकों की तुलना में बारिश का अधिक सटीक अनुमान लगाया, विशेष रूप से तब जब डेटा अव्यवस्थित था।

"हाई-डायमेंशनल" सरप्राइज: जब नक्शा विफल हो जाता है

यहाँ पेपर का सबसे दिलचस्प हिस्सा है, जो एक जादू के खेल जैसा लगता है।

आमतौर पर, सांख्यिकीविद अपने नॉब को ट्यून करने के लिए क्रॉस-वैलिडेशन (Cross-Validation) (विशेष रूप से GCV) नामक एक उपकरण का उपयोग करते हैं। इसकी कल्पना एक कंपास के रूप में करें जो आपको बताता है कि सबसे अच्छा परिणाम प्राप्त करने के लिए नॉब को किस दिशा में घुमाना है।

सामान्य स्थितियों में (Overdetermined): कंपास पूरी तरह से काम करता है। आप नॉब घुमाते हैं, कंपास घूमता है, और यह सबसे अच्छी सेटिंग की ओर इशारा करता है।
"हाई-डायमेंशनल" स्थितियों में (Underdetermined): यह तब होता है जब आपके पास डेटा पॉइंट्स (जैसे 35 दिनों का डेटा) मौसम केंद्रों (35 स्टेशन) की तुलना में अधिक होते हैं। पेपर ने एक आश्चर्यजनक बात खोजी है: कंपास काम करना बंद कर देता है।

इन हाई-डायमेंशनल परिदृश्यों में, पेपर गणितीय रूप से सिद्ध करता है कि कंपास (GCV) फ्लैट (flat) हो जाता है। आप नॉब को कितनी भी बार घुमाएं, कंपास एक ही मान पढ़ता है। यह "डिजेनरेट" या बेकार हो जाता है। यह एक ऐसे नक्शे पर सबसे अच्छा रास्ता खोजने की कोशिश करने जैसा है जिसे मिटा दिया गया है; नक्शा आपको कोई जानकारी नहीं देता है।

समाधान: "प्लग-इन" नियम

चूंकि हाई-डायमेंशनल सेटिंग्स में कंपास टूट जाता है, इसलिए लेखकों ने नॉब सेट करने का एक नया तरीका बनाया है। कंपास से पूछने के बजाय, वे एक फॉर्मूला (एक "प्लग-इन" नियम) का उपयोग करते हैं जो डेटा के अपने आंतरिक तर्क के आधार पर सबसे अच्छी सेटिंग की गणना करता है।

उन्होंने दिखाया कि जब कंपास विफल हो जाता है (हाई-डायमेंशनल मामले में), तो यह फॉर्मूला काम आता है और एक अच्छा सेटिंग ढूंढ लेता है, जबकि पुराने तरीके बस अंदाज़ा लगाते रहते।

सारांश

लक्ष्य: तापमान वक्रों का उपयोग करके बारिश की भविष्यवाणी करना।
समस्या: तापमान डेटा अपने आप में बहुत समान है, जो मानक गणित को भ्रमित करता है।
नया टूल (fLiu): एक लचीली विधि जो डेटा को स्मूथ करती है और "श्रिंकेज" को बुद्धिमानी से एडजस्ट करती है, जो पुराने तरीकों से बेहतर प्रदर्शन करती है।
बड़ी खोज: बहुत जटिल, उच्च-डेटा परिदृश्यों में, मॉडल को ट्यून करने का मानक तरीका (क्रॉस-वैलिडेशन) पूरी तरह से काम करना बंद कर देता है।
समाधान: लेखक एक नया फॉर्मूला प्रदान करते हैं ताकि जब मानक उपकरण विफल हो जाएं तो मॉडल को ट्यून किया जा सके।

पेपर निष्कर्ष निकालता है कि यह नया तरीका जटिल, सह-संबंधित डेटा जैसे मौसम के पैटर्न को संभालने के लिए एक स्थिर, लचीला और व्यावहारिक उपकरण है, जो शोर में सिग्नल खोजने का एक बेहतर तरीका प्रदान करता है।

तकनीकी सारांश: उच्च-आयामी सेटिंग्स में स्केलर-ऑन-फंक्शनल मॉडल्स के लिए फंक्शनल लियू रिग्रेशन (Functional Liu Regression)

समस्या विवरण
स्केलर-ऑन-फंक्शन रिग्रेशन, जो फंक्शनल डेटा एनालिसिस (FDA) का एक मुख्य घटक है, एक निरंतरता (जैसे समय या स्थान) पर परिभाषित एक या अधिक फंक्शनल प्रेडिक्टर्स पर निर्भर स्केलर रिस्पॉन्स को मॉडल करता है। हालांकि यह लचीला है, लेकिन यह दृष्टिकोण तब महत्वपूर्ण चुनौतियों का सामना करता है जब प्रेडिक्टर्स को विविक्त (discretized) किया जाता है या बेसिस फंक्शन्स (basis functions) में विस्तारित किया जाता है। फंक्शनल डेटा की सुचारू संरचना (smooth structure) के कारण परिणामी रिग्रेसर्स के बीच अत्यधिक मल्टीकोलिनैरिटी (multicollinearity) उत्पन्न होती है, जिससे इल-कंडीशन्ड (ill-conditioned) या सिंगुलर डिजाइन मैट्रिसेस बन जाते हैं। उन उच्च-आयामी सेटिंग्स में जहाँ बेसिस कोएफिशिएंट्स ( $m$ ) की संख्या सैंपल साइज ( $n$ ) के बराबर या उससे अधिक हो जाती है, साधारण न्यूनतम वर्ग (OLS) अनुमान अस्थिर हो जाते हैं और उनका वेरिएंस बढ़ जाता है। जबकि रिज रिग्रेशन (ridge regression) और रफनेस पेनल्टी (जैसे टिखोनोव रेगुलराइजेशन) स्थिरता प्रदान करते हैं, वे एक समान श्रिंकेज या विशिष्ट स्मूथनेस बाधाएं लागू करते हैं जो सभी दिशाओं में बायस (bias) और वेरिएंस (variance) के बीच इष्टतम संतुलन बनाने में सक्षम नहीं हो सकते हैं। इसके अलावा, यह देखा गया है कि मानक ट्यूनिंग मानदंड जैसे कि जनरलाइज्ड क्रॉस-वैलिडेशन (GCV) और लीव-वन-आउट क्रॉस-वैलिडेशन (LOO-CV), अंडरडिटरमिन्ड (underdetermined) व्यवस्था में विफल हो जाते हैं, फिर भी लियू-प्रकार के संदर्भों में इस विफलता के सैद्धांतिक कारण अभी भी कम खोजे गए हैं।

कार्यप्रणाली (Methodology)
यह शोध पत्र एक फंक्शनल लियू-टाइप श्रिंकेज एस्टिमेटर (fLiu) प्रस्तावित करता है, जिसे स्केलर-ऑन-फंक्शन रिग्रेशन में मल्टीकोलिनैरिटी और अस्थिरता को संबोधित करने के लिए डिज़ाइन किया गया है। कार्यप्रणाली इस प्रकार है:

मॉडल फॉर्मूलेशन: स्केलर-ऑन-फंक्शन मॉडल को एक ट्रंकेटेड बेसिस एक्सपेंशन (जैसे B-splines या Fourier basis) के माध्यम से अनुमानित किया जाता है, जो अनंत-आयामी समस्या को एक परिमित-आयामी लीनियर मॉडल $y = Zb + \epsilon$ में बदल देता है, जहाँ $Z$ डिजाइन मैट्रिक्स है और $b$ बेसिस कोएफिशिएंट्स को दर्शाता है।
हाइब्रिड पेनल्टी स्ट्रक्चर: मल्टीकोलिनैरिटी और स्मूथनेस दोनों को संभालने के लिए, लेखक एक हाइब्रिड पेनल्टी मैट्रिक्स $Q_{\lambda, \alpha} = \lambda(\alpha I + (1-\alpha)R)$ को परिभाषित करते हैं, जहाँ $R$ एक रफनेस पेनल्टी मैट्रिक्स (कर्वेचर को दंडित करने वाला) है और $I$ आइडेंटिटी मैट्रिक्स है। पैरामीटर $\lambda$ समग्र रेगुलराइजेशन मैग्नीट्यूड को नियंत्रित करता है, जबकि $\alpha$ , आइसोट्रोपिक रिज श्रिंकेज और बेसिस-डिपेंडेंट रफनेस के बीच संतुलन बनाता है।
fLiu एस्टिमेटर: प्रस्तावित एस्टिमेटर एक सेंटर्ड पेनलाइज्ड क्राइटेरियम को मिनिमाइज करता है:
$J_{\lambda, d, \alpha}(b) = \|y - Zb\|^2 + (b - d\hat{b}_{LS})^\top Q (b - d\hat{b}_{LS})$
इससे क्लोज्ड-फॉर्म समाधान प्राप्त होता है:
$\hat{b}_{fLiu} = (S + Q)^{-1}(Z^\top y + dQ\hat{b}_{LS})$
जहाँ $S = Z^\top Z$ $S = Z^{⊤} Z$ , $\hat{b}_{LS}$ $\hat{b}_{L S}$ OLS एस्टिमेटर है, और $d$ $d$ एक लियू-टाइप बायसिंग पैरामीटर है।
- पैरामीटर्स की भूमिका: $\lambda$ और $\alpha$ पेनल्टी की ज्यामिति और परिमाण (स्थिरता और स्मूथनेस) को नियंत्रित करते हैं, जबकि $d$ , OLS के सापेक्ष बायस-वेरिएंस ट्रेड-ऑफ को नियंत्रित करता है। जब $d=1$ होता है, तो एस्टिमेटर OLS में बदल जाता है; जब $d=0$ होता है, तो यह जनरलाइज्ड रिज एस्टिमेटर में बदल जाता है।
पैरामीटर चयन:
- ओवरडिटरमिन्ड केस ( $n \ge m$ ): लेखक तीन पैरामीटर्स $(\lambda, d, \alpha)$ पर GCV या PRESS/LOO-CV मानदंडों को मिनिमाइज करने के लिए कंटीन्यूअस ऑप्टिमाइजेशन (SLSQP और ऑटोमैटिक डिफरेंशिएशन का उपयोग करके) का उपयोग करते हैं।
- अंडरडिटरमिन्ड केस ( $n < m$ ): शोध पत्र एक सैद्धांतिक परिणाम प्रस्तुत करता है जो यह दर्शाता है कि इस व्यवस्था में GCV और PRESS, $d$ के संबंध में स्थिर (constant) हो जाते हैं, जिससे वे $d$ की ट्यूनिंग के लिए सूचनात्मक नहीं रह जाते। इसे संबोधित करने के लिए, एक प्लग-इन ट्यूनिंग रूल प्रस्तावित किया गया है, जो बायस और वेरिएंस के एम्पिरिकल अनुमानों का उपयोग करके MSE डिकम्पोजिशन को मिनिमाइज करके एक स्पष्ट इष्टतम $d$ व्युत्पन्न करता है।

प्रमुख योगदान

सैद्धांतिक विस्तार: यह अध्ययन शास्त्रीय लियू एस्टिमेटर (Liu 1993) को फंक्शनल सेटिंग में विस्तारित करता है, जिसमें डायरेक्शनल श्रिंकेज को स्मूथनेस रेगुलराइजेशन के साथ एकीकृत किया गया है।
रिस्क एनालिसिस: एक स्पष्ट MSE डिकम्पोजिशन व्युत्पन्न किया गया है, जो यह सिद्ध करता है कि fLiu एस्टिमेटर का रिस्क, पैरामीटर $d$ का एक कॉनवेक्स क्वाड्रेटिक फंक्शन है। यह एक अद्वितीय इष्टतम $d$ के अस्तित्व को स्थापित करता है जो विशिष्ट स्थितियों के तहत MSE के मामले में OLS पर हावी (dominate) होता है।
उच्च-आयामी अंतर्दृष्टि: शोध पत्र उच्च-आयामी फंक्शनल रिग्रेशन में मानक क्रॉस-वैलिडेशन मानदंडों की विफलता के लिए एक सैद्धांतिक स्पष्टीकरण प्रदान करता है। यह सिद्ध करता है कि फुल रो-रैंक डिजाइन मैट्रिसेस के लिए, ये मानदंड लियू पैरामीटर $d$ के प्रति स्वतंत्र हैं, जो यह समझाता है कि क्यों मौजूदा लियू-प्रकार के साहित्य ने मुख्य रूप से ओवरडिटरमिन्ड व्यवस्थाओं पर ध्यान केंद्रित किया है।
व्यावहारिक कार्यान्वयन: लेखकों ने एस्टिमेटर को लागू करने के लिए fLua.py पायथन पैकेज (और R के fda पैकेज का उपयोग) विकसित किया है, जो पैरामीटर चयन के लिए कुशल ऑप्टिमाइजेशन हेतु ऑटोमैटिक डिफरेंशिएशन का उपयोग करता है।

अनुभवजन्य परिणाम (Empirical Results)
कार्यप्रणाली का मूल्यांकन कनाडाई मौसम डेटासेट (35 स्टेशन, तापमान कर्व्स से वार्षिक वर्षा की भविष्यवाणी करना) का उपयोग करके किया गया।

ओवरडिटरमिन्ड सेटिंग ( $K=11$ बेसिस फंक्शन्स): fLiu एस्टिमेटर ने OLS, रिज, क्लासिकल लियू और जनरलाइज्ड रिज की तुलना में सबसे कम जनरलाइज्ड क्रॉस-वैलिडेशन (GCV) मान और सबसे कम टेस्ट सेट प्रेडिक्शन लॉस (0.0203) प्राप्त किया। इसने एक अनुकूल बायस-वेरिएंस ट्रेड-ऑफ प्रदर्शित किया, जिससे स्थिर कोएफिशिएंट अनुमान प्राप्त हुए जिन्होंने ओवरफिटिंग के बिना मौसमी पैटर्न को कैप्चर किया।
अंडरडिटरमिडेड सेटिंग ( $K=35$ बेसिस फंक्शन्स): इस उच्च-आयामी व्यवस्था में, GCV कर्व को $d$ के संबंध में फ्लैट देखा गया, जो सैद्धांतिक क्षय (degeneracy) की पुष्टि करता है। प्लग-इन ट्यूनिंग रूल ने सफलतापूर्वक $d$ के लिए एक डेटा-ड्रिवन विकल्प प्रदान किया, जो मनमाने विकल्पों (जैसे $d=0$ ) से बेहतर प्रदर्शन करता है और यह दर्शाता है कि जब $n < m$ हो तो वैकल्पिक ट्यूनिंग रणनीतियों की आवश्यकता क्यों है।

महत्व और दावे
शोध पत्र का दावा है कि fLiu एस्टिमेटर मौजूदा पेनलाइज्ड फंक्शनल रिग्रेशन विधियों के लिए एक सिद्धांतिक, लचीला और स्थिर विकल्प प्रदान करता है। स्मूथनेस/स्थिरता के प्रवर्तन ( $\lambda, \alpha$ ) को बायस-वेरिएंस एडजस्टमेंट ( $d$ ) से अलग करके, यह विधि अनुमान प्रक्रिया पर अतिरिक्त नियंत्रण प्रदान करती है।

लेखक विनम्रतापूर्वक यह दावा करते हैं कि अध्ययन:

फंक्शनल सेटिंग में लियू-टाइप एस्टिमेटर्स के व्यवहार (विशेष रूप से रिस्क डिकम्पोजिशन और पैरामीटर चयन के संबंध में) को स्पष्ट करता है।
उच्च-आयामी फंक्शनल रिग्रेशन में मानक क्रॉस-वैलिडेशन मानदंडों की सीमाओं की पहचान करता है और उन्हें समझाता है, जो ऐसे परिदृश्यों में प्लग-इन नियमों के उपयोग को प्रेरित करता है।
अनुभवजन्य विश्लेषण के माध्यम से प्रदर्शित करता है कि प्रस्तावित विधि प्रतिस्पर्धी प्रेडिक्टिव सटीकता और व्याख्या योग्य कोएफिशिएंट फंक्शन्स प्रदान करती है, विशेष रूप से मजबूत मल्टीकोलिनैरिटी की उपस्थिति में।

शोध पत्र निष्कर्ष निकालता है कि हालांकि fLiu एस्टिमेटर पेनलाइज्ड फंक्शनल रिग्रेशन विधियों के वर्ग में एक महत्वपूर्ण वृद्धि है, भविष्य के कार्यों में फंक्शन-ऑन-फंक्शन रिग्रेशन तक विस्तार, प्लग-इन एस्टिमेटर के गुणों का सैद्धांतिक विश्लेषण और कई सह-संबंधित प्रेडिक्टर्स के लिए स्पैरसिटी (sparsity) को शामिल करना शामिल हो सकता है।