Benign Overfitting in Economic Forecasting via Noise Regularization

यहाँ लियाओ, मा, न्यूहियर और शी द्वारा लिखित शोध पत्र "Benign Overfitting in Economic Forecasting via Noise Regularization" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र आर्थिक पूर्वानुमान की एक मौलिक चुनौती को संबोधित करता है: उच्च-आयामी डेटा (high-dimensional data) का उपयोग करके गुप्त कारकों (latent factors) द्वारा संचालित परिणामों की भविष्यवाणी कैसे की जाए?

• संदर्भ: आर्थिक चर (जैसे मुद्रास्फीति, जीडीपी, परिसंपत्ति प्रतिफल) आमतौर पर कुछ अनअवलोकित गुप्त कारकों द्वारा संचालित होते हैं। अर्थशास्त्री प्रॉक्सी के रूप में बड़े पैनलों के अवलोकन योग्य भविष्यवक्ताओं (predictors) का उपयोग करते हैं।
• दुविधा: पारंपरिक धारणा यह सुझाव देती है कि भविष्य कहनेवाला डेटा विरल (sparse) होता है (केवल कुछ चर ही महत्वपूर्ण होते हैं) या ओवरफिटिंग से बचने के लिए आयामी कमी (dimensionality reduction, जैसे PCA) या चर चयन (variable selection, जैसे Lasso) आवश्यक है।
• वास्तविकता: अनुभवजन्य साक्ष्य बताते हैं कि आर्थिक भविष्य कहने वाले मॉडल सघन (dense) होते हैं (कई चर थोड़े संकेत/सिग्नल ले जाते हैं) न कि विरल। इसके अलावा, कई आर्थिक डेटासेट (जैसे FRED-MD) में, भविष्यवक्ताओं की संख्या ($p$) नमूना आकार ($n$) के तुलनीय होती है, जो एक ऐसा परिदृश्य बनाती है जहाँ मानक अनुमानक (estimators) उच्च विचरण (high variance) के कारण विफल हो जाते हैं।
• मुख्य प्रश्न: क्या हम स्पष्ट रूप से गुप्त कारकों का अनुमान लगाए बिना या चर चयन किए बिना, सघन, कारक-संचालित वातावरण में इष्टतम पूर्वानुमान सटीकता प्राप्त कर सकते है, भले ही $p \approx n$ या $p > n$ हो?

2. कार्यप्रणाली और सैद्धांतिक ढांचा (Methodology and Theoretical Framework)

लेखक एक नया दृष्टिकोण प्रस्तावित करते हैं जिसे नॉइज़ रेगुलराइजेशन (Noise Regularization) कहा जाता है, जो बेनाइन ओवरफिटिंग (Benign Overfitting) की घटना का लाभ उठाता है।

A. डेटा जनरेटिंग प्रोसेस (DGP)

वास्तविक मॉडल एक कारक मॉडल (factor model) है:
$$y_t = \rho' f_t + \epsilon_{y,t}$$
$$x_t = \Lambda f_t + u_t$$
जहाँ $f_t$ $K$ गुप्त कारक हैं, $x_t$ $p$ भविष्यवक्ता हैं, और $u_t$ विशिष्ट त्रुटियाँ (idiosyncratic errors) हैं। मुख्य धारणा यह है कि भविष्य कहने की शक्ति केवल सामान्य कारकों के माध्यम से कार्य करती है, जिसका अर्थ है कि रिड्यूस्ड-फॉर्म रिग्रेशन गुणांक $\beta$ सघन (dense) हैं (कई भविष्यवक्ताओं के लिए गैर-शून्य हैं) न कि विरल।

B. मानक दृष्टिकोणों की विफलता

शोध पत्र दो महत्वपूर्ण नकारात्मक परिणाम स्थापित करता है:

1. पूर्ण चर चयन की विफलता (प्रस्तावना 1): भले ही एक "ओरेकल" (oracle) पूर्ण रूप से $p_0$ सूचनात्मक भविष्यवक्ताओं की पहचान कर ले और शोर (noise) को हटा दे, फिर भी केवल इन $p_0$ चरों पर रिजलेस रिग्रेशन (न्यूनतम नॉर्म लीस्ट स्क्वायर्स) लागू करने से प्रथम-क्रम इष्टतमता (first-order optimality) प्राप्त करने में विफलता होती है यदि $p_0/n \to \gamma \in (0, \infty)$ हो। डिज़ाइन मैट्रिक्स में आइगेनवैल्यू को नियमित करने के लिए पर्याप्त आयामीता का अभाव होता है, जिससे उच्च आउट-ऑफ-सैंपल विचरण होता है।
2. AR मॉडलों में लैग विस्तार की विफलता (प्रस्तावना 2): टाइम-सीरीज फोरकास्टिंग में, केवल AR($p$) मॉडल में लैग ऑर्डर $p$ को बढ़ाने से बेनाइन ओवरफिटिंग प्रेरित नहीं होती है। एक समरूपता गुण (symmetry property) के कारण, $p > T/2$ वाला AR($p$) संख्यात्मक रूप से AR($T-p$) के समान होता है। लैग बढ़ाने से प्रभावी नमूना आकार कम हो जाता है, जिससे डिज़ाइन मैट्रिक्स के आइगेनवैल्यू को फुलाने में विफलता होती है।

C. प्रस्तावित समाधान: नॉइज़ रेगुलराइजेशन

लेखक सभी भविष्यवक्ताओं को बनाए रखने का प्रस्ताव करते हैं और, यदि आवश्यक हो तो, फीचर स्पेस को $p \gg n$ तक विस्तारित करने के लिए (डेटा से स्वतंत्र) कृत्रिम रूप से शुद्ध शोर चरों (noise variables) को जोड़ने का सुझाव देते हैं।

• तंत्र (Mechanism): शोर चर डिज़ाइन मैट्रिक्स $X'X$ के गैर-कारक दिशाओं में आइगेनवैल्यू को फुलाते हैं। यह एक अंतर्निहित रेगुलराइजेशन के रूप में कार्य करता है।
• अनुमानक (Estimator): संवर्धित सेट पर रिजलेस एस्टीमेटर (मूर-पेनरोज आइवर्स) लागू किया जाता है: $\hat{\beta} = (X'X)^+ X'y$।
• राव-ब्लैकवेलाइजेशन (Rao-Blackwellization): कृत्रिम शोर द्वारा उत्पन्न यादृच्छिकता (randomness) को कम करने के लिए, पूर्वानुमान को शोर मैट्रिक्स के $B$ स्वतंत्र ड्रॉ के ऊपर औसत निकाला जाता है। यह मीन स्क्वेर्ड एरर (MSE) को और कम करता है।

3. प्रमुख सैद्धांतिक योगदान (Key Theoretical Contributions)

शोध पत्र चार मुख्य सैद्धांतिक परिणाम प्रदान करता है:

1. सघन प्रतिनिधित्व (थ्योरम 1): एक कारक-संचालित DGP के तहत, जनसंख्या रिग्रेशन गुणांक $\beta$ सघन होते हैं। जैसे-जैसे भविष्यवक्ताओं की संख्या बढ़ती है, $\|\beta\|_2 \to 0$ होता है। यह न्यायसंगत बनाता है कि क्यों कार्यरत मॉडल सघन है और क्यों विरल विधियाँ (जैसे Lasso) सैद्धांतिक रूप से संरचना के साथ मेल नहीं खातीं।
2. चयन की उप-इष्टतमता (प्रस्तावना 1): जब $p_0 \approx n$ हो, तो पूर्ण चर चयन उप-इष्टतम पूर्वानुमान देता है क्योंकि डिज़ाइन मैट्रिक्स के आइगेनवैल्यू पर्याप्त रूप से नियमित नहीं होते हैं।
3. शोर के माध्यम से बेनाइन ओवरफिटिंग (थ्योरम 2 और 3):
   • परिदृश्य I (अज्ञात शोर): सभी उपलब्ध भविष्यवक्ताओं (अंतर्निहित शोर सहित) का उपयोग करके रिजलेस रिग्रेशन, बिना कारकों का अनुमान लगाए, ओरेकल के समान एसिम्प्टोटिक MSE प्राप्त करता है।
   • परिदृश्य II (जोड़ा गया शोर): जानबूझकर शोर चर जोड़ना और भविष्यवाणियों का औसत निकालना (राव-ब्लैकवेल) विचरण दर (variance rate) में सुधार करता है। यह विधि बिना किसी मजबूत कारक धारणाओं की आवश्यकता के एसिम्प्टोटिक रूप से ओरेकल MSE प्राप्त करती है।
4. अर्थशास्त्र में डबल डिसेंट (Double Descent in Economics): शोध पत्र "डबल डिसेंट" साहित्य को कारक मॉडलों तक विस्तारित करता है। यह दिखाता है कि फोरकास्ट MSE एक डबल डिसेंट वक्र का अनुसरण करता है: यह घटता है, इंटरपोलेशन थ्रेशोल्ड ($p \approx n$) के पास बढ़ता है, और फिर जैसे-जैसे शोर के कारण आइगेनवैल्यू श्रिंकेज के कारण $p$ बढ़ता है, फिर से घटता है।

तकनीकी अंतर: मानक डबल डिसेंट साहित्य के विपरीत जो बाउंडेड आइगेनवैल्यू मानकर चलता है, यह शोध पत्र स्पाइक्ड आइगेनवैल्यू (spiked eigenvalues) को संभालता है (जो गुप्त कारकों के कारण होते हैं)। लेखक सिद्ध करते हैं कि इन स्पाइक्स और शोर-प्रेरित रेगुलराइजेशन के बीच की अंतःक्रिया निरंतरता (consistency) की अनुमति देती है।

4. अनुभवजन्य परिणाम (Empirical Results)

लेखक तीन प्रमुख आर्थिक पूर्वानुमान कार्यों पर अपने सिद्धांत को मान्य करते हैं:

1. अमेरिकी मुद्रास्फीति (FRED-MD):

   • सेटअप: 102 मैक्रो प्रेडिक्टर्स ($p_0$), नमूना आकार $n \approx 120$।
   • परिणाम: नॉइज़ रेगुलराइजेशन (के साथ $p \approx 526$) ने 0.982 का MSE प्राप्त किया, जो Lasso (1.103), Ridge (1.102), और PCA (1.122) से बेहतर प्रदर्शन करता है। विधि जोड़े गए शोर चरों की सटीक संख्या के प्रति मजबूत रही।

2. क्रॉस-कंट्री जीडीपी ग्रोथ (Barro-Lee):

   • सेटअप: 60 प्रेडिक्टर्स, $n=45$ (ट्रेनिंग)।
   • परिणाम: 60 भविष्यवक्ताओं पर मानक रिजलेस का MSE ($\approx 14$) ओवरफिटिंग के कारण उच्च था। शोर जोड़ने से MSE घटकर 0.940 हो गया (Lasso की तुलना में 25% सुधार)। विधि हजारों शोर चरों के साथ भी 1.0 के करीब स्थिर MSE पर बनी रही।

3. अमेरिकी इक्विटी रिस्क प्रीमियम:

   • सेटअप: 15 मानक प्रेडिक्टर्स (Welch-Goyal सेट)।
   • परिणाम: प्रतिस्पर्धी विधियों (Lasso, Ridge, PCA) ने नकारात्मक आउट-ऑफ-सैंपल $R^2$ दिया। नॉइज़ रेगुलराइजेशन ने सकारात्मक $R^2$ प्राप्त किया (+1.81% वार्षिक, +1.08% त्रैमासिक, +0.37% मासिक)। यह उस सघन, कमजोर-कारक वातावरण से सिग्नल निकालने की क्षमता को प्रदर्शित करता है जहाँ पारंपरिक विधियाँ विफल हो जाती हैं।

5. महत्व और निहितार्थ (Significance and Implications)

• प्रतिमान परिवर्तन (Paradigm Shift): यह शोध पत्र इस पारंपरिक आर्थिक पूर्वानुमान सिद्धांत को चुनौती देता है कि "अधिक शोर बुरा है" और "चर चयन आवश्यक है।" यह तर्क देता है कि सघन, कारक-संचालित वातावरण में, फीचर स्पेस को विस्तारित करना सही रणनीति है।
• व्यावहारिक उपयोगिता: यह एक सरल, ट्यूनिंग-मुक्त (या क्रॉस-वैलिडेशन के माध्यम से आसानी से ट्यून किया जाने वाला) तरीका प्रदान करता है जो वास्तविक दुनिया के आर्थिक डेटा में अत्याधुनिक बेंचमार्क (Lasso, Ridge, PCA) से बेहतर प्रदर्शन करता है।
• सैद्धांतिक सेतु (Theoretical Bridge): यह मशीन लर्निंग की अवधारणा "बेनाइन ओवरफिटिंग" को आर्थिक कारक मॉडलों के साथ जोड़ता है, जो एक कठोर आर्थिक औचित्य प्रदान करता है कि क्यों सघन गुणांक स्वाभाविक रूप से उत्पन्न होते हैं और क्यों ओवरपैरामीट्राइजेशन फायदेमंद हो सकता है।
• मजबूती (Robustness): यह विधि कमजोर कारकों के प्रति मजबूत है और इसमें कारकों की संख्या या उनकी शक्ति का अनुमान लगाने की कठिन आवश्यकता नहीं है, जो अक्सर PCA-आधारित दृष्टिकोणों में एक बाधा होती है।

संक्षेप में, यह शोध पत्र प्रदर्शित करता है कि शोर चरों को जोड़ना एक शक्तिशाली रेगुलराइज़र के रूप में कार्य करता है जो आइगेनवैल्यू स्पेक्ट्रम को सिकोड़ता है, आउट-ऑफ-सैंपल विचरण को कम करता है, और रैखिक मॉडलों को जटिल आर्थिक सेटिंग्स में ओरेकल-स्तर की पूर्वानुमान सटीकता प्राप्त करने की अनुमति देता है।