Robust high-dimensional Bayesian regression with non-Gaussian errors under global--local shrinkage priors

तकनीकी सारांश: ग्लोबल-लोकल श्रिंकेज प्रायर के तहत गैर-गौसियन त्रुटियों के साथ सुदृढ़ उच्च-आयामी बेयसियन रिग्रेशन

1. समस्या विवरण

यह शोध पत्र बहुभिन्नरूपी रैखिक प्रतिगमन (multivariate linear regression) की चुनौतियों को संबोधित करता है जहाँ भविष्यवक्ताओं ($p$) और प्रतिक्रिया चरों ($q$) की संख्या नमूना आकार ($n$) के सापेक्ष उच्च-आयामी होती है। शास्त्रीय दृष्टिकोण दो प्रतिबंधात्मक मान्यताओं पर निर्भर करता है जो अनुभवजन्य विज्ञानों (जैसे, मैक्रोइकॉनॉमिक्स, वित्त, जीनोमिक्स) में अक्सर खंडित हो जाती हैं:

1. गौसियन एरर लॉ (Gaussian Error Law): मानक अनुमानक मानते हैं कि त्रुटियाँ एक बहुभिन्नरूपी सामान्य (multivariate normal) वितरण का पालन करती हैं। हालाँकि, वास्तविक दुनिया के डेटा में अक्सर भारी पूंछ (heavy tails/leptokurtosis), अचानक आउटलियर्स (outliers) और विषमता (asymmetry/skewness) देखी जाती है। गौसियन मान्यताओं के तहत, कुछ बड़े आउटलियर्स गुणांक अनुमानों (coefficient estimates) को विकृत कर सकते हैं और महत्वपूर्ण रूप से, सशर्त-निर्भरता ग्राफ (कंडीशनल-डिपेंडेंस ग्राफ/प्रिसिजन मैट्रिक्स $\Omega$) के अनुमान को भ्रष्ट कर सकते हैं।
2. पृथक स्पर्सिटी हैंडलिंग (Separate Sparsity Handling): मौजूदा पद्धतियाँ आमतौर पर प्रतिगमन गुणांकों ($B$) और व्युत्क्रम त्रुट सहप्रसरण ($\Omega$) में स्पर्सिटी (sparsity) को अलग-अलग संबोधित करती हैं। एक एकीकृत ढांचे का अभाव है जो गैर-गौसियन त्रुटों के प्रति सुदृढ़ता बनाए रखते हुए चर चयन (variable selection) और सशर्त-निर्भरता ग्राफ रिकवरी को एक साथ निष्पादित कर सके।

2. कार्यप्रणाली

लेखक एक एकीकृत बेयसियन ढांचे का प्रस्ताव करते हैं, जिसे RHS-MR (Robust Horseshoe+ Multivariate Regression) कहा जाता है, जो संयुक्त श्रिंकेज प्रायर के साथ सुदृढ़ त्रुट मॉडलिंग को एकीकृत करता है।

A. स्केल-लोकेशन मिश्रण के माध्यम से सुदृढ़ संभावना (Robust Likelihood via Scale–Location Mixtures)
गौसियन त्रुट के बजाय, मॉडल एक लचीले स्केल-लोकेशन मिश्रण ऑफ नॉर्मल्स का उपयोग करता है। लेटेंट वेरिएबल्स (latent variables) के आधार पर, त्रुट संरचना निम्नलिखित की अनुमति देती है:

• बहुभिन्नरूपी $t$-वितरण (Multivariate $t$-distribution): एक गौसियन को इनवर्स-गामा वेट ($w_i$) के साथ मिश्रित करके प्राप्त किया जाता है, जो भारी पूंछ (heavy tails) को समायोजित करता है।
• बहुभिन्नरूपी स्क्यू-नॉर्मल और स्क्यू-$t$ (Multivariate Skew-Normal and Skew-$t$): माध्य को शिफ्ट करने के लिए एक लेटेंट हाफ-नॉर्मल वेक्टर ($t_i$) पेश करके प्राप्त किया जाता है, जो भारी पूंछ और विषमता (skewness) दोनों को समायोजित करता है।
  यह सूत्रीकरण कंडीशनल पोस्टीरियर्स को कंजुगेट (conjugate) बनाता है, जिससे गणना सुलभ हो जाती है।

B. संयुक्त हॉर्सशू+ श्रिंकेज (Joint Horseshoe+ Shrinkage)
मॉडल दो अलग-अलग स्पार्स ऑब्जेक्ट्स पर एक हॉर्सशू+ प्रायर रखता है:

1. प्रतिगमन गुणांक ($B$): प्रत्येक प्रविष्टि $\beta_{jk}$ को एक स्थानीय स्केल पैरामीटर सौंपा जाता है, जिसे मानक हॉर्सशू की तुलना में दूसरे हाफ-कॉची फैक्टर ($\eta_{jk}$) द्वारा बढ़ाया जाता है। यह शून्य पर एक ऊंचे स्पाइक (आक्रामक शोर श्रिंकेज के लिए) और भारी पूंछ (बड़े संकेतों के निष्पक्ष उपचार के लिए) वाला एक मार्जिनल प्रायर बनाता है।
2. प्रिसिजन मैट्रिक्स ($\Omega$): ऑफ-डायगोनल प्रविष्टियाँ (जो सशर्त निर्भरता का प्रतिनिधित्व करती हैं) हॉर्सशू+ प्रायर प्राप्त करती हैं, जबकि डायगोनल प्रविष्टियाँ एक विसरित (diffuse) एक्सपोनेंशियल प्रायर प्राप्त करती हैं। यह प्रतिगमन मानचित्र की स्पर्सिटी को सशर्त-निर्भरता ग्राफ की स्पर्सिटी के साथ जोड़ता है।

C. पोस्टीरियर कंप्यूटेशन (Posterior Computation)
पोस्टीरियर इन्फरेंस के लिए दो एल्गोरिदम विकसित किए गए हैं:

1. गिब्स सैंपलर (Gibbs Sampler): स्केल-मिक्सचर और पैरामीटर-एक्सपैंडेड रिप्रजेंटेशन से प्राप्त एक पूर्णतः सुलभ सैंपलर। यह प्रिसिजन मैट्रिक्स के लिए कॉलम-वाइज ब्लॉक अपडेट (ग्राफिकल हॉर्सशू से प्रेरित) और सभी फुल कंडिशनल्स के लिए क्लोज्ड-फॉर्म अपडेट का उपयोग करता है।
2. मीन-फील्ड वेरिएशनल इन्फरेंस (Mean-Field Variational Inference): एक तेज़ सन्निकटन एल्गोरिदम जो ब्लॉक्स के बीच फैक्टराइज होता है, जो तुलनीय सटीकता के साथ एक से दो क्रम की गति वृद्धि (speed-up) प्रदान करता है।

3. प्रमुख योगदान

शोध पत्र के चार प्राथमिक योगदान हैं:

1. मॉडल फॉर्मूलेशन: यह एक सुदृढ़ बहुभिन्नरूपी प्रतिगमन मॉडल तैयार करता है जहाँ गौसियन त्रुट को स्केल-लोकेशन मिश्रण (जो $t$, स्क्यू-नॉर्मल और स्क्यू-$t$ कानूनों को कवर करता है) द्वारा प्रतिस्थापित किया जाता है, जो एक सामान्य प्रिसिजन मैट्रिक्स $\Omega$ साझा करते हैं।
2. संयुक्त श्रिंकेज: यह $B$ और $\Omega$ की ऑफ-डायगोनल प्रविष्टियों दोनों पर हॉर्सशू+ प्रायर के समवर्ती अनुप्रयोग को पेश करता है, जो चर चयन को ग्राफ संरचना रिकवरी के साथ प्रभावी रूप से जोड़ता है।
3. कंप्यूटेशनल एल्गोरिदम: यह इन जटिल मॉडलों के लिए एक क्लोज-फॉर्म गिब्स सैंपलर और एक स्केलेबल वेरिएशनल इन्फरेंस एल्गोरिदम व्युत्पन्न करता है।
4. सैद्धांतिक गारंटी:
   • संयुक्त पोस्टीरियर कॉन्ट्रैक्शन (Joint Posterior Contraction): यह स्थापित करता है कि $B$ और $\Omega$ के पोस्टीरियर वितरण गैर-गौसियन त्रुटों के तहत भी नियर-मिनिमैक्स दरों पर सत्य की ओर अभिसरित (contract) होते हैं।
   • सिलेक्शन कंसिस्टेंसी (Selection Consistency): यह चर चयन (in $B$) और एज चयन (in $\Omega$) दोनों के लिए निरंतरता सिद्ध करता है।
   • रिस्क डोमिनेंस (Risk Dominance): यह एक कुलबैक-लीब्लर (Kullback–Leibler) रिस्क बाउंड के माध्यम से प्रदर्शित करता है कि हॉर्सशू+ प्रायर स्पार्स-सिग्नल शासन में मानक हॉर्सशू पर हावी है, क्योंकि इसकी भारी पूंछ बड़े संकेतों पर पूर्वाग्रह (bias) को कम करती है।
5. बाउंडेड सेंसिटिविटी (Bounded Sensitivity): यह सिद्ध करता है कि $t$-एरर के तहत, $B$ का पोस्टीरियर मीन तब भी सीमित रहता है जब एक एकल आउटलियर अनंत की ओर बढ़ता है, जबकि गौसियन अनुमानक रैखिक रूप से विकृत हो जाते हैं।

4. अनुभवजन्य परिणाम (Empirical Results)

कार्यप्रणाली का व्यापक सिमुलेशन और दो वास्तविक अनुप्रयोगों के माध्यम से मूल्यांकन किया गया है।

सिमुलेशन अध्ययन:

• एरर रेजीम (Error Regimes): मॉडल का परीक्षण गौसियन, $t_3$, स्क्यू-नॉर्मल और स्क्यू-$t_4$ एरर डिस्ट्रीब्यूशन के तहत किया गया।
• प्रदर्शन: गौसियन एरर के तहत, सुदृढ़ मॉडल अपने गौसियन समकक्ष के समान प्रदर्शन करता है। भारी पूंछ वाले और विषम (skewed) एरर के तहत, सुदृढ़ मॉडल गौसियन-आधारित बेंचमार्क (MRCE और OLS जैसे दंडित लाइक्लीहुड विधियों सहित) की तुलना में काफी बेहतर प्रदर्शन करता है। विशेष रूप से, स्क्यू-$t_4$ एरर के तहत, सुदृढ़ मॉडल ने गौसियन एब्लेशन की तुलना में गुणांक अनुमान त्रुटि को 43% कम कर दिया।
• कॉन्ट्रैक्शन (Contraction): जैसे-जैसे नमूना आकार ($n$) बढ़ा, सुदृढ़ अनुमानक की त्रुटि अनुमानित दर ($\sim n^{-1/2}$) पर संकुचित हुई, जबकि भारी पूंछ के तहत गौसियन अनुमानक का प्रिसिजन मैट्रिक्स एरर संकुचित होने में विफल रहा।
• आउटलियर सेंसिटिविटी: जब एक अवलोकन को बढ़ती तीव्रता के साथ दूषित किया गया, तो गौसियन अनुमानक की त्रुटि रैखिक रूप से बढ़ी, जबकि सुदृढ़ अनुमानक की त्रुटि स्थिर रही, जो बाउंडेड सेंसिटिविटी प्रमेय की पुष्टि करती है।
• कंप्यूटेशन: वेरिएशनल एल्गोरिदम ने न्यूनतम सटीकता हानि के साथ गिब्स सैंपलर की तुलना में 10x से 70x तक की गति वृद्धि प्राप्त की।

अनुप्रयोग:

1. FRED-MD (मैक्रोइकॉनॉमिक डेटा): 8 मैक्रोइकॉनॉमिक संकेतकों और 30 भविष्यवक्ताओं पर लागू किया गया। मॉडल ने 2008 के वित्तीय संकट और 2020-2021 महामारी के दौरान अवलोकनों को स्वचालित रूप से डाउन-वेट (down-weight) किया, एक स्पार्स रेसिड्यूल डिपेंडेंस ग्राफ को रिकवर किया और गौसियन फिट की तुलना में कम भविष्य कहनेवाला त्रुटि प्राप्त की।
2. S&P 500 (इक्विटी रिटर्न्स): 12 स्टॉक और 31 कारकों के दैनिक लॉग-रिटर्न पर लागू किया गया। सुदृढ़ फिट ने एक स्पार्स रेसिड्यूल ग्राफ की पहचान की जहाँ 5 में से 4 चयनित किनारे (edges) एनर्जी सेक्टर के स्टॉक्स को जोड़ते हैं, जो कमोडिटी कीमतों के प्रति सामान्य जोखिम को दर्शाते हैं। इसने 2007-2008 के उथल-पुथल की शुरुआत सहित अस्थिर ट्रेडिंग दिनों को भी डाउन-वेट किया।

5. महत्व और दावे

शोध पत्र का दावा है कि यह पहले एकीकृत बेयसियन ढांचे को प्रदान करता है जो उच्च-आयामी स्पर्सिटी को उच्च-आयामी प्रतिगमन गुणांकों और सशर्त-निर्भरता संरचनाओं दोनों में एक साथ संबोधित करता है और भारी-पूंछ वाले और विषम त्रुटों के प्रति सुदृढ़ता बनाए रखता है।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण:

• दक्षता बनाए रखता है (Preserves Efficiency): यह प्रदर्शन का त्याग नहीं करता है जब त्रुटियाँ गौसियन होती हैं (सुदृढ़ता की लागत "अनिवार्य रूप से कुछ भी नहीं" है)।
• संरचनात्मक पूर्वाग्रह को ठीक करता है (Corrects Structural Bias): यह आउटलियर्स द्वारा सशर्त-निर्भरता ग्राफ ($\Omega$) को भ्रष्टाचार से बचाता है, जो गौसियन प्रक्रियाओं में एक सामान्य विफलता मोड है।
• सैद्धांतिक सुदृढ़ता (Theoretical Soundness): यह पोस्टीरियर कॉन्ट्रैक्शन, चयन निरंतरता और बाउंडेड सेंसिटिविटी पर कठोर गारंटी प्रदान करता है, जो सुदृढ़ सांख्यिकी और उच्च-आयामी बेयसियन श्रिंकेज के बीच के अंतर को पाटता है।
• व्यावहारिक उपयोगिता (Practical Utility): आउटलियर्स को पोस्टीरियर वेट्स के माध्यम से स्वचालित रूप से डाउन-वेट करना डेटा गुणवत्ता के लिए एक व्याख्या योग्य डायग्नोस्टिक प्रदान करता है, जिसके लिए पूर्व-निर्धारित संकट संकेतकों की आवश्यकता नहीं होती है।

शोध पत्र निष्कर्ष निकालता है कि ग्लोबल-लोकल श्रिंकेज को स्केल-मिक्सचर एरर मॉडल्स के साथ एकीकृत करना उन अनुभवजन्य विज्ञानों के लिए एक बेहतर विकल्प प्रदान करता है जहाँ डेटा की गैर-सामान्यता (non-normality) और उच्च-आयामीता सह-अस्तित्व में हैं।