📈 economics

Individual Shrinkage for Random Effects

यह शोध पत्र माइक्रोपैनल डेटा के लिए इंडिविजुअल वेट (IW) संकुचन अनुमानकों (shrinkage estimators) की एक श्रेणी प्रस्तावित करता है जो क्रॉस-सेक्शनल जानकारी के बजाय व्यक्तिगत इतिहास का लाभ उठाकर समग्र प्रदर्शन के बजाय व्यक्तिगत-स्तर की सटीकता को प्राथमिकता देते हैं, जिससे जेम्स-स्टीन और एम्पेरिकल बेयस जैसे पारंपरिक तरीकों में निहित "बहुमत की निरंकुशता" पर विजय प्राप्त की जा सके।

मूल लेखक: Raffaella Giacomini, Sokbae Lee, Silvia Sarpietro

प्रकाशित 2026-06-02✓ Author reviewed ⓘ

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Raffaella Giacomini, Sokbae Lee, Silvia Sarpietro

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप 100 अलग-अलग कर्मचारियों के भविष्य के प्रदर्शन की भविष्यवाणी करने की कोशिश कर रहे हैं। आपके पास केवल उनके काम का एक छोटा सा इतिहास है—शायद प्रत्येक व्यक्ति के लिए केवल 3 या 4 साल का डेटा। यह एक क्लासिक "माइक्रोपैनल" (micropanel) समस्या है: आपके पास बहुत से लोग हैं, लेकिन प्रत्येक के लिए बहुत कम समय का डेटा है।

जियाकोमिनी, ली और सरपिएत्रो का शोध पत्र इस विशेष समस्या का समाधान करता है: प्रत्येक विशिष्ट व्यक्ति के लिए सबसे अच्छा अनुमान कैसे लगाया जाए बिना समूह के औसत (group average) के झांसे में आए?

यहाँ उनके समाधान का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है।

समस्या: "बहुमत की निरंकुशता" (The Tyranny of the Majority)

पारंपरिक रूप से, सांख्यिकीविद जेम्स-स्टीन (James-Stein) या एम्पे्रिकल बेयस (Empirical Bayes) जैसे तरीकों का उपयोग करते हैं। इन्हें "समूह सोच" (Group Think) दृष्टिकोण के रूप में समझें।

ये कैसे काम करते हैं: वे सभी 100 कर्मचारियों को देखते हैं, उनका औसत प्रदर्शन निकालते हैं, और फिर कहते हैं, "आप एक आउटलायर (outlier) हैं, इसलिए हम आपके स्कोर को औसत के करीब खींचेंगे। आप औसत हैं, इसलिए हम आपको थोड़ा औसत की ओर खींचेंगे।" वे सभी के लिए एक ही मात्रा में समायोजन (adjustment) लागू करते हैं।
दोष: लेखक इसे "बहुमत की निरंकुशता" कहते हैं। यदि आपके पास एक सुपरस्टार कर्मचारी है जो वास्तव में असाधारण है, तो यह विधि उनके स्कोर को बहुत अधिक नीचे खींच सकती है क्योंकि समूह का औसत कम है। इसके विपरीत, यदि आपके पास कोई संघर्ष कर रहा कर्मचारी है जो वास्तव में केवल एक बुरे दौर से गुजर रहा है, तो यह विधि उनके स्कोर को बहुत अधिक ऊपर खींच सकती है।
परिणाम: ये विधियाँ तब बेहतरीन होती हैं जब आप पूरे समूह के औसत के बारे में सही होना चाहते हैं, लेकिन जब आपको किसी विशिष्ट व्यक्ति के बारे में निर्णय लेने की आवश्यकता होती है (जैसे किसी शिक्षक को नौकरी से निकालना या ऋण स्वीकृत करना), तो ये खतरनाक रूप से गलत हो सकती हैं।

समाधान: "व्यक्तिगत संकुचन" (Individual Shrinkage - IW)

लेखक एक नई विधि प्रस्तावित करते हैं जिसे इंडिविजुअल वेट्स विद श्रिंकेज (Shrinkage with Individual Weights - IW) कहा जाता है। किसी व्यक्ति के स्कोर को कितना समायोजित करना है, यह तय करने के लिए पूरे समूह को देखने के बजाय, यह विधि केवल उस व्यक्ति के अपने इतिहास को देखती है।

उपमा: मौसम विज्ञानी (The Weather Forecaster)

पुरानी विधि (समूह सोच): एक मौसम विज्ञानी 100 अलग-अलग शहरों के मौसम को देखता है। वह देखता है कि अधिकांश शहर धूप वाले हैं। जब वह शहर A के मौसम की भविष्यवाणी करने की कोशिश करता है, तो वह कहता है, "शहर A में बारिश हुई है, लेकिन चूंकि अन्य 99 शहर धूप वाले हैं, इसलिए मैं अनुमान लगाऊंगा कि वहां आंशिक रूप से धूप रहेगी।" वह शहर A के विशिष्ट पैटर्न को नजरअंदाज कर देता है क्योंकि बहुमत धूप वाला है।
नई विधि (व्यक्तिगत भार): मौसम विज्ञानी केवल शहर A के पिछले 3 दिनों को देखता है। यदि शहर A पिछले 3 दिनों से लगातार बारिश वाला रहा है, तो वह बारिश की भविष्यवाणी करेगा, चाहे अन्य 99 शहरों में कुछ भी हो रहा हो। वह भविष्यवाणी करने के लिए शहर A के अपने छोटे इतिहास की "शक्ति" का उपयोग करता है।

यह कैसे काम करता है (तंत्र/Mechanics)

यह विधि एक "श्रिंकेज" नियम बनाती है। यह व्यक्ति के हालिया औसत को लेता है और उसे समूह के औसत की ओर खींचता है, लेकिन कितना खींचा जाएगा यह पूरी तरह से उस व्यक्ति के विशिष्ट डेटा पर निर्भर करता है।

"ओरेकल" (Oracle) विचार: एक आदर्श दुनिया में, आप जानते होंगे कि किसी व्यक्ति के इतिहास में कितना "शोर" (noise - यादृच्छिक भाग्य) बनाम कितना "सिग्नल" (signal - वास्तविक प्रतिभा) है। यदि किसी व्यक्ति का इतिहास बहुत शोर वाला है, तो आप उनके स्कोर को समूह के औसत की ओर बहुत अधिक खींचते हैं। यदि उनका इतिहास स्पष्ट और सुसंगत है, तो आप उन पर अधिक भरोसा करते हैं।
वास्तविक दुनिया की समस्या: हम "शोर" के स्तर को पूरी तरह से नहीं जानते, खासकर कम डेटा के साथ।
लेखकों का समाधान: उन्होंने सही मात्रा में खींचने (weights) का अनुमान लगाने के तीन तरीके विकसित किए:
- अनुमानित ओरेकल (Estimated Oracle): शोर को गणितीय रूप से गणना करने का प्रयास करना। (लेखकों ने पाया कि कम डेटा के साथ यह अक्सर विफल हो जाता है)।
- इनवर्स MSFE (Inverse MSFE): यह देखना कि उस विशिष्ट व्यक्ति के लिए पिछले अनुमान कितने सफल रहे।
- मिनिमैक्स रिग्रेट (Minimax Regret - IW-MR): यह मुख्य आकर्षण है। यह एक "सुरक्षा-प्रथम" रणनीति है। यह पूछती है: "मैं सबसे बड़ी संभावित गलती क्या कर सकता हूँ? मैं ऐसा भार (weight) कैसे चुन सकता हूँ जो यह गारंटी दे कि वास्तविक स्थिति चाहे जो भी हो, मैं एक बड़ी गलती नहीं करूँगा?"

यह बेहतर क्यों है

लेखकों ने सिमुलेशन और वास्तविक दुनिया के परीक्षणों (भर्ती भेदभाव डेटा और आय डेटा पर) चलाए और पाया कि:

यह आउटलायर्स की रक्षा करता है: यदि कोई वास्तव में एक आउटलायर है (एक वास्तविक जीनियस या एक वास्तविक आपदा), तो पुरानी विधियाँ अक्सर उन्हें खराब कर देती हैं क्योंकि वे उन्हें औसत दिखने के लिए मजबूर करती हैं। नई विधि उनके अद्वितीय इतिहास का सम्मान करती है।
यह "हेवी टेल्स" (Heavy Tails) को संभालता है: सांख्यिकी में, "हेवी टेल्स" का अर्थ है कि सामान्य बेल कर्व (bell curve) के सुझाव से कहीं अधिक बार चरम घटनाएं होती हैं। नई विधि इन चरम मामलों को बिना भ्रमित हुए बेहतर तरीके से संभालती है।
यह मजबूत (Robust) है: भले ही डेटा के गणितीय अनुमान थोड़े गलत हों, फिर भी "मिनिमैक्स रिग्रेट" (IW-MR) संस्करण बहुत अच्छा प्रदर्शन करता है। यह आसानी से टूटता नहीं है।

निष्कर्ष

यदि आपको एक संक्षिप्त इतिहास के आधार पर एक विशिष्ट व्यक्ति के बारे में निर्णय लेने की आवश्यकता है, तो केवल समूह के औसत को न देखें। उस व्यक्ति के विशिष्ट पैटर्न को देखें।

यह शोध पत्र तर्क देता है कि इंडिविजुअल वेट्स (विशेष रूप से मिनिमैक्स रिग्रेट संस्करण) का उपयोग करके, आप "बहुमत की निरंकुशता" से बच सकते हैं। आप हर चौकोर खांचे को गोल खांचे में बदलने के लिए मजबूर करना बंद कर देते हैं क्योंकि गोल खांचा बॉक्स में सबसे आम आकार है। इसके बजाय, आप उस खांचे को मापते हैं और तय करते हैं कि उसे कितने समायोजन की आवश्यकता है, जिससे व्यक्तियों के लिए अधिक सटीक और निष्पक्ष निर्णय लेने में मदद मिलती है।

तकनीकी सारांश: रैंडम इफेक्ट्स के लिए इंडिविजुअल श्रिंकेज (Individual Shrinkage)

समस्या का विवरण
यह शोध पत्र उन माइक्रो-पैनल्स (micropanels) में रैंडम इफेक्ट्स (RE) के अनुमान और व्यक्तिगत परिणामों के पूर्वानुमान की चुनौती को संबोधित करता है, जिनमें समय का आयाम (T) छोटा है और क्रॉस-सेक्शन (N) संभावित रूप से बड़ा है। ऐसे परिवेशों में, केवल टाइम-सीरीज डेटा पर आधारित यूनिट-लेवल अनुमान अक्सर सटीक नहीं होते हैं। पारंपरिक श्रिंकेज विधियाँ, जैसे कि जेम्स-स्टीन (JS) एस्टीमेटर और एम्पिरिकल बेयस (EB) दृष्टिकोण, क्रॉस-सेक्शनल आयाम के माध्यम से "स्ट्रेंथ उधार लेकर" (borrowing strength) सटीकता में सुधार करने का प्रयास करती हैं। हालांकि, लेखक तर्क देते हैं कि ये विधियाँ अप्रत्यक्ष रूप से समग्र प्रदर्शन (औसत हानि को कम करना) को लक्षित करती हैं, न कि व्यक्तिगत सटीकता को। यह ध्यान "बहुमत के अत्याचार" (tyranny of the majority) की ओर ले जा सकता है, जहाँ आउटलेर्स या विशिष्ट विषमता वाले व्यक्तियों को बड़े पूर्वाग्रहों (biases) का सामना करना पड़ता है क्योंकि उन्हें एक सामान्य माध्य (common mean) की ओर श्रिंक किया जाता है जो क्रॉस-सेक्शनल वितरण पर आधारित होता है। इसके अलावा, मानक विधियाँ अक्सर मजबूत धारणाओं पर निर्भर करती हैं, जैसे कि एक्सचेंजैबिलिटी (एक सामान्य RE वितरण) और विशिष्ट त्रुटि वितरण (जैसे, नॉर्मलिटी), जिनका उल्लंघन होने पर महत्वपूर्ण मिसस्पेसिफिकेशन बायस (misspecification bias) हो सकता है।

कार्यप्रणाली (Methodology)
लेखक इंडिविजुअल वेट्स (Individual Weights - IW) का उपयोग करने वाले श्रिंकेज एस्टीमेटर्स के एक वर्ग का प्रस्ताव करते हैं। JS या EB के विपरीत, जो सभी इकाइयों के क्रॉस-सेक्शनल वितरण से वेट निकालते हैं, IW केवल एक व्यक्ति के अपने टाइम-सीरीज इतिहास का उपयोग करके वेट की गणना करता है।

मॉडल फ्रेमवर्क: शोध पत्र एक ऐसे मॉडल पर विचार करता है जहाँ व्यक्तिगत परिणाम $Y_{i,t}$ एक रैंडम इफेक्ट $A_i$ और एक इडियोसिंक्रेटिक एरर $U_{i,t}$ का योग है। यह फ्रेमवर्क पैरामीटर विषमता (variance $\lambda_i^2$ और $\sigma_i^2$ $i$ के across भिन्न हो सकते हैं) के संबंध में पूरी तरह से अगनोस्टिक (agnostic) है और यह $A_i$ या $U_{i,t}$ के लिए किसी विशिष्ट वितरण की धारणा नहीं बनाता है, बशर्ते कि वेरिएंस मौजूद हो।
श्रिंकेज नियम: एस्टीमेटर टाइम-सीरीज एस्टीमेटर ( $\bar{Y}_{i,T}$ ) को एक व्यक्तिगत-विशिष्ट वेट $W_{i,T}$ का उपयोग करके एक सामान्य माध्य ( $\mu$ ) की ओर श्रिंक करता है:
$\hat{Y}_{i,T}^{IW} = \bar{Y}_{i,T} W_{i,T} + \mu (1 - W_{i,T})$
सैद्धांतिक आधार (स्प्लिट-सैंपल): इस दृष्टिकोण को प्रेरित करने के लिए, लेखक पहले एक सरलीकृत स्प्लिट-सैंपल सेटिंग का विश्लेषण करते हैं जहाँ वेट $T-1$ तक के डेटा से गणना किए जाते हैं और पूर्वानुमान $T$ तक के डेटा का उपयोग करते हैं। इस सेटिंग के तहत, वे प्रदर्शित करते हैं कि IW, टाइम-सीरीज फोरकास्ट और पूल्ड मीन के सापेक्ष मिनिमैक्स रिग्रेट (Minimax Regret - MMR) अनुकूल है, उस पड़ोस में जहाँ सिग्नल-टू-नॉइज़ रेशियो (signal-to-noise ratio) एकता के करीब होता है।
व्यवहार्य वेट्स (Feasible Weights): शॉर्ट पैनल्स में सूचना के नुकसान को देखते हुए, शोध पत्र पूर्ण नमूने का उपयोग करके तीन व्यवहार्य वेट क्लास विकसित करता है:
- IW-O (एस्टीमेटेड ओरेकल): व्यक्तिगत वेरिएंस पैरामीटर्स के आधार पर इष्टतम वेट का अनुमान लगाता है।
- IW-MR (मिनिमैक्स रिग्रेट ऑप्टिमल): कंडीशनल सिग्नल-टू-नॉइज़ रेशियो की एक सीमा मानते हुए, अधिकतम कंडीशनल रिग्रेट को कम करके वेट प्राप्त करता है। यह वेट हेयुरिस्टिक रूप से एरर वेरिएंस एस्टीमेट के सापेक्ष व्यक्ति के इतिहास के अधिकतम स्क्वेर्ड डेविएशन का उपयोग करके बनाया गया है।
- IW-MSFE (इनवर्स MSFE): टाइम-सीरीज और पूल्ड फोरकास्ट के इन-सैंपल या आउट-ऑफ-सैंपल मीन स्क्वेयर्ड फोरकास्ट एरर (MSFE) के व्युत्क्रम (inverse) पर आधारित वेट।

प्रमुख योगदान

उद्देश्य में बदलाव: शोध पत्र स्पष्ट रूप से समग्र हानि न्यूनीकरण से व्यक्तिगत हानि न्यूनीकरण की ओर शिफ्ट होता है, जो "रेलेवेंस" की समस्या को संबोधित करता है जहाँ क्रॉस-सेक्शनल उधार लेना विशिष्ट व्यक्तियों के लिए अनुपयुक्त हो सकता है।
विषमता और मिसस्पेसिफिकेशन के प्रति मजबूती: अपने वेट्स के लिए व्यक्तिगत टाइम-सीरीज डेटा पर भरोसा करके, IW विधि JS में निहित "बहुमत के अत्याचार" से बचती है और एरर डिस्ट्रीब्यूशन के मिसस्पेसिफिकेशन या कॉमन RE डिस्ट्रीब्यूशन (एक्सचेंजैबिलिटी) की धारणा के प्रति संवेदनशीलता को कम करती है।
मिनिमैक्स रिग्रेट फ्रेमवर्क: लेखक वेट्स को चुनने के लिए मिनिमैक्स रिग्रेट मानदंड (मानस्की, 2021 के अनुसार) का अनुप्रयोग करते हैं। यह एक मजबूत निर्णय-सैद्धांतिक ढांचा प्रदान करता है जो बड़े-नमूना एसिम्प्टोटिक्स या अंतर्निहित वितरणों के सुसंगत अनुमान की आवश्यकता के बिना पूरे पैरामीटर स्पेस में अच्छा प्रदर्शन करता है।
सैद्धांतिक इष्टतमता: शोध पत्र सिद्ध करता है कि विशिष्ट शर्तों के तहत (वेट्स वास्तविक रूप से RE के फंक्शन हैं और माध्य से स्क्वेर्ड डेविएशन के साथ नकारात्मक सहसंबंध की स्थिति को पूरा करते हैं), IW, सिग्नल-टू-नॉइज़ रेशियो 1 होने पर टाइम-सीरीज और पूल्ड फोरकास्ट दोनों में MSFE के संदर्भ में सुधार करता है, और अन्यथा अधिकतम रिग्रेट को कम करता है।

परिणाम

सिमुलेशन: मोंटे कार्लो सिमुलेशन संकेत देते हैं कि IW-MR पसंदीदा व्यवहार्य नियम है, जो विभिन्न पैरामीटर स्पेस में MSFE और रिग्रेट के मामले में IW-O और IW-MSFE पर समान रूप से हावी है। IW-MR "बहुमत के अत्याचार" को कम करने में भी बेहतर प्रदर्शन करता है, विशेष रूप से जब RE वितरण में हेवी टेल्स (heavy tails) या बड़ा वेरिएंस होता है, जो आउटलेर्स के लिए JS से काफी बेहतर है।
अनुप्रयोग 1 (फर्म भेदभाव): क्लाइन एट अल. (2022) के लिंग आधारित भेदभाव के अध्ययन को पुनरावृत्त करते हुए, लेखक पाते हैं कि IW-MR, EB एस्टीमेटर (एफ्रोन, 2016) की तुलना में अलग नीतिगत निहितार्थ देता है। IW-MR फर्मों के भेदभावपूर्ण होने की उच्च संभावना की पहचान करता है और कम कुल आउट-ऑफ-सैंपल MSFE प्राप्त करता है। महत्वपूर्ण रूप से, IW-MR सब-सैंपल संरचना के प्रति अधिक मजबूती दिखाता है, जो EB की तुलना में सबसे खराब प्रदर्शन के जोखिम को कम करता है।
अनुप्रयोग 2 (आय पूर्वानुमान): PSID डेटा का उपयोग करके आय अवशेषों (earnings residuals) का पूर्वानुमान लगाते हुए, IW-MR, TS, Pool, JS और IW-MR में से सबसे कम कुल आउट-ऑफ-सैंपल MSFE प्राप्त करता है। विश्लेषण से पता चलता है कि IW-MR अनुकूल रूप से स्ट्रेंथ उधार लेता है (पूल माध्य को उच्च वेट देता है) मुख्य रूप से आय वितरण के मेडियन के पास के व्यक्तियों के लिए, जबकि विशिष्ट पैटर्न वाले लोगों के लिए अधिक टाइम-सीरीज डेटा पर निर्भर रहता है।

महत्व और दावे
शोध पत्र दावा करता है कि यह माइक्रो-पैनल्स के लिए मौजूदा श्रिंकेज विधियों का एक व्यावहारिक और सैद्धांतिक रूप से ठोस विकल्प प्रदान करता है। इसका प्राथमिक महत्व यह है कि यह एक ऐसी विधि प्रदान करता है जो:

समग्र प्रदर्शन के बजाय व्यक्तिगत स्तर की सटीकता को प्राथमिकता देती है, जो विशिष्ट इकाइयों (जैसे, शिक्षक मूल्यांकन, व्यक्तिगत वित्त) को लक्षित करने वाले नीतिगत हस्तक्षेपों के लिए महत्वपूर्ण है।
कमजोर धारणाओं के तहत कार्य करती है, जिसमें एक्सचेंजैबिलिटी या विशिष्ट त्रुटि वितरण की आवश्यकता नहीं होती है, जिससे यह विषमता और मिसस्पेसिफिकेशन के प्रति मजबूत बनती है।
मिनिमैक्स रिग्रेट दृष्टिकोण के माध्यम से शॉर्ट पैनल्स के लिए व्यवहार्य है, जो एक मजबूत निर्णय नियम प्रदान करता है जो बड़े $T$ एसिम्प्टोटिक्स पर निर्भर नहीं है।

लेखक विनम्रतापूर्वक नोट करते हैं कि हालांकि IW को व्यक्तिगत हानि के लिए डिज़ाइन किया गया है, फिर भी यह प्रतिस्पर्धी या बेहतर समग्र प्रदर्शन दे सकता है, विशेष रूप से जब रैंडम इफेक्ट्स का वितरण हेवी टेल्स या महत्वपूर्ण विषमता प्रदर्शित करता है। शोध पत्र निष्कर्ष निकालता है कि हालांकि मिनिमैक्स रिग्रेट वेट्स को अधिक जटिल मॉडलों (जैसे, हेटेरोजेनियस स्लोप्स) तक विस्तारित करना भविष्य के अनुसंधान का एक खुला क्षेत्र है, प्रस्तावित IW-MR वेट्स वर्तमान अनुप्रयोगों के लिए एक मजबूत और प्रभावी उपकरण प्रदान करते हैं।

समस्या: "बहुमत की निरंकुशता" (The Tyranny of the Majority)

समाधान: "व्यक्तिगत संकुचन" (Individual Shrinkage - IW)

यह कैसे काम करता है (तंत्र/Mechanics)

यह बेहतर क्यों है

निष्कर्ष

इसी तरह के और पेपर