📊 statistics

Robust Matrix Estimation with Side Information

यह शोध पत्र उच्च-आयामी मैट्रिक्स अनुमान के लिए एक सुदृढ़, लचीला ढांचा प्रस्तावित करता है जो लक्ष्य मैट्रिक्स को चार पूरक घटकों में विभाजित करता है ताकि पंक्तियों और स्तंभों के लिए पार्श्व सूचना (side information) को प्रभावी ढंग से शामिल किया जा सके, जिससे मौजूदा विधियों की तुलना में विभिन्न लुप्त डेटा तंत्रों (missing data mechanisms) के तहत इम्प्यूटेशन सटीकता और उपचार-प्रभाव अनुमान में सुधार किया जा सके।

मूल लेखक: Anish Agarwal, Jungjun Choi, Ming Yuan

प्रकाशित 2026-03-27

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Anish Agarwal, Jungjun Choi, Ming Yuan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, आंशिक रूप से फटे हुए जिग्सॉ पज़ल (jigsaw puzzle) को पूरा करने की कोशिश कर रहे हैं। यह पज़ल डेटा के एक विशाल स्प्रेडशीट (मैट्रिक्स) का प्रतिनिधित्व करता है, जैसे कि हर साल हर अमेरिकी राज्य के लिए बिक्री के आंकड़े। इसमें कुछ टुकड़े गायब हैं, और जो टुकड़े आपके पास हैं, वे थोड़े धुंधले या शोर (noisy) वाले हैं। आपका लक्ष्य यह अनुमान लगाना है कि गायब टुकड़े कैसे दिखते होंगे और धुंधले टुकड़ों को साफ करना है।

यह शोध पत्र इस पज़ल को हल करने का एक नया, स्मार्ट तरीका पेश करता है, खासकर जब आपके पास अतिरिक्त सुराग (जिसे "साइड इंफॉर्मेशन" कहा जाता है) हों।

यहाँ उनके तरीके का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. पुराने तरीकों के साथ समस्या

इस पज़ल को हल करने के पारंपरिक तरीकों में आमतौर पर यह माना जाता है कि चित्र सरल है। वे कह सकते हैं, "पूरी छवि केवल एक सरल पैटर्न का कम-रिज़ॉल्यूशन वाला संस्करण है," या "पंक्तियाँ (rows) और कॉलम (columns) एक सीधी, अनुमानित रेखा में परस्पर क्रिया करते हैं।"

खामी: वास्तविक जीवन अव्यवस्थित होता है।

कभी-कभी पैटर्न पंक्ति और कॉलम दोनों पर निर्भर करता है (जैसे, किसी विशिष्ट राज्य की अर्थव्यवस्था कैसे किसी विशिष्ट वर्ष की गैस कीमतों के साथ परस्पर क्रिया करती है)।
कभी-कभी यह केवल पंक्ति पर निर्भर करता है (जैसे, एक राज्य की अनूठी संस्कृति)।
कभी-कभी यह केवल कॉलम पर निर्भर करता है (जैसे, एक राष्ट्रीय रुझान)।
कभी-कभी यह बस रैंडम शोर या एक अजीब पैटर्न होता है जिसका आपके पास मौजूद सुरागों से कोई लेना-देना नहीं है।

पुराने तरीके पहेली को एक ऐसे आकार में ढालने की कोशिश करते हैं जो फिट न बैठे, वे "केवल-रो" या "केवल-कॉलम" वाले सुरागों को अनदेखा कर देते हैं, या वे तब भ्रमित हो जाते हैं जब डेटा एक अजीब पैटर्न में गायब होता है (जैसे, कुछ वर्षों के बाद विशिष्ट समूहों के राज्यों का सारा डेटा गायब होना)।

2. नया समाधान: "चार-टुकड़ों" वाली रणनीति

लेखक इस पज़ल को चार अलग-अलग परतों में तोड़ने और उन्हें वापस जोड़ने से पहले प्रत्येक को अलग से हल करने का प्रस्ताव देते हैं। इसे एक घर बनाने की तरह समझें जहाँ आप पहले नींव रखते हैं, फिर दीवारें, फिर छत और अंत में सजावट करते हैं, बजाय इसके कि एक ही बार में पूरी चीज़ बनाने की कोशिश की जाए।

परत 1 (इंटरैक्शन/परस्पर क्रिया): यह वह हिस्सा है जो पंक्ति और कॉलम के सुरागों के संयोजन द्वारा समझाया गया है। (जैसे, कैलिफोर्निया की विशिष्ट अर्थव्यवस्था एक विशिष्ट राष्ट्रीय नीति के प्रति कैसे प्रतिक्रिया करती है)। यह विधि इन जटिल, गैर-रेखीय संबंधों को पकड़ने के लिए एक लचीले "नेट" (जिसे सिएव/sieve कहा जाता है) का उपयोग करती है।
परत 2 (केवल-रो): यह वह हिस्सा है जो केवल पंक्ति के सुरागों द्वारा समझाया गया है। (जैसे, एक राज्य का अंतर्निहित जनसंख्या आकार)।
परत 3 (केवल-कॉलम): यह वह हिस्सा है जो केवल कॉलम के सुरागों द्वारा समझाया गया है। (जैसे, एक वर्ष की सामान्य मुद्रास्फीति दर)।
लेयर 4 (रहस्य): यह वह हिस्सा है जिसे कोई भी सुराग नहीं समझा पाता। यह शुद्ध लो-रैंक संरचना या रैंडम शोर है।

जादुई ट्रिक: लेखक न्यूक्लियर नॉर्म पेनलाइजेशन (Nuclear Norm Penalization) नामक एक गणितीय उपकरण का उपयोग करते हैं। इसे एक "स्मार्ट इरेज़र" (स्मार्ट मिटाने वाला) के रूप में कल्पना करें। यदि कोई परत (जैसे, लेयर 2 या 3) खाली या बहुत कमजोर निकलती है, तो यह इरेज़र उसे पूरी तरह से मिटा देता है। यह विधि को वहां पैटर्न बनाने के लिए मजबूर होने से रोकता है जहां कोई पैटर्न नहीं है, जिससे अंतिम परिणाम बहुत अधिक सटीक बनता है।

3. गायब टुकड़ों को संभालना (द "ब्लॉक" समस्या)

कई वास्तविक दुनिया के परिदृश्यों में (जैसे, एक नए कानून के प्रभाव का अध्ययन करना), डेटा केवल रैंडम तरीके से गायब नहीं होता है। यह अक्सर ब्लॉक में गायब होता है।

उदाहरण: आपके पास कानून पारित होने से पहले का सभी राज्यों का डेटा है, लेकिन जिन राज्यों ने कानून पारित किया, उनके लिए कानून पारित होने के बाद के वर्षों का आपके पास कोई डेटा नहीं है।

पुराने तरीके यहाँ संघर्ष करते हैं। यह शोध पत्र इन "ब्लॉक मिसिंग" पैटर्न को संभालने का एक चतुर तरीका पेश करता है। यह "पहले" के डेटा और "कंट्रोल ग्रुप" के डेटा को अलग लेकिन जुड़े हुए पज़ल के रूप में मानता है। यह पज़ल के "लंबे" हिस्से और "चौड़े" हिस्से को अलग-अलग हल करता है, फिर उन्हें पूरी तरह से जोड़ने के लिए एक गणितीय "रोटेशन" का उपयोग करता है, भले ही गायब ब्लॉक बहुत बड़ा क्यों न हो।

4. यह क्यों मायने रखता है (वास्तविक दुनिया का परीक्षण)

लेखकों ने अपने तरीके का परीक्षण तंबाकू बिक्री के आंकड़ों पर किया।

परिदृश्य: कैलिफोर्निया ने 1988 में एक सख्त एंटी-टोबैको कानून पारित किया। शोधकर्ता जानना चाहते थे कि: "कैलिफोर्निया में तंबाकू की बिक्री कैसी होती यदि उन्होंने कानून पारित नहीं किया होता?"
चुनौती: आप "क्या होता" (काउंटरफैक्चुअल) डेटा को देख नहीं सकते। आपको अन्य राज्यों के डेटा का उपयोग करके इसका अनुमान लगाना होगा।
परिणाम: अपने "फोर-पीस" तरीके का उपयोग करके और साइड इंफॉर्मेशन (जैसे राज्य की आय, बीयर की खपत और शिक्षा स्तर) को शामिल करके, उन्होंने मानक तरीकों की तुलना में गायब "क्या होता" बिक्री संख्याओं का बहुत अधिक सटीक अनुमान लगाया।

सारांश

इस शोध पत्र को एक कठोर कुकी कटर से लचीले, मल्टी-टूल मूर्तिकार में अपग्रेड के रूप में समझें।

पुराना तरीका: "मैं अपने सभी डेटा को एक सरल, लो-रैंक आकार में जबरदस्ती डाल दूँगा।"
नया तरीका: "मैं डेटा को देखूँगा, पहचानूँगा कि कौन से हिस्से केवल-रो द्वारा संचालित हैं, कौन से केवल-कॉलम द्वारा, कौन से दोनों द्वारा, और कौन से सिर्फ शोर हैं। मैं प्रत्येक हिस्से को सही उपकरण के साथ हल करूँगा, उन हिस्सों को मिटा दूँगा जो मौजूद नहीं हैं, और एक सटीक तस्वीर बनाने के लिए उन्हें जोड़ दूँगा।"

यह दृष्टिकोण अधिक सटीक है, गायब डेटा को बेहतर ढंग से संभालता है, और तब भी काम करता है जब आपके पास मौजूद सुराग केवल पज़ल के कुछ हिस्सों के लिए ही उपयोगी होते हैं।

यहाँ अग्रवाल, चोई और युआन के शोध पत्र "Robust Matrix Estimation with Side Information" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या का विवरण (Problem Statement)

यह शोध पत्र उच्च-आयामी मैट्रिक्स अनुमान (विशेष रूप से मैट्रिक्स डिनोइजिंग और कंप्लीशन) की समस्या को संबोधित करता है जहाँ पंक्तियों (rows) और स्तंभों (columns) दोनों के लिए साइड इंफॉर्मेशन (सहचर/covariates) उपलब्ध होती है।

संदर्भ: कई अनुप्रयोगों में (जैसे, कॉज़ल पैनल डेटा, रिकमेंडेशन सिस्टम), लक्षित मैट्रिक्स $Y$ शोर (noise) के साथ देखा जाता है और इसमें संभावित रूप से लुप्त प्रविष्टियाँ (missing entries) होती हैं। मानक दृष्टिकोण अक्सर उपलब्ध सहचरों ( $X$ पंक्तियों के लिए, $Z$ स्तंभों के लिए) को अनदेखा कर देते हैं या प्रतिबंधात्मक संरचनात्मक धारणाएँ लागू करते हैं।
मौजूदा विधियों की सीमाएँ:
- इंडक्टिव मैट्रिक्स कंप्लीशन (IMC): यह एक रैखिक अंतःक्रिया (linear interaction) $XLZ^\top$ मानता है और दोनों पक्षों पर फीचर्स की आवश्यकता होती है। यह विफल हो जाता है यदि फीचर्स कमजोर, अप्रासंगिक या गैर-रैखिक (nonlinear) हों।
- डर्टी IMC / विस्तार: हालांकि कुछ इसमें एक अवशिष्ट निम्न-रैंक (residual low-rank) पद जोड़ते हैं, वे अक्सर स्पष्ट शोर मॉडलिंग का अभाव रखते हैं, केवल एक पक्ष द्वारा समझाए गए घटकों (केवल-रो या केवल-कॉलम) को नहीं संभाल सकते हैं, और अभी भी रैखिकता या निम्न-रैंक बाधाओं को मानते हैं जो बहुत कठोर हो सकती हैं।
- लुप्त डेटा (Missing Data): अधिकांश विधियाँ 'रैंडम एट रैंडम' (MAR) मानती हैं। हालाँकि, कॉज़ल पैनल डेटा अक्सर 'नॉट एट रैंडम' (MNAR) पैटर्न प्रदर्शित करता है (जैसे, ब्लॉक-लुप्त संरचनाएं जहाँ उपचार एक विशिष्ट समय पर शुरू होता है), जिन्हें मानक विधियाँ संभालने में संघर्ष करती हैं।

2. कार्यप्रणाली (Methodology)

A. सामान्य मॉडल अपघटन (General Model Decomposition)

लेखक मूल सिग्नल मैट्रिक्स $M$ के एक लचीले अपघटन का प्रस्ताव करते हैं, जिसे चार पूरक घटकों में विभाजित किया गया है:
$Y = M + E, \quad M = M_1 + M_2 + M_3 + M_4$
जहाँ:

$M_1$ (अंतःक्रिया/Interaction): पंक्ति फीचर्स $X$ और कॉलम फीचर्स $Z$ द्वारा संयुक्त रूप से समझाया गया है। इसे $G_1(X)Q_1(Z)^\top$ के रूप में मॉडल किया गया है।
$M_2$ (रो-संचालित/Row-Driven): केवल पंक्ति फीचर्स $X$ द्वारा समझाया गया है, $Z$ से अप्रासंगिक है। इसे $G_2(X)V_1^\top$ के रूप में मॉडल किया गया है।
$M_3$ (कॉलम-संचालित/Column-Driven): केवल कॉलम फीचर्स $Z$ द्वारा समझाया गया है, $X$ से अप्रासंगिक है। इसे $W_1Q_2(Z)^\top$ के रूप में मॉडल किया गया है।
$M_4$ (अवशिष्ट/Residual): प्रेक्षित विशेषताओं द्वारा अनसुलझा (unexplained) (अप्रत्यक्ष कारक/unobserved factors)। इसे $W_2V_2^\top$ के रूप में मॉडल किया गया है।

यहाँ, $G$ और $Q$ अज्ञात मैट्रिक्स-वैल्यूड फलन (जो गैर-रैखिकता की अनुमति देते हैं) हैं, और $W, V$ अप्रत्यक्ष मैट्रिक्स हैं। यह ढांचा मौजूदा मॉडलों को समाहित करता है (जैसे, मानक IMC के लिए $M=M_1$ ; मानक लो-रैंक के लिए $M=M_4$ )।

B. अनुमान रणनीति: सीव प्रोजेक्शन + न्यूक्लियर नॉर्म पेनलाइजेशन (Sieve Projection + Nuclear Norm Penalization)

अनुमान तीन चरणों में सीव प्रोजेक्शन (गैर-रैखिकता को संभालने के लिए) और न्यूक्लियर नॉर्म पेनलाइजेशन (निम्न-रैंक संरचना और वेरिएबल सिलेक्शन को संभालने के लिए) का उपयोग करके आगे बढ़ता है।

चरण 1: $M_1$ (अंतःक्रिया) का अनुमान लगाना
$X$ और $Z$ के लिए सीव बेसिस (जैसे, स्प्लाइन्स, पॉलिनोमिअल्स) से निर्मित प्रोजेक्शन मैट्रिसेस $P_X$ और $P_Z$ का उपयोग करके:
$\hat{M}_1 = P_X Y P_Z$
यह रैंक चयन की आवश्यकता के बिना संयुक्त प्रभाव को कैप्चर करता है।
चरण 2: अवशिष्टों का अनुमान लगाना ( $M_2, M_3, M_4$ )
लेखक प्रोजेक्शन के अवशिष्टों पर न्यूक्लियर-नॉर्म पेनलाइजेशन लागू करके शेष घटकों का अनुमान लगाते हैं। यह एक सॉफ्ट-थ्रेशोल्डिंग तंत्र के रूप में कार्य करता है:
- $\hat{M}_2 = \arg\min_A \|P_X Y (I - P_Z) - A\|_F^2 + \nu_2 \|A\|_*$
- $\hat{M}_3 = \arg\min_A \|(I - P_X) Y P_Z - A\|_F^2 + \nu_3 \|A\|_*$
- $\hat{M}_4 = \arg\min_A \|(I - P_X) Y (I - P_Z) - A\|_F^2 + \nu_4 \|A\|_*$

मुख्य लाभ: यदि कोई घटक (जैसे, $M_2$ ) वास्तव में शून्य या कमजोर है, तो न्यूक्लियर नॉर्म पेनल्टी अनुमान को उच्च संभाव्यता के साथ सटीक रूप से शून्य कर देती है, जिससे स्पेक्ट्रल विधियों में होने वाली "रैंक अनुमान" त्रुटियों से बचा जाset है।

चरण 3: एकत्रीकरण (Aggregation)
अंतिम एस्टिमेटर योग है: $\hat{M} = \hat{M}_1 + \hat{M}_2 + \hat{M}_3 + \hat{M}_4$ ।

C. लुप्त डेटा (Missing Data) का विस्तार

रैंडम एट रैंडम (MAR): विधि $M_1$ के लिए प्रोजेक्शन एस्टिमेटर को $1/p$ (जहाँ $p$ अवलोकन की संभावना है) से स्केल करके और प्रेक्षित अवशिष्टों पर न्यूक्लियर नॉर्म पेनलाइजेशन लागू करके अनुकूलित होती है।
नॉट एट रैंडम (MNAR): विशेष रूप से ब्लॉक-लुप्त पैटर्न (कॉज़ल इंफरेंस में सामान्य) को संबोधित करती है।
- विधि "टॉल" सब-मैट्रिक्स (प्री-ट्रीटमेंट) और "वाइड" सब-मैट्रिक्स (कंट्रोल ग्रुप) को अलग-अलग पूर्ण-डेटा एल्गोरिदम का उपयोग करके अनुमानित करती है।
- यह पूर्ण मैट्रिक्स $M$ को पुनर्गठित करने के लिए इन सब-मैट्रिक्स के सिंगुलर वेक्टर्स को प्राप्त करती है और उन्हें रोटेशन मैट्रिक्स के माध्यम से संरेखित करती है।

3. मुख्य योगदान (Key Contributions)

लचीला मॉडलिंग ढांचा: प्रस्तावित अपघटन सहचरों के गैर-रैखिक प्रभावों को मॉडल करने की अनुमति देता है और केवल पंक्ति, केवल कॉलम, या दोनों द्वारा संचालित घटकों को कैप्चर करता है। यह रैखिक IMC या शुद्ध लो-रैंक मॉडल की तुलना में मॉडल मिसस्पेसिफिकेशन के जोखिम को काफी कम करता है।
थ्रेशोल्डिंग के माध्यम से मजबूती (Robustness): अवशिष्ट घटकों पर न्यूक्लियर नॉर्म पेनलाइजेशन का उपयोग करके, एस्टिमेटर नगण्य घटकों को स्वतः शून्य कर देता है। यह तब मजबूती प्रदान करता है जब साइड इंफॉर्मेशन कमजोर या अप्रासंगिक हो, जो स्पेक्ट्रल विधियों से बेहतर प्रदर्शन करता है जिन्हें स्पष्ट रैंक अनुमान की आवश्यकता होती है।
MNAR हैंडलिंग: यह पेपर ब्लॉक-लुप्त पैटर्न के साथ MNAR स्थितियों के तहत मैट्रिक्स कंप्लीशन के लिए एक नवीन विधि प्रदान करता है, जो कॉज़ल पैनल डेटा साहित्य में एक महत्वपूर्ण कमी है।
सैद्धांतिक गारंटी: लेखक अभिसरण दरें (convergence rates) निकालते हैं जो एस्टिमेटर की अनुकूलता (adaptivity) को प्रदर्शित करती हैं:
- यदि $M=M_1$ (साइड इंफो परफेक्ट है), तो दर $O_p(J)$ है, जो अनुकूल डबल-प्रोजेक्शन दर से मेल खाती है।
- यदि $M=M_4$ (साइड इंफो बेकार है), तो दर मानक लो-रैंक अनुमान ( $O_p(\sqrt{K(N+T)})$ ) से मेल खाती है।
- महत्वपूर्ण रूप से, त्रुटि सीमा (error bound) इंटरैक्शन टर्म ( $K_1$ ) की जटिलता पर निर्भर नहीं करती है यदि फलन सुचारू (smooth) हैं, जिससे समृद्ध साइड इंफॉर्मेशन के बिना ओवरफिटिंग से बचा जा सकता है।

4. परिणाम (Results)

सैद्धांतिक परिणाम (Theoretical Results)

अभिसरण दरें (Convergence Rates): प्रमेय 3.1 स्थापित करता है कि एस्टिमेटर अनुकूल सेटिंग्स (जब साइड इंफो सूचनात्मक हो) में इष्टतम दर प्राप्त करता है और प्रतिकूल सेटिंग्स में भी प्रतिस्पर्धी बना रहता है।
सिंगुलर वेक्टर्स: कोरोलरी 3.2 अनुमानित सिंगुलर वेक्टर्स के लिए अभिसरण दर प्रदान करती है, जो फैक्टर विश्लेषण में निरंतरता (consistency) सुनिश्चित करती है।

अनुभवजन्य परिणाम (Empirical Results)

सिमुलेशन:
- जब इंटरैक्शन टर्म ( $M_1$ ) महत्वपूर्ण होता है, तो यह विधि मानक न्यूक्लियर नॉर्म पेनलाइजेशन, डबल प्रोजेक्शन और स्पेक्ट्रल एस्टिमेटर्स से लगातार बेहतर प्रदर्शन करती है।
- यह $M_1$ के छोटे होने पर भी मजबूत रहती है, जबकि डबल प्रोजेक्शन विफल हो जाता है।
- MNAR सेटिंग्स में, यह मानक स्पेक्ट्रल-आधारित ब्लॉक-लुप्तिंग विधियों से काफी बेहतर प्रदर्शन करती है, विशेष रूप से जब इंटरैक्शन घटक मजबूत होता है।
वास्तविक डेटा अनुप्रयोग (तंबाकू बिक्री):
- इसे कैलिफोर्निया प्रोपोज़िशन 99 तंबाकू नियंत्रण डेटा (Abadie et al., 2010) पर लागू किया गया।
- लक्ष्य उपचारित राज्यों के लिए काउंटरफैक्टुअल सिगरेट बिक्री का अनुमान लगाना था।
- निष्कर्ष: साइड इंफॉर्मेशन (राज्य जनसांख्यिकी, कीमतें, GDP) को शामिल करने से मानक स्पेक्ट्रल विधियों की तुलना में प्रतिरूपण सटीकता (कम मीन स्क्वेर्ड एरर) में सुधार हुआ, जिससे उपचार प्रभाव के अधिक सटीक अनुमान प्राप्त हुए।

5. महत्व (Significance)

यह शोध पत्र इंडक्टिव मैट्रिक्स कंप्लीशन (सहचरों का उपयोग करना) और लो-रैंक मैट्रिक्स कंप्लीशन (लेटेंट फैक्टर्स का उपयोग करना) के बीच के अंतर को पाटता है।

कॉज़ल इंफरेंस के लिए: यह पैनल डेटा में काउंटरफैक्टुअल्स का अनुमान लगाने के लिए एक बेहतर उपकरण प्रदान करता है जहाँ उपचार असाइनमेंट गैर-रैंडम (MNAR) होता है, जो नीति मूल्यांकन में एक सामान्य परिदृश्य है।
मशीन लर्निंग के लिए: यह एक मजबूत, गैर-पैरामीट्रिक ढांचा प्रदान करता है जो मॉडल मिसस्पेसिफिकेशन (जैसे, यदि संबंध गैर-रैखिक है तो रैखिकता मानना) के प्रति नाजुक हुए बिना सहायक डेटा का लाभ उठाता है।
व्यावहारिक प्रभाव: ऑटोमैटिक थ्रेशोल्डिंग गुण का अर्थ है कि अभ्यासकर्ताओं को विशिष्ट घटकों के रैंक को मैन्युअल रूप से ट्यून करने की आवश्यकता नहीं है, जो इस पद्धति को उच्च-आयामी सेटिंग्स में अधिक उपयोगकर्ता के अनुकूल और विश्वसनीय बनाता है।