🤖 machine learning

Graph-Regularized Low-Rank Matrix Completion by Variable Projection

यह शोध पत्र ग्राफ-रेगुलराइज्ड RTRMC (GR-RTRMC) का प्रस्ताव करता है, जो एक नवीन मैट्रिक्स पूर्णता विधि है जो डेटा के भीतर अंतर्निहित पंक्ति और स्तंभ सहसंबंधों का लाभ उठाने के लिए ग्राफ रेगुलराइजेशन को शामिल करके मौजूदा रीमानियन ट्रस्ट-रीजन फ्रेमवर्क की सटीकता और मजबूती को बढ़ाता है।

मूल लेखक: Benoît Loucheur, P. -A. Absil, Michel Journée

प्रकाशित 2026-07-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Benoît Loucheur, P. -A. Absil, Michel Journée

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास बेल्जियम और फ्रांस के मौसम या हजारों लोगों की मूवी रेटिंग्स को दर्शाने वाला एक विशाल, रंगीन स्प्रेडशीट है। अब, कल्पना कीजिए कि किसी ने एक विशाल इरेज़र लिया और उसके डेटा के बड़े हिस्से को मिटा दिया। शायद कोई सेंसर खराब हो गया, या किसी उपयोगकर्ता ने मूवी को रेट करना भूल गया। आपका लक्ष्य क्या है? बिना मनगढ़ंत बातें किए यह अनुमान लगाना कि वे गायब संख्याएँ क्या थीं।

यह लो-रैंक मैट्रिक्स कंप्लीशन (Low-Rank Matrix Completion) की पहेली है। शोध पत्र तर्क देता है कि इसे हल करने का पुराना तरीका—हर पंक्ति (row) और कॉलम को एक अकेले द्वीप की तरह मानना—ऐसा ही है जैसे लंदन में थर्मामीटर देखकर पेरिस के मौसम का अनुमान लगाने की कोशिश करना, बिना यह जाने कि वे पड़ोसी हैं। यह इस तथ्य को अनदेखा करता है कि चीजें आपस में जुड़ी हुई हैं।

लेखक, बेनोइट लौच्योर (Benoît Loucheur), पी.-ए. एब्सिल (P.-A. Absil), और मिशेल जूर्नी (Michel Journée), एक नई विधि प्रस्तावित करते हैं जिसे ग्राफ-रेगुलराइज्ड रीमानियन ट्रस्ट-रीजन मैट्रिक्स कंप्लीशन (GR-RTRMC) कहा जाता है। इसे अपने अनुमान लगाने वाले एल्गोरिदम को एक "सोशल नेटवर्क" देने के रूप में समझें।

द "सोशल नेटवर्क" एनालॉजी (सामाजिक नेटवर्क का उदाहरण)

पुराने तरीकों में, यदि आप एक गायब मौसम स्टेशन के तापमान का अनुमान लगाने की कोशिश कर रहे होते, तो कंप्यूटर केवल सभी स्टेशनों के सामान्य रुझान को देखता। उसे इस बात की परवाह नहीं होती कि वह स्टेशन किसी जंगल या शहर के ठीक बगल में था।

नई विधि, GR-RTRMC, पहले एक "फ्रेंडशिप ग्राफ" बनाती है।

मौसम के लिए: यह उन मौसम स्टेशनों के बीच अदृश्य रेखाएं खींचती है जो एक-दूसरे के करीब हैं। यदि स्टेशन A, स्टेशन B का दोस्त है, तो कंप्यूटर यह मानता है कि उनके तापमान समान होने चाहिए।
मूवीज़ के लिए: यह उन उपयोगकर्ताओं को जोड़ता है जो समान फिल्में पसंद करते हैं और उन फिल्मों को जोड़ता है जिन्हें समान लोगों द्वारा पसंद किया जाता है।

कनेक्शन के इस मानचित्र का उपयोग करके, एल्गोरिदम केवल अनुमान नहीं लगाता; यह अपने अनुमानों को "स्मूथ" (smooth) करता है। यदि एक दोस्त का तापमान गिरता है, तो इसकी बहुत अधिक संभावना है कि आपका भी गिरेगा। इसे ग्राफ रेगुलराइजेशन (graph regularization) कहा जाता है।

द "मैजिक ट्रिक" (गणित वाला हिस्सा)

शोध पत्र बताता है कि उन्होंने इस ग्राफ को केवल एक मानक कैलकुलेटर में नहीं जोड़ा है। उन्होंने एक शानदार गणितीय खेल का मैदान इस्तेमाल किया जिसे ग्रासमैन मैनिफोल्ड (Grassmann manifold) कहा जाता है।

एक भूलभुलैया (maze) में सबसे अच्छे रास्ते को खोजने की कोशिश करने की कल्पना करें। मानक तरीके समतल जमीन पर कदम-दर-कदम चलते हैं। लेखकों की विधि, हालांकि, यह महसूस करती है कि भूलभुलैया वास्तव में एक घुमावदार सतह है, जैसे गुब्बारे की त्वचा। समतल जमीन पर चलने के बजाय वक्र (curve) के साथ लुढ़ककर (यानी रीमानियन ऑप्टिमाइज़ेशन का उपयोग करके), वे समाधान को अधिक कुशलता से और सटीकता से पा सकते हैं। वे इसे वेरिएबल प्रोजेक्शन (Variable Projection) तकनीक कहते हैं, जो एक साथ दोनों चीजों का अनुमान लगाने के बजाय, पहेली के एक हिस्से को पूरी तरह से हल करने के बाद अगले हिस्से पर आगे बढ़ने जैसा है।

उन्हें क्या मिला (परिणाम)

टीम ने वास्तविक डेटा पर अपने विचार का परीक्षण किया:

बेल्जियम में मौसम: उन्होंने चार वर्षों में 96 स्टेशनों का अध्ययन किया। एक ऐसे परिदृश्य में जहाँ डेटा के बड़े ब्लॉक गायब थे (जैसे एक सप्ताह के लिए सेंसर का ऑफलाइन होना), उनकी विधि ने केवल 0.45°C के त्रुटि (error) के साथ गायब तापमान का अनुमान लगाया। यह पिछले सबसे अच्छे तरीके से बेहतर था, जिसकी त्रुटि 0.49°C थी।
फ्रांस में मौसम: उन्होंने इसे सैकड़ों स्टेशनों तक बढ़ाया। फिर से, उनकी विधि जीत गई, जब डेटा बिखरा हुआ था, तब उन्होंने 0.54°C की त्रुटि के साथ गायब तापमान का अनुमान लगाया, जिससे उन्होंने प्रतिस्पर्धा को पीछे छोड़ दिया।
मूवी रेटिंग्स: उन्होंने मूवी लेंस 100K (MovieLens 100K) डेटासेट (943 उपयोगकर्ता, 1682 फिल्में) पर इसे आजमाया। उनकी विधि ने 0.942 की त्रुटि के साथ रेटिंग का अनुमान लगाया, जो अगली सबसे अच्छी विधि (GRALS) के 0.951 से बेहतर था।

द कैच (सावधानी): शोध पत्र इसकी लागत के बारे में ईमानदार है। यह "सुपर-स्मार्ट" विधि चलने में अधिक समय लेती है। बेल्जियम के डेटा पर, इसे 8.6 से 9.6 सेकंड लगे, जबकि मानक विधि में केवल 3.4 से 3.7 सेकंड लगे। यह एक ट्रेड-ऑफ है: अधिक सटीक अनुमान के लिए आप कुछ अतिरिक्त सेकंड प्रतीक्षा करते हैं।

"ओप्स" मोमेंट्स (जहाँ विधि विफल हुई)

यहाँ शोध पत्र बहुत सावधान है। यह स्पष्ट रूप से दिखाता है कि उनकी विधि हर स्थिति के लिए जादुई छड़ी नहीं है।

उन्होंने पाया कि जब कोई तूफान आया, तो विधि कभी-कभी अजीब व्यवहार करने लगी। क्योंकि तूफान देश भर में फैला हुआ था, एक स्टेशन का तापमान दोपहर 2:00 बजे गिरा, जबकि 50 किमी दूर स्थित एक अन्य स्टेशन का तापमान 4:00 बजे गिरा। "फ्रेंडशिप ग्राफ" ने माना कि उन्हें एक साथ चलना चाहिए, इसलिए कंप्यूटर उन्हें मैच करने के लिए मजबूर करने की कोशिश करता है, जिससे अजीब, टेढ़ी-मेढ़ी रेखाएं बन गईं जो तर्कसंगत नहीं थीं।

शोध पत्र तर्क देता है कि लो-रैंक मॉडल अकेले इन अचानक, स्थानीय बदलावों को कैप्चर नहीं कर सकते। यदि आप केवल ग्राफ और मैट्रिक्स गणित पर भरोसा करते हैं, तो आप चरम, तेजी से चलने वाली मौसम की घटनाओं के दौरान गलत होंगे। लेखक सुझाव देते हैं कि इसे ठीक करने के लिए, आपको अधिक डेटा (जैसे बारिश या हवा) जोड़ने की आवश्यकता होगी या कंप्यूटर को तूफानों के दौरान डेटा पर कम "भरोसा" करने के लिए कहना होगा। वे यह दावा नहीं करते कि उन्होंने इस तूफान वाली समस्या को अभी तक हल कर लिया है; उन्होंने केवल यह दिखाया है कि उनका वर्तमान तरीका कहाँ विफल होता है।

बॉटम लाइन (निष्कर्ष)

शोध पत्र सुझाव देता है कि मैट्रिक्स कंप्लीशन में कनेक्शन का एक "सोशल नेटवर्क" जोड़ने से मौसम और मूवी डेटा को भरने में बहुत मदद मिलती है, खासकर जब डेटा अव्यवस्थित या बिखरा हुआ हो। हालाँकि, यह स्वीकार करता है कि जब प्रकृति अराजक हो जाती है (जैसे अचानक, स्थानीय तूफान), तो विधि लड़खड़ा सकती है क्योंकि यह मानती है कि चीजें बहुत स्मूथ हैं। यह एक शक्तिशाली उपकरण है, लेकिन यह कोई भविष्य बताने वाला यंत्र (crystal ball) नहीं है।

तकनीकी सारांश: वेरिएबल प्रोजेक्शन द्वारा ग्राफ-रेगुलराइज्ड लो-रैंक मैट्रिक्स कम्प्लीशन

समस्या विवरण

यह शोध पत्र लो-रैंक मैट्रिक्स कम्प्लीशन (low-rank matrix completion) समस्या को संबोधित करता है, जो अनुशंसा प्रणालियों (recommendation systems), मौसम पूर्वानुमान और नेटवर्क विश्लेषण जैसे डोमेन में उत्पन्न होती है जहाँ डेटा अक्सर लुप्त मापों या ट्रांसमिशन विफलताओं के कारण अधूरा होता है। इसका लक्ष्य एक उपसमुच्चय $\Omega$ से एक पूर्ण लक्षित मैट्रिक्स $M \in \mathbb{R}^{m \times n}$ को पुन: प्राप्त करना है।

जबकि शास्त्रीय दृष्टिकोण इसे रैंक मिनिमाइजेशन समस्या (जो NP-hard है) या न्यूक्लियर नॉर्म मिनिमाइजेशन (जो कन्वेक्स है लेकिन बड़े मैट्रिसेस के लिए गणनात्मक रूप से महंगा है) के रूप में देखते हैं, फैक्टराइज्ड रिप्रजेंटेशन ($X = UW$) एक अधिक कुशल विकल्प प्रदान करते हैं। हालाँकि, मानक फैक्टराइजेशन विधियाँ पंक्तियों (rows) और स्तंभों (columns) को स्वतंत्र रूप से मानती हैं, जिससे अंतर्निहित संरचनात्मक संबंधों (जैसे मौसम डेटा में स्थानिक निकटता या अनुशंसाओं में उपयोगकर्ता समानता) की अनदेखी होती है। मौजूदा ग्राफ-रेगुलराइज्ड विधियाँ अक्सर अल्टरनेटिंग मिनिमाइजेशन स्कीमों पर निर्भर करती हैं। यह शोध पत्र ग्राफ-आधारित संरचनात्मक जानकारी को रीमानियन ट्रस्ट-रीजन मैट्रिक्स कम्प्लीशन (RTRMC) फ्रेमवर्क में एकीकृत करने का प्रयास करता है, जो लो-रैंक बाधाओं की ज्यामिति पर कार्य करता है, ताकि सटीकता और मजबूती (robustness) में सुधार किया जा सके।

कार्यप्रणाली: GR-RTRMC

लेखक ग्राफ-रेगुलराइज्ड रीमानियन ट्रस्ट-रीजन मैट्रिक्स कम्प्लीशन (GR-RTRMC) प्रस्तावित करते हैं। यह विधि पंक्तियों और स्तंभों के बीच ग्राफ-एन्कोडेड संबंधों के साथ सुगमता (smoothness) को लागू करने के लिए डिरिचलेट सेमी-नॉर्म्स (Dirichlet semi-norms) को शामिल करके RTRMC फ्रेमवर्क का विस्तार करती है।

1. अनुकूलन सूत्रीकरण (Optimization Formulation)

मुख्य समस्या को मैट्रिक्स फैक्टर्स $U \in \mathbb{R}^{m \times r}$ और $W \in \mathbb{R}^{r \times n}$ पर एक नेस्टेड ऑप्टिमाइज़ेशन के रूप में तैयार किया गया है:
$\min_{U, W} \left\{ \frac{1}{2}\|C \odot (UW - M)\|_{\Omega}^2 + \frac{\lambda^2}{2} \|P_{\bar{\Omega}}(UW)\|_F^2 + \frac{\lambda_u}{2} \|U\|_{D,u}^2 + \frac{\lambda_w}{2} \|W\|_{D,w}^2 \right\}$
जहाँ:

$C$ प्रेक्षित प्रविष्टियों को भारित करने वाला एक कॉन्फिडेंस मैट्रिक्स है।
$\|U\|_{D,u}^2 = \text{Tr}(U^T L_u U)$ और $\|W\|_{D,w}^2 = \text{Tr}(W L_w W^T)$ पंक्ति ( $L_u$ ) और स्तंभ ( $L_w$ ) लैपलेसियन्स का उपयोग करके ग्राफ रेगुलराइजेशन टर्म्स हैं।
$\lambda, \lambda_u, \lambda_w$ रेगुलराइजेशन पैरामीटर्स हैं।

2. वेरिएबल प्रोजेक्शन और मैनिफोल्ड ऑप्टिमाइज़ेशन

इस कार्यप्रणाली का एक प्रमुख अंतर्दृष्टि वेरिएबल प्रोजेक्शन (variable projection) का उपयोग है। एक निश्चित $U$ के लिए, इष्टतम $W$ (जिसे $W_U$ कहा जाता है) को विश्लेषणात्मक रूप से एक रेगुलराइज्ड लीस्ट-स्क्वायर्स समाधान के रूप में संगणना किया जा सकता है। $W_U$ को वापस मूल ऑब्जेक्टिव फंक्शन में प्रतिस्थापित करने से एक संक्षिप्त लागत फलन $f(U)$ प्राप्त होता है जो केवल $U$ के कॉलम स्पेस पर निर्भर करता है।

$U$ के आधार परिवर्तन (basis changes) के तहत $UW$ के उत्पाद की अपरिवर्तनीयता के कारण, अनुकूलन को ग्रासमैन मैनिफोल्ड (Grassmann manifold) $\text{Gr}(m, r)$ पर पुनर्गठित किया जाता है, जो $\mathbb{R}^m$ में $r$ -आयामी उप-स्थानों (subspaces) का सेट है। व्यवहार में, इसे स्टिफ़ल मैनिफोल्ड (Stiefel manifold) $\text{St}(m, r)$ पर ऑर्थोनॉर्मल रिप्रजेंटेशन का उपयोग करके लागू किया जाता है।

3. एल्गोरिद्मिक घटक

शोध पत्र इस मैनिफोल्ड पर रीमानियन ऑप्टिमाइज़ेशन के लिए एक पूर्ण सैद्धांतिक व्युत्पत्ति प्रदान करता है:

ग्रेडिएंट गणना: यूक्लिडियन ग्रेडिएंट को एनवेलप थ्योरम (envelope theorem) का उपयोग करके निकाला गया है, जो $U$ पर $W_U$ की निर्भरता को ध्यान में रखता है। रीमानियन ग्रेडिएंट को ग्रासमैन मैनिफोल्ड के स्पर्श रेखा स्थान (tangent space) पर प्रोजेक्ट करके प्राप्त किया जाता है।
हेसियन गणना: लेखक रीमानियन हेसियन को व्युत्पन्न करते हैं, जिसमें इष्टतम $W_U$ (जिसे $W_{U,H}$ कहा जाता है) का दिशात्मक अवकलज (directional derivative) शामिल है। इसके लिए एक रैखिक प्रणाली को हल करने की आवश्यकता होती जिसमें एक मैट्रिक्स $A$ शामिल है जो $\lambda_w(L_w \otimes I_r)$ वाले ग्राफ लैपलेसियन टर्म को शामिल करता है, जिससे $W$ के स्तंभों के बीच कपलिंग (coupling) उत्पन्न होती है जो मानक RTRMC में अनुपस्थित थी।
आरंभीकरण (Initialization): एल्गोरिदम $U_0$ को प्रेक्षित डेटा मैट्रिक्स $M_\Omega$ के $r$ प्रमुख लेफ्ट सिंगुलर वेक्टर्स का उपयोग करके इनिशियलाइज़ करता है, जिसे कुशल स्पार्स SVD के माध्यम से संगणना किया जाता है।

मुख्य योगदान

फ्रेमवर्क विस्तार: यह शोध पत्र ग्राफ रेगुलराइजेशन टर्म्स (डिरिचलेट सेमी-नॉर्म्स) को सीधे रीमानियन ऑप्टिमाइज़ेशन फॉर्मुलेशन में शामिल करके RTRMC फ्रेमवर्क का विस्तार करता है।
सैद्धांतिक विकास: यह ग्रासमैन मैनिफोल्ड पर ग्राफ-रेगुलराइज्ड समस्या के लिए ग्रेडिएंट और हेसियन की पूर्ण व्युत्पत्ति प्रदान करता है, जिसमें इष्टतम राइट फैक्टर $W_U$ की गणना भी शामिल है।
एल्गोरिद्मिक कार्यान्वयन: यह विधि वेरिएबल प्रोजेक्शन तकनीक का लाभ उठाते हुए समस्या की आयात्मकता (dimensionality) को कम करने के लिए रीमानियन ट्रस्ट-रीजन एल्गोरिदम का उपयोग करके अनुकूलन समस्या को हल करती है।
अनुभवजन्य सत्यापन: इस दृष्टिकोण को मौसम संबंधी डेटासेट (बेल्जियम और फ्रांस) और कोलाबोरेटिव फ़िल्टरिंग डेटासेट (MovieLens 100K और 1M) पर सत्यापित किया गया है।

प्रयोगात्मक परिणाम

लेखकों ने IDW, PCA, MissForest, LMaFiT, SoftImpute, RTRMC, और GRALS सहित बेसलाइन के विरुद्ध GR-RTRMC का मूल्यांकन किया।

मौसम डेटा (बेल्जियम): "ब्लॉक" मिसिंग डेटा परिदृश्य (निरंतर समय अंतराल) में, GR-RTRMC ने सबसे कम RMSE (0.45°C) प्राप्त किया, जो RTRMC (0.49°C) और SoftImpute (0.53°C) से बेहतर प्रदर्शन करता है। "स्प्रेड" परिदृश्य में, SoftImpute थोड़ा बेहतर था (0.41°C बनाम 0.43°C), लेकिन GR-RTRMC प्रतिस्पर्धी बना रहा।
मौसम डेटा (फ्रांस): बड़े डेटासेट (272–545 स्टेशन) पर, GR-RTRMC ने दोनों ब्लॉक (0.57°C) और स्प्रेड (0.54°C) परिदृश्यों में बेसलाइन से लगातार बेहतर प्रदर्शन किया, जो दर्शाता है कि ग्राफ रेगुलराइजेशन बड़े स्थानिक डेटासेट के साथ प्रभावी ढंग से स्केल करता है।
MovieLens: GR-RTRMC ने MovieLens 100K (0.942) और MovieLens 1M (0.913) दोनों पर सर्वश्रेष्ठ RMSE प्राप्त किया, जो GRALS और User-Based KNN से बेहतर है।
संगणनात्मक लागत: ग्राफ रेगुलराइजेशन टर्म्स के कारण इस पद्धति को मानक RTRMC की तुलना में लगभग 2-3 गुना अधिक गणना समय की आवश्यकता होती है, लेकिन यह उन वास्तविक दुनिया के अनुप्रयोगों के लिए व्यावहारिक है जहाँ सटीकता लाभ को प्राथमिकता दी जाती है।

केस स्टडीज और सीमाएँ

शोध पत्र में विफलता मोड (failure modes) के विस्तृत केस विश्लेषण शामिल हैं:

तूफान की घटनाएँ (Storm Events): एक संवहनी तूफान (convective storm) के दौरान, मॉडल ने स्प्यूरियस ऑसिलेशन (spurious oscillations) उत्पन्न किए क्योंकि लो-रैंक धारणा और स्थानिक ग्राफ रेगुलराइजेशन तापमान में गिरावट के स्थानिक रूप से विषम समय को कैप्चर नहीं कर सके। लेखकों ने नोट किया कि असामान्य अवधि के दौरान प्रविष्टियों के लिए कॉन्फिडेंस $C_{i,j}$ को कम करने से तर्कसंगत इम्प्यूटेशन (imputation) बहाल हो गया।
स्थानीय वर्षा (Localized Rain): उन मामलों में जहाँ आस-पास के स्टेशनों ने बहुत अलग वर्षा (और इस प्रकार तापमान में गिरावट) का अनुभव किया, ग्राफ रेगुलराइजेशन ने मॉडल को स्थानीय विसंगतियों को स्मूथ करने के लिए मजबूर किया, जिससे प्रभावित स्टेशन के लिए गलत इम्प्यूटेशन हुआ।

महत्व और दावे

शोध पत्र दावा करता है कि GR-RTRMC सफलतापूर्वक मैट्रिक्स कम्प्लीशन सटीकता में सुधार के लिए पंक्तियों और स्तंभों के बीच संरचनात्मक संबंधों का लाभ उठाता है, विशेष रूप से मजबूत सहसंबंधों (जैसे स्थानिक मौसम डेटा) वाले परिदृश्यों में। लेखक इस बात पर जोर देते हैं कि हालांकि यह विधि मानक RTRMC और अन्य बेसलाइन से बेहतर है, यह सर्वव्यापी समाधान (panacea) नहीं है; अत्यधिक स्थानीय घटनाएं (जैसे बिखरी हुई वर्षा) लो-रैंक मॉडल की स्थानिक सामंजस्य (spatial coherence) धारणाओं का उल्लंघन कर सकती हैं।

लेखक विनम्रतापूर्वक निष्कर्ष निकालते हैं कि जबकि उनकी विधि मानक परिदृश्यों में बेहतर प्रदर्शन करती है, भविष्य के कार्य को अतिरिक्त मौसम संबंधी चरों (वर्षा, आर्द्रता) को शामिल करने और स्थानीय गड़बड़ियों को अधिक मजबूती से संभालने के लिए विसंगतिपूर्ण अवधियों को स्वचालित रूप से पहचानने और डाउन-वेट करने वाले तंत्र विकसित करने पर ध्यान केंद्रित करना चाहिए। यह कार्य एक पिछले कॉन्फ्रेंस प्रेजेंटेशन का विस्तार करता है जो पूर्ण सैद्धांतिक विकास, बड़े पैमाने के प्रयोग और विस्तृत विफलता मोड विश्लेषण प्रदान करता है।