Two-Sided Nearest Neighbors: An adaptive and minimax optimal procedure for matrix completion
यह शोध पत्र कम स्मूथनेस (smoothness) और उच्च मिसिंगनेस (missingness) वाले लेटेंट नॉन-लीनियर फैक्टर मॉडल्स के तहत मैट्रिक्स कम्प्लीशन के लिए एक टू-साइडेड नियरएस्ट नेबर एल्गोरिदम प्रस्तावित करता है, जो यह सिद्ध करता है कि यह अंतर्निहित फलन की स्मूथनेस के अनुकूल होकर और नियतात्मक मिसिंग एंट्रीज (deterministic missing entries) के होने के बावजूद ओरैकल प्रदर्शन से मेल खाते हुए मिनिमैक्स ऑप्टिमल एरर रेट्स प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
डिजिटल युग में, हम लगातार सूचनाओं के विशाल ग्रिडों से घिरे रहते हैं, चाहे वह स्ट्रीमिंग सेवा द्वारा अनुशंसित फिल्में हों या स्वास्थ्य ऐप द्वारा ट्रैक किए गए दैनिक कदम। ये ग्रिड शायद ही कभी पूर्ण होते हैं; उपयोगकर्ता रेटिंग छोड़ देते हैं, सेंसर डेटा रिकॉर्ड करने में विफल हो जाते हैं, और लोग बस हर निर्धारित चेक-इन के लिए उपस्थित नहीं होते। वैज्ञानिकों के लिए चुनौती इन लुप्त हिस्सों को बिना कोई गलत जानकारी गढ़े, सटीक रूप से भरने की है। यह समस्या, जिसे 'मैट्रिक्स कम्प्लीशन' (matrix completion) कहा जाता है, इस विचार पर आधारित है कि छिपे हुए पैटर्न उस डेटा को आपस में जोड़ते हैं जो हम देखते हैं और उस डेटा को जो हम नहीं देख पाते। यदि कोई व्यक्ति जो एक्शन फिल्में पसंद करता है, वह साइंस-फिक्शन का भी आनंद लेता है, तो एक सिस्टम उस संबंध का उपयोग यह अनुमान लगाने के लिए कर सकता है कि उस नई फिल्म के बारे में उसकी क्या राय होगी जिसे उसने अभी तक नहीं देखा है। हालाँकि, वास्तविक दुनिया का डेटा अव्यवस्थित होता है। लुप्त जानकारी अक्सर यादृच्छिक (random) नहीं होती; हो सकता है कि किसी उपयोगकर्ता ने किसी फिल्म को रेटिंग देने से इसलिए छोड़ दिया क्योंकि वह उसे इतना नापसंद करता था कि उसने ध्यान ही नहीं दिया, या कोई सेंसर केवल विशिष्ट परिस्थितियों में ही विफल होता है। इसके अलावा, उपयोगकर्ताओं और वस्तुओं के बीच के संबंध अक्सर जटिल और गैर-रैखिक (non-linear) होते हैं, जिसका अर्थ है कि सरल सीधी-रेखा वाले नियम पूरी तस्वीर को नहीं पकड़ सकते।
कॉर्नेल यूनिवर्सिटी और यूनिवर्सिटी ऑफ पेन्सिलवेनिया के शोधकर्ताओं की एक टीम ने इस कठिन पहेली को सुलझाने के लिए एक नई विधि विकसित की है, विशेष रूप से तब जब डेटा पक्षपाती तरीके से गायब होता है और अंतर्निहित पैटर्न जटिल होते हैं। उन्होंने 'निएरेस्ट नेबर्स' (nearest neighbors) नामक एक तकनीक पर ध्यान केंद्रित किया, जो डेटा ग्रिड में समान पंक्तियों और स्तंभों को खोजने के माध्यम से भविष्यवाणियां करती है। हालांकि इस दृष्टिकोण का पहले भी अध्ययन किया गया है, पूर्व सिद्धांतों ने अक्सर यह माना था कि डेटा यादृच्छिक रूप से गायब है या डेटा बिंदुओं के बीच के संबंध सहज और सरल हैं। शोधकर्ताओं ने पूछा कि क्या यह विधि तब भी काम कर सकती है जब डेटा अपने स्वयं के मूल्यों के कारण गायब होता है, और जब उपयोगकर्ताओं और वस्तुओं के बीच के संबंध चिकने (smooth) होने के बजाय ऊबड़-खाबड़ और अनियमित होते हैं।
इसका उत्तर देने के लिए, टीम ने एक 'टू-साइडेड निएरेस्ट नेबर' (two-sided nearest neighbor) एल्गोरिदम का विश्लेषण किया। एक ग्रिड की कल्पना करें जहाँ पंक्तियाँ लोगों का प्रतिनिधित्व करती हैं और स्तंभ समय के क्षणों या विशिष्ट घटनाओं का। एल्गोरिदम उन लोगों को खोजता है जो विचाराधीन व्यक्ति के समान व्यवहार करते हैं, और वह उन क्षणों को भी खोजता है जो विचाराधीन क्षण के समान हैं। इन समान लोगों और समान क्षणों के ज्ञात परिणामों का औसत निकालकर, यह विधि लुप्त मान का अनुमान लगाती है। शोधकर्ताओं ने गणितीय रूप से सिद्ध किया कि यह दृष्टिकोण डेटा की जटिलता के अनुकूल होता है। यदि छिपे हुए पैटर्न बहुत अधिक खुरदरे और अनियमित हैं, तो यह विधि उपयुक्त समानता खोजने के लिए अपनी खोज को समायोजित करती है। यदि पैटर्न अधिक सहज हैं, तो यह अपनी खोज को परिष्कृत करती है। महत्वपूर्ण रूप से, उन्होंने दिखाया कि यह विधि एक आदर्श, सर्वज्ञ प्रणाली के समान ही अच्छा प्रदर्शन करती है जिसके पास पहले से ही वे छिपे हुए कारक मौजूद हैं जो डेटा को संचालित करते हैं, भले ही एल्गोरिदम स्वयं उन कारकों को नहीं जानता हो।
अध्ययन ने यह भी प्रदर्शित किया कि यह विधि तब भी मजबूत रहती है जब डेटा का एक महत्वपूर्ण हिस्सा एक नियतात्मक (deterministic) तरीके से गायब होता है। उदाहरण के लिए, एक ऐसी स्थिति में जहाँ बीस प्रतिशत डेटा एक विशिष्ट नियम के कारण निश्चित रूप से गायब है—जैसे कि एक उपयोगकर्ता को सूचना (notification) नहीं भेजी जाती यदि वह उपलब्ध नहीं है—एल्गोरिदम फिर भी सफल होता है। यह तब विफल नहीं होता जब लुप्त होना यादृच्छिक नहीं बल्कि प्रणाली की अंतर्निहित संरचना से जुड़ा होता है। शोधकर्ताओं ने विभिन्न अन्य तकनीकों के विरुद्ध परीक्षण करते हुए व्यापक कंप्यूटर सिमुलेशन के माध्यम से इन सैद्धांतिक निष्कर्षों को सत्यापित किया। इन परीक्षणों में, उनका टू-साइड दृष्टिकोण लगातार मानक तरीकों से बेहतर रहा, जो अधिक डेटा उपलब्ध होने के साथ त्रुटि दर में निरंतर गिरावट बनाए रखता है, जबकि अन्य तरीके संघर्ष करते हैं या विफल हो जाते हैं।
यह कैसे काम करता है, इसे देखने के लिए, टीम ने 'हार्टस्टेप्स' (HeartSteps) नामक एक मोबाइल स्वास्थ्य अध्ययन के डेटा पर अपनी विधि लागू की। इस अध्ययन में तैंतीस प्रतिभागियों ने अपने फोन पर चलने के लिए प्रोत्साहित करने हेतु सूचनाएं प्राप्त की थीं। लक्ष्य यह अनुमान लगाना था कि एक व्यक्ति ने कितने कदम चले होंगे यदि उसे एक विशिष्ट प्रकार की सूचना प्राप्त हुई होती, भले ही वह सूचना वास्तव में भेजी नहीं गई थी। क्योंकि प्रतिभागी हर क्षण उपलब्ध नहीं थे, और क्योंकि सूचनाएं एक निश्चित संभावना के साथ ही भेजी गई थीं, डेटा अधूरा और पक्षपाती था। शोधकर्ताओं ने उपयोगकर्ताओं को पंक्तियों के रूप में और निर्णय के समय को स्तंभों के रूप में माना, जिससे एक ग्रिड बना जिसमें प्रविष्टियाँ लुप्त थीं। जब उन्होंने अन्य विधियों के साथ अपने तरीके की तुलना की, तो टू-साइड निएरेस्ट नेबर दृष्टिकोण ने सबसे सटीक अनुमान, सबसे कम त्रुटियों और सबसे सुसंगत परिणामों के साथ प्रदर्शन किया। इसने हस्तक्षेपों के संभावित परिणामों को प्रकट करने के लिए लुप्त डेटा के बीच सफलतापूर्वक रास्ता बनाया।
इस कार्य का महत्व मानवीय व्यवहार और सेंसर डेटा की अव्यवस्थित वास्तविकता को संभालने की इसकी क्षमता में निहित है। यह सिद्ध करके कि एक अपेक्षाकृत सरल, अनुकूलन योग्य खोज रणनीति पूर्ण ज्ञान वाली एक आदर्श प्रणाली के प्रदर्शन से मेल खा सकती है, शोधकर्ताओं ने अनुशंसा इंजन (recommendation engines) से लेकर चिकित्सा परीक्षणों तक के क्षेत्रों के लिए एक शक्तिशाली उपकरण प्रदान किया है। उन्होंने दिखाया कि भले ही डेटा गैर-यादृच्छिक तरीके से गायब हो और संबंध जटिल हों, हमें सटीक भविष्यवाणियां करने के लिए छिपे हुए कारणों को जानने की आवश्यकता नहीं है। हमें बस दोनों दिशाओं में पड़ोसियों को देखना है—लोगों के माध्यम से और समय के माध्यम से—और पैटर्न को उभरने देना है। यह निष्कर्ष बताता है कि अपूर्ण सूचनाओं की दुनिया में, सही प्रकार का औसत (averaging) पूरी पहेली को हल करने की आवश्यकता के बिना सत्य को प्रकट कर सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।