Doubly robust nearest neighbors in factor models

आधुनिक डेटा के विशाल परिदृश्य में, जानकारी शायद ही कभी पूर्ण होती है। चाहे महीनों तक रोगी के स्वास्थ्य को ट्रैक करना हो, यह भविष्यवाणी करना हो कि ग्राहक आगे क्या खरीद सकता है, या यह समझना हो कि एक उत्पाद विभिन्न क्षेत्रों में कैसा प्रदर्शन करता है, शोधकर्ता अक्सर संख्याओं के एक ऐसे मैट्रिक्स का सामना करते हैं जिसमें महत्वपूर्ण अंतराल होते हैं। कुछ प्रविष्टियाँ इसलिए गायब होती हैं क्योंकि कोई सेंसर विफल हो गया, किसी उपयोगकर्ता ने सर्वेक्षण छोड़ दिया, या कोई उपचार लागू नहीं किया गया। चुनौती इन रिक्त स्थानों को इतनी सटीकता से भरने की है जिससे विश्वसनीय निर्णय लिए जा सकें। इसे करने के लिए, सांख्यिकीविद अक्सर इस विचार पर भरोसा करते हैं कि दुनिया छिपे हुए पैटर्न द्वारा शासित है। वे मानते हैं कि जो डेटा हम देखते हैं वह कुछ अंतर्निहित शक्तियों द्वारा आकार लेता है—जैसे कि किसी उपयोगकर्ता की सामान्य प्राथमिकता या दिन का एक विशिष्ट समय—जो पूरे डेटासेट में दोहराए जाते हैं। यदि हम इन छिपे हुए पैटर्न को खोज सकते हैं, तो हम अनुमान लगा सकते हैं कि गायब संख्याएँ क्या होनी चाहिए।

दशकों से, इन अनुमानों को लगाने का एक लोकप्रिय तरीका "पड़ोसियों" (neighbors) की तलाश करना रहा है। यदि आप जानना चाहते हैं कि एक विशिष्ट उपयोगकर्ता किसी उत्पाद के बारे में क्या सोचेगा, तो आप उन अन्य उपयोगकर्ताओं को देखते हैं जो उनके बहुत समान हैं और देखते हैं कि उन पड़ोसियों को क्या पसंद आया। यह 'नियरएस्ट नेबर्स' (nearest neighbors) का तर्क है। हालाँकि, इस पद्धति में एक घातक दोष है: यह तभी काम करती है जब आप वास्तव में एक अच्छा पड़ोसी ढूंढ सकें। यदि उपयोगकर्ता अद्वितीय है, या यदि समय अवधि असामान्य है, तो यह विधि विफल हो जाती है क्योंकि नकल करने के लिए कोई भी पर्याप्त समान नहीं होता है। राज़ द्विवेदी और उनके सहयोगियों का नया कार्य इन दो अलग-अलग प्रकार के पड़ोसी खोजों को संयोजित करने के एक स्मार्ट तरीके को बनाकर इस भेद्यता को संबोधित करता है। केवल एक प्रकार की समानता पर निर्भर रहने के बजाय, उनकी नई विधि, जिसे 'डबली रोबस्ट नियरएस्ट नेबर्स' (Doubly Robust Nearest Neighbors) कहा जाता है, तब सफल होती है जब या तो एक समान उपयोगकर्ता या एक समान समय अवधि उपलब्ध हो। यदि दोनों मौजूद हैं, तो विधि और भी सटीक हो जाती है, जो एक ऐसा स्तर की सटीकता प्रदान करती है जो पहले पहुंच से बाहर थी।

शोधकर्ता एक विशिष्ट गणितीय पहेली पर काम कर रहे थे जिसे 'मैट्रिक्स कंप्लीशन' (matrix completion) के रूप में जाना जाता है, जहाँ लक्ष्य देखे गए बिंदुओं के बिखरे हुए संग्रह से एक पूर्ण ग्रिड का पुनर्निर्माण करना है। उन्होंने एक ऐसी स्थिति पर ध्यान केंद्रित किया जहाँ डेटा एक छिपे हुए फलन (function) द्वारा उत्पन्न होता है जो दो प्रकार के कारकों को मिलाता है: एक सेट जो "इकाइयों" (जैसे लोग या उत्पाद) का प्रतिनिधित्व करता है और दूसरा "समय" (जैसे दिन या घंटे) का। इस सेटअप में, किसी भी विशिष्ट प्रतिच्छेदन (intersection) का मान इस बात पर निर्भर करता है कि इकाई के छिपे हुए गुण समय के छिपे हुए गुणों के साथ कैसे परस्पर क्रिया करते हैं। मानक दृष्टिकोण में दो अलग-अलग रणनीतियाँ शामिल हैं। पहली, जिसे 'यूनिट-नियरएस्ट नेबर्स' कहा जाता है, डेटा में अन्य पंक्तियों (rows) को देखती है जो लक्षित पंक्ति के समान दिखती हैं। दूसरी, जिसे 'टाइम-नियरएस्ट नेबर्स' कहा जाता है, डेटा के अन्य स्तंभों (columns) को देखती है जो लक्षित स्तंभ के समान होते हैं। दोनों रणनीतियाँ तब अच्छी तरह से काम करती हैं जब डेटा समान पैटर्न के साथ घना होता है, लेकिन वे तब संघर्ष करती हैं जब डेटा विरल (sparse) होता है या जब लक्ष्य एक आउटलेयर (outlier) होता है।

टीम ने महसूस किया कि ये दो रणनीतियाँ एक-दूसरे के विरुद्ध नहीं थीं बल्कि एक-दूसरे की कमजोरियों को ढकने के लिए इन्हें जोड़ा जा सकता था। उन्होंने एक नया एस्टिमेटर विकसित किया जो प्रभावी रूप से एक साथ दो प्रश्न पूछता है: "क्या मेरे पास एक समान उपयोगकर्ता है?" और "क्या मेरे पास एक समान समय है?" यदि दोनों में से किसी भी प्रश्न का उत्तर 'हाँ' है, तो नई विधि एक विश्वसनीय अनुमान प्रदान करती है। वे इसे "डबली रोबस्ट" (doubly robust) कहते हैं। यह दूसरे के कार्य करने तक पहले की विफलता के प्रति मजबूत है, और इसके विपरीत भी। शोधकर्ताओं ने गणितीय रूप से सिद्ध किया कि यदि दोनों रणनीतियाँ अच्छे पड़ोसी पाती हैं, तो नई विधि केवल उनके परिणामों का औसत नहीं लेती; बल्कि यह उनकी शक्तियों को गुणा करती है। यह सटीकता में नाटकीय सुधार की ओर ले जाता है, जिससे त्रुटि दर काफी अधिक कम हो जाती है, जो कि अकेले किसी भी विधि द्वारा प्राप्त की जा सकने वाली सीमा से कहीं अधिक है। तकनीकी शब्दों में, यह सुधार एक 'नियर-क्वाड्रेटिक' (near-quadratic) त्रुटि कमी में अनुवादित होता है, जिसका अर्थ है कि बहुत कम अतिरिक्त डेटा के साथ अनुमान बहुत अधिक सटीक हो जाता है।

अपने सिद्धांत को सत्यापित करने के लिए, शोधकर्ताओं ने सिंथेटिक डेटा का उपयोग करके व्यापक सिमुलेशन चलाए जो वास्तविक दुनिया के परिदृश्यों, जिनमें सरल रैखिक (linear) संबंध और अधिक जटिल, गैर-रैखिक (non-linear) संबंध शामिल थे, की नकल करते थे। उन्होंने अपने नए तरीके का परीक्षण पारंपरिक 'यूनिट-नियरएस्ट नेबर्स', 'टाइम-नियरएस्ट नेबर्स' और अन्य मानक मैट्रिक्स कंप्लीशन एल्गोरिदम के विरुद्ध किया। परिणाम स्पष्ट थे: नया तरीका लगातार अन्य तरीकों से बेहतर प्रदर्शन करता है। उन मामलों में जहाँ डेटा एक सरल रैखिक नियम द्वारा उत्पन्न किया गया था, नए तरीके ने त्रुटि को डेटासेट के आकार के साथ बढ़ते कारक से कम कर दिया, जो पुराने तरीकों के प्रदर्शन को बहुत पीछे छोड़ देता है। यहाँ तक कि अधिक जटिल परिदृश्यों में जहाँ कारकों के बीच संबंध गैर-रैखिक थे, इस नए दृष्टिकोण ने महत्वपूर्ण बढ़त बनाए रखी, और अक्सर पारंपरिक तरीकों के सर्वश्रेष्ठ प्रदर्शन का मुकाबला किया या उससे बेहतर रहा, जबकि उनके सबसे खराब मामलों से बचा।

टीम ने अपने तरीके को मोबाइल स्वास्थ्य नैदानिक परीक्षण से एक वास्तविक दुनिया के डेटासेट 'हार्टस्टेप्स' (HeartSteps) पर भी लागू किया। इस अध्ययन में, प्रतिभागियों ने गतिविधि ट्रैकर पहने थे और शारीरिक गतिविधि को प्रोत्साहित करने के लिए रैंडम नोटिफिकेशन प्राप्त किए थे। लक्ष्य यह अनुमान लगाना था कि यदि किसी प्रतिभागी को एक सूचना प्राप्त होती है, तो वह एक घंटे में कितने कदम लेगा, बनाम यदि उसे सूचना नहीं मिलती है, भले ही वह विशिष्ट स्थिति उस समय देखी न गई हो। डेटा स्वाभाविक रूप रूप से विरल था क्योंकि सूचनाएं रैंडम रूप से भेजी गई थीं। जब शोधकर्ताओं ने अपने नए 'डबली रोबस्ट नियरएस्ट नेबर्स' पद्धति का उपयोग करके इन रिक्त स्थानों को भरने के लिए किया, तो अनुमान मानक तरीकों द्वारा उत्पन्न अनुमानों की तुलना में अधिक सटीक थे। त्रुटि वितरण (error distribution) अधिक सघन था, जिसका अर्थ है कि अनुमान लगातार वास्तविक मूल्यों के करीब थे। इसने प्रदर्शित किया कि यह विधि न केवल सिद्धांत में या कंप्यूटर-जनित संख्याओं पर, बल्कि वास्तविक दुनिया के अव्यवस्थित डेटा पर भी काम करती है जहाँ लापता जानकारी सामान्य है।

अध्ययन से एक प्रमुख अंतर्दृष्टि डेटा के प्रसंस्करण के तरीके में शामिल ट्रेड-ऑफ (trade-off) थी। अपने गणितीय गारंटियों को सिद्ध करने के लिए, शोधकर्ताओं ने शुरू में डेटा को अलग-अलग हिस्सों में विभाजित किया ताकि एक विशिष्ट प्रकार के सांख्यिकीय पूर्वाग्रह (bias) से बचा जा सके। हालाँकि, अपने व्यावहारिक प्रयोगों में, उन्होंने पाया कि डेटा को विभाजित किए बिना पूरे डेटासेट का उपयोग करने से वास्तव में बेहतर परिणाम मिले। जबकि डेटा को विभाजित करना सैद्धांतिक प्रमाण में मदद करता था, इसने पड़ोसियों को खोजने के लिए उपलब्ध जानकारी को कम कर दिया, जिससे अनुमान में शोर (noise) बढ़ गया। व्यवहार में, अधिक डेटा होने का लाभ, पूर्वाग्रह के सैद्धांतिक जोखिम की तुलना में अधिक था, जिससे पता चलता है कि वास्तविक दुनिया के अनुप्रयोगों के लिए, सभी उपलब्ध जानकारी का उपयोग करना अक्सर बेहतर विकल्प होता है।

इस कार्य के निहितार्थ केवल गायब संख्याओं को भरने से परे हैं। विरल या विषम डेटा के होने पर भी विश्वसनीय अनुमान लगाने की क्षमता व्यक्तिगत चिकित्सा (personalized medicine) और लक्षित विज्ञापन जैसे क्षेत्रों के लिए अत्यंत महत्वपूर्ण है। इन क्षेत्रों में, निर्णय अक्सर उन व्यक्तियों के लिए लिए जाते हैं जो अद्वितीय हैं या ऐसी स्थितियों के लिए जो पहले देखी नहीं गई हैं। यदि कोई विधि इसलिए विफल हो जाती है क्योंकि वह एक आदर्श मिलान नहीं ढूंढ सकती, तो इसके परिणाम खराब सिफारिशें या अप्रभावी उपचार हो सकते हैं। यह सुनिश्चित करके कि अनुमान प्रक्रिया एक प्रकार की समानता गायब होने पर भी मजबूत बनी रहती है, यह नया दृष्टिकोण निर्णय लेने के लिए एक सुरक्षा कवच प्रदान करता है। यह सिस्टम को केवल उस डेटा से सीखने की अनुमति देता है जो उपलब्ध है, बजाय इसके कि वह डेटा के पूरी तरह से संरचित न होने के कारण विफल हो जाए।

शोधकर्ताओं ने यह भी नोट किया कि उनके दृष्टिकोण को अधिक जटिल डेटा संरचनाओं, जैसे कि तीन-आयामी टेंसर (three-dimensional tensors) में विस्तारित किया जा सकता है, जिसमें इकाइयाँ, समय और तीसरा कारक जैसे कि एक विशिष्ट हस्तक्षेप या स्थान शामिल हो सकता है। कई स्रोतों की समानता को संयित करने के तर्क को वहां भी लागू किया जा सकता है, जो संभावित रूप से "ट्रिपली रोबस्ट" (triply robust) विधियों की ओर ले जा सकता है। यह सांख्यिकीय निष्कर्ष (statistical inference) के लिए एक व्यापक मार्ग का सुझाव देता है, जहाँ ध्यान एक एकल आदर्श मिलान खोजने से हटकर कई अपूर्ण सूचना स्रोतों को बुद्धिमानी से संयोजित करने पर केंद्रित होता है। यह कार्य एक प्रमाण है कि कैसे "पड़ोसी खोजने" जैसे सरल, सहज विचारों को फिर से सोचकर, हम ऐसे उपकरण बना सकते हैं जो उनके हिस्सों के योग से कहीं अधिक लचीले और सटीक होते हैं।

अंततः, यह शोध पत्र एक सामान्य समस्या का व्यावहारिक समाधान प्रदान करता है: अपूर्ण जानकारी का अर्थ कैसे निकाला जाए। यह दिखाता है कि हमें एक अच्छा अनुमान लगाने के लिए पूर्ण डेटा या एक आदर्श मिलान की प्रतीक्षा करने की आवश्यकता नहीं है। यह स्वीकार करके कि विभिन्न प्रकार की समानताएं मौजूद हैं और उन्हें एक साथ उपयोग करना सीखकर, हम ऐसे मॉडल बना सकते हैं जो अनिश्चितता के बीच अधिक विश्वसनीय हों। इसकी तर्क प्रक्रिया सरल है लेकिन इसका निष्पादन शक्तिशाली है, जो अपूर्ण डेटा के प्रबंधन के लिए एक नया मानक प्रदान करता है, एक ऐसी दुनिया में जो तेजी से बड़े, जटिल डेटासेट द्वारा संचालित हो रही है।