← नवीनतम पेपर
📊 statistics

Boosting prediction with data missing not at random

यह शोधपत्र लॉस फंक्शन्स (loss functions) को समायोजित करने के लिए फंक्शनल ग्रेडिएंट डिसेंट (functional gradient descent) का उपयोग करते हुए, लुप्त प्रतिक्रियाओं (missing responses) वाले डेटासेट के लिए अर्ध-पैरामीट्रिक बूस्टिंग विधियों का प्रस्ताव और कठोरता से सत्यापन करता है, जिससे एल्गोरिदम का अभिसरण (convergence) और एस्टिमेटर निरंतरता (estimator consistency) सुनिश्चित होती है और साथ ही मजबूत परिमित-नमूना प्रदर्शन (finite-sample performance) प्रदर्शित होता है।

मूल लेखक: Yuan Bian, Grace Y. Yi, Wenqing He

प्रकाशित 2026-02-23
📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Yuan Bian, Grace Y. Yi, Wenqing He

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Boosting Prediction with Data Missing Not at Random" नामक शोध पत्र का सरल, रोज़मर्रा की भाषा और कुछ रचनात्मक उपमाओं के साथ अनुवाद दिया गया है।

बड़ी समस्या: "खामोश" छात्र

कल्पना कीजिए कि आप एक शिक्षक हैं जो यह अनुमान लगाने की कोशिश कर रहे हैं कि कौन से छात्र गणित में 'A' ग्रेड प्राप्त करेंगे, इसके लिए कि वे कितनी पढ़ाई करते हैं और उनकी उपस्थिति कैसी है। आपके पास 100 छात्रों की एक कक्षा है।

  • आदर्श परिदृश्य (पूर्ण डेटा): आपके पास सभी 100 छात्रों के ग्रेड और पढ़ाई के घंटे उपलब्ध हैं। आप एक सटीक भविष्यवाणी मॉडल बना सकते हैं।
  • वास्तविक दुनिया (लुप्त डेटा): कुछ छात्रों ने अपनी अंतिम परीक्षा नहीं दी। आपके पास उनके पढ़ाई के घंटों की जानकारी है, लेकिन उनके ग्रेड गायब हैं।

जाल (The Trap):
यदि परीक्षा न देने वाले छात्र केवल संयोगवश अनुपस्थित हैं (जैसे कि वे बीमार थे), तो आप उन्हें अनदेखा कर सकते हैं और उन 80 छात्रों के ग्रेड का उपयोग कर सकते हैं जो उपस्थित हुए। इसे Missing Completely at Random (MCAR) कहा जाता है। यह एक सिक्का उछालने जैसा है; लुप्त डेटा आपको कुछ विशेष नहीं बताता।

असली खतरा (MNAR):
लेकिन क्या होगा यदि परीक्षा न देने वाले वे छात्र हैं जिन्होंने पढ़ाई नहीं की और वे अपने ग्रेड दिखाने में शर्मिंदगी महसूस कर रहे हैं? यह Missing Not at Random (MNAR) है। डेटा का गायब होना खुद उस डेटा के कारण ही हुआ है।

यदि आप लुप्त छात्रों को अनदेखा कर देते हैं और केवल उन 80 छात्रों पर अपना मॉडल बनाते हैं जो उपस्थित हुए, तो आपका मॉडल पक्षपाती (biased) होगा। उसे लगेगा कि "जो थोड़ा भी पढ़ता है, वह 'A' ग्रेड पाता है" क्योंकि कम स्कोर करने वाले, बिना पढ़ाई करने वाले छात्र आपकी नज़रों से छिपे हुए हैं। आपकी भविष्यवाणी करने वाली मशीन खराब है क्योंकि वह एक विकृत वास्तविकता को देख रही है।

समाधान: "सेफ्टी नेट" के साथ बूस्टिंग (Boosting)

इस शोध के लेखक ऐसे सांख्यिकीविद् (statisticians) हैं जो बूस्टिंग (Boosting) नामक एक मशीन लर्निंग तकनीक में विशेषज्ञता रखते हैं।

बूस्टिंग क्या है?
बूस्टिंग को एक रहस्य सुलझाने की कोशिश कर रहे जासूसों की एक टीम के रूप में सोचें।

  1. जासूस 1 सुराग देखता है और एक अनुमान लगाता है। वे आमतौर पर गलत होते हैं, लेकिन बहुत ज़्यादा नहीं।
  2. जासूस 2 देखता है कि जासूस 1 कहाँ गलत था और उन विशिष्ट गलतियों को सुधारने की कोशिश करता है।
  3. जासूस 3 देखता है कि पहले दो कहाँ गलत थे और उन्हें ठीक करता है।
  4. वे एक के बाद एक चलते रहते हैं जब तक कि उनका संयुक्त अनुमान अविश्वसनीय रूप से सटीक नहीं हो जाता।

यह शोध पत्र पूछता है: यदि कुछ सुराग (डेटा) इसलिए गायब हैं क्योंकि अपराधी उन्हें छिपा रहा है, तो हमारे जासूसों की टीम का क्या होगा?

दो नई रणनीतियाँ

लेखक "स्कोरकार्ड" (Loss Function) को समायोजित करने के लिए दो चतुर तरीके प्रस्तावित करते हैं जिसका उपयोग जासूस अपने अनुमानों को आंकने के लिए करते हैं। वे चाहते हैं कि लुप्त छात्र सिस्टम को धोखा न दे सकें।

रणनीति 1: "वेटेड वोट" (Inverse Propensity Weighting - IPW)

कल्पना कीजिए कि आप एक चुनाव में वोटों की गिनती कर रहे हैं, लेकिन कुछ मतदाताओं ने मतदान नहीं किया।

  • यदि आप जानते हैं कि "युवा लोग" आमतौर पर मतदान नहीं करते हैं, लेकिन आपके पास 10 युवा लोग हैं जिन्होंने मतदान किया है, तो आप कह सकते हैं, "ठीक है, ये 10 वोट वास्तव में 50 युवाओं का प्रतिनिधित्व करते हैं।" आप उनके वोट को अधिक भार (weight) देते हैं।
  • इस शोध पत्र में, लेखक एक "प्रोपेंसिटी स्कोर" (संभावना) की गणना करते हैं कि किसी छात्र का ग्रेड क्यों गायब है। यदि किसी छात्र के गायब होने की संभावना इसलिए है क्योंकि वह असफल रहा, तो समान गुणों वाले जो छात्र उपस्थित हुए, उन्हें गणना में "भारी वजन" दिया जाता है ताकि वे लुप्त छात्रों का प्रतिनिधित्व कर सकें।
  • चुनौती: आपको उस सूत्र (formula) का अनुमान लगाना होगा कि लोग क्यों गायब हैं। यदि आपका अनुमान गलत है, तो भार (weights) गलत होंगे, और भविष्यवाणी विफल हो जाएगी।

रणनीति 2: "खाली स्थान भरना" (Buckley-James Type - BJ)

कल्पना कीजिए कि आप लोगों के एक समूह की औसत ऊंचाई का अनुमान लगाने की कोशिश कर रहे हैं, लेकिन सबसे कम ऊंचाई वाले लोग छिप गए हैं।

  • लुप्त लोगों को अनदेखा करने के बजाय, आप अनुमान लगाते हैं कि उनकी ऊंचाई क्या होती यदि वे दिख रहे होते, उन लोगों के आधार पर जिन्हें आप देख सकते हैं।
  • आप (Bayes' rule) जैसे गणितीय तरीके का उपयोग करते हैं यह कहने के लिए, "दिखने वाले लोगों के आधार पर, लुप्त लोग शायद ऐसे होते।"
  • फिर आप इन अनुमानित ऊंचाइयों को अपनी गणना में डाल देते हैं।
  • चुनौती: इसके लिए आपको लुप्त डेटा के वितरण (distribution) का अनुमान लगाना होगा। यदि "छिपे हुए लोगों" के बारे में आपका अनुमान गलत है, तो आपका अनुमान भी गलत होगा।

"दोनों दुनियाओं का सर्वश्रेष्ठ" दृष्टिकोण

लेखकों को एहसास हुआ कि लुप्त डेटा के सूत्र का अनुमान लगाना कठिन है। इसलिए, उन्होंने एक सेमीपैरामीट्रिक (Semiparametric) दृष्टिकोण का उपयोग किया।

  • पैरामीट्रिक (Parametric): पूरे सूत्र का अनुमान लगाना (जैसे किसी बादल के सटीक आकार का अनुमान लगाना)।
  • नॉन-पैरामीट्रिक (Non-parametric): बिना किसी निश्चित आकार को थोपे डेटा को स्वयं बोलने देना (जैसे बादल की बाहरी रेखा को ट्रेस करना)।

उन्होंने इन दोनों को मिला दिया। उन्होंने लुप्त होने के कारणों का अनुमान लगाने के लिए एक लचीले, डेटा-संचालित तरीके का उपयोग किया, बिना किसी कठोर गणितीय आकार को थोपे जो गलत हो सकता था। यह उन्हें बहुत अधिक मजबूत बनाता है। भले ही आपका यह अनुमान कि डेटा क्यों गायब है, एकदम सही न हो, फिर भी यह विधि सही उत्तर खोजने के लिए डिज़ाइन की गई है।

परिणाम: क्या यह काम करता है?

लेखकों ने हजारों कंप्यूटर सिमुलेशन (जैसे 500 अलग-अलग परिदृश्यों के साथ एक वीडियो गेम चलाना) चलाए।

  1. जब डेटा यादृच्छिक रूप से (randomly) गायब होता है: उनकी नई विधि पुराने मानक तरीकों की तरह ही अच्छी तरह काम करती है।
  2. जब डेटा यादृच्छिक रूप से गायब नहीं होता (कठिन हिस्सा):
    • पुराना तरीका (लुप्त डेटा को अनदेखा करना) बुरी तरह विफल रहा, जिससे पक्षपाती और गलत भविष्यवाणियां हुईं।
    • नए तरीकों (IPW और BJ) ने सफलतापूर्वक इस पक्षपात को सुधारा। उन्होंने "छिपे हुए छात्रों" को देखा और भविष्यवाणी को तदनुसार समायोजित किया।
    • उन्होंने गणितीय रूप से सिद्ध किया कि जैसे-जैसे उनके पास डेटा बढ़ता है, उनकी भविष्यवाणियां सत्य के करीब पहुँचती जाती हैं।

वास्तविक दुनिया का परीक्षण: कोरियाई श्रमिक

अंत में, उन्होंने इसका परीक्षण वास्तविक डेटा पर किया: KLIPS डेटासेट, जो कोरियाई श्रमिकों की आय को ट्रैक करता है।

  • समस्या: लगभग 30% आय का डेटा गायब था।
  • संदेह: कम आय वाले लोग अपनी आय बताने में कम इच्छुक थे (MNAR)।
  • परिणाम: मानक पद्धति ने भविष्यवाणी की कि कम आय वाले श्रमिक वास्तव में जितना कमाते थे उससे अधिक कमाते थे (क्योंकि कम कमाने वाले लोग गायब थे)। नए बूस्टिंग तरीकों ने इसे सुधारा, जिससे आय के वितरण की बहुत अधिक यथार्थवादी तस्वीर मिली।

निष्कर्ष (The Takeaway)

यह शोध पत्र एक मैकेनिक को कार के इंजन को ठीक करने के लिए नए उपकरणों के सेट देने जैसा है, जब कुछ हिस्से जंग खाकर छिपे हुए हों।

  • पुराना तरीका: जंग लगे हिस्सों को अनदेखा करें और अनुमान लगाएं कि इंजन ठीक काम कर रहा है। (परिणाम: कार खराब हो जाती है)।
  • नया तरीका: यह अनुमान लगाने के लिए कि छिपे हुए हिस्से क्या कर रहे हैं, एक विशेष "वेटिंग" प्रणाली और "खाली स्थान भरने" वाले तर्क का उपयोग करें, भले ही आप उन्हें देख नहीं सकते। (परिणाम: कार सुचारू रूप से चलती है)।

उन्होंने "बूस्टिंग" मशीन लर्निंग एल्गोरिदम का एक स्मार्ट और अधिक लचीला संस्करण बनाया है जो तब भी धोखा नहीं खाता जब डेटा अपने स्वभाव के कारण छिप जाता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →