📊 statistics

Design-Based Supervised Learning with Noisy Human Labels

यह शोध पत्र पार्शियली एडजुडिकेटेड डिज़ाइन-बेस्ड सुपरवाइज्ड लर्निंग (PA-DSL) का प्रस्ताव करता है, जो केवल एडजुडिकेटेड डेटा पर निर्भर रहने की तुलना में, शोर वाले मानव ऑडिट लेबल को सुधारने के लिए एडजुडिकेटेड मामलों का लाभ उठाता है, जिससे स्वचालित क्लासिफायर के अधिक सटीक और वैध डिबायस्ड सांख्यिकीय विश्लेषण सक्षम होते हैं।

मूल लेखक: Robert Chew, Matthew R. Williams

प्रकाशित 2026-07-20

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Robert Chew, Matthew R. Williams

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप किताबों के एक विशाल और अव्यवस्थित पुस्तकालय को समझने की कोशिश कर रहे हैं, लेकिन आपके पास हर एक किताब पढ़ने का समय नहीं है। इसलिए, आप एक सुपर-फास्ट रोबोट को किताबों के कवर को स्कैन करने और यह अनुमान लगाने के लिए काम पर रखते हैं कि प्रत्येक किताब किस शैली (genre) की है। वह रोबोट बेहतरीन है, लेकिन वह पूर्ण नहीं है; कभी-कभी वह किसी मिस्ट्री उपन्यास को रोमांस समझ लेता है क्योंकि उसका कवर गुलाबी होता है। इसे ठीक करने के लिए, आप एक मानव लाइब्रेरियन को किताबों के एक छोटे, यादृच्छिक (random) ढेर की जांच करने के लिए नियुक्त करते हैं ताकि यह देखा जा सके कि रोबोट कहाँ गलत हुआ। यही डिज़ाइन-आधारित सुपरवइज्ड लर्निंग (Design-Based Supervised Learning) नामक क्षेत्र का मूल है। यह मशीन के अनुमानों के पहाड़ को सुधारने के लिए थोड़े से मानवीय सत्य का उपयोग करने का एक तरीका है, जिससे यह सुनिश्चित होता है कि पुस्तकालय के बारे में आपके अंतिम आंकड़े सटीक हों।

हालाँकि, इसमें एक पेच है: इंसान भी पूर्ण नहीं होते। यदि आप दो लाइब्रेरियन को एक ही किताब की जांच करने के लिए कहते हैं, तो वे असहमत हो सकते हैं। एक को लग सकता है कि यह रोमांस है, दूसरा इसे मिस्ट्री मान सकता है। आमतौर पर, जब ऐसा होता है, तो आप एक "सुपर-एक्सपर्ट" को अंतिम निर्णय लेने के लिए बुलाते हैं। लेकिन विशेषज्ञ महंगे और धीमे होते हैं, इसलिए आप उनसे उन सभी किताबों की जांच करने के लिए नहीं कह सकते जिन्हें लाइब्रेरियन ने देखा था। आप केवल उन्हीं किताबों के लिए उन्हें बुलाते हैं जहाँ लाइब्रेरियन असहमत थे। यह एक पेचीदा स्थिति पैदा करता है: आपके पास एक रोबोट का अनुमान है, एक मानव का शोर भरा (noisy) अनुमान है, और विशेषज्ञ के सत्य का एक छोटा सा हिस्सा है। आप तीनों को मिलाकर सही उत्तर कैसे प्राप्त करेंगे बिना शोर से भ्रमित हुए? यह वह पहेली है जिसे शोधकर्ता सोशल मीडिया पोस्ट से लेकर मेडिकल रिकॉर्ड तक सब कुछ समझने के लिए हल करने की कोशिश कर रहे हैं।

यहाँ PA-DSL (पार्शियली एडजुडिकेटेड डिज़ाइन-बेस्ड सुपरवइज्ड लर्निंग) आता है: रॉबर्ट चू और मैथ्यू आर. विलियम्स द्वारा प्रस्तावित एक नया तरीका। PA-DSL को एक चतुर "डबल-चेक" प्रणाली के रूप में समझें जिसे विशेष रूप से इस तीन-स्तरीय वास्तविकता के लिए डिज़ाइन किया गया है। केवल मानव लाइब्रेरियन के लेबल पर भरोसा करने या उन किताबों को फेंक देने के बजाय जिन पर वे सहमत नहीं हो सके, PA-DSL विशेषज्ञ-निर्णय (expert-adjudicated) वाली किताबों के उस छोटे से ढेर का उपयोग यह सिखाने के लिए करता है कि मानव लाइब्रेरियन की गलतियों को कैसे सुधारा जाए। यह इस तरह काम करता है:

इनर फिक्स (The Inner Fix): सबसे पहले, सिस्टम उन किताबों को देखता है जहाँ विशेषज्ञ उपस्थित था। यह विशेषज्ञ के उत्तरों का उपयोग यह समझने के लिए करता है कि शोर भरे मानव लेबल को कैसे सुधारा जाए। यह कुछ ऐसा है जैसे यह महसूस करना कि, "ओह, जब भी लाइब्रेरियन असहमत होते हैं, तो विशेषज्ञ आमतौर पर 'मिस्ट्री' कहता है, इसलिए मैं मानव अनुमानों को तदनुसार समायोजित करूँगा।" यह एक "सुपर-ह्यूमन" लेबल बनाता है जो मूल मानव अनुमानों की तुलना में बहुत अधिक स्पष्ट है।
आउटर फिक्स (The Outer Fix): इसके बाद, सिस्टम इन "सुपर-ह्यूमन" लेबल को लेता है और पूरे पुस्तकालय के लिए रोबोट के मूल अनुमानों को ठीक करने के लिए उनका उपयोग करता है। यह पूरे मानव ढेर का उपयोग करके रोबोट को यह बताने जैसा है कि, "आप सभी गुलाबी कवरों के बारे में गलत थे; यहाँ वास्तविक पैटर्न है।"
परिणाम (The Result): अंत में, सिस्टम एक अंतिम उत्तर देता है जो सांख्यिकीय रूप से वैध है, जिसका अर्थ है कि हम दिए गए नंबरों पर भरोसा कर सकते हैं।

शोधकर्ताओं ने इस विचार का दो तरीकों से परीक्षण किया। पहले, उन्होंने 50,000 नकली वस्तुओं के लिए "सत्य" उत्तर जानते हुए एक सिम्युलेटेड दुनिया बनाई। उन्होंने तीन परिदृश्य बनाए: एक जहाँ सब कुछ आसान था, एक जो यथार्थवादी था, और एक जो बहुत कठिन था (जहाँ रोबोट और इंसान दोनों भ्रमित थे)। आसान और यथार्थवादी दुनिया में, PA-DSL स्पष्ट विजेता था। इसने केवल विशेषज्ञ-निर्णय वाले किताबों का उपयोग करने की तुलना में त्रुटि (एक माप जिसे RMSE कहा जाता है) को 10% से 17% तक कम कर दिया। इसने शोर भरे मानव लेबलों से उपयोगी जानकारी सफलतापूर्वक निकालकर ऐसा किया जिसे अन्य तरीके छोड़ देते हैं। "कठिन" दुनिया में, जहाँ मानव लेबल बहुत अधिक अस्त-व्यस्त थे कि वे मददगार न हों, PA-DSL ने कोई नई जानकारी जादुई रूप से पैदा नहीं की; इसने केवल विशेषज्ञ-मात्र विधि के समान प्रदर्शन किया, जो यह साबित करता है कि यह डेटा खराब होने पर चीजें खराब नहीं करता है।

उन्होंने एक वास्तविक दुनिया के डेटासेट पर भी परीक्षण किया, जो व्यक्तिगत हमलों के बारे में विकिपीडिया कमेंट्स का था। चूंकि इस बात का कोई एकल "ईश्वर की दृष्टि" (God's eye view) नहीं है कि वास्तव में हमला क्या है, इसलिए उन्होंने कई श्रमिकों के सर्वसम्मति (consensus) को एक "प्रॉक्सी सत्य" के रूप में उपयोग किया। परिणाम सिमुलेशन के समान थे: PA-DSL ने सांख्यिकीय सटीकता को उच्च बनाए रखा (95% कवरेज दर बनाए रखते हुए, जिसका अर्थ है कि अनुमानित सीमा के भीतर वास्तविक उत्तर 95% बार आता है) जबकि उन तरीकों की तुलना में त्रुटि के मार्जिन को काफी कम कर दिया जो शोर भरे मानव लेबल को अनदेखा कर देते हैं।

पेपर स्पष्ट रूप से इस विचार के खिलाफ तर्क देता है कि आप केवल मानव लेबल ले सकते हैं और उन्हें पूर्ण सत्य मान सकते हैं, या आप मानव लेबल को पूरी तरह से अनदेखा कर सकते हैं और केवल महंगे विशेषज्ञ लेबल का उपयोग कर सकते हैं। यदि आप शोर भरे मानव लेबल को पूर्ण सत्य मानते हैं, तो आपके परिणाम पक्षपाती और गलत होंगे। यदि आप केवल विशेषज्ञ लेबल का उपयोग करते हैं, तो आप बहुत सारा डेटा बर्बाद करते हैं और कम सटीक उत्तर प्राप्त करते हैं। PA-DSL सुझाव देता है कि ज्ञात संभावनाओं का उपयोग करके शोर भरे मानव डेटा को विशेषज्ञ डेटा के साथ सावधानीपूर्वक जोड़कर, आप दोनों दुनिया का सर्वश्रेष्ठ प्राप्त कर सकते है: मशीन का पैमाना, मानव का सुधार, और विशेषज्ञ की सटीकता, और वह भी बिना हर आइटम के लिए विशेषज्ञ को भुगतान किए।

संक्षेप में, PA-DSL एक सांख्यिकीय टूलकिट है जो कहता है, "शोर भरे मानव डेटा को फेंकिए मत, और उस पर अंधा विश्वास भी न करें।" इसके बजाय, मानव की आवाज़ को ट्यून करने के लिए विशेषज्ञ की आवाज़ का उपयोग करें, और फिर उस ट्यून की गई आवाज़ का उपयोग रोबोट की आवाज़ को ठीक करने के लिए करें। यह सीमित संसाधनों से अधिक सटीक उत्तर प्राप्त करने का एक तरीका है, जिससे यह सुनिश्चित होता है कि जब हम डेटा के विशाल ढेर का विश्लेषण करते हैं, तो हमारे निष्कर्ष उतने ही ठोस होते हैं जितना कि वह सत्य का छोटा सा हिस्सा जिसे हमने वास्तव में सत्यापित किया है।

तकनीकी सारांश: आंशिक रूप से अधिचारित डिज़ाइन-आधारित पर्यवेक्षित शिक्षण (Partially Adjudicated Design-Based Supervised Learning - PA-DSL)

1. समस्या विवरण

शोधकर्ता सांख्यिकीय विश्लेषण के लिए अनस्ट्रक्चर्ड डेटा को लेबल करने हेतु स्वचालित क्लासिफायर (सरोगेट्स) पर तेजी से निर्भर हो रहे हैं। जबकि इन सरोगेट्स में व्यवस्थित त्रुटियों को सुधारने के लिए एक प्रोबेबिलिटी-सैंपल्ड "ऑडिट" सेट का उपयोग करने वाले डिज़ाइन-आधारित पर्यवेक्षित शिक्षण (DSL) विधियाँ मौजूद हैं, वे आमतौर पर यह मानती हैं कि ऑडिट लेबल 'गोल्ड-स्टैंडर्ड' सत्य हैं। व्यवहार में, मानव ऑडिट लेबल अक्सर शोरयुक्त (noisy) होते हैं, जो रैंडम एरर के बजाय कोडर की असहमति, अस्पष्टता या व्यक्तिपरक व्याख्या को दर्शाते हैं।

लागत प्रबंधन के लिए, एक सामान्य वर्कफ़्लो में कई मानव एनोटेटर्स द्वारा एक ऑडिट सैंपल को लेबल करवाना शामिल है, जहाँ केवल इन आइटम्स के एक उपसमूह को ही महंगे विशेषज्ञ अधिचारण (adjudication) प्राप्त होता है। मौजूदा सुधार विधियाँ इस सेटिंग में विफल रहती हैं क्योंकि वे शोरयुक्त मानव ऑडिट लेबल्स को सही मान लेती हैं, जिससे वे मानव पूर्वाग्रह को विरासत में प्राप्त कर लेती हैं, या वे अधिचारित (unadjudicated) मानव लेबल्स को पूरी तरह से त्याग देती हैं, जिससे दक्षता का नुकसान होता है। मुख्य समस्या यह है कि वैध डाउनस्ट्रीम इन्फरेंस (downstream inference) कैसे किया जाए जब सुधार डेटा (ऑडिट) स्वयं त्रुटिपूर्ण मापा गया हो और केवल आंशिक रूप से गोल्ड-स्टैंडर्ड अधिचारक द्वारा हल किया गया हो।

2. कार्यप्रणाली: PA-DSL

यह पेपर आंशिक रूप से अधिचारित डिज़ाइन-आधारित पर्यवेक्षित शिक्षण (PA-DSL) का प्रस्ताव करता है, जो पदानुक्रमित लेबल शोर (hierarchical label noise) को ठीक करने के लिए एक नेस्टेड, डिज़ाइन-आधारित एस्टिमेटर है। यह विधि तीन-स्तरीय सैंपलिंग डिज़ाइन के तहत कार्य करती है:

टियर 1 (फुल फ्रेम): सभी $N$ यूनिट्स के पास कोवेरिएट्स $X_i$ और एक स्वचालित सरोगेट स्कोर $Q_i$ है।
टियर 2 (ऑडिट): एक प्रोबेबिलिटी-सैंपल्ड सबसेट ( $R_i=1$ ) के पास शोरयुक्त मानव कोडर लेबल्स ( $G_{i,1}, G_{i,2}$ ) हैं।
टियर 3 (अधिचारण/Adjudication): ऑडिट सेट का एक प्रोबेबिलिटी-सैंपल्ड सबसेट ( $V_i=1$ ) एक गोल्ड-स्टैंडर्ड अधिचारित लेबल $A_i$ प्राप्त करता है।

लक्ष्य एस्टिमैंड (estimand) एक लेटेंट कंस्ट्रक्ट $Y^*_i$ (जो अधिचारण प्रोटोकॉल द्वारा परिभाषित है) के लिए कोवेरिएट्स $X_i$ पर जनसंख्या-स्तर का रिग्रेशन कोएफिशिएंट $\beta$ है।

एस्टिमेटर का निर्माण:
PA-DSL एक दो-चरणीय सुधार प्रक्रिया के माध्यम से एक स्यूडो-आउटकम (pseudo-outcome) $\tilde{Y}_i$ का निर्माण करता है, जो ज्ञात डिज़ाइन प्रोबेबिलिटी $\pi_i$ (ऑडिट) और $\rho_i$ (अधिचारण) का उपयोग करता है:

चरण 1: आंतरिक सुधार (ऑडिट-स्तर के स्यूडो-लेबल्स):
अधिचारित उपसमूह का उपयोग करते हुए, एक नुलस फंक्शन (nuisance function) $\hat{\mu}(Z_i)$ को आंतरिक फीचर्स $Z_i$ (जिसमें $Q_i, X_i$ , और शोरयुक्त कोडर लेबल्स शामिल हैं) के आधार पर अधिचारित लेबल $A_i$ की भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है। ऑडिट सेट पर एक AIPW-शैली का सुधार लागू किया जाता है ताकि एक स्यूडो-लेबल $\hat{M}_i$ बनाया जा सके:
$\hat{M}_i = \hat{\mu}(Z_i) + \frac{V_i}{\rho_i}(A_i - \hat{\mu}(Z_i))$
यह चरण अधिचारित सत्य का उपयोग करके शोरयुक्त मानव लेबल्स को डीबायस (debias) करता है, प्रभावी रूप से शोरयुक्त ऑडिट सेट को "स्यूडो-गोल्ड" लेबल्स के सेट में बदल देता है।
चरण 2: बाहरी सुधार (फुल-फ्रेम स्यूडो-आउटकम):
ऑडिट सेट और नए निर्मित $\hat{M}_i$ का उपयोग करते हुए, एक दूसरा नुलस फंक्शन $\hat{g}(B_i)$ को बाहरी फीचर्स $B_i$ (आमतौर पर $Q_i, X_i$ ) के आधार पर आउटकम की भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है। पूरे पॉपुलेशन पर एक मानक DSL सुधार लागू किया जाता है:
$\tilde{Y}_i = \hat{g}(B_i) + \frac{R_i}{\pi_i}(\hat{M}_i - \hat{g}(B_i))$
चरण 3: डाउनस्ट्रीम इन्फरेंस:
स्यूडो-आउटकम $\tilde{Y}_i$ को लक्षित एस्टिमेटिंग इक्वेशन (जैसे लॉजिस्टिक रिग्रेशन स्कोर इक्वेशन) में $Y^*_i$ के स्थान पर उपयोग किया जाता है ताकि $\hat{\beta}$ को हल किया जा सके।

सैद्धांतिक गुण:
ऑडिट इग्नोरैबिलिटी, अधिचारण इग्नोरैबिलिटी, अधिचारण शुद्धता (अधिचारित उपसमूह पर), और ज्ञात डिज़ाइन प्रोबेबिलिटी के तहत, एस्टिमेटर डिज़ाइन-अनबायस्ड (design-unbiased) है। पेपर एसिम्प्टोटिक नॉर्मलिटी (asymptotic normality) को सिद्ध करता है और यह भी कि एस्टिमेटर वैध रहता है, चाहे नुलस मॉडल स्पेसिफिकेशन कुछ भी हो, बशर्ते कि नुलस एस्टिमेटर्स $L_2$ -कंसिस्टेंट हों। महत्वपूर्ण रूप से, चूंकि डिज़ाइन वेट्स ज्ञात हैं, इसलिए उत्पाद-दर शर्त (जो अनुमानित वेट्स के साथ डबली रोबस्ट एस्टिमेशन के लिए आवश्यक होती है) की आवश्यकता नहीं है।

3. मुख्य योगदान

पदानुक्रमित शोर का औपचारिकीकरण: यह पेपर एक तीन-स्तरीय नेस्टेड मेजरमेंट डिज़ाइन को औपचारिक रूप देता है जहाँ ऑडिट लेबल शोरयुक्त होते हैं और अधिचारण आंशिक होता है, जो सांख्यिकीय सुधार (statistical rectification) में एक सामान्य लेकिन पूर्व में अनसुलझी स्थिति है।
डिज़ाइन-वैलिड एस्टिमेटर: यह PA-DSL पेश करता है, जो गोल्ड-ऑडिट सेटिंग से परे सुधार को विस्तारित करने वाला पहला तरीका है। यह सिद्ध करता है कि परिणामी स्यूडो-आउटकम किसी भी डाउनस्ट्रीम एस्टिमेटिंग इक्वेशन के लिए वैध है जो लेटेंट आउटकम के प्रति अफ़ाइन (affine) है, बशर्ते ऑडिट और अधिचारण प्रोबेबिलिटी ज्ञात हों।
दक्षता लाभ: यह दर्शाता है कि शोरयुक्त मानव लेबल्स का उपयोग करके (इनर करेक्शन के माध्यम से) उन्हें पूरी तरह से त्यागने के बजाय, PA-DSL दक्षता में सुधार करता है, यदि ऑडिट-टियर फीचर्स में अधिचारित कंस्ट्रक्ट के बारे में रिकवरेबल सिग्नल मौजूद हो।

4. प्रयोगात्मक परिणाम

लेखक सिंथेटिक डेटा और विकिपीडिया डिटॉक्स कॉर्पस (पर्सनल अटैक्स का विश्लेषण करते हुए) पर एक सेमी-सिंथेटिक अध्ययन का उपयोग करके PA-DSL का मूल्यांकन करते हैं।

वैधता: सभी परिदृश्यों में, मानक "प्लग-इन" एस्टिमेटर्स (केवल सरोगेट्स या शोरयुक्त मानव लेबल्स का उपयोग करने वाले) और मानक DSL (शोरयुक्त मानव लेबल्स को गोल्ड मानने वाले) पर्याप्त बायस और शून्य कवरेज प्रदर्शित करते हैं। इसके विपरीत, PA-DSL और अधिचारण-केवल बेसलाइन (DSL-ADJONLY) दोनों लगभग शून्य बायस और नाममात्र 95% कवरेज प्राप्त करते हैं।
दक्षता:
- सौम्य/यथार्थवादी परिदृश्य: जब शोरयुक्त मानव लेबल्स में अधिचारित सत्य के बारे में सिग्नल होता है, तो PA-DSL, DSL-ADJONLY की तुलना में काफी बेहतर प्रदर्शन करता है। सिंथेटिक प्रयोगों में, PA- melakukan केवल अधिचारित लेबल्स का उपयोग करने की तुलना में PA-DSL ने RMSE को 10-17% तक कम किया।
- कठिन परिदृश्य: जब सरोगेट कमजोर होता है, कोडर का शोर अधिक होता है, और अधिचारण विरल (sparse) होता है, तो आंतरिक परत बहुत कम सिग्नल जोड़ती है। इन मामलों में, PA-DSL अपने अधिचारण-केवल बेंचमार्क के प्रदर्शन पर वापस आ जाता है, जिससे शोर के प्रवेश को रोका जा सके।
सेमी-सिंथेटिक सत्यापन: विकिपीडिया डिटॉक्स कॉर्पस पर, PA-DSL ने अधिचारण-केवल बेसलाइन की तुलना में लगभग 18% कम RMSE बनाए रखते हुए नाममात्र कवरेज बनाए रखा, जो वास्तविक टेक्स्ट और क्राउडवर्कर असहमति के साथ इसकी उपयोगिता की पुष्टि करता है।

5. महत्व और दावे

पेपर का दावा है कि PA-DSL आधुनिक एनोटेशन पाइपलाइनों में सांख्यिकीय निष्कर्ष के लिए एक मजबूत ढांचा प्रदान करता है जहाँ ऑडिट किए गए सभी आइटम्स पर विशेषज्ञ अधिचारण बहुत महंगा है। इसका प्राथमिक महत्व है:

मेजरमेंट एरर को ठीक करना: यह शोधकर्ताओं को दक्षता में सुधार के लिए शोरयुक्त मानव ऑडिट लेबल्स के पूर्ण सेट का उपयोग करने की अनुमति देता है, बिना अनबायस्ड इन्फरेंस के लिए आवश्यक डिज़ाइन वैधता से समझौता किए।
व्यावहारिक डिज़ाइन मार्गदर्शन: परिणाम सुझाव देते हैं कि असहमति-संचालित अधिचारण (उन आइटम्स को प्राथमिकता देना जहाँ कोडर असहमत हैं) को मध्यम ऑडिट दरों के साथ संयोजित करना लागत और इन्फेरेंशियल दक्षता के बीच एक इष्टतम संतुलन प्रदान करता है।
दायरा: यह विधि क्लासिफायर-स्वतंत्र (LLMs या पारंपरिक क्लासिफायर दोनों के लिए लागू) है लेकिन प्रोस्पेक्टिव, ज्ञात-प्रोबेबिलिटी डिजाइन्स पर निर्भर है। यह अधिचारण प्रोटोकॉल के स्वयं के व्यवस्थित पूर्वाग्रह को ठीक करने का दावा नहीं करता है; बल्कि, यह उस प्रोटोकॉल द्वारा परिभाषित कंस्ट्रक्ट के सापेक्ष वैध इन्फरेंस सुनिश्चित करता है।

लेखक विनम्र रहते हुए नोट करते हैं कि इसकी दक्षता लाभ इस बात पर निर्भर करते हैं कि शोरयुक्त ऑडिट लेबल्स में अधिचारित सत्य के बारे में रिकवरेबल सिग्नल मौजूद है या नहीं, और यह भी कि अंतिम कंस्ट्रक्ट की वैधता अभी भी अधिचारण प्रोटोकॉल की गुणवत्ता पर निर्भर करती है।