📊 statistics

Socio-Conformal Calibration in Complex Survey Data: Marginal Validity Is Not Enough for Subgroup Reliability

यह शोध पत्र यह प्रदर्शित करता है कि जबकि मानक कॉन्फॉर्मल प्रेडिक्शन जटिल सर्वेक्षण डेटा में एआई-दृष्टिकोण पूर्वानुमान के लिए नाममात्र की मार्जिनल वैधता प्राप्त करता है, यह उपसमूह विश्वसनीयता सुनिश्चित करने में विफल रहता है, और सहज समूह-विशिष्ट (मोंड्रियन) अंशांकन निष्पक्षता-दक्षता व्यापार-बंद को और अधिक खराब कर देता है, जिससे सरल मार्जिनल वैधता या अनरेगुलराइज्ड समूह-विशिष्ट विधियों की तुलना में अधिक सुदृढ़ दृष्टिकोणों की आवश्यकता होती है।

मूल लेखक: Amir Rafe, Subasish Das

प्रकाशित 2026-05-08

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Amir Rafe, Subasish Das

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शिक्षक हैं जो 4,591 छात्रों के एक वर्ग को ग्रेड देने की कोशिश कर रहे हैं। आप निष्पक्ष रहना चाहते हैं, इसलिए आप वादा करते हैं कि हर छात्र के लिए, आपकी ग्रेडिंग प्रणाली कम से कम 90% बार "सही" होगी। यह कन्फॉर्मल प्रेडिक्शन (Conformal Prediction) का लक्ष्य है: एक सांख्यिकीय विधि जो मशीन लर्निंग मॉडल को एक "सुरक्षा जाल" देती है ताकि वह कह सके, "मुझे 90% यकीन है कि उत्तर इस सीमा के भीतर है।"

हालाँकि, यह शोध पत्र एक पेचीदा समस्या को उजागर करता है: औसत रूप से सही होने का मतलब यह नहीं है कि आप हर किसी के लिए सही हैं।

यहाँ शोधकर्ताओं ने जो पाया है, उसका विवरण सरल उपमाओं (analogies) का उपयोग करके दिया गया है।

1. "क्लास एवरेज" का जाल (The "Class Average" Trap)

शोधकर्ताओं ने एक ऐसी प्रणाली का परीक्षण किया जो यह भविष्यवाणी करती है कि लोग आर्टिफिशियल इंटेलिजेंस (AI) के बारे में कैसा महसूस करते हैं ( "बहुत सकारात्मक" से "बहुत नकारात्मक" तक)।

मानक दृष्टिकोण (The Standard Approach): उन्होंने एक "ग्लोबल रूल" (वैश्विक नियम) का उपयोग किया। कल्पना कीजिए कि शिक्षक पूरे वर्ग को देखता है, एक एकल ग्रेडिंग कर्व (grading curve) की गणना करता है, और इसे सभी पर लागू करता है।
परिणाम: यह पूरे वर्ग के लिए पूरी तरह से काम करता था (90% सटीकता)। लेकिन जब उन्होंने विशिष्ट समूहों को देखा—जैसे "डिग्री प्राप्त अश्वेत छात्र" या "हाई स्कूल डिप्लोमा वाले हिस्पैनिक छात्र"—तो सिस्टम उनमें से कुछ के लिए विफल हो रहा था।
उपमा: यह मौसम के पूर्वानुमान की तरह है जो पूरे देश के लिए 90% बार सही होता है, लेकिन पहाड़ों में रहने वाले लोगों के लिए हमेशा गलत होता है। औसत अच्छा दिखता है, लेकिन पहाड़ों के लोग बिना छाते के भीग रहे हैं।

2. "विशेषज्ञ शिक्षक" की गलती (The "Specialized Teacher" Mistake - Mondian Calibration)

शोधकर्ताओं ने सोचा, "ठीक है, आइए प्रत्येक समूह को अपना स्वयं का शिक्षक देकर इसे ठीक करें।" इसे मोंड्रियन कन्फॉर्मल प्रेडिक्शन (Mondrian Conformal Prediction) कहा जाता है। एक वैश्विक नियम के बजाय, आपके पास 12 अलग-अलग समूहों (जाति और शिक्षा के आधार पर) के लिए 12 अलग-अलग नियम हैं।

अपेक्षा: इससे चीजें निष्पक्ष होनी चाहिए, है ना? प्रत्येक समूह को उनके लिए अनुकूलित नियम मिलता है।
वास्तविकता: इसने वास्तव में चीजों को और खराब कर दिया।
उपमा: कल्पना कीजिए कि "पहाड़ी समूह" में केवल 32 छात्र हैं, जबकि "सिटी ग्रुप" में 355 छात्र हैं।
- सिटी ग्रुप के लिए शिक्षक के पास एक सटीक रेखा खींचने के लिए पर्याप्त डेटा है।
- पहाड़ी समूह के शिक्षक को केवल 32 छात्रों के आधार पर एक सटीक रेखा खींचने की कोशिश करनी पड़ रही है। क्योंकि नमूना (sample) इतना छोटा है, वह शिक्षक घबरा जाता है और हर छोटी गलती पर अत्यधिक प्रतिक्रिया देता है। वे ग्रेडिंग कर्व को बहुत अधिक ऊपर-नीचे घुमा देते हैं।
- परिणाम: पहाड़ी समूह को एक ऐसा नियम मिलता है जो बहुत ढीला है (उन्हें एक बहुत बड़ा, अस्पष्ट सुरक्षा जाल देता है), जबकि सिटी ग्रुप को बहुत सख्त नियम मिलता है। दोनों समूहों के बीच का अंतर वास्तव में बढ़ गया। "विशेषized शिक्षक" अविश्वसनीय हो गया क्योंकि उनके पास सीखने के लिए पर्याप्त छात्र नहीं थे।

3. "सिकुड़ने वाला" समाधान (The "Shrinking" Solution - Regularized Mondian)

शोधकर्ताओं ने तीसरे दृष्टिकोण का प्रयास किया: रेगुलराइज्ड मोंड्रियन (Regularized Mondian)।

विचार: उन्होंने "घबराए हुए" शिक्षकों (छोटे समूहों वाले) को बताया, "अपने छोटे नमूने पर बहुत अधिक भरोसा न करें। अपने नियम को मुख्य क्लास नियम के थोड़ा करीब खींच लें।"
उपमा: यह एक बुद्धिमान संरक्षक द्वारा घबराए हुए शिक्षक को बताने जैसा है, "आपका क्लास छोटा है, इसलिए आपका नियम अस्थिर है। आइए आपके नियम को मुख्य क्लास नियम के साथ मिला दें। यदि आपके पास 3-32 छात्र हैं, तो हम आपके नियम पर 40% और मुख्य नियम पर 60% भरोसा करेंगे। यदि आपके पास 355 छात्र हैं, तो हम आपके नियम पर 88% भरोसा करेंगे।"
परिणाम: इसने उन उग्र उतार-चढ़ावों को रोक दिया। इसने सिस्टम को पूरी तरह से निष्पक्ष नहीं बनाया, लेकिन इसने "विशेषज्ञ शिक्षकों" को चीजें और खराब करने से रोका। यह एक "काफी अच्छा" समाधान था जिसने सुरक्षा जाल को टूटने से बचा लिया।

4. भारित पैमाना (The Weighted Scale)

शोधकर्ताओं ने यह भी जांचा कि क्या वे छात्रों की गिनती निष्पक्ष रूप से कर रहे हैं। वास्तविक दुनिया के सर्वेक्षणों में, कुछ समूह कम प्रतिनिधित्व वाले होते हैं (कक्षा में कम छात्र), इसलिए सांख्यिकीविद उन्हें यह दिखाने के लिए "वेट्स" (भार) का उपयोग करते हैं कि वहां अधिक छात्र हैं।

निष्कर्ष: जब उन्होंने इन "भारित" गणनाओं का उपयोग किया, तो असमानता और भी बड़ी दिखाई दी। "ग्लोबल रूल" इस तथ्य को छिपा रहा था कि अल्पसंख्यक समूहों को पीछे छोड़ा जा रहा था। यदि आप केवल कच्चे आंकड़ों को देखते हैं, तो आप असमानता को मिस कर देते हैं।

मुख्य निष्कर्ष (The Big Takeaway)

यह शोध पत्र सामाजिक मुद्दों के लिए AI बनाने वाले किसी भी व्यक्ति के लिए एक चेतावनी के साथ समाप्त होता है:

केवल औसत की जांच न करें: एक सिस्टम समग्र रूप से "90% सटीक" हो सकता है और फिर भी विशिष्ट समूहों के लिए बुरी तरह विफल हो सकता है।
छोटे समूहों से सावधान रहें: यदि आप प्रत्येक छोटे समूह को अपना कस्टम नियम देने की कोशिश करते हैं, तो नियम अस्थिर और अविश्वसनीय हो जाएंगे क्योंकि पर्याप्त डेटा नहीं है।
"एक ही आकार सबके लिए" (One-Size-Fits-All) पूर्ण नहीं है, लेकिन "हर किसी के लिए कस्टम" खतरनाक है: पाया गया सबसे अच्छा दृष्टिकोण एक मध्य मार्ग था—नियमों को थोड़ा अनुकूलित करना लेकिन उन्हें स्थिर रखने के लिए मुख्य औसत की ओर वापस खींचना।

संक्षेप में: आप केवल एक पाई को छोटे टुकड़ों में काटकर यह उम्मीद नहीं कर सकते कि हर किसी को उचित हिस्सा मिलेगा; कभी-कभी, छोटे टुकड़े इतने छोटे होते हैं कि वे बिखर जाते हैं। आपको एक ऐसी रणनीति की आवश्यकता है जो पूरे पाई को बरकरार रखते हुए यह सुनिश्चित करे कि कोई भी टुकड़ा छूट न जाए।

तकनीकी सारांश: जटिल सर्वेक्षण डेटा में सामाजिक-अनुरूप अंशांकन (Socio-Conformal Calibration)

समस्या विवरण
सर्वेक्षण-आधारित सामाजिक मापन में लागू किए जाने वाले मशीन लर्निंग सिस्टम को ऐसे अनिश्चितता अनुमानों (uncertainty estimates) की आवश्यकता होती है जो न केवल समग्र रूप से वैध हों, बल्कि जनसंख्या के उपसमूहों (subgroups) में भी विश्वसनीय हों। जबकि कॉन्फॉर्मल प्रेडिक्शन (CP) कठोर, वितरण-मुक्त सीमांत कवरेज गारंटी (marginal coverage guarantees) प्रदान करता है, ये समग्र गारंटियाँ जनसांख्यिकीय उपसमूहों के बीच कवरेज में महत्वपूर्ण असमानताओं को छिपा सकती हैं। यह विशेष रूप से जटिल सर्वेक्षण सेटिंग्स में महत्वपूर्ण है जो डिज़ाइन-आधारित वेट्स (weights) और प्रतिच्छेदी जनसांख्यिकीय सेल (intersectional demographic cells) द्वारा चिह्नित होती हैं, जहाँ "पतले" अंशांकन सेल (जैसे, 50 से कम अवलोकन) कारण बन सकते हैं कि सीमांत वैधता (marginal validity) और उपसमूह विश्वसनीयता (subgroup reliability) में भारी विचलन आए। यह शोध जांच करता है कि क्या मानक CP विधियाँ और उनके समूह-विशिष्ट विस्तार (Mondrian CP) ऐसे वातावरण में निष्पक्ष अनिश्चितता परिमाणीकरण सुनिश्चित कर सकते हैं, विशेष रूप से ऑर्डिनल AI-एटीट्यूड फोरकास्टिंग के लिए।

कार्यप्रणाली
यह अध्ययन प्यू रिसर्च सेंटर अमेरिकन ट्रेंड्स पैनल (वेव 152, $n=4,591$ ) के डेटा का उपयोग करके एक 100-स्प्लिट अनुभवजन्य ढांचे का उपयोग करता है। प्रायोगिक डिजाइन में शामिल हैं:

डेटा और उपसमूह: परिणाम अपेक्षित AI प्रभाव के पांच-स्तरीय ऑर्डिनल स्केल पर आधारित है। विश्लेषण 12 प्रतिच्छेदी उपसमूहों पर केंद्रित है जो चार नस्ल/जातीयता श्रेणियों और तीन शिक्षा स्तरों के क्रॉस-टेबुलेशन से बने हैं। सेल का आकार काफी भिन्न है, जो प्रति स्प्लिट 32 से 355 अवलोकनों तक जाता है, जिससे "थिन-सेल" (thin-cell) अस्थिरता की स्थितियाँ उत्पन्न होती हैं।
आधार भविष्यवक्ता (Base Predictors): चार मॉडलों का मूल्यांकन किया गया है: एक पूर्व आधार रेखा (marginal frequencies), एक ऑर्डर्ड लॉजिस्टिक रिग्रेशन, एक टू-लेयर मल्टीलेयर पर्सेप्ट्रॉन (MLP), और XGBoost। सभी मॉडल ऑर्डिनल परिणामों के लिए CDF-आधारित नॉनकन्फॉर्मिटी स्कोर बनाने के लिए क्लास प्रोबेबिलिटी जेनरेट करते हैं।
अंशांकन विधियाँ (Calibration Methods): तीन कॉन्फॉर्मल अंशांकन रणनीतियों की तुलना एक नाममात्र $\alpha=0.10$ $α = 0.10$ (90% कवरेज लक्ष्य) पर की गई है:
- मानक स्प्लिट कॉन्फॉर्मल (Standard Split Conformal): अंशांकन सेट से प्राप्त एकल वैश्विक थ्रेशोल्ड का उपयोग करता है।
- मोंड्रियन कॉन्फॉर्मल (Mondrian Conformal): समूहों के भीतर सशर्त कवरेज प्राप्त करने के लिए प्रत्येक 12 उपसमूहों के लिए समूह-विशिष्ट थ्रेशोल्ड का अनुमान लगाता है।
- रेगुलराइज्ड मोंड्रियन (Regularized Mondian): एक नवीन तुलनात्मक मॉडल जो जेम्स-स्टीन शैली के वेटिंग स्कीम ( $w_g = n_g / (n_g + \lambda)$ के साथ $\lambda=50$ ) का उपयोग करके थ्रेशोल्ड को ग्लोबल क्वांटाइल की ओर सिकोड़ता (shrink) है, ताकि थिन सेल्स में अस्थिरता को कम किया जा सके।
मूल्यांकन: जनसंख्या प्रतिनिधित्व सुनिश्चित करने के लिए सभी मेट्रिक्स को सर्वे-वेटेड (survey-weighted) किया गया है। मुख्य मेट्रिक्स हैं: वेटेड मार्जिनल कवरेज, वेटेड सबग्रुप कवरेज, वेटेड सबग्रुप गैप (मैक्स-मिन कवरेज अंतर), और वेटेड एवरेज सेट साइज (दक्षता)।

प्रमुख योगदान

उपसमूह असमानता का अनुभवजन्य साक्ष्य: अध्ययन प्रदर्शित करता है कि जबकि मानक स्प्लिट कॉन्फॉर्मल प्रेडिक्शन सभी भविष्यवक्ताओं के लिए नाममात्र सीमांत कवरेज प्राप्त करता है (90% लक्ष्य के 1 प्रतिशत अंक के भीतर), यह सभी नस्ल $\times$ शिक्षा सेल के बीच पर्याप्त वेटेड सबग्रुप गैप (लगभग 13 प्रतिशत अंक) छोड़ देता है।
मोंड्रियन CP पर नकारात्मक परिणाम: इस सैद्धांतिक अपेक्षा के विपरीत कि समूह-विशिष्ट अंशांकन निष्पक्षता में सुधार करता है, पेपर पाता है कि वेनाइला मोंड्रियन CP सूचनात्मक भविष्यवक्ताओं (XGBoost, MLP, ऑर्डर्ड लॉजिस्टिक) के लिए फेयरनेस-एफिशिएंसी ट्रेड-ऑफ को बिगाड़ देता है। विशेष रूप से, XGBoost के लिए, मोंड्रियन वेटेड सबग्रुप गैप को +0.013 और वेटेड सेट साइज को +0.036 बढ़ाता है (एक बड़ा प्रभाव आकार, $d_z=1.66$ )।
विफलता विश्लेषण और तंत्र: पेपर मोंड्रियन की विफलता के पीछे के तंत्र को "कैलिब्रेशन-सेल फ्रैगमेंटेशन इंटरैक्शन विद ग्रुप-स्पेसिफिक कॉन्फिडेंस मिसमैच" के रूप में पहचानता है। थिन सेल्स में, समूह-विशिष्ट थ्रेशोल्ड कुछ ही अवलोकनों से अनुमानित होते हैं, जिससे वे स्थानीय स्कोर-डिस्ट्रीब्यूशन की विशिष्टताओं (idiosyncrasies) के प्रति अत्यधिक प्रतिक्रिया देते हैं। जब बेस प्रेडिक्टर के कॉन्फिडेंस पैटर्न समूहों के बीच भिन्न होते हैं (जैसा कि XGBoost के लिए होता है), तो यह अति-प्रतिक्रिया कवरेज असमानताओं को कम करने के बजाय उन्हें बढ़ा देती है।
रेगुलराइज्ड तुलनात्मक मॉडल: लेखक एक रेगुलराइज्ड मोंड्रियन वेरिएंट पेश करते हैं जो छोटे सेल्स के लिए थ्रेशोल्ड को वैश्विक मान की ओर सिकोड़कर इस अस्थिरता को आंशिक रूप से कम करता है। हालांकि यह सेट-साइज पेनल्टी को कम करता है और वेनाइला मोंड्रियन की तुलना में गैप में थोड़ा सुधार करता है, लेकिन यह सूचनात्मक भविष्यवक्ताओं के लिए मानक कॉन्फॉर्मल प्रेडिक्शन की तुलना में निर्णायक निष्पक्षता लाभ नहीं देता है।

परिणाम

सीमांत वैधता (Marginal Validity): मानक कॉन्फॉर्मल प्रेडिक्शन सभी 100 स्प्लिट और चारों भविष्यवक्ताओं के लिए वैध मार्जिनल कवरेज बनाए रखता है।
सबग्रुप गैप्स: स्टैंडर्ड कॉन्फॉर्मल के तहत, XGBoost के लिए वेटेड सबग्रुप गैप 0.135 है। मोंड्रियन CP इस गैप को बढ़ाकर 0.147 कर देता है।
दक्षता (Efficiency): मोंड्रियन CP सूचनात्मक भविष्यवक्ताओं के लिए औसत प्रेडिक्शन सेट साइज को बढ़ाता है (दक्षता को कम करता है)। XGBoost के लिए, सेट साइज 3.240 (स्टैंडर्ड) से बढ़कर 3.275 (मोंड्रियन) हो जाता है।
भविष्यवक्ता निर्भरता: मोंड्रियन CP का नकारात्मक प्रभाव भविष्यवक्ता की सूचनात्मकता (informativeness) पर निर्भर है। अनइंफॉर्मेटिव प्रायर बेसलाइन के लिए, मोंड्रियन वास्तव में गैप और सेट साइज को कम करता है। हालांकि, समूहों के बीच विषम स्कोर डिस्ट्रीब्यूशन वाले भविष्यवक्ताओं के लिए, मोंड्रियन असमानताओं को बढ़ा देता है।
सर्वे वेट्स: अनवेटेड से वेटेड मूल्यांकन पर स्विच करने से लगातार मापा गया सबग्रुप गैप बढ़ जाता है (XGBoost के लिए लगभग +0.020), जो पुष्टि करता है कि जटिल सर्वेक्षणों में अनवेटेड विश्लेषण व्यवस्थित रूप से असमानताओं को कम करके दिखाते हैं।
संवेदनशीलता (Sensitivity): नकारात्मक परिणाम वैकल्पिक आउटकम कोडिंग (जैसे "निश्चित नहीं" प्रतिक्रियाओं को मर्ज करना या बाइनरी ट्रस्ट आइटम का उपयोग करना) और विभिन्न सबग्रुप ग्रैनुलैरिटी (केवल नस्ल-केवल या शिक्षा-केवल) में भी बने रहते हैं।

महत्व और दावे
पेपर दावा करता है कि जटिल सर्वेक्षण सेटिंग्स में उपसमूह विश्वसनीयता के लिए केवल नाममात्र सीमांत वैधता पर्याप्त नहीं है। यह तर्क देता है कि सरल समूह-विशिष्ट अंशांकन (मोंड्रियन CP) एक भरोसेमंद निष्पक्षता समाधान नहीं है जब अंशांकन सेल "थिन" होते हैं और भविष्यवक्ता समूह-परिवर्तित कॉन्फिडेंस पैटर्न प्रदर्शित करते हैं। निष्कर्ष बताते हैं कि केवल सीमांत कवरेज प्रमाण पत्रों (certificates) पर भरोसा करना उन सिस्टमों को प्रमाणित कर सकता है जो व्यवस्थित रूप से अल्पसंख्यक उपसमूहों को कम कवर (under-cover) करते हैं।

लेखक निष्कर्ष निकालते हैं कि जटिल सर्वेक्षणों में न्यायसंगत तैनाती के लिए, पेशेवरों को केवल सीमांत गारंटी से आगे बढ़ना चाहिए। वे अनुशंसा करते हैं कि प्रति-समूह डायग्नोस्टिक्स, सेल-साइज चेक, और श्रिंकेज तुलनात्मकों (जैसे प्रस्तावित रेगुलराइज्ड मोंड्रियन) का उपयोग मानक प्री-डिप्लॉयमेंट अभ्यास होना चाहिए। यह अध्ययन एक मौलिक तनाव को उजागर करता है: थिन सेल्स में सैद्धांतिक कंडीशनल कवरेज गारंटी को संतुष्ट करना आवश्यक रूप से व्यावहारिक निष्पक्षता मेट्रिक्स (सर्वे-वेटेड मैक्स-मिन गैप्स) में सुधार नहीं करता है और दक्षता को कम कर सकता है।