📊 statistics

Multi-Distribution Robust Conformal Prediction

यह शोध पत्र मल्टी-डिस्ट्रीब्यूशन रोबस्ट कॉन्फॉर्मल प्रेडिक्शन के लिए एक मैक्स-पी (max-p) एग्रीगेशन स्कीम और एक संबद्ध लर्निंग एल्गोरिदम प्रस्तावित करता है जो हेट्रोजेनियस सोर्स डिस्ट्रीब्यूशंस में यूनिफॉर्म कवरेज की गारंटी देता है और नैइव (naive) दृष्टिकोणों की तुलना में प्रेडिक्शन सेट एफिशिएंसी में महत्वपूर्ण सुधार करता है।

मूल लेखक: Yuqi Yang, Ying Jin

प्रकाशित 2026-07-10

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuqi Yang, Ying Jin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप भविष्य की भविष्यवाणी करने की कोशिश कर रहे एक जासूस हैं, लेकिन आपके पास एक अजीब समस्या है: आपके पास तीन अलग-अलग शहरों की केस फाइलें हैं, और प्रत्येक शहर का अपना अनूठा अपराध का तरीका है। एक शहर में ज्यादातर जेबकतरे हैं, दूसरे में ज्यादातर चोर हैं, और तीसरे में सब कुछ मिला-जुला है। आप यह अनुमान लगाने के लिए एक प्रेडिक्शन टूल बनाते हैं कि अगली घटना क्या होगी।

पुराना तरीका यह था कि प्रत्येक शहर के लिए एक अलग टूल बनाया जाए। लेकिन क्या होगा अगर एक नया केस आए, और आपको नहीं पता कि वह किस शहर से है? यदि आप चोरी के मामले के लिए "जेबकतरे वाले टूल" का उपयोग करते हैं, तो आप गलत होंगे। यदि आप जेबकतरे के मामले के लिए "चोर वाले टूल" का उपयोग करते हैं, तो भी आप गलत होंगे।

यह पेपर एक नया जासूसी टूल पेश करता है जिसे MDCP (मल्टी-डिस्ट्रीब्यूशन कॉन्फॉर्मल प्रेडिक्शन) कहा जाता है। इसकी सुपरपावर यह है कि यह एक ही सिंगल प्रेडिक्शन सेट बनाता है जो गारंटी के साथ सही होता है, चाहे नया केस किसी भी शहर से क्यों न आए। इसे अपना काम करने के लिए शहर का नाम जानने की आवश्यकता नहीं है।

"बहुत बड़ा" होने की समस्या

आमतौर पर, सुरक्षित रहने के लिए, आप शायद जेबकतरे वाले शहर का प्रेडिक्शन, चोर वाले शहर का प्रेडिक्शन, और मिले-जुले शहर का प्रेडिक्शन ले सकते हैं, और उन सभी को एक विशाल बैग में मिला सकते हैं। पेपर इस प्रक्रिया को "नेइव एग्रीगेशन" (naive aggregation) कहता है।

लेखक दिखाते हैं कि यह विशाल बैग अक्सर बहुत ज्यादा बड़ा होता है। यह हर संभव टूल के साथ एक बैकपैक लेकर चलने जैसा है ताकि जरूरत पड़ने पर काम आ सके। यह सुरक्षित तो है, लेकिन यह बोझिल और बेकार है क्योंकि यह बहुत भारी है। अपने सिमुलेशन में, इस "नेइव" विधि ने क्लासिफिकेशन कार्यों में आवश्यक आकार से 34.39% अधिक बड़े और रिग्रेशन कार्यों में 22% अधिक चौड़े प्रेडिक्शन सेट बनाए।

जादू का नुस्खा: "Max-p" स्कोर

पेपर का मुख्य निष्कर्ष उस विशाल बैकपैक को बिना किसी सुरक्षा को खोए छोटा करने का एक चतुर तरीका है। वे max-p एग्रीगेशन नामक एक विधि प्रस्तावित करते हैं।

इसे न्यायाधीशों के एक समूह के रूप में सोचें। प्रत्येक न्यायाधीश (जो एक अलग शहर का प्रतिनिधित्व करता है) एक स्कोर देता है कि कोई प्रेडिक्शन कितना संभावित है। उनके स्कोर का औसत लेने के बजाय, नया तरीका कहता है: "हमें केवल उस न्यायाधीश की परवाह है जो सबसे अधिक संशयवादी (skeptical) है।" यदि सबसे संशयवादी न्यायाधीश भी मानता है कि एक प्रेडिक्शन संभव है, तो हम उसे शामिल करते हैं। यदि सबसे संशयवादी न्यायाधीश कहता है "बिल्कुल नहीं," तो हम उसे छोड़ देते हैं।

यह सुनने में सरल लगता है, लेकिन पेपर गणितीय रूप से सिद्ध करता है कि न्यायाधीशों की राय को मिलाने का यह विशिष्ट तरीका यह गारंटी देता है कि आपका प्रेडिक्शन सेट प्रत्येक शहर के लिए वैध होगा, भले ही नया केस किसी ऐसे शहर से आए जिसे आपने पहले कभी नहीं देखा है।

इसे कुशल बनाना: "स्मार्ट स्कोर"

केवल "सबसे संशयवादी न्यायाधीश" के नियम का उपयोग करने से भी बैकपैक थोड़ा भारी रह जाता है। लेखकों ने महसूस किया कि यदि वे न्यायाधीशों को एक साझा भाषा (एक साझा "कॉन्फॉर्मिटी स्कोर") बोलना सिखा दें, तो वे एक छोटे, अधिक सटीक बैग पर सहमत हो सकते हैं।

उन्होंने एक एल्गोरिदम विकसित किया जो इस साझा भाषा को सीखता है। अपने प्रयोगों में, इस स्मार्ट लर्निंग ने प्रेडिक्शन सेट को एकल-शहर टूल के लगभग उतना ही छोटा बना दिया, जितना कि सबसे अच्छा संभव टूल हो सकता है, लेकिन इसमें सभी शहरों को कवर करने की सुरक्षा भी थी।

उन्होंने किसे खारिज किया

पेपर स्पष्ट रूप से दो सामान्य विचारों के खिलाफ तर्क देता है:

स्रोत को अनदेखा करना: आप केवल सभी डेटा को एक साथ मिलाकर एक मॉडल प्रशिक्षित नहीं कर सकते और उम्मीद नहीं कर सकते कि यह हर विशिष्ट शहर के लिए काम करेगा। पेपर दिखाता है कि यदि टेस्ट डेटा किसी विशिष्ट स्रोत (जैसे कोई विशिष्ट अस्पताल या क्षेत्र) से आता है, तो एक मानक मॉडल अक्सर वास्तविक परिणाम को कवर करने में विफल रहता है।
अंत में स्रोत को जानने की आवश्यकता: कई फेयरनेस टूल्स के लिए प्रेडिक्शन के बाद परिणाम को एडजस्ट करने के लिए समूह की पहचान (जैसे जाति या स्थान) जानना आवश्यक होता है। पेपर का तर्क है कि यह उन संवेदनशील परिदृश्यों में असंभव है जहाँ यह जानकारी छिपी हुई या संरक्षित होती है। उनका तरीका बिना कभी भी नए टेस्ट पॉइंट के ग्रुप लेबल को देखे काम करता है।

वे कितने आश्वस्त हैं?

लेखक अपने तरीके की सुरक्षा को लेकर बहुत आм confident हैं। उनके पास एक गणितीय प्रमाण है जो गारंटी देता है कि प्रेडिक्शन सेट (साइनिफिकेंस लेवल $\alpha = 0.1$ के लिए) सभी स्रोतों में कम से कम 90% बार सही उत्तर को कवर करेगा। यह एक कठिन गारंटी है, केवल एक अनुमान नहीं।

हालाँकि, उनकी दक्षता (कि बैग कितना छोटा है) के दावे सिमुलेशन और वास्तविक दुनिया के डेटा परीक्षणों पर आधारित हैं, न कि इस गणितीय प्रमाण पर कि यह सबसे छोटा संभव बैग है।

3 स्रोतों और प्रति स्रोत 2,000 सैंपल के साथ उनके सिमुलेशन में, उनके तरीके ने "नेइव" विशाल बैग की तुलना में प्रेडिक्शन सेट के आकार को काफी कम कर दिया।
सैटेलाइट इमेजरी (FMoW डेटासेट), गरीबी मानचित्रों (PovertyMap डेटासेट), और मेडिकल रिकॉर्ड्स (MEPS डेटासेट) का उपयोग करते हुए वास्तविक दुनिया के परीक्षणों में, उनके तरीके ने लगातार टाइट कवरेज प्रदान करते हुए छोटे प्रेडिक्शन सेट बनाए।
उन्होंने पाया कि कुछ मामलों में, उनके तरीके ने सिंगल-सोर्स बेसलाइन्स से भी छोटे सेट बनाए, जो एक आश्चर्यजनक और सहायक परिणाम है।

निचोड़

पेपर सुझाव देता है कि "max-p" रणनीति का उपयोग करके और एक स्मार्ट लर्निंग एल्गोरिदम के साथ मिलकर, हम ऐसे प्रेडिक्शन टूल्स बना सकते हैं जो मिश्रित वातावरण के लिए सार्वभौमिक रूप से सुरक्षित हैं लेकिन उपयोग के लिए पर्याप्त कुशल भी हैं। यह "यह कौन सा शहर है?" की समस्या को हल करता है—एक ऐसा टूल बनाकर जो बिना पहले से जवाब जाने, एक ही समय में हर शहर के लिए काम करता है।

तकनीकी सारांश: मल्टी-डिस्ट्रीब्यूशन रोबस्ट कॉन्फॉर्मल प्रेडिक्शन (Multi-Distribution Robust Conformal Prediction)

समस्या विवरण (Problem Statement)

यह शोध पत्र ऐसे प्रेडिक्शन सेट्स (prediction sets) के निर्माण की चुनौती को संबोधित करता है जो वैध कवरेज गारंटी (valid coverage guarantees) बनाए रखते हैं, जब टेस्ट डेटा किसी भी मनमाने सदस्य या $K$ विषम स्रोत वितरणों (heterogeneous source distributions) के मिश्रण से उत्पन्न हो सकता है। कई वास्तविक दुनिया के परिदृश्यों में—जैसे कि विभिन्न अस्पतालों में क्लिनिकल रिस्क प्रेडिक्शन, बिना ग्रुप लेबल देखे संरक्षित समूहों (protected groups) के बीच निष्पक्षता, या मल्टी-सोर्स लर्निंग—टेस्ट वितरण अज्ञात होता है और प्रशिक्षण वितरण से काफी भिन्न हो सकता है।

मानक कॉन्फॉर्मल प्रेडिक्शन, जिसे पूल्ड डेटा पर कैलिब्रेट किया जाता है, केवल उस विशिष्ट मिश्रण वितरण (mixture distribution) के लिए कवरेज की गारंटी देता है जो प्रशिक्षण नमूने द्वारा प्रेरित होता है। इसके विपरीत, एक एकल स्रोत पर कैलिब्रेट करना तब कवरेज की गारंटी देने में विफल रहता है जब टेस्ट पॉइंट एक अलग स्रोत से आता है। लेखक इस लक्ष्य को एक एकल प्रेडिक्शन सेट $\hat{C}(X_{n+1})$ के निर्माण के रूप में औपचारिक रूप देते हैं जो यूनिफॉर्म कवरेज (uniform coverage) प्राप्त करता है:
$\min_{k \in [K]} \mathbb{P}_{D \times P^{(k)}} \left( Y_{n+1} \in \hat{C}(X_{n+1}) \right) \ge 1 - \alpha$
यह सुनिश्चित करता है कि कवरेज गारंटी सभी संभावित स्रोत वितरणों के लिए एक साथ बनी रहती है, चाहे टेस्ट पॉइंट ने किस भी स्रोत से उत्पन्न किया हो।

कार्यप्रणाली: मल्टी-डिस्ट्रीब्यूशन कॉन्फॉर्मल प्रेडिक्शन (MDCP)

प्रस्तावित ढांचा, MDCP, दो मुख्य घटकों से बना है: एक वैधता तंत्र (validity mechanism) और एक दक्षता अनुकूलन रणनीति (efficiency optimization strategy)।

1. वैधता के लिए Max-p एग्रीगेशन (Max-p Aggregation for Validity)

इस विधि का आधार एक डिस्ट्रीब्यूशन-फ्री एग्रीगेशन स्कीम है।

सिंगल-सोर्स P-वैल्यूज़: प्रत्येक स्रोत $k$ के लिए, एक कन्फॉर्मिटी स्कोर $s_k$ की गणना की जाती है। स्रोत $k$ के कैलिब्रेशन फोल्ड के आधार पर एक उम्मीदवार लेबल $y$ के लिए एक कॉन्फॉर्मल p-वैल्यू $p^{(k)}(y)$ प्राप्त की जाती है।
एग्रीगेशन: विधि इन p-वैल्यूज़ को उनके अधिकतम मान (maximum) लेकर एग्रीगेट करती है: $p(y) = \max_{k \in [K]} p^{(k)}(y)$ ।
प्रेडिक्शन सेट: अंतिम प्रेडिक्शन सेट उन लेबल्स का सेट है जहाँ एग्रीगेटेड p-वैल्यू सिग्निफिकेंस लेवल $\alpha$ से अधिक होती है: $\hat{C}(X) = \{ y : p(y) \ge \alpha \}$ ।
सैद्धांतिक गारंटी: लेखक सिद्ध करते हैं कि यह एग्रीगेटेड सेट एकल-स्रोत कॉन्फॉर्मल सेट्स का यूनियन (union) है। फलस्वरूप, यह स्रोत वितरणों के किसी भी मिश्रण के लिए फाइनाइट-सैंपल यूनिफॉर्म वैधता (finite-sample uniform validity) प्रदान करता है, बिना यह जाने कि टेस्ट पॉइंट का स्रोत क्या है।

2. ड्यूल फॉर्मुलेशन के माध्यम से दक्षता अनुकूलन (Efficiency Optimization via Dual Formulation)

जबकि मैक्स-पी एग्रीगेशन वैधता सुनिश्चित करता है, मानक सिंगल-सोर्स स्कोर्स पर इसे नाईव तरीके से लागू करने से अक्सर अत्यधिक रूढ़िवादी (बड़े) प्रेडिक्शन सेट्स प्राप्त होते हैं। इसे संबोधित करने के लिए, शोध पत्र यूनिफॉर्म कवरेज बाधाओं के अधीन आकार को न्यूनतम करने के लिए पॉपुलेशन-लेवल ऑप्टिमल प्रेडिक्शन सेट को व्युत्पन्न करता है।

ऑप्टिमल स्कोर: लेखक दिखाते हैं कि अनुकूलतम प्रेडिक्शन सेट एक "साझा" कन्फॉर्मिटी स्कोर $h^*(x, y) = \sum_{k=1}^K \lambda_k^*(x) f_k(y|x)$ के सुपरलेवल सेट के अनुरूप है, जहाँ $f_k$ स्रोत $k$ का कंडीशनल डेंसिटी है और $\lambda_k^*(x)$ गैर-ऋणात्मक ड्यूल वेट्स (dual weights) हैं।
वेट्स सीखना: वेट्स $\lambda_k^*(x)$ को स्रोतों के बीच कवरेज बाधाओं को संतुलित करने वाले एक ड्यूल ऑप्टिमाइज़ेशन समस्या को हल करके निर्धारित किया जाता है।
एम्पिरिकल एल्गोरिदम: शोध पत्र इन वेट्स को सीखने के लिए एक एंड-टू-एंड प्रक्रिया प्रस्तावित करता है:
1. प्रत्येक स्रोत और एक पूल्ड मॉडल के लिए कंडीशनल डेंसिटी मॉडल (या क्लासिफायर) फिट करें।
2. वेट फंक्शन्स $\lambda_k(x)$ को पैरामीटराइज़ करें (जैसे स्पलाइन या न्यूरल नेटवर्क का उपयोग करके)।
3. पैरामीटर्स $\hat{\Theta}$ सीखने के लिए एक एम्पिरिकल ड्यूल ऑब्जेक्टिव (जो पॉपुलेशन समस्या के लैग्रेंजियन से प्राप्त है) को ऑप्टिमाइज़ करें।
4. सीखे गए स्कोर्स और मैक्स-पी एग्रीगेशन का उपयोग करके अंतिम MDCP सेट का निर्माण करें।

मुख्य योगदान (Key Contributions)

सामान्य Max-p एग्रीगेशन स्कीम: एक सरल, डिस्ट्रीब्यूशन-फ्री तंत्र का परिचय जो सिंगल-सोर्स कॉन्फॉर्मल p-वैल्यूज़ को एग्रीगेट करके कई विषम स्रोतों में फाइनाइट-सैंपल यूनिफॉर्म कवरेज प्राप्त करता है।
इष्टतमता का लक्षण वर्णन (Characterization of Optimality): यूनिफॉर्म कवरेज बाधाओं के तहत पॉपुलेशन-ऑप्टिमल प्रेडिक्शन सेट्स का सैद्धांतिक व्युत्पन्न। लेखक सिद्ध करते हैं कि मैक्स-पी एग्रीगेशन सही ढंग से सीखे गए कन्फॉर्मिटी स्कोर्स (विशेष रूप से, साझा स्कोर $h^*$ ) के साथ जुड़ा होने पर एसिम्प्टोटिक रूप से ऑप्टिमल और टाइट है।
एंड-टू-एंड एल्गोरिदम: ड्यूल ऑब्जेक्टिव पर एम्पिरिकल रिस्क मिनिमाइजेशन का उपयोग करते हुए, वर्गीकरण (classification) और रिग्रेशन दोनों कार्यों के लिए ऑप्टिमल कन्फॉर्मिटी स्कोर्स सीखने के लिए एक व्यावहारिक पाइपलाइन।
एम्पिरिकल वैलिडेशन: व्यापक प्रयोग जो प्रदर्शित करते हैं कि MDCP, नाईव एग्रीगेशन बेसलाइन्स की तुलना में टाइटest-केस कवरेज प्राप्त करते हुए प्रेडिक्शन सेट के आकार को काफी कम कर देता है।

परिणाम (Results)

शोध पत्र सिंथेटिक डेटा और तीन वास्तविक दुनिया के डेटासेट्स पर MDCP का मूल्यांकन करता है:

सिंथेटिक प्रयोग: वर्गीकरण और रिग्रेशन दोनों के लिए लीनियर, नॉन-लीनियर और विविध टेम्परेचर (विषमता) सेटिंग्स में, MDCP लगातार नामित स्तर ( $1-\alpha$ ) के करीब वर्स्ट-केस कवरेज बनाए रखता है। इसके विपरीत, सिंगल-सोर्स बेसलाइन्स शिफ्टेड डेटा पर अंडर-कवरेज का शिकार होते हैं, और नाईव एग्रीगेशन (BASELINE-AGG) अत्यधिक रूढ़िवादी है। MDCP, नाईव एग्रीगेशन की तुलना में प्रेडिक्शन सेट के आकार को वर्गीकरण में लगभग 34% और रिग्रेशन में 22% कम कर देता है, जो अक्सर वास्तविक डेंसिटी तक पहुंच रखने वाले ओरकल (oracle) की दक्षता के करीब होता है।
वास्तविक दुनिया के अनुप्रयोग:
- FMoW (सैटेलाइट इमेजरी): छह क्षेत्रों में भौगोलिक बदलावों के खिलाफ मजबूती प्रदर्शित करता है। MDCP कुछ सिंगल-सोर्स सेट्स की तुलना में छोटे सेट आकार के साथ सभी क्षेत्रों में वैध कवरेज प्रदान करता है।
- PovertyMap: शहरी-ग्रामीण बदलावों को संबोधित करता है। MDCP वहां टाइट कवरेज बनाए रखता है जहां सिंगल-सोर्स मेथड्स विफल हो जाते हैं (कवरेज 0.6 जितना कम) और नाईव एग्रीगेशन बहुत विस्तृत होता है।
- MEPS (मेडिकल एक्सपेंडिचर): बिना इन्फरेंस के समय संवेदनशील समूहों (जाति) के बीच विषमता को संभालता है। MDCP बेसलाइन्स की तुलना में समान कवरेज (equalized coverage) और छोटे इंटरवल प्राप्त करता है।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि MDCP विषम वातावरणों में अनिश्चितता मात्रा निर्धारण (uncertainty quantification) के लिए एक मजबूत समाधान प्रदान करता है, जो डिस्ट्रीब्यूशनल रोबस्टनेस और निष्पक्षता (fairness) के बीच के अंतर को पाटता है।

संरक्षित गुणों के बिना निष्पक्षता: यह विधि समूह-कंडीशनल कवरेज गारंटी (सभी उप-समूहों के लिए विश्वसनीयता सुनिश्चित करना) सक्षम बनाती है, बिना इन्फरेंस के समय संवेदनशील समूह विशेषता को देखे, जो फेयर मशीन लर्निंग की एक महत्वपूर्ण सीमा को संबोधित करती है।
सबपॉपुलेशन शिफ्ट सुरक्षा: यह मनमाने सबपॉपुलेशन शिफ्ट के खिलाफ गारंटी प्रदान करता है, यह सुनिश्चित करता है कि टेस्ट वितरण प्रशिक्षण मिश्रण से भिन्न स्रोतों का मिश्रण होने पर भी विश्वसनीयता बनी रहे।
दक्षता-वैधता ट्रेड-ऑफ: यह कार्य यह प्रदर्शित करता है कि यदि एक उपयुक्त साझा कन्फॉर्मिटी स्कोर सीखा जाए, तो वर्स्ट-केस रोबस्टनेस के साथ जुड़े गंभीर दक्षता दंड (efficiency penalties) के बिना यूनिफॉर्म वैधता प्राप्त करना संभव है।

लेखक MDCP को मल्टी-सोर्स सेटिंग्स में मानक कॉन्फॉर्मल प्रेडिक्शन के एक व्यावहारिक विकल्प के रूप में स्थापित करते हैं, जो सटीक फाइनाइट-सैंपल गारंटी और हल्के कंसिस्टेंसी कंडीशंस के तहत एसिम्प्टोटिक ऑप्टिमलिटी प्रदान करता है।