📊 statistics

Bulk-Calibrated Credal Ambiguity Sets: Fast, Tractable Decision Making under Out-of-Sample Contamination

यह शोध पत्र बल्क-कैलिब्रेटेड क्रेडियल एम्बिग्युटी सेट्स (bulk-calibrated credal ambiguity sets) को प्रस्तुत करता है, जो एक नवीन ढांचा है जो डेटा-संचालित बल्क मॉडलिंग को अलग टेल बाउंडिंग (tail bounding) के साथ जोड़ता है ताकि आउट-ऑफ-सैंपल संदूषण (out-of-sample contamination) के तहत सुलभ, परिमित वितरणally रोबस्ट ऑप्टिमाइज़ेशन (distributionally robust optimization) को सक्षम बनाया जा सके और इम्प्रेसिस प्रोबेबिलिटी थ्योरी (imprecise probability theory) को व्याख्या योग्य निर्णय लेने की प्रक्रिया के साथ जोड़ा जा सके।

मूल लेखक: Mengqi Chen, Thomas B. Berrett, Theodoros Damoulas, Michele Caprio

प्रकाशित 2026-06-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mengqi Chen, Thomas B. Berrett, Theodoros Damoulas, Michele Caprio

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ एक सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करके पेपर की व्याख्या दी गई है।

बड़ी समस्या: सबसे बुरे की तैयारी करना, लेकिन बहुत ज़्यादा बुरे की नहीं

कल्पना कीजिए कि आप एक शहर के योजनाकार (city planner) हैं जो एक पुल डिजाइन करने की कोशिश कर रहे हैं। आपके पास पिछले 10 वर्षों का डेटा है जो दिखाता है कि आमतौर पर उस पर कितना ट्रैफिक होता है। आप एक ऐसा पुल बनाना चाहते हैं जो ढहे नहीं, भले ही ट्रैफिक अजीब व्यवहार करने लगे।

मशीन लर्निंग और सांख्यिकी (statistics) की दुनिया में, इसे डिस्ट्रीशनली रोबस्ट ऑप्टिमाइज़ेशन (DRO) कहा जाता है। आप एक ऐसा निर्णय लेना चाहते हैं (जैसे पुल बनाना या कीमत तय करना) जो तब भी अच्छा काम करे जब वास्तविक दुनिया आपके डेटा के सुझाव से थोड़ा अलग व्यवहार करती है।

हालाँकि, इस दृष्टिकोण के साथ एक क्लासिक समस्या है। यदि आप किसी भी संभावित अजीब घटना (जैसे अचानक, भारी ट्रैफिक का उछाल जो पहले कभी नहीं हुआ) के लिए तैयार करने की कोशिश करते हैं, तो आपका गणित टूट जाता है। "सबसे खराब" (worst-case) परिदृश्य इतना चरम (अनंत ट्रैफिक) हो जाता है कि आपकी योजना बेकार हो जाती है। आप एक ऐसा पुल बनाने के चक्कर में पड़ जाते हैं जो इतना विशाल और महंगा होता है कि उसे बनाना असंभव है, या गणित सीधे तौर पर कहता है "असंभव"।

यह पेपर उसी सिरदर्द को हल करता है: हम दुर्लभ, पागल कर देने वाले आउटलेयर्स (outliers) से कैसे निपटें बिना अपनी योजना को असंभव बनाए?

समाधान: "बल्क-कैलिब्रेटेड" (Bulk-Calibrated) सुरक्षा जाल

लेखक एक नई विधि प्रस्तावित करते हैं जिसे बल्क-कैलिब्रेटेड क्रेडल एम्बिग्युटी सेट्स (Bulk-Calibrated Credal Ambiguity Sets) कहा जाता है। आइए इसे एक उपमा (analogy) के साथ समझते हैं।

1. "बल्क" (मुख्य भीड़)

कल्पना कीजिए कि आप लोगों की एक भीड़ को देख रहे हैं। उनमें से 95% सामान्य हैं, जो सामान्य गति से चल रहे हैं। यह "बल्क" है।

पेपर क्या करता है: ब्रह्मांड के हर एक व्यक्ति का मॉडल बनाने के बजाय, टीम ने "सामान्य" भीड़ के चारों ओर एक घेरा बनाने के लिए डेटा का उपयोग किया है। वे बहुत आश्वस्त हैं (एक गणितीय गारंटी के साथ) कि 95% लोग इस घेरे के अंदर ही रहेंगे।
उपमा: इसे एक स्कूल बस की तरह समझें। आप जानते हैं कि 95% बच्चे अपनी सीटों पर रहेंगे। आप सीटबेल्ट और बस की संरचना को बच्चों के सीटों पर रहने के आधार पर डिजाइन करते हैं।

2. "कंटैमिनेशन" (अनिश्चित तत्व/Wild Cards)

अब, कल्पना कीजिए कि 5% समय, कुछ अजीब होता है। शायद कोई बच्चा कूदने लगता है, या बस में एक विशाल हाथी घुस आता है (आउट-ऑफ-सैंपल कंटैमिनेशन)।

पुरानी समस्या: यदि आप एक विशाल हाथी के कूदने को संभालने के लिए बस डिजाइन करने की कोशिश करते हैं, तो बस को अटूट हीरे से बनाना पड़ेगा, जो बहुत महंगा है।
नया तरीका: लेखक कहते हैं, "ठीक है, हम जानते हैं कि 5% समय चीजें अजीब होती हैं। चलिए मान लेते हैं कि सबसे बुरा केवल हमारी बस के अंदर ही होता है (बल्क)।"
- हम यह मानते हैं कि "अजीबोगरीब व्यवहार" (हाथी) अभी भी बस के भीतर ही सीमित है।
- हमें हाथी के बस से बाहर कूदकर आसमान में जाने (डिस्ट्रीब्यूशन की "पूंछ" या tail) की चिंता करने की ज़रूरत नहीं है।
- हम बस अपने डिज़ाइन में एक छोटा "सुरक्षा बफर" जोड़ते हैं ताकि बस के अंदर होने वाले सबसे जंगली व्यवहार को संभाला जा सके।

3. परिणाम: एक सरल, तेज़ फॉर्मूला

समस्या को "सामान्य बल्क" और "अजीब पूंछ" (weird tail) में विभाजित करके, गणित बहुत सरल हो जाता है।

पुराना तरीका: "सब कुछ के जोखिम की गणना करें।" (परिणाम: अनंत, टूटा हुआ गणित)।
नया तरीका: "सामान्य भीड़ का औसत जोखिम + बस के अंदर मौजूद अजीब भीड़ का सबसे खराब जोखिम।"
फॉर्मूला: यह ऐसा दिखता है:

कुल जोखिम = (ज्यादातर सामान्य औसत) + (सबसे खराब स्थिति के लिए एक छोटा सुरक्षा मार्जिन)

यह फॉर्मूला "ट्रैक्टेबल" (tractable) है, जिसका अर्थ है कि कंप्यूटर इसे बहुत तेज़ी से हल कर सकते हैं, यहाँ तक कि घर की कीमतों या इन्वेंट्री प्रबंधन जैसी जटिल समस्याओं के लिए भी।

यह क्यों मायने रखता है (The "Aha!" Moment)

यह पेपर गणित के दो अलग-अलग क्षेत्रों को जोड़ता है जो आमतौर पर आपस में बात नहीं करते हैं:

इम्प्रेसिस प्रोबेबिलिटी (IP - अपूर्ण संभाव्यता): एक क्षेत्र जो इस बात से निपटता है कि "मैं 100% निश्चित नहीं हूँ, लेकिन मैं काफी हद तक आश्वस्त हूँ।"
डिस्ट्रीशनली रोबस्ट ऑप्टिमाइज़ेशन (DRO): एक क्षेत्र जो इस बात से निपटता है कि "सबसे बुरा क्या हो सकता है?"

लेखक दिखाते हैं कि ये दोनों क्षेत्र वास्तव में एक ही चीज़ को अलग-अलग खिड़कियों से देख रहे हैं। "बल्क-कैलिब्रेटेड" दृष्टिकोण का उपयोग करके, वे IP क्षेत्र की अस्पष्ट "मुझे यकीन नहीं है" को DRO क्षेत्र के लिए एक ठोस, हल करने योग्य गणितीय समस्या में अनुवादित करते हैं।

वास्तविक दुनिया के परीक्षण (प्रमाण)

टीम ने यह साबित करने के लिए तीन अलग-अलग परिदृश्यों में इसका परीक्षण किया कि यह काम करता है:

न्यूज़वेंडर (समाचार पत्र बेचना): कल्पना कीजिए कि आप समाचार पत्र बेचते हैं। यदि आप बहुत अधिक ऑर्डर करते हैं, तो आप बिना बिके कागजों पर पैसा खो देते हैं। यदि आप बहुत कम ऑर्डर करते हैं, तो आप बिक्री खो देते हैं। मांग "हेवी-टेल्ड" (heavy-tailed) है, जिसका अर्थ है कि कभी-कभी अचानक बड़ी भीड़ आ जाती है।
- परिणाम: उनके तरीके ने अन्य तरीकों की तुलना में बहुत अधिक ऑर्डर किए बिना अचानक आई भीड़ को बेहतर ढंग से संभाला। यह गणना करने में भी बहुत तेज़ था।
घर की कीमतें (कैलिफोर्निया): उन्होंने प्रयास किया कि जब पूर्व (East) से पश्चिम (West) की ओर जाया जाता है, तो घर की कीमतों की भविष्यवाणी कैसे की जाए। घर की विशेषताओं और कीमत के बीच का संबंध थोड़ा बदल जाता है।
- परिणाम: उनका तरीका नए क्षेत्र में कीमतों की भविष्यवाणी करने में अधिक सटीक था और मानक तरीकों की तुलना में "सबसे खराब मामले" की त्रुटियों (सबसे महंगी गलतियों) को बेहतर ढंग से संभालता था।
टेक्स्ट क्लासिफिकेशन (CivilComments): उन्होंने एक ऐसा मॉडल बनाने की कोशिश की जो जहरीली टिप्पणियों (toxic comments) का पता लगा सके जो लोगों के सभी समूहों के लिए अच्छा काम करे, न कि केवल बहुमत के लिए।
- परिणाम: उनके तरीके ने "सबसे खराब स्थिति वाले" समूहों (वे लोग जिन्हें अक्सर AI द्वारा अनदेखा किया जाता है) के लिए सटीकता में सुधार किया, बिना समग्र सटीकता को बहुत नुकसान पहुँचाए।

एक वाक्य में सारांश

यह पेपर सबसे खराब स्थिति के लिए योजना बनाने का एक स्मार्ट तरीका पेश करता है, जो डेटा के "सामान्य" हिस्से पर ध्यान केंद्रित करता है और "अजीब" हिस्से के लिए एक गणना किया गया सुरक्षा मार्जिन जोड़ता है, जिससे निर्णय लेना तेज़, विश्वसनीय और गणितीय रूप से संभव हो जाता है, भले ही डेटा अव्यवस्थित या अनंत क्यों न हो।

तकनीकी सारांश: बल्क-कैलिब्रेटेड क्रेडियल एम्बिग्युटी सेट्स (Bulk-Calibrated Credal Ambiguity Sets)

समस्या विवरण (Problem Statement)
डिस्ट्रिब्यूशनली रोबस्ट ऑप्टिमाइज़ेशन (DRO) एक एम्बिग्युटी सेट (ambiguity set) के ऊपर वर्स्ट-केस अपेक्षित हानि (worst-case expected loss) को कम करने का प्रयास करता है ताकि वितरण संबंधी बदलावों (distributional shifts) से सुरक्षा मिल सके। ऐसे बदलावों के लिए एक क्लासिकल मॉडल हूबर का $\epsilon$ -कंटैमिनेशन (Huber's $\epsilon$ -contamination) है, जहाँ एक अज्ञात वितरण, एक "स्वच्छ" वितरण और एक मनमानी प्रतिकूल वितरण (adversarial distribution) का मिश्रण होता है। हालाँकि, अनबाउंडेड सैंपल स्पेस और अनबाउंडेड लॉस फंक्शन्स वाले मामलों में, हूबर कंटैमिनेशन को सीधे DRO एम्बिग्युटी सेट में शामिल करने से वर्स्ट-केस रिस्क अनंत (vacuous) हो जाता है, जब तक कि मजबूत बाउंडेडनेस धारणाएँ न लगाई जाएँ। मौजूदा दृष्टिकोण अक्सर इसे रोकने के लिए सैंपल स्पेस या लॉस फंक्शन क्लास को प्रतिबंधित करते हैं, जो हेवी-टेल्ड इन्वेंट्री कंट्रोल या आउटलेयर्स के साथ रिग्रेशन जैसी वास्तविक दुनिया की समस्याओं के लिए उनकी प्रयोज्यता को सीमित कर देता है।

कार्यप्रणाली (Methodology)
यह शोध पत्र अनबाउंडेड सेटिंग्स में हूबर कंटैमिनेशन की इल-पोज़ड (ill-posed) समस्या को हल करने और कंप्यूटेशनल सुगमता बनाए रखने के लिए बल्क-कैलिब्रेटेड क्रेडियल एम्बिग्युटी सेट्स पेश करता है।

बल्क-रिस्ट्रिक्टेड एम्बिग्युटी सेट्स: पूरे अनबाउंडेड स्पेस $\Xi$ पर कंटैमिनेशन की अनुमति देने के बजाय, यह विधि डेटा से एक उच्च-मास (high-mass) "बल्क" सेट $\Xi_0$ सीखती है। एम्बिग्युटी सेट इस बल्क के भीतर एक सपोर्ट-रिस्ट्रिक्टेड लीनियर-वैक्यूअस (LV) सेट है (जो एक फॉरवर्ड हूबर कंटैमिनेशन सेट के समकक्ष है):
$\mathcal{A}^{LV}_{\epsilon, \Xi_0}(P_c, \Xi_0) = \{ (1-\epsilon)P_{c, \Xi_0} + \epsilon R : R \in \mathcal{P}(\Xi_0) \}$
जहाँ $P_c$ एक रेफरेंस डिस्ट्रीब्यूशन (बेयसियन, फ्रीक्वेंटिस्ट, या एम्पिरिकल) है और $P_{c, \Xi_0}$ उसका $\Xi_0$ पर प्रतिबंध है।
क्लोज्ड-फॉर्म ऑब्जेक्टिव: इस प्रतिबंधित सेट के लिए, वर्स्ट-केस रिस्क एक परिमित, क्लोज्ड-फॉर्म समाधान प्रदान करता है:
$\sup_{Q \in \mathcal{A}} \mathbb{E}_{\xi \sim Q}[f_x(\xi)] = (1-\epsilon)\mathbb{E}_{\xi \sim P_{c, \Xi_0}}[f_x(\xi)] + \epsilon \sup_{\xi \in \Xi_0} f_x(\xi)$
यह "मीन + सुप" (mean + sup) संरचना पूरे अनबाउंडेड स्पेस पर अनंत सुप्रीमम (supremum) से बचती है। सामान्य लॉस फंक्शन्स (लीनियर, ReLU, एब्सोल्यूट वैल्यू) और बल्क ज्योमेट्रीज़ (एलिप्सॉइड्स, बॉक्स) के लिए, यह ऑब्जेक्टिव ट्रेक्टेबल लीनियर प्रोग्राम्स (LP) या सेकंड-ऑर्डर कोन प्रोग्राम्स (SOCP) में परिवर्तित हो जाता है।
डेटा-ड्रिवन कैलिब्रेशन: बल्क सेट $\Xi_0$ को एक होल्ड-आउट डेटासेट का उपयोग करके स्कोर-आधारित चयन प्रक्रिया के माध्यम से बनाया जाता है। ड्वोरेट्स्की–कीफर–वोरोफ़्स्की (DKW) असमानता का लाभ उठाते हुए, यह विधि प्रमाणित करती है कि वास्तविक डेटा-जनरेटिंग डिस्ट्रीब्यूशन $P_\star$ उच्च प्रायिकता ( $1-\delta$ ) के साथ $\Xi_0$ के भीतर है और इसका मास कम से कम $1-\gamma$ है। यह एक फिनिट-सैंपल गारंटी प्रदान करता है कि टेल कंट्रीब्यूशन ( $\Xi_0$ के बाहर) मोमेंट कंडीशंस के माध्यम से नियंत्रित और सीमित है, न कि इसे अनदेखा किया गया है या बाउंडेड माना गया है।
सैद्धांतिक एकीकरण (Theoretical Unification): यह शोध पत्र इमप्रिसिज़न प्रोबेबिलिटी (IP) के अंतर्गत एक क्रेडियल सेट पर अपर एक्सपेक्टेशन (upper expectation) और DRO वर्स्ट-केस रिस्क के बीच एक औपचारिक समानता स्थापित करता है। यह प्रदर्शित करता है कि फॉरवर्ड LV बॉल (हूबर कंटैमिनेशन) प्रतिकूल मास जोड़ने के अनुरूप है, जबकि रिवर्स LV बॉल कम-लॉस मास को ट्रिम करता है (CVaR देता है)। टोटल वेरिएशन (TV) बॉल को इन दोनों प्रभावों के एक कॉनवेक्स कॉम्बिनेशन के रूप में दिखाया गया है।

मुख्य योगदान (Key Contributions)

वैक्युइटी का समाधान: लेखक एक ऐसा ढांचा प्रदान करते हैं जो हूबर कंटैमिनेशन को निरंतर, अनबाउंडेड स्पेस में अर्थपूर्ण और परिमित बनाता है, जहाँ मानक DRO फॉर्मुलेशन विफल हो जाते हैं।
ट्रेक्टेबल ऑप्टिमाइज़ेशन: वे एक परिमित वर्स्ट-केस रिस्क ऑब्जेक्टिव प्राप्त करते है जो सामान्य लॉस और बल्क ज्योमेट्रीज़ के लिए कुशल LP/SOCP फॉर्मुलेशन का समर्थन करता है।
फिनिट-सैंपल गारंटी: यह पेपर बल्क सेट के लिए एक डेटा-ड्रिवन कैलिब्रेशन प्रक्रिया पेश करता है जो हाई-प्रोबेबिलिटी कवरेज गारंटी ( $1-\delta$ ) और एक स्ट्रक्चरल रिस्क सर्टिफिकेट प्रदान करता है जो इन-बल्क रोबस्टनेस और टेल व्यवहार के बीच अंतर करता है।
एकीकृत परिप्रेक्ष्य: यह कार्य IP और DRO समुदायों के बीच फ्रेमवर्क और गारंटियों को स्थानांतरित करने के लिए एक सेतु का काम करता है, जिससे इंटरप्रिटेबल टॉलरेंस लेवल्स ( $\epsilon$ ) के साथ IP क्रेडियल सेट्स को DRO ऑब्जेक्टिव्स में अनुवादित करना और फॉरवर्ड LV, रिवर्स LV, और TV एम्बिग्युटी सेट्स के बीच संबंधों को स्पष्ट करना संभव होता है।

प्रायोगिक परिणाम (Experimental Results)
विधि का सिंथेटिक और वास्तविक दुनिया के कार्यों पर मूल्यांकन किया गया, जिसने प्रतिस्पर्धी रोबस्टनेस-एक्यूरेसी ट्रेड-ऑफ और श्रेष्ठ कंप्यूटेशनल दक्षता प्रदर्शित की:

हेवी-टेल्ड न्यूवेंडर (सिंथेटिक): एक बेयसियन सेंटर का उपयोग करते हुए, प्रस्तावित LV विधि ने कंटैमिनेशन (20% स्पाइक नॉइज़ तक) के तहत सबसे अच्छा मीन-वेरिएंस ट्रेड-ऑफ और न्यूनतम मीन-स्टैंडर्ड-डेविएशन (MSD) प्राप्त किया। यह KL-आधारित बेयसियन DRO बेसलाइन्स की तुलना में काफी तेज़ (सैंपल-एफिशिएंट) था, जिसे स्थिर होने के लिए कम नमूनों की आवश्यकता थी।
कैलिफोर्निया हाउसिंग रिग्रेशन (वास्तविक दुनिया): भौगोलिक परिनियोजन शिफ्ट (पूर्व से पश्चिम) के तहत, प्रस्तावित विधि ने MAE, RMSE और टेल रिस्क मेट्रिक्स (p98, CVaR) में CVaR, Wasserstein और Ridge रिग्रेशन बेसलाइन्स को पछाड़ते हुए बेहतर प्रदर्शन किया। इसने DRO विधियों में सबसे तेज़ सॉल्व टाइम भी हासिल किया।
सिविलकॉमेंट्स क्लासिफिकेशन (वास्तविक दुनिया): एक एम्पिरिकल सेंटर का उपयोग करते हुए, प्रस्तावित "LV-Group" विधि (जो ग्रुपDRO के विस्तार के रूप में एक बल्क-कैलिब्रेटेड कंटैमिनेशन लेयर है) ने उच्च माध्य सटीकता बनाए रखते हुए सबसे अधिक वर्स्ट-ग्रुप एक्यूरेसी हासिल की, जिसने फेयरनेस मेट्रिक्स में मानक GroupDRO और ERM को पीछे छोड़ दिया।

महत्व और दावे (Significance and Claims)
यह शोध पत्र इमप्रिसन प्रोबेबिलिटी और DRO समुदायों के बीच फ्रेमवर्क और गारंटियों को स्थानांतरित करने के लिए एक व्यावहारिक प्रोटोकॉल प्रदान करने का दावा करता है। IP अपर एक्सपेक्टेशन को DRO वर्स्ट-केस रिस्क से जोड़कर, लेखक प्रदर्शित करते हैं कि यह संबंध पारंपरिक डायवर्जेंस-बॉल DRO की तुलना में व्यावहारिक और कंप्यूटेशनल रूप से फायदेमंद हो सकता है। यह कार्य निरंतर, अनबाउंडेड सेटिंग्स में कंटैमिनेशन-आधारित DRO को सुव्यवस्थित बनाने की विशिष्ट चुनौती को संबोधित करता है, जिससे डेटा या लॉस फंक्शन्स पर प्रतिबंधात्मक बाउंडेडनेस धारणाओं की आवश्यकता के बिना रोबस्ट निर्णय लेना संभव होता है। लेखक छोटे-डेटा परिदृश्यों में DKW कैलिब्रेशन स्टेप के लिए आवश्यक सैंपल साइज के संबंध में सीमाओं को नोट करते हैं, लेकिन रेफरेंस डिस्ट्रीब्यूशन (बेयसियन, फ्रीक्वेंटिस्ट, या एम्पिरिकल) चुनने की फ्रेमवर्क की लचीलापन को रेखांकित करते हैं।