तकनीकी सारांश: QUEST (Highest Density Regions के माध्यम से अनिश्चितता का परिमाणीकरण)

1. समस्या विवरण (Problem Statement)

सुरक्षा-महत्वपूर्ण संभावabilistic मशीन लर्निंग में विश्वसनीय निर्णय लेने के लिए अनिश्चितता परिमाणीकरण (Uncertainty Quantification - UQ) अत्यंत महत्वपूर्ण है। जबकि वर्गीकरण (classification) के लिए एंट्रॉपी-आधारित उपाय मानक हैं, रिग्रेशन UQ मुख्य रूप से प्रॉपर स्कोरिंग रूल्स (Proper Scoring Rules - PSRs) पर निर्भर रहा है, जो अनिश्चितता को वास्तविक वितरण के सापेक्ष एक मॉडल के बिंदुवार भविष्य कहने वाले जोखिम (pointwise predictive risk) के रूप में संचालित करता है।

लेखक PSR-आधारित दृष्टिकोणों (जैसे विचरण/variance और डिफरेंशियल एंट्रॉपी) में एक मौलिक दोष की पहचान करते हैं जब लक्षित सांख्यिकी (target statistic) कंडीशनल एक्सपेक्टेशन (माध्य/mean) नहीं होती है। कई व्यावहारिक सेटिंग्स में—जैसे सुदृढीकरण शिक्षण (reinforcement learning) या बेयसियन मॉडलिंग में—लक्ष्य कंडीशनल मोड (Maximum A Posteriori, या MAP) होता है। विषमता (skewness), बहुविधता (multimodality), या आउटलेयर्स (outliers) की उपस्थिति में, माध्य और मोड काफी भिन्न हो सकते हैं। मानक माप जैसे विचरण अक्सर इन मामलों में अनिश्चितता को बढ़ा-चढ़ाकर दिखाते हैं क्योंकि वे मोड के आसपास संभाव्यता के संकेंद्रण के बजाय टेल मास (tail mass) के प्रति संवेदनशील होते हैं। इसके अलावा, रिग्रेशन UQ के लिए मौजूदा अभिदक्षीय ढांचे (axiomatic frameworks) अक्सर गैर-गाऊसी (non-Gaussian) या असममित वितरणों पर लागू होने पर वितरण प्रसार के तहत एकोमोनिटी (monotonicity) या स्थान परिवर्तन (location shifts) के प्रति अपरिवर्तनशीलता जैसी सहज गुणों को संतुष्ट करने में विफल रहते हैं।

2. कार्यप्रणाली: QUEST ढांचा (Methodology: The QUEST Framework)

यह शोध पत्र QUEST (Quantifying Uncertainty via highest dEnSiTy regions) प्रस्तुत करता है, जो एक ढांचा है जो अनिश्चितता को बिंदुवार जोखिम के बजाय एक वितरण के समर्थन (support) के सबसे संभावित उपसमुच्चय (most probable subset) के आयतन (volume) द्वारा अभिलक्षित करता है।

मुख्य अवधारणाएं (Core Concepts)

• Highest Density Regions (HDRs): एक संभाव्यता घनत्व फलन (PDF) $p$ और एक मजबूती पैरामीटर (robustness parameter) $\alpha \in (0,1)$ के लिए, $(1-\alpha)$-HDR ($C_\alpha$) वह सबसे छोटा सेट है जिसमें $1-\alpha$ संभाव्यता द्रव्यमान (probability mass) समाहित है। इसे $C_\alpha = \{x : p(x) \ge t_\alpha(p)\}$ के रूप में परिभाषित किया गया है, जहाँ $t_\alpha$ द्रव्यमान बाधा सुनिश्चित करने वाला थ्रेशोल्ड है।
• $\alpha$-आयतन ($\alpha$-Volume - स्थानीय माप): इसे $V_\alpha(p) := \lambda(C_\alpha)$ के रूप में परिभाषित किया गया है, जहाँ $\lambda$ लेबेग माप (Lebesgue measure) है। यह संभाव्यता द्रव्यमान के मुख्य भाग को समाहित करने वाले क्षेत्र के "आकार" को मापता है। छोटा आयतन उच्च संकेंद्रण (कम अनिश्चितता) को दर्शाता है; बड़ा आयतन फैलाव (उच्च अनिश्चितता) को दर्शाता है।
• एकीकृत आयतन (Integrated Volume - वैश्विक माप): इसे $IV(p) = \int_0^1 V_\alpha(p) d\alpha$ के रूप में परिभाषित किया गया है। यह संपूर्ण कवरेज वक्र (coverage curve) का सारांश देता है, जो संकेंद्रण का वैश्विक मूल्यांकन प्रदान करता है। लेखक अर्थशास्त्र के लोरेंज वक्र (Lorenz curve) और एकीकृत आयतन के बीच एक ज्यामितीय समानता, तथा गिनी गुणांक (Gini coefficient) के साथ संबंध स्थापित करते हैं।

QUEST में अनिश्चितता वर्गीकरण (Uncertainty Typology in QUEST)

यह ढांचा एक द्वितीय-क्रम वितरण $q$ (जो मापदंडों $\theta$ पर विश्वासों का प्रतिनिधित्व करता है) और वास्तविक ग्राउंड-ट्रुथ वितरण $p_{\theta^*}$ के आधार पर तीन प्रकार की अनिश्चितता को परिभाषित करता है:

1. एलेयटोरिक अनिश्चितता (Aleatoric Uncertainty - AU): वास्तविक वितरण $p_{\theta^*}$ के HDR के आयतन द्वारा मात्रा निर्धारित की जाती है। यह डेटा-जनरेटिंग प्रक्रिया में निहित अपरिहार्य अनिश्चितता को पकड़ता है।
   • स्थानीय: $V_\alpha(p_{\theta^*})$
   • वैश्विक: $IV(p_{\theta^*})$
2. एपिस्टेमिक अनिश्चितता (Epistemic Uncertainty - EU): द्वितीय-क्रम वितरण $q$ के HDR के आयतन द्वारा मात्रा निर्धारित की जाती है। मानक दृष्टिकोणों के विपरीत जो EU को एक अवशेष (Total - Aleatoric) के रूप में मानते हैं, QUEST इसे सत्य से स्वतंत्र, एजेंट के विश्वास संकेंद्रण के शुद्ध व्यक्तिपरक माप के रूप में मानता है।
   • स्थानीय: $V_\alpha(q)$
   • वैश्विक: $IV(q)$
3. कुल अनिश्चितता (Total Uncertainty - TU): AU और EU के बीच एक अंतःक्रिया के माध्यम से परिभाषित किया गया है। चूंकि AU और EU अलग-अलग स्थानों (spaces) पर मौजूद हैं, इसलिए उन्हें केवल जोड़ा नहीं जा सकता। इसके बजाय, TU को एक पेनल्टी फैक्टर द्वारा स्केल किया गया AU आयतन के रूप में मॉडल किया जाता है, जो उनके संबंधित HDRs के भीतर वास्तविक कंडीशनल डेंसिटी और प्रेडिक्टिव कंडीशनल डेंसिटी के बीच विचलन (divergence) से प्राप्त होता है।
   • सूत्र: $TU = V_\alpha(p_{\theta^*}) \cdot g_f(D_f(p^*_\alpha || \hat{p}_\alpha))$
   • यहाँ, $D_f$ एक स्वीकार्य $f$-विचलन (जैसे टोटल वेरिएशन) है, और $g_f$ एक सख्ती से बढ़ता हुआ फलन है जो एजेंट के विश्वास और सत्य के बीच मिसअलाइनमेंट को दंडित करता है।

3. प्रमुख योगदान (Key Contributions)

शोध पत्र के चार प्राथमिक योगदान हैं:

1. वैचारिक (Conceptual): घनत्व संकेंद्रण के आधार पर अनिश्चितता के आयतन-केंद्रित व्याख्या का प्रस्ताव करता है, जो जोखिम-आधारित PSR मापों के विकल्प के रूप में एक $\alpha$ मजबूती पैरामीटर का उपयोग करता है।
2. कार्यप्रणाली संबंधी (Methodological): एलेयटोरिक और एपिस्टेमिक अनिश्चितता के लिए नवीन स्थानीय ($\alpha$-volume) और वैश्विक (integrated volume) मापों को पेश करता है। यह सूचना सिद्धांत (डिफरेंशियल एंट्रॉपी) और अर्थशास्त्र (लोरेंज कर्व्स, गिनी गुणांक) से शास्त्रीय सांख्यिकी के साथ इनके सैद्धांतिक संबंधों को स्थापित करता है।
3. सैद्धांतिक (Theoretical): प्रदर्शित करता है कि QUEST के AU और EU माप UQ साहित्य से अनुकूलित अभिदक्षीय नियमों (A0–A5) को संतुष्ट करते हैं। इनमें गैर-ऋणात्मकता, डिराक मास (Dirac masses) पर न्यूनीकरण, "लेवलिंग" (वितरण प्रसार) के तहत एकोमोनिटी, और स्थान परिवर्तन के प्रति अपरिवर्तनशीलता शामिल हैं। विशेष रूप से, पेपर तर्क देता है कि कुल अनिश्चितता (TU) को सभी मामलों में एकोमोनिटी नियम (A4) को संतुष्ट नहीं करना चाहिए, क्योंकि बेहतर अंशांकन (calibration) से भी TU में वृद्धि हो सकती है।
4. अनुभवजन्य (Empirical): तीन सिंथेटिक डेटा जनरेटिंग प्रक्रियाओं (DGPs) पर डीप मिक्सचर-ऑफ-एक्सपर्ट्स एन्सेम्बल्स का उपयोग करके सिलेक्टिव प्रेडिक्शन बेंचमार्क के माध्यम से ढांचे को मान्य करता है। परिणाम दिखाते हैं कि QUEST (विशेष रूप से वैश्विक माप) विषम (skewed) और बहुविध (multimodal) सेटिंग्स में मानक विचरण और डिफरेंशियल एंट्रॉटी की तुलना में बेहतर प्रदर्शन करता है, जिससे भविष्यवाणी विश्वसनीयता की अधिक सटीक रैंकिंग मिलती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन सिंथेटिक डेटा जनरेटिंग प्रक्रियाओं (DGPs) पर डीप मिक्सचर-ऑफ-एक्सपर्ट्स एन्सेम्बल्स का उपयोग करके विचरण, डिफरेंशियल एंट्रॉपी और रैंडम बेसलाइन्स के विरुद्ध QUEST का मूल्यांकन किया:

• यूनिमोडल गाऊसी (Unimodal Gaussian): सभी विधियों ने समान प्रदर्शन किया, जैसा कि अपेक्षित था।
• यूनिमोडल स्क्यूड (Unimodal Skewed): विचरण और एंट्रॉपी टेल मास के प्रति संवेदनशीलता के कारण संघर्ष करते हैं। QUEST अधिक विश्वसनीय अनिश्चितता रैंकिंग प्रदान करता है।
• बाइमोडल मिश्रण (Bimodal Mixture): मानक माप अक्सर बहुविध सेटिंग्स में अनिश्चितता को गलत तरीके से रैंक करते हैं। QUEST विचरण और एंट्रॉपी से काफी बेहतर प्रदर्शन करता है, जो उच्च घनत्व संकेंद्रण वाले क्षेत्रों की सही पहचान करता है।

सिलेक्टिव प्रेडिक्शन कार्यों में (जहाँ केवल सबसे निश्चित नमूनों पर भविष्यवाणियां की जाती हैं), QUEST (ग्लोबल) ने प्रतिस्पर्धियों की तुलना में सभी परीक्षणों में कम हानि (loss) प्राप्त की। एक पूरक एक्टिव लर्निंग प्रयोग ने दिखाया कि QUEST, विचरण और एंट्रॉपी के बराबर प्रदर्शन करता है, हालांकि लेखक नोट करते हैं कि गैर-ओरेकल सेटिंग्स में QUEST का प्रदर्शन वास्तविक घनत्व के अनुमान की गुणवत्ता के प्रति संवेदनशील है।

5. महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि QUEST, विशेष रूप रूप से जब लक्ष्य माध्य के बजाय मोड होता है, PSR-आधारित UQ की विशिष्ट विकृतियों (pathologies) को संबोधित करता है। बिंदुवार जोखिम के बजाय माप के संकेंद्रण (concentration of measure) पर ध्यान केंद्रित करके, QUEST गैर-गाऊसी, विषम, या बहुविध वितरणों के लिए अधिक सहज और मजबूत लक्षण वर्णन प्रदान करता है।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण:

• आउटलेयर्स या स्क्यू की उपस्थिति में विचरण-आधारित मापों के विरोधाभासी परिणामों से बचता है।
• AU और EU के लिए एक सुदृढ़ अभिदक्षीय आधार प्रदान करता है जो संभाव्यता घनत्वों की ज्यामिति का सम्मान करता है।
• एक लचीला ढांचा प्रदान करता है जहाँ मजबूती पैरामीटर $\alpha$ उपयोगकर्ताओं को टेल फ्लक्चुएशन के प्रति संवेदनशीलता को नियंत्रित करने की अनुमति देता है।

पेपर विनम्रतापूर्वक समाप्त होता है, जो लेबेग माप के सापेक्ष पूर्ण निरंतरता (absolute continuity) की धारणा और उच्च आयामों में HDR के अनुमान की कम्प्यूटेशनल लागत जैसी सीमाओं को स्वीकार करता है। यह ढांचे को सांख्यिकीय अनुमान (statistical inference) तक विस्तारित करने और एटम्स (atoms) या लोअर-डायमेंशनल सपोर्ट वाली वितरणों को संभालने के लिए भविष्य के कार्य का सुझाव देता है।