तकनीकी सारांश: MIRA – सशर्त वितरण सटीकता और मॉडल तुलना के लिए एक स्कोर

समस्या विवरण

जेनरेटिव मॉडलिंग, विशेष रूप से सशर्त जेनरेटिव मॉडल (conditional generative models), उच्च-आयामी स्थानों (high-dimensional spaces) में काफी उन्नत हुई है, जिसे कंप्यूटर विजन, चिकित्सा, ड्रग डिस्कवरी और वैज्ञानिक अनुमान (जैसे भौतिकी और भूविज्ञान) में अनुप्रयोग मिले हैं। हालाँकि, इन मॉडलों की सटीकता का आकलन करना एक महत्वपूर्ण चुनौती बना हुआ है। मार्जिनल वितरणों (marginal distributions) के मूल्यांकन के लिए मौजूदा विधियाँ आमतौर पर दो श्रेणियों में आती हैं: संभावना-आधारित (likelihood-based) विधियाँ, जिन्हें घनत्व मूल्यांकन (density evaluation) की आवश्यकता होती है, और नमूना-आधारित (sample-based) विधियाँ, जो उत्पन्न नमूनों की वास्तविक डेटा से तुलना करती हैं।

सशर्त वितरणों $p(y|x)$ के लिए, जहाँ केवल संयुक्त नमूने (joint samples) $(x, y) \sim p(x, y)$ उपलब्ध हैं, वर्तमान दृष्टिकोण महत्वपूर्ण सीमाओं का सामना करते हैं:

1. कवरेज प्रोबेबिलिटी टेस्ट (Coverage Probability Tests): TARP जैसी विधियाँ सटीकता के लिए पर्याप्त स्थितियाँ प्रदान करती हैं लेकिन कवरेज प्लॉट्स पर निर्भर करती हैं जो मॉडल रैंकिंग के लिए मात्रात्मक रूप से व्याख्या करने में कठिन होते हैं।
2. प्रोबेबिलिटी इंटीग्रल ट्रांसफॉर्म (PIT) और सिमुलेशन-आधारित कैलिब्रेशन (SBC): ये अक्सर उच्च-आयामी आउटपुट के साथ संघर्ष करते हैं, संयुक्त सहसंबंधों (joint correlations) की अनदेखी करते हैं या व्यापक कम्प्यूटेशनल संसाधनों और बड़ी संख्या में फिड्यूशियल नमूनों की आवश्यकता रखते हैं।
3. टू-सैंपल टेस्ट (जैसे C2ST, MMD): इनके लिए आमतौर पर उम्मीदवार और वास्तविक दोनों वितरणों से कई स्वतंत्र और समान रूप से वितरित (i.i.d.) नमूनों की आवश्यकता होती है। कई वैज्ञानिक सेटिंग्स में, प्रत्येक अवलोकन के लिए केवल एक एकल ग्राउंड-ट्रुथ रियलाइजेशन $y^*$ उपलब्ध होता है, जिससे ये विधियाँ असंगत हो जाती हैं।
4. बायेसियन मॉडल तुलना (Bayesian Model Comparison): बेयज़ फैक्टर्स के माध्यम से सीधा तुलना करना अक्सर जटिल 'एविडेंस' गणनाओं को शामिल करता है, विशेष रूप से उच्च-आयामी पैरामीटर स्पेस में।

मूल समस्या जिसका समाधान किया गया है वह एक नमूना-आधारित स्कोर की आवश्यकता है जो केवल वास्तविक डेटा-जनरेटिंग प्रक्रिया से प्राप्त संयुक्त नमूनों का उपयोग करके एक उम्मीदवार सशर्त वितरण की सटीकता का आकलन कर सके, बिना प्रति अवलोकन कई ग्राउंड-ट्रुथ नमूनों की आवश्यकता या जटिल लाइक्लीहुड गणनाओं के।

कार्यप्रणाली: मीरा स्कोर (The Mira Score)

लेखक Mira (Mass In Random Areas) पेश करते हैं, जो इस सिद्धांत पर आधारित एक ढांचा है कि दो वितरण तब तक मेल खाते हैं जब तक कि वे सभी मापने योग्य क्षेत्रों (measurable regions) को समान संभाव्यता द्रव्यमान (probability mass) आवंटित करते हैं।

मुख्य अवधारणा (Core Concept)

Mira आउटपुट स्पेस $Y$ में रैंडम क्षेत्र $R$ का निर्माण करता है, जो एक रैंडम सेंटर $c$ और एक रैंडम कैंडिडेट सैंपल $y_r$ से दूरी द्वारा निर्धारित त्रिज्या (radius) द्वारा परिभाषित है, जिसे उम्मीदवार वितरण $p(y|x, M)$ से लिया गया है।
$$R = \{y \in Y \mid d(y, c) \leq d(y_r, c)\}$$
जहाँ $d$ एक दूरी मेट्रिक है और $c \sim p(c)$ स्पेस पर एक वितरण है।

एक दिए गए अवलोकन $x^*$ और एक एकल ग्राउंड-ट्रुथ सैंपल $y^* \sim p(y|x^*, M^*)$ के लिए, विधि गिनती है:

• $n$: $N$ उम्मीदवार नमूनों $\{y_j\}_{j=1}^N \sim p(y|x^*, M)$ की संख्या जो $R$ के भीतर आते हैं।
• $k$: एक इंडिकेटर वेरिएबल जहाँ $k=1$ यदि $y^* \in R$, और $k=0$ यदि $y^* \notin R$।

सैद्धांतिक व्युत्पत्ति (Theoretical Derivation)

इस शून्य परिकल्पना (null hypothesis) के तहत कि उम्मीदवार वितरण वास्तविक वितरण से मेल खाता है ($M = M^*$), लेखक सिद्ध करते हैं कि रैंडम क्षेत्र $R$ को आवंटित संभाव्यता द्रव्यमान $\lambda_n$ $[0, 1]$ पर यूनिफॉर्म डिस्ट्रीब्यूशन का पालन करता है। यह गुण मीरा सांख्यिकी (Mira statistic) $p(k|n)$ की व्युत्पत्ति की अनुमति देता है, जो यह दर्शाता है कि $n$ उम्मीदवार नमूनों के $R$ में होने पर $R$ में वास्तविक नमूने के होने की क्या प्रायिकता है।

लैप्लेस के रूल ऑफ सक्सेशन (Laplace's rule of succession) का उपयोग करते हुए, सांख्यिकी को इस प्रकार व्युत्पन्न किया गया है:
$$p(k|n) = \frac{n+1}{N+2} \mathbb{1}(k=1) + \frac{N-n+1}{N+2} \mathbb{1}(k=0)$$

मीरा स्कोर $\mu_{Mira}(M)$ को सभी यादृच्छिकता के स्रोतों (क्षेत्रों, अवलोकनों और नमूनों) पर इस सांख्यिकी के प्रत्याशा (expectation) के रूप में परिभाषित किया गया है।

सैद्धांतिक गुण (Theoretical Properties)

पेपर एक सही ढंग से निर्दिष्ट मॉडल के लिए कई प्रमुख सैद्धांतिक मात्राओं को स्थापित करता है:

1. एसिम्प्टोटिक डिस्ट्रीब्यूशन (Asymptotic Distribution): जैसे-जैसे $N \to \infty$, मीरा सांख्यिकी वितरण में Beta(2, 1) रैंडम वेरिएबल के रूप में अभिसरित (converge) होती है।
2. अपेक्षित स्कोर (Expected Score): पूरी तरह से कैलिब्रेटेड मॉडल के लिए स्कोर का सैद्धांतिक माध्य 2/3 है।
3. अनिश्चितता (Uncertainty): इसका सैद्धांतिक विचरण (variance) 1/18 पर अभिसरित होता है।
4. निचली सीमा (Lower Bound): स्कोर 1/2 से नीचे सीमित है, जो तब प्राप्त होता है जब उम्मीदवार और वास्तविक वितरणों के सपोर्ट (supports) अलग-अलग हों।

ये गुण मीरा को न केवल सटीकता का बिंदु अनुमान (point estimate) प्रदान करने में सक्षम बनाते हैं, बल्कि सैद्धांतिक अनिश्चितता अनुमान भी प्रदान करते हैं, जिससे सीधे मॉडल तुलना सुलभ हो जाती है।

मुख्य योगदान (Key Contributions)

1. मीरा का प्रस्ताव: केवल वास्तविक मॉडल से प्राप्त संयुक्त नमूनों का उपयोग करके सशर्त वितरणों की सटीकता को मापने के लिए एक नया ढांचा, जो प्रति अवलोकन कई ग्राउंड-ट्रुथ नमूनों की आवश्यकता को समाप्त करता है।
2. सैद्धांतिक आधार: मीरा सांख्यिकी और उसके मोमेंट्स (moments) के लिए क्लोज्ड-फॉर्म एक्सप्रेशन की व्युत्पत्ति, जो एक सही ढंग से निर्दिष्ट मॉडल के लिए एक सैद्धांतिक संदर्भ मान (2/3) और अनिश्चितता सीमा स्थापित करता है।
3. व्यावहारिक अनुप्रयोग: तीन अलग-अलग कार्यों में मीरा की प्रभावशीलता का प्रदर्शन:
   • सशर्त जेनरेटिव मॉडलों की गुणवत्ता का आकलन।
   • बायेसियन अनुमान में पोस्टीरियर सटीकता का आकलन।
   • उच्च-आयामी सेटिंग्स में बायेसियन मॉडल तुलना।

प्रयोगात्मक परिणाम (Experimental Results)

लेखक खिलौना समस्याओं (toy problems) से लेकर जटिल भौतिक सिमुलेशन तक की एक श्रृंखला के माध्यम से मीरा को सत्यापित करते हैं:

• कैलिब्रेशन त्रुटियों का पता लगाना: खिलौना इन्फरेंस कार्यों में, मीरा सही, ओवरकॉन्फिडेंट (overconfident), अंडरकॉन्फिडेंट (underconfident), और बायस्ड (biased) वितरणों के बीच सफलतापूर्वक अंतर करता है। 2/3 से कम स्कोर ओवरकॉन्फिडेंस या बायस को दर्शाते हैं, जबकि 2/3 से अधिक का स्कोर अंडरकॉन्फिडेंस को दर्शाता है।
• कंडीशनल जेनरेटिव मॉडल्स: जब MNIST पर एक कंडीशनल वेरिएशनल ऑटोएनकोडर (CVAE) और एक कंडीशनल डिफ्यूजन मॉडल की तुलना की जाती है, तो मीरा डिफ्यूजन मॉडल को CVAE (स्कोर $\approx$ 0.56) की तुलना में बेहतर (स्कोर $\approx$ 2/3) रैंक करता है, जो कि TARP कवरेज प्लॉट्स द्वारा समर्थित निष्कर्ष है।
• बायेसियन मॉडल तुलना (ग्रेविटेशनल लेंसिंग):
  • लाइक्लीहुड मिसमैच: मीरा गलत लेंस प्रकारों या स्रोत गणनाओं वाले उम्मीदवारों के बीच वास्तविक भौतिक मॉडल (EPL लेंस + 3 सेर्सिक स्रोत) की सही पहचान करता है, जहाँ TARP कर्व्स अस्पष्ट होते हैं।
  • प्रायर और नॉइज़ शिफ्ट: एक उच्च-आयामी सोर्स रिकंस्ट्रक्शन कार्य (64x64x3 इमेज) में, मीरा प्रायर डिस्ट्रीब्यूशन और नॉइज़ स्तरों में मिसमैच का पता लगाता है, और सीमित संख्या में वास्तविक नमूनों ($L=16$) के साथ भी मॉडलों को सही ढंग से रैंक करता है।
• मौजूदा मेट्रिक्स के साथ तुलना:
  • मीरा लो-ऑर्डर मोमेंट्स (जैसे हेवी-टेल्ड पर्टर्बेशन या रोटेटेड पोस्टीरियर्स) को बनाए रखने वाले वितरण बदलावों का पता लगाने में मानक टू-सैंपल टेस्ट (MMD, Wasserstein, C2ST) से बेहतर प्रदर्शन करता है।
  • SBC के विपरीत, जो उच्च-आयामी संयुक्त सहसंबंधों के साथ संघर्ष करता है, मीरा स्वाभाविक रूप से पूर्ण स्पेस में काम करता है।
  • मीरा बेयज़ फैक्टर्स के लिए एक स्केलेबल विकल्प प्रदान करता है, जो उन खिलौना समस्याओं में मजबूत सहमति दिखाता है जहाँ एविडेंस गणना योग्य (tractable) है, जबकि वहीं भी लागू होता है जहाँ एविडेंस गणना कठिन है।

महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि मीरा सशर्त वितरण सटीकता के आकलन और बायेसियन मॉडल तुलना करने के लिए एक स्केलेबल, नमूना-आधारित विकल्प प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

• जटिल गणनाओं को दरकिनार करना: यह मार्जिनल लाइक्लीहुड्स (एविडेंस) की गणना किए बिना उच्च-आयामी पैरामीटर स्पेस में मॉडल तुलना करने में सक्षम बनाता है, जो अक्सर गणनात्मक रूप से कठिन होता है।
• सिंगल ग्राउंड-ट्रुथ बाधाओं को संभालना: यह उन सेटिंग्स के लिए विशिष्ट रूप से उपयुक्त है जहाँ प्रत्येक अवलोकन के लिए केवल एक ही वास्तविक रिअलाइजेशन उपलब्ध होता है, जो वैज्ञानिक सिमुलेशन में एक सामान्य बाधा है।
• व्याख्यात्मकता (Interpretability): स्कोर एक ज्ञात सैद्धांतिक बेसलाइन (2/3) और अनिश्चितता के साथ एक स्केलर मेट्रिक प्रदान करता है, जिससे मॉडलों की सीधी रैंकिंग और विशिष्ट विफलता मोड (ओवर/अंडर-कॉन्फिडेंस) का निदान संभव होता है।
• मजबूती (Robustness): संवेदनशीलता विश्लेषण (sensitivity analyses) प्रदर्शित करते हैं कि मीरा विभिन्न आयामीताओं (dimensionalities), नमूनों की संख्या, दूरी मेट्रिक्स और सेंटर डिस्ट्रीब्यूशन के बावजूद मजबूत रहता है।

लेखक मीरा को सभी मौजूदा डायग्नोस्टिक्स के विकल्प के रूप में नहीं, बल्कि एक पूरक उपकरण के रूप में प्रस्तुत करते हैं जो वर्तमान पद्धतियों में विशिष्ट अंतराल को संबोधित करता है, विशेष रूप से उच्च-आयामी, नमूना-सीमित और लाइक्लीहुड-मुक्त इन्फरेंस परिदृश्यों के लिए।