Geometry-Aware Bayesian Quantification via Compositional Data Analysis

तकनीकी सारांश: संरचनात्मक डेटा विश्लेषण के माध्यम से ज्यामिति-जागरूक बेयसियन परिमाणीकरण (Geometry-Aware Bayesian Quantification via Compositional Data Analysis)

1. समस्या विवरण

यह शोध पत्र लेबल शिफ्ट (label shift) के तहत परिमाणीकरण (quantification) या क्लास प्रिवेलेंस अनुमान (class prevalence estimation) की समस्या को संबोधित करता है। इस सेटिंग में, एक क्लासिफायर जिसे स्रोत वितरण $P_s$ पर प्रशिक्षित किया गया है, अज्ञात लक्ष्य डोमेन के वर्ग वितरण $P_t(Y)$ का अनुमान लगाता है, यह मानते हुए कि लेबल्स के सापेक्ष फीचर्स का कंडीशनल वितरण अपरिवर्तित रहता है ($P_s(X|Y) = P_t(X|Y)$)।

जबकि कई विधियाँ सीधे क्लासिफायर पोस्टीरियर प्रोबेबिलिटीज़ (posterior probabilities) पर कार्य करती हैं, लेखक मौजूदा निरंतर घनत्व-आधारित दृष्टिकोणों (विशेष रूप से KDE-आधारित क्वांटिफायर जैसे KDEy) में एक मौलिक ज्यामितीय बेमेल (geometric mismatch) की पहचान करते हैं। पोस्टीरियर प्रोबेबिलिटी वेक्टर्स प्रोबेबिलिटी सिम्प्लेक्स ($\Delta^{K-1}$) पर स्थित होते हैं, जो संरचनात्मक डेटा (compositional data) का हिस्सा हैं। मानक कर्नेल डेंसिटी एस्टीमेशन (KDE) यूक्लिडियन गॉसियन कर्नेल पर निर्भर करता है, जो संरचनाओं के सापेक्ष स्वरूप (relative structure) की अनदेखी करता है। इससे दो महत्वपूर्ण समस्याएँ उत्पन्न होती हैं:

1. सीमा उल्लंघन (Boundary Violation): यूक्लिडियन कर्नेलल सिम्प्लेक्स सीमाओं के बाहर गैर-शून्य संभाव्यता द्रव्यमान (non-zero probability mass) आवंटित करते हैं।
2. विकृत ज्यामिति (Distorted Geometry): यूक्लिडियन दूरी संरचनाओं की सापेक्ष प्रकृति का सम्मान नहीं करती है, जिससे पोस्टीरियर वेक्टर्स के बीच समानता संबंध विकृत हो सकते हैं।

यह बेमेल सिम्प्लेक्स सीमाओं के पास विशेष रूप से गंभीर है, जहाँ आत्मविश्वासपूर्ण क्लासिफायर भविष्यवाणियाँ (जो वास्तविक दुनिया के परिवेश में, विशेष रूप से न्यूरल नेटवर्क के साथ, सामान्य हैं) केंद्रित होती हैं।

2. कार्यप्रणाली (Methodology)

प्रस्तावित समाधान संरचनात्मक डेटा विश्लेषण (CoDA) को बेयसियन इन्फरेंस और एक नवीन श्रिंकेज रेगुलाइजेशन (shrinkage regularization) के साथ एकीकृत करता है।

A. ज्यामिति-जागरूक प्रतिनिधित्व (Geometry-Aware Representation)
एम्बिएंट यूक्लिडियन स्पेस में घनत्वों को मॉडल करने के बजाय, यह विधि पोस्टीरियर वेक्टर्स $p$ को सेंटर्ड लॉग-रेशियो (CLR) रूपांतरण का उपयोग करके लॉग-रेशियो निर्देशांकों में बदल देती है:
$$\phi(p) = \left( \log \frac{p_1}{g(p)}, \dots, \log \frac{p_K}{g(p)} \right)$$
जहाँ $g(p)$ घटकों का ज्यामितीय माध्य (geometric mean) है। यह सिम्प्लेक्स को $\mathbb{R}^K$ के ज़ीरो-सम सबस्पेस में मैप करता है, जिससे एिचिसन ज्यामिति (Aitchison geometry) के अनुरूप घनत्व अनुमान सक्षम होता है।

B. श्रिंकेज रेगुलाइजेशन (Shrinkage Regularization)
लेखक नोट करते हैं कि सरल लॉग-रेशियो रूपांतरण सिम्प्लेक्स सीमा के पास अस्थिर (unstable) हो जाते हैं (जहाँ घटक शून्य के करीब पहुँचते हैं)। इसे कम करने के लिए, वे एक श्रिंकेज रूपांतरण $T_\lambda$ पेश करते हैं:
$$T_\lambda(p) = (1-\lambda)p + \lambda u$$
जहाँ $u = (1/K, \dots, 1/K)$ बैरीसेंटर (barycenter) है और $\lambda \in [0, 1)$ है।

• प्रभाव: यह प्रभावी सिम्प्लेक्स को केंद्र की ओर सिकोड़ता है, जिससे रूपांतरित संरचनाएँ शून्य से दूर रहती हैं।
• बैंडविड्थ समायोजन: श्रिंकेज सिम्प्लेक्स हाइपरप्लेन में दूरियों को $(1-\lambda)$ द्वारा समान रूप से पुन: स्केल करता है। फलस्वरूप, स्मूथिंग स्तरों को बनाए रखने के लिए प्रभावी बैंडविड्थ को $h_{eff} = (1-\lambda)h$ के रूप में समायोजित किया जाता है।
• सैद्धांतिक औचित्य: जैसे-जैसे $\lambda \to 1$ होता है, रूपांतरण बैरीसेंटर के पास CLR मैप को लीनियर (linearize) कर देता है, जिससे मॉडल को मानक यूक्लिडियन KDE में ढहाए बिना ज्यामिति को नियमित किया जाता है।

C. बेयसियन फॉर्मूलेशन (Bayesian Formulation)
यह विधि क्वांटिफिकेशन को एक मिश्रण घनत्व अनुमान (mixture density estimation) समस्या के रूप में तैयार करती है। देखे गए पोस्टीरियर्स $P$ के दिए में लक्ष्य प्रिवेलेंस वेक्टर $\pi$ की संभावना (likelihood) व्युत्पन्न की जाती है। महत्वपूर्ण रूप से, परिवर्तन के चर (change of variables) से उत्पन्न होने वाला जैकोबियन पद $\pi$ से स्वतंत्र है। यह एक व्यावहारिक बेयसियन पोस्टीरियर इन्फरेंस की अनुमति देता है:
$$p(\pi | P) \propto p(\pi) \prod_{i=1}^n \left( \sum_{k=1}^K \pi_k f_k^h(z^{(i)}) \right)$$
जहाँ $z^{(i)} = \phi(T_\lambda(p^{(i)}))$ है और $f_k^h$ रूपांतरित स्थान में अनुमानित क्लास-कंडीशनल डेंसिटीज़ हैं। यह फॉर्मूलेशन क्लास प्रिवेलेंस के लिए पॉइंट एस्टीमेशन (ML के माध्यम से) और पूर्ण बेयसियन इन्फरेंस (जैसे NUTS के माध्यम से सैंपलिंग) दोनों का समर्थन करता है।

3. मुख्य योगदान

1. ज्यामिति-जागरूक KDE: पहला KDE-आधारित क्वांटिफायर जो लॉग-रेशियो रूपांतरण और एिचिसन ज्यामिति का उपयोग करके पोस्टीरियर प्रोबेबिलिटीज़ की सिम्प्लेक्स ज्यामिति का सम्मान करता है।
2. श्रिंकेज रेगुलाइजेशन: सिम्प्लेक्स सीमाओं के पास लॉग-रेशियो मॉडलिंग को स्थिर करने के लिए एक नवीन तंत्र, जो संरचनात्मक स्वरूप को बनाए रखते हुए संख्यात्मक अस्थिरता को रोकता है।
3. KDE के लिए बेयसियन फ्रेमवर्क: KDE-आधारित क्वांटिफायर्स के लिए एक सिद्धांतपूर्ण बेयशियन इन्फरेंस का व्युत्पन्न, जो उन सीमाओं को दूर करता है जहाँ ऐसे फॉर्मूलेशन केवल विविक्त (discretized) हिस्टोग्राम मॉडल या बाइनरी समस्याओं तक सीमित थे।
4. अनुभवजन्य सत्यापन (Empirical Validation): 42 डेटासेट्स (टेबुलर, टेक्स्ट और इमेज) पर व्यापक मूल्यांकन, जो स्टेट-ऑफ-द-आर्ट पॉइंट एस्टिमेटर्स के मुकाबले प्रतिस्पर्धी प्रदर्शन और बेयसियन क्वांटिफिकेशन विधियों के बीच श्रेष्ठ परिणाम प्रदर्शित करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने अपने मेथड (जिसे पॉइंट एस्टीमेशन के लिए KDEy(Ait-$\lambda$) और बेयसियन इन्फरेंस के लिए Bayes-KDEy(Ait-$\lambda$) कहा गया है) का CC, PCC, BBSE/ACC, MLLS/EMQ और मानक गॉसियन KDE (KDEy(Gau)) सहित बेसलाइन्स के विरुद्ध मूल्यांकन किया।

• पॉइंट एस्टीमेशन: प्रस्तावित विधि ने सभी मोडैलिटीज (टेबुलर, टेक्स्ट, इमेज) में एब्सोल्यूट एरर (AE) और स्क्वेयर्ड वेट-रेशियो एरर (W) दोनों में सर्वश्रेष्ठ औसत रैंक प्राप्त की। इसने अक्सर मानक गॉसियन KDE को पछाड़ दिया, विशेष रूप से टेबुलर और इमेज डेटासेट्स पर।
• अनिश्चितता का परिमाणीकरण (Uncertainty Quantification): बेयसियन शासन में, विधि ने मजबूत कवरेज और उचित अंतराल आयाम (interval amplitudes) प्रदान किए। जबकि Bayes-ACC ने बड़े अंतरालों की कीमत पर बेहतर कच्चा कवरेज गैप दिखाया, प्रस्तावित KDE-आधारित बेयसियन विधियों ने समग्र रैंकिंग में सर्वश्रेष्ठ प्रदर्शन किया।
• शिफ्ट की गंभीरता के प्रति मजबूती: विधि ने लो, मीडियम और हाई लेबल शिफ्ट शासन में प्रभुत्व दिखाया, सिवाय कुछ विशिष्ट टेक्स्ट डेटासेट्स के जहाँ अन्य बेयसियन विधियों ने लो/मीडियम शिफ्ट में थोड़ा बेहतर प्रदर्शन किया।
• सीमा प्रदर्शन (Boundary Performance): उन प्रयोगों में जहाँ लक्ष्य प्रिवेलेंस सिम्प्लेक्स बाउंड्री के पास केंद्रित थी ($\alpha_{test}=0.1$), श्रिंकेज-रेगुलराइज्ड एिचिसन KDE, यूक्लिडियन गॉसियन KDE और बूटस्ट्रैप बेसलाइन्स की तुलना में काफी बेहतर रहा, जो इन शासनों में सिम्प्लेक्स ज्यामिति का सम्मान करने की आवश्यकता को प्रमाणित करता है।
• एब्लेशन (Ablation): श्रिंकेज को हटाने ($\lambda=0$) से विशिष्ट बेंचमार्क्स पर तीव्र विफलता देखी गई, जो पुष्टि करती है कि श्रिंकेज केवल एक संख्यात्मक सुरक्षा उपाय नहीं है बल्कि स्थिरता के लिए आवश्यक एक अनुकूलन तंत्र है।

5. महत्व और दावे

यह शोध पत्र दावा करता है कि पोस्टीरियर प्रोबेबिलिटीज़ की सिम्प्लेक्स ज्यामिति का सम्मान करना न केवल सैद्धांतिक रूप से प्रेरित है बल्कि मल्टी-क्लास क्वांटिफिकेशन के लिए व्यावहारिक रूप से भी फायदेमंद है। लेखक तर्क देते हैं कि:

• मानक यूक्लिडियन KDEs ज्यामितीय बेमेल पैदा करते हैं जो पूर्वाग्रही या अस्थिर प्रिवेलेंस भविष्यवाणियों की ओर ले जाते हैं, विशेष रूप से सीमाओं के पास।
• प्रस्तावित श्रिंकेज-रेगुलराइज्ड लॉग-रेशियो प्रतिनिधित्व संरचनात्मक डेटा विश्लेषण की सैद्धांतिक आवश्यकताओं और मशीन लर्निंग पाइपलाइनों के लिए आवश्यक कम्प्यूटेशनल व्यावहारिकता के बीच के अंतर को पाटता है।
• व्युत्पन्न बेयसियन फॉर्मूलेशन निरंतर घनत्व-आधारित विधियों के लिए सिद्धांतपूर्ण अनिश्चितता परिमाणीकरण को सक्षम बनाता है, जो पहले मल्टी-क्लास सेटिंग में अनुपलब्ध था।

लेखक अपनी सीमाओं के संबंध में विनम्र रहते हैं, यह नोट करते हुए कि वर्तमान दृष्टिकोण श्रिंकेज और बैंडविड्थ मापदंडों के सत्यापन-आधारित चयन पर निर्भर करता है, और इन हाइपरपैरामीटर्स का पूर्ण बेयसियन उपचार एक खुला विषय बना हुआ है। वे यह भी स्वीकार करते हैं कि वर्तमान विधि विशेष रूप से लेबल शिफ्ट के लिए है, और कोवेरिएट शिफ्ट वेरिएंट्स भविष्य के कार्यों के लिए छोड़े गए हैं।