Never mind the metrics -- what about the uncertainty? Visualising confusion matrix metric distributions

तकनीकी सारांश: कन्फ्यूजन मैट्रिक्स मेट्रिक वितरणों का दृश्यीकरण (Visualising Confusion Matrix Metric Distributions)

समस्या विवरण (Problem Statement)
यह शोध पत्र एल्गोरिद्मिक मॉडलिंग की उस प्रचलित संस्कृति को संबोधित करता है जो मॉडलों को एकल-संख्या प्रदर्शन मेट्रिक्स (जैसे Accuracy, F1, MCC) के आधार पर प्राथमिकता और पुरस्कृत करने को प्राथमिकता देती है। लेखक तर्क देते हैं कि यह ध्यान एक संकीर्ण दृष्टिकोण के जोखिम को बढ़ाता है, जो सीमित डेटासेट से प्राप्त अनुभवजन्य प्रदर्शन अनुमानों में निहित पर्याप्त अनिश्चितता की अनदेखी करता है। वर्तमान साहित्य अक्सर इस बात पर बहस करने में संलग्न रहता है कि कौन सा मेट्रिक "सर्वश्रेष्ठ" है, लेकिन ये चर्चाएँ अक्सर इस तथ्य को नजरअंदाज कर देती हैं कि प्रदर्शन मेट्रिक्स विचरण (variance) के अधीन अनुमान हैं। पहचाना गया मुख्य मुद्दा यह है कि कन्फ्यूजन मैट्रिक्स गणनाओं में अनिश्चितता—विशेष रूप से जब डेटा सीमित हो या वर्गों (classes) में असंतुलन हो—क्लासिफायर के बीच के अनुभवजन्य अंतरों को ढक सकती है। लेखक तर्क देते हैं कि चिकित्सकों (practitioners) को इस अनिश्चितता की बेहतर समझ की आवश्यकता है ताकि वे प्रदर्शन के दावों को नियंत्रित कर सकें और मामूली मेट्रिक अंतरों की अत्यधिक व्याख्या करने से बच सकें।

कार्यप्रणाली (Methodology)
लेखक बाइनरी क्लासिफिकेशन प्रदर्शन में अनिश्चितता को मापने और दृश्यित करने के लिए एक ज्यामितीय और संभाव्य दृष्टिकोण का उपयोग करते हैं।

1. ज्यामितीय प्रतिनिधित्व (द कन्फ्यूजन सिम्प्लेक्स - The Confusion Simplex):

   • यह पत्र मौजूदा प्रक्षेपों (जैसे Chicco et al. द्वारा दिया गया कन्फ्यूजन टेट्राहेड्रोन) की आलोचना करता है जो पूर्ण गणनाओं (absolute counts) के बारे में जानकारी खो देते हैं और स्थान को निरंतर (continuous) मान लेते हैं।
   • इसके बजाय, लेखक बाइनरी कन्फ्यूजन मैट्रिसेस के एक आइसोमेट्रिक प्रोजेक्शन का प्रस्ताव करते हैं, जिसे तीन-आयामी कंपोजिशनल लैटिस (compositional lattice) में "कन्फ्यूजन सिम्प्लेक्स" कहा जाता है। यह प्रोजेक्शन गणनाओं की असतत प्रकृति (discrete nature) और कुल उदाहरणों ($N$) के संबंध में जानकारी को सुरक्षित रखता है।
   • इस 3D सिम्प्लेक्स को स्लाइस करके, लेखक 2D आयताकार लैटिस प्राप्त करते हैं जो रिसीवर ऑपरेटिंग कैरेक्टरिस्टिक (ROC) स्पेस के अनुरूप होते हैं। यह मानक ROC स्पेस $[0,1] \times [0,1]$ के भीतर और उससे परे प्रदर्शन मेट्रिक कंटूर (contours) के दृश्यीकरण की अनुमति देता है।

2. कंटूर का बीजगणितीय व्युत्पन्न (Algebraic Derivation of Contours):

   • लेखक विभिन्न प्रदर्शन मेट्रिक्स के कंटूर (isolines) के सटीक बीजगणितीय व्युत्पन्न प्राप्त करते हैं, जिसमें प्रवलता-निर्भर (prevalence-dependent) मेट्रिक्स (जैसे Accuracy, F1, MCC) और प्रवलता-स्वतंत्र (prevalence-independent) मेट्रिक्स (जैसे Balanced Accuracy, Bookmaker Informedness) शामिल हैं।
   • ये समीकरण सटीक रूप से यह दृश्यित करने की अनुमति देते हैं कि True Positive Rate (TPR) और True Negative Rate (TNR) के साथ मेट्रिक मान कैसे बदलते हैं, जिससे MCC जैसे दीर्घवृत्तीय (elliptical) कंटूर के ज्यामितीय गुणों का पता चलता है।

3. अनिश्चितता का संभाव्य मॉडलिंग (Probabilistic Modeling of Uncertainty):

   • अनिश्चितता को मॉडल करने के लिए, लेखक बेयसियन सांख्यिकी (Bayesian statistics) का उपयोग करते हैं। वे True Positive Rate और True Negative Rate को यादृच्छिक चरों (random variables) के रूप में मानते हैं।
   • वे दो मॉडलों की तुलना करते हैं:
     • बाइनोमियल मॉडल (Binomial Model): यह मानता है कि देखे गए दरें ही वास्तविक पैरामीटर हैं।
     • बीटा-बाइनोमियल मॉडल (Beta-Binomial Model): यह पूर्व अनिश्चितता (uniform Beta(1,1) priors का उपयोग करके) को शामिल करता है ताकि पोस्टीरियर प्रेडिक्टिव डिस्ट्रीब्यूशन उत्पन्न किया जा सके। यह मॉडल अधिक रूढ़िवादी है और सीमित नमूनों से दरों के अनुमान में निहित अतिरिक्त अनिश्चितता को दर्शाता है।
   • लेखक सिमुलेशन-आधारित सन्निकटन (जैसे MCMC) पर निर्भर रहने के बजाय, कन्फ्यूजन मैट्रिसेस के पोस्टीरियर प्रेडिक्टिव डिस्ट्रीब्यूशन के लिए सटीक असतत संभाव्यता द्रव्यमान फलनों (PMFs) की गणना करते हैं।

4. मेट्रिक वितरणों का दृश्यीकरण (Visualization of Metric Distributions):

   • कन्फ्यूजन मैट्रिसेस के PMFs को प्रदर्शन मेट्रिक कंटूर पर मैप किया जाता है। एक प्रदर्शन मेट्रिक के वितरण को उन सभी कन्फ्यूजन मैट्रिसेस के संभाव्यता द्रव्यमान को जोड़कर प्राप्त किया जाता है जो एक ही मेट्रिक मान प्रदान करते हैं।
   • इंटरैक्टिव विज़ुअलाइज़ेशन (Desmos के माध्यम से) और एनिमेशन प्रदान किए गए हैं ताकि यह दिखाया जा सके कि सैंपल आकार ($N$) और क्लास बैलेंस ($p$ बनाम $n$) के साथ ये वितरण कैसे बदलते हैं।

प्रमुख योगदान (Key Contributions)

• द कन्फ्यूजन सिम्प्लेक्स: एक अभिनव आइसोमेट्रिक 3D प्रोजेक्शन जो गणना की जानकारी को सुरक्षित रखता है और कन्फ्यूजन मैट्रिसेस की असतत संरचना को उजागर करता है।
• सटीक कंटूर समीकरण: कई प्रदर्शन मेट्रिक्स के कंटूर के लिए बीजगणितीय व्युत्पन्न, जो ROC स्पेस में उनके ज्यामिति के सटीक दृश्यीकरण को सक्षम बनाता है।
• डिस्क्रीट PMF विज़ुअलाइज़ेशन: बाइनोमियल और बीटा-बाइनोमियल अनिश्चितता मॉडलों के तहत प्रदर्शन मेट्रिक्स (MCC, BA, F1) के सटीक असतत पोस्टीरियर प्रेडिक्टिव PMFs को कैलकुलेट करने और दृश्यित करने की एक विधि।
• इंटरैक्टिव टूल्स: ओपन-सोर्स इंटरैक्टिव विज़ुअलाइज़ेशन और एनिमेशन का प्रावधान जो चिकित्सकों को सैंपल आकार और क्लास इम्बैलेंस के प्रभाव में अनिश्चितता का पता लगाने की अनुमति देता है।

परिणाम (Results)

• असततता और जंप (Discreteness and Jumps): विज़ुअलाइज़ेशन प्रकट करते हैं कि प्रदर्शन मेट्रिक वितरण निरंतर वक्र (smooth continuous curves) नहीं हैं, बल्कि असतत संभाव्यता द्रव्यमान (discrete probability masses) से बने हैं। वितरण का आकार डिस्क्रीट ROC लैटिस पॉइंट्स और निरंतर मेट्रिक कंटूर के संरेखण (alignment) पर निर्भर करता है। उदाहरण के लिए, एक एकल नेगेटिव उदाहरण जोड़ने से MCC और Balanced Accuracy के लिए PMF आकार महत्वपूर्ण रूप से बदल सकता है, क्योंकि इससे यह बदल जाता है कि कौन से लैटिस पॉइंट्स विशिष्ट कंटूर पर स्थित हैं।
• अनिश्चितता का परिमाण (Magnitude of Uncertainty): यह पत्र प्रदर्शित करता है कि प्रदर्शन मेट्रिक्स में अनिश्चितता काफी अधिक है, विशेष रूप से छोटे सैंपल साइज के साथ। पोस्टीरियर प्रेडिक्टिव PMF का प्रसार (spread) व्यापक हो सकता है, जो यह संकेत देता है कि देखा गया मेट्रिक मान कई संभावित परिणामों में से केवल एक है।
• डेटा आकार का प्रभाव: जैसे-जैसे कुल उदाहरणों की संख्या ($N$) बढ़ती है, TPR और TNR के PMFs का मानक विचलन $1/\sqrt{N}$ के अनुपात में घटता है, जिससे अधिक सटीक मेट्रिक अनुमान प्राप्त होते हैं।
• क्लास इम्बैलेंस (Class Imbalance): मेट्रिक कंटूर की ज्यामिति (जैसे MCC दीर्घवृत्त की सनकीता/eccentricity) प्रवलता (prevalence) के साथ बदलती है। हालांकि, लेखक इस बात पर जोर देते हैं कि मूल मुद्दा स्वयं असंतुलन नहीं है, बल्कि अल्पसंख्यक वर्ग (minority class) में उदाहरणों की पूर्ण संख्या है, जो अनिश्चितता को संचालित करती है।

महत्व और दावे (Significance and Claims)
लेखक दावा करते हैं कि यह कार्य एकल-बिंदु मेट्रिक अनुमानों की तुलना करने के बजाय उनके अनुमानों के वितरण को समझने पर ध्यान केंद्रित करके क्लासिफायर मूल्यांकन पर एक अधिक संतुलित दृष्टिकोण प्रदान करता है। उनका तर्क है कि:

1. अनिश्चितता प्राथमिक है: प्रदर्शन मेट्रिक्स में अनिश्चितता का प्राथमिक कारण मूल्यांकन डेटा की सीमित प्रकृति है, न कि मेट्रिक का चयन। कोई भी मेट्रिक इस अनिश्चितता को कम नहीं कर सकता; केवल अधिक प्रतिनिधि डेटा ही इसे कम कर सकता है।
2. दावों को नियंत्रित करना: प्रदर्शन के दावों को उनके अंतर्निहित अनिश्चितता की जागरूकता के साथ नियंत्रित किया जाना चाहिए। उनके प्रेडिक्टिव डिस्ट्रीब्यूशन की चौड़ाई को देखते हुए क्लासिफायर्स के मेट्रिक मानों के बीच के अंतर सांख्यिकीय रूप से महत्वहीन हो सकते हैं।
3. "सर्वश्रेष्ठ" मेट्रिक्स से परे: कौन सा मेट्रिक "सर्वश्रेष्ठ" है, इस पर बहस कठोर अनिश्चितता मात्रा निर्धारण (uncertainty quantification) की आवश्यकता की तुलना में गौण है। चिकित्सकों को अपने मूल्यांकन की विश्वसनीयता का आकलन करने के लिए इन विज़ुअलाइज़ेशन का उपयोग करना चाहिए, विशेष रूप से दुर्लभ वर्गों या सीमित डेटा वाले परिदृश्यों में।
4. शैक्षिक मूल्य: विज़ुअलाइज़ेशन चिकित्सकों को कन्फ्यूजन मैट्रिक्स गणनाओं, ROC स्पेस ज्यामिति और मेट्रिक अनिश्चितता के बीच के संबंध को सहजता से समझने में मदद करने के लिए एक उपकरण के रूप में कार्य करते हैं, जो बेंचमार्क परिणामों की अधिक सावधानीपूर्वक व्याख्या को प्रोत्साहित करते हैं।