🤖 machine learning

Correcting Performance Estimation Bias in Imbalanced Classification with Minority Subconcepts

यह शोध पत्र प्रेडिक्टेड-वेटेड बैलेंस्ड एक्यूरेसी (pBA) को प्रस्तुत करता है, जो एक व्यावहारिक मूल्यांकन मीट्रिक है जो अनुपलब्ध वास्तविक सबकॉन्सेप्ट लेबल को अनुमानित पोस्टीरियर प्रोबेबिलिटीज (predicted posterior probabilities) से बदलकर असंतुलित वर्गीकरण में प्रदर्शन अनुमान पूर्वाग्रह को कम करता है ताकि विषम उप-जनसंख्याओं (heterogeneous subpopulations) में मॉडल के प्रदर्शन का अधिक स्थिर और व्याख्या योग्य मूल्यांकन प्रदान किया जा सके।

मूल लेखक: Taylor Maxson, Roberto Corizzo, Yaning Wu, Nathalie Japkowicz, Colin Bellinger

प्रकाशित 2026-04-30

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Taylor Maxson, Roberto Corizzo, Yaning Wu, Nathalie Japkowicz, Colin Bellinger

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

बड़ी समस्या: "औसत" का झूठ

कल्पना कीजिए कि आप एक नए स्कूल लंच प्रोग्राम का मूल्यांकन करने वाले प्रिंसिपल हैं। आप पूछते हैं, "छात्रों को खाना कैसा लगा?" प्रिंसिपल कहता है, "बहुत अच्छा! औसत रेटिंग 10 में से 9 है।"

सुनने में अच्छा लग रहा है, है ना? लेकिन क्या होगा अगर यह "औसत" एक राज छिपा रहा हो?

ग्रुप A (बहुसंख्यक): 90% छात्र साधारण सैंडविच खा रहे हैं। उन्हें यह बहुत पसंद है (10/10)।
ग्रुप B (अल्पसंख्यक): 10% छात्रों को नट्स (nuts) से गंभीर एलर्जी है और वे एक विशेष, बेस्वाद, ग्लूटेन-मुक्त भोजन खा रहे हैं। उन्हें यह बिल्कुल पसंद नहीं है (1/10)।

यदि आप केवल औसत देखते हैं, तो प्रोग्राम एक बड़ी सफलता दिखता है (9/10)। लेकिन यदि आप सब-ग्रुप्स (subgroups) को देखते हैं, तो आप देखते हैं कि एलर्जी वाले समूह के लिए यह प्रोग्राम एक आपदा है। "औसत" स्कोर आपको धोखा दे रहा है क्योंकि यह सैंडविच खाने वाले बड़े समूह को एलर्जी से पीड़ित छोटे समूह पर हावी होने देता है।

मशीन लर्निंग में इम्बैलेंस्ड डेटा (Imbalanced Data) के साथ भी ठीक यही होता है।

क्लास (Class): "बीमार मरीज़" (अल्पसंख्यक) बनाम "स्वस्थ मरीज़" (बहुसंख्यक)।
सब-कॉन्सेप्ट्स (Subconcepts): "बीमार" समूह के भीतर, "फ्लू" (सामान्य) और "दुर्लभ आनुवंशिक विकार" (बहुत दुर्लभ) हो सकते हैं।

यदि किसी डॉक्टर के AI मॉडल की "फ्लू" पर सटीकता 95% है लेकिन "दुर्लभ आनुवंशिक विकार" पर केवल 10% है, तो कुल स्कोर अभी भी बहुत अच्छा दिख सकता है। लेकिन वास्तविक दुनिया में, वह AI उन लोगों को विफल कर रहा है जिन्हें मदद की सबसे अधिक आवश्यकता है। शोध पत्र इसे परफॉरमेंस एस्टीमेशन बायस (Performance Estimation Bias) कहता है।

पुराना तरीका बनाम नया तरीका

पुराना तरीका (अनवेटेड स्कोर - Unweighted Scores):
यह ऐसा है जैसे स्कूल प्रिंसिपल बस औसत ले लेता है। यह मान लेता है कि हर छात्र समान है, चाहे उनकी संख्या कितनी भी हो। डेटा के संदर्भ में, यदि "दुर्लभ बीमारी" आपके टेस्ट डेटा का केवल 1% हिस्सा है, तो कंप्यूटर उसे गलत होने पर शायद ही ध्यान देगा। स्कोर ऊँचा रहता है, जिससे सुरक्षा का एक झूठा अहसास होता है।

पिछला "उपचार" (ट्रू वेट्स - True Weights):
शोधकर्ताओं ने पहले इसे ठीक करने की कोशिश की और कहा, "आइए हम दुर्लभ बीमारी वाले मरीजों को फ्लू वाले मरीजों की तुलना में 100 गुना अधिक महत्व दें।" यह पूरी तरह से काम करता है, लेकिन, इसके लिए आपको एक सुपरपावर की आवश्यकता है: आपको परीक्षण करने से पहले ही यह पता होना चाहिए कि मरीज को वास्तव में कौन सी विशिष्ट बीमारी है। वास्तविक दुनिया में, आपको यह तब तक पता नहीं होता जब तक कि बाद में पता न चल जाए। यह लंच प्रोग्राम को ग्रेड करने के लिए यह जानने जैसा है कि हर छात्र की एलर्जी क्या है, इससे पहले कि वे एक निवाला भी लें।

पेपर का समाधान (प्रेडिक्टेड-वेटेड बैलेंस्ड एक्यूरेसी या "pBA"):
लेखकों ने एक चतुर तरीका निकाला। उन्होंने महसूस किया कि आपको सब-कॉन्सेप्ट को निश्चित रूप से जानने की ज़रूरत नहीं है; आपको बस एक अच्छा अनुमान चाहिए।

ट्रेनिंग चरण (Training Phase): वे एक सहायक AI (एक "सब-कॉन्सेप्ट क्लासिफायर") को अलग-अलग प्रकार के "बीमार" मरीजों (फ्लू बनाम दुर्लभ विकार) को पहचानने के लिए प्रशिक्षित करते हैं, जहाँ लेबल (labels) ज्ञात होते हैं।
टेस्टिंग चरण (Testing Phase): जब कोई नया मरीज आता है, तो मुख्य AI निदान करता है। साथ ही, सहायक AI उस मरीज को देखता है और कहता है, "मुझे 80% यकीन है कि यह फ्लू है, लेकिन 20% संभावना है कि यह दुर्लभ विकार है।"
जादुई गणित (The Magic Math): एक सख्त विकल्प (फ्लू या विकार) चुनने के बजाय, नया तरीका उस 80/20 के अनुमान का उपयोग स्कोर को एडजस्ट करने के लिए करता है।
- यदि मुख्य AI "फ्लू" को सही पहचानता है, तो उसे सामान्य स्कोर मिलता है।
- यदि मुख्य AI "दुर्लभ विकार" को गलत पहचानता है, लेकिन सहायक AI अनिश्चित था (शायद उसने सोचा कि यह फ्लू है), तो दंड (penalty) कम होता है।
- यदि मुख्य AI "दुर्लभ विकार" को गलत पहचानता है और सहायक AI को पूरा विश्वास था कि यह एक दुर्लभ विकार है, तो दंड भारी होता है।

यह एक "सॉफ्ट, अनसर्टेन्टी-अवेयर" (Soft, Uncertainty-Aware) स्कोर बनाता है। यह केवल अंतिम उत्तर को नहीं देखता; यह देखता है कि सिस्टम मरीज के प्रकार के बारे में कितना आश्वस्त था।

यह क्यों मायने रखता है ( "मुझे इसकी परवाह क्यों करनी चाहिए?" )

पेपर ने तीन प्रकार के वास्तविक डेटा पर इसका परीक्षण किया:

टेबुलर डेटा (Tabular Data): जैसे संख्याओं के स्प्रेडशीट (जैसे क्रेडिट स्कोर, वाहन के प्रकार)।
मेडिकल इमेजिंग (Medical Imaging): फेफड़ों के एक्स-रे (फेफड़ों की विभिन्न समस्याओं को देखना)।
टेक्स्ट (Text): हेट स्पीच (नफरत भरे भाषण) का पता लगाना (नफरत भरे भाषणों के विभिन्न प्रकारों को देखना)।

परिणाम:

"औसत" स्कोर अक्सर एक झूठ बोलता है। कई मामलों में, मानक स्कोर बहुत अधिक था, लेकिन मॉडल वास्तव में छोटे, दुर्लभ समूहों के लिए विफल हो रहा था।
नया स्कोर (pBA) सच बोलता है। जब मॉडल दुर्लभ समूहों में विफल होता है, तो यह स्कोर को कम कर देता है, भले ही टेस्ट सेट ज्यादातर सामान्य मामलों से भरा हो।
इसका उद्देश्य स्कोर को कम करना नहीं है। कभी-कभी, यदि दुर्लभ समूह सामान्य मामलों की तुलना में अनुमान लगाने में आसान होते हैं, तो नया स्कोर ऊपर जाता है। यह निराशावादी होने की कोशिश नहीं कर रहा है; यह इस बारे में सटीक होने की कोशिश कर रहा है कि मॉडल वास्तव में कहाँ अच्छा या बुरा है।

निष्कर्ष वाला उदाहरण (Takeaway Analogy)

कल्पना कीजिए कि आप एक टैलेंट शो के जज हैं।

पुराना स्कोर: आप हर वोट को गिनते हैं। यदि 900 लोग "गायक" के लिए वोट देते हैं और 10 लोग "जगलर" (Juggler) के लिए, तो गायक 99% समय जीत जाता है। आपको कभी पता नहीं चलेगा कि जगलर वास्तव में बहुत खराब है।
पेपर का स्कोर: आप महसूस करते हैं कि जगलर एक "दुर्लभ एक्ट" है। आप दर्शकों से पूछते हैं, "आपको कितना यकीन है कि यह एक जगलर है?"
- यदि दर्शक भ्रमित हैं (अनिश्चित हैं), तो आप जगलर की गलती के लिए उसे बहुत अधिक दंडित नहीं करते हैं।
- यदि दर्शक पक्के हैं कि यह एक जगलर है, और जगलर असफल हो जाता है, तो आप उसे बड़ा "F" (फेल) देते हैं।
- यह एक अधिक निष्पक्ष रिपोर्ट कार्ड देता है जो आपको बताता है: "गायक महान है, लेकिन जगलर को और अभ्यास की आवश्यकता है," भले ही जगलर को केवल 10 वोट मिले हों।

सारांश

यह पेपर AI मॉडल को ग्रेड देने का एक नया तरीका पेश करता है जो "लोकप्रिय" समूहों को "दुर्लभ" समूहों की विफलताओं को छिपाने नहीं देता है। यह एक "अनुमान लगाने" वाली प्रणाली का उपयोग करके ग्रेड को एडजस्ट करता है, यह सुनिश्चित करता है कि यदि कोई AI एक छोटे, महत्वपूर्ण समूह को विफल करता है, तो अंतिम स्कोर उस विफलता को दर्शाता है, जिससे चिकित्सा या सुरक्षा जैसे क्षेत्रों में खतरनाक गलतियों को रोका जा सके।

यहाँ शोध पत्र "Correcting Performance Estimation Bias in Imbalanced Classification with Minority Subconcepts" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र असंतुलित वर्गीकरण (imbalanced classification) मॉडलों के मूल्यांकन में एक गंभीर दोष को संबोधित करता है: वर्गों के भीतर की विषमता (within-class heterogeneity) के कारण प्रदर्शन अनुमान पूर्वाग्रह (performance estimation bias)।

मुख्य मुद्दा: मानक मूल्यांकन मेट्रिक्स (जैसे, Balanced Accuracy, F1, AUC) क्लास स्तर पर कार्य करते हैं। हालाँकि, एक एकल क्लास (विशेष रूप से अल्पसंख्यक क्लास) में अक्सर कई अलग-अलग सबकॉन्सेप्ट्स (subconcepts) होते हैं (जैसे, मेडिकल इमेजिंग में विभिन्न रोग उपप्रकार या टेक्स्ट में विभिन्न हेट-स्पीच श्रेणियाँ)।
पूर्वाग्रह (The Bias): असंतुलित सेटिंग्स में, मानक मेट्रिक्स सबसे बड़े अल्पसंख्यक सबकॉन्सेप्ट्स की ओर अत्यधिक झुके होते हैं। एक मॉडल सबसे अधिक बार आने वाले सबकॉन्सेप्ट पर अच्छा प्रदर्शन करके उच्च कुल स्कोर प्राप्त कर सकता है, जबकि वह छोटे, दुर्लभ, लेकिन नैदानिक या सामाजिक रूप से महत्वपूर्ण सबकॉन्सेप्ट्स पर बुरी तरह विफल हो सकता है।
पूर्व कार्य की सीमा: पिछले शोध ने दिखाया कि मूल्यांकन के दौरान 'ट्रू सबकॉन्सेप्ट लेबल्स' (true subconcept labels) का उपयोग करके इंस्टेंस को वेट (weight) देने से इस पूर्वाग्रह को ठीक किया जा सकता है। हालाँकि, वास्तविक दुनिया के डिप्लॉयमेंट में, टेस्ट टाइम पर वास्तविक सबकॉन्सेप्ट लेबल्स मिलना दुर्लभ है, जिससे यह सुधार अव्यवहारिक हो जाता है।

2. कार्यप्रणाली (Methodology)

लेखक एक व्यावहारिक, यूटिलिटी-वेटेड इवैल्यूएशन फ्रेमवर्क (utility-weighted evaluation framework) प्रस्तावित करते हैं जो केवल ट्रेनिंग डेटा और प्रेडिक्टेड प्रोबेबिलिटीज का उपयोग करके आदर्श "ट्रू-लेबल" वेटिंग का अनुमान लगाता है।

A. वैचारिक ढांचा: यूटिलिटी-वेटेड बैलेंस्ड एक्यूरेसी (UWBA)

लेखक बैलेंस्ड एक्यूरेसी (BA) को पुनर्व्याख्यायित करते हैं जिसमें इंस्टेंस वेट्स ( $w_i$ ) शामिल होते हैं जो सबकॉन्सेप्ट्स के सापेक्ष महत्व को दर्शाते हैं।

मानक BA: $BA = \frac{1}{2} (Recall_0 + Recall_1)$ ।
वेटेड रिकॉल: $Recall^{(w)}_c = \frac{\sum w_i \cdot \mathbb{I}[y_i=c \land \hat{y}_i=c]}{\sum w_i \cdot \mathbb{I}[y_i=c]}$ ।
लक्ष्य: एग्रीगेट स्कोर में बड़े सबकॉन्सेप्ट्स के प्रभुत्व को कम करने के लिए छोटे सबकॉन्सेप्ट्स से संबंधित इंस्टेंस को उच्च वेट देना।

B. प्रस्तावित समाधान: प्रेडिक्टेड-वेटेड बैलेंस्ड एक्यूरेसी (pBA)

चूँकि टेस्ट टाइम पर वास्तविक सबकॉन्सेप्ट लेबल्स उपलब्ध नहीं होते हैं, लेखक एक सॉफ्ट, अनिश्चितता-जागरूक वेटिंग रणनीति (soft, uncertainty-aware weighting strategy) पेश करते हैं:

ट्रेनिंग चरण: उपलब्ध सबकॉन्सेप्ट लेबल्स का उपयोग करके अल्पसंख्यक क्लास (और संभावित रूप से बहुसंख्यक क्लास) पर एक मल्टीक्लास सबकॉसेप्ट क्लासिफायर को प्रशिक्षित किया जाता है।
इन्फरेंस चरण: एक टेस्ट इंस्टेंस $x$ के लिए, सबकॉसेप्ट क्लासिफायर सभी सबकॉन्सेप्ट्स $s$ पर एक पोस्टीरियर प्रोबेबिलिटी डिस्ट्रीब्यूशन $q_s(x) = P(s|x)$ आउटपुट करता है।
वेट गणना: इंस्टेंस को किसी एक सिंगल सबकॉन्सेप्ट में हार्ड-असाइन करने के बजाय (जो त्रुटियों को बढ़ा सकता है), वेट की गणना एक्सपेक्टेड यूटिलिटी (expected utility) के रूप में की जाती है:
$a_x = \sum_{s \in S} q_s(x) u_s$
जहाँ $u_s$ एक यूटिलिटी वैल्यू है जो सबकॉन्सेप्ट $s$ को दी गई है (आमतौर पर ट्रेनिंग सेट में इसके आकार के व्युत्क्रमानुपाती)।
परिणाम: इससे pBA (Predicted-Weighted Balanced Accuracy) प्राप्त होता है, जो एक ऐसा मेट्रिक है जो बिना ग्राउंड-ट्रुथ सबकॉन्सेप्ट लेबल्स के, दुर्लभ सबकॉन्सेप्ट्स पर प्रदर्शन के प्रति संवेदनशील है।

3. मुख्य योगदान (Key Contributions)

व्यावहारिक मूल्यांकन मेट्रिक: pBA का परिचय, जो आदर्श सैद्धांतिक मूल्यांकन (ट्रू लेबल्स का उपयोग करके) और व्यावहारिक डिप्लॉयमेंट (जहाँ लेबल्स अनुपलब्ध हैं) के बीच के अंतर को पाटता है।
सॉफ्ट वेटिंग मैकेनिज्म: हार्ड सबकॉन्सेप्ट असाइनमेंट से हटकर एक प्रोबेबिलिस्टिक, एक्सपेक्टेशन-आधारित वेटिंग की ओर बढ़ना जो अनिश्चितता को बनाए रखता है और क्लासिफायर बाउंड्री एरर्स के कारण मेट्रिक को दंडित होने से बचाता है।
व्यापक अनुभवजन्य विश्लेषण: अध्ययन विभिन्न डोमेन में विधि को मान्य करता है:
- टेबुलर बेंचमार्क्स: Keel और PMLB डेटासेट्स।
- मेडिकल इमेजिंग: NIH ChestX-ray, Ottawa Hospital, Pneumonia/COVID-19/TB, और HAM10000।
- टेक्स्ट/मल्टीमॉडल: MMHS150K (Hate Speech)।
डायग्नोस्टिक इनसाइट: यह पेपर दर्शाता है कि pBA एक डायग्नोस्टिक टूल के रूप में कार्य करता है। जब pBA, स्टैंडर्ड अनवेटेड BA से काफी भिन्न होता है, तो यह संकेत देता है कि एग्रीगेट स्कोर भ्रामक है और विशिष्ट उप-जनसंख्याओं द्वारा संचालित है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन रिसर्च क्वेश्चंस (RQs) के विरुद्ध विधि का मूल्यांकन किया:

RQ1: क्या प्रेडिक्टेड वेटिंग बड़े सबकॉन्सेप्ट्स के प्रति पूर्वाग्रह को कम कर सकती है?
- परिणाम: हाँ। Keel और PMLB डेटासेट्स पर, pBA ने फुल-टेस्ट स्कोर और सबसे बड़े अल्पसंख्यक सबकॉन्सेप्ट स्कोर के बीच सहसंबंध अंतराल (correlation gap) को काफी कम कर दिया।
- तुलना: जबकि "ट्रू-वेटेड BA" (ग्राउंड ट्रुथ का उपयोग करके) ने सबसे मजबूत सुधार प्रदान किया, pBA ने इस व्यवहार को सफलतापूर्वक अनुमानित किया, जिससे एग्रीगेट स्कोर को सबसे बड़े सबकॉन्सेप्ट के प्रभुत्व से दूर ले जाने में मदद मिली।
- मेट्रिक संवेदनशीलता: इसका प्रभाव बैलेंस्ड एक्यूरेसी (BA) और F1-स्कोर के लिए सबसे अधिक स्पष्ट था। AUC में कम नाटकीय सुधार देखा गया, संभवतः इसलिए क्योंकि यह एक रैंकिंग-आधारित मेट्रिक है जो एक्यूरेसी-आधारित मेट्रिक्स की तुलना में विशिष्ट इंस्टेंस वेटिंग के प्रति कम संवेदनशील होता है।
RQ2: सबकॉसेप्ट क्लासिफायर की सटीकता pBA की विश्वसनीयता को कैसे प्रभावित करती है?
- परिणाम: सबकॉसेप्ट क्लासिफायर के प्रदर्शन और प्रेडिक्टेड एवं ट्रू वेट्स के बीच के एरर के बीच एक मजबूत नकारात्मक सहसंबंध है।
- निहितार्थ: जैसे-जैसे सबकॉन्सेप्ट क्लासिफायर में सुधार होता है, pBA वेट्स आदर्श ट्रू वेट्स की ओर अभिसरित (converge) होते हैं। यह पुष्टि करता है कि यह विधि मजबूत है और सहायक मॉडल के बेहतर होने के साथ बेहतर होती है।
RQ3: सबकॉन्सेप्ट ज्योमेट्री और कठिनाई स्कोर को कैसे प्रभावित करती है?
- परिणाम: यह विधि बिना सोचे-समझे दुर्लभ सबकॉन्सेप्ट्स को दंडित नहीं करती है।
  - यदि छोटे सबकॉन्सेप्ट्स अधिक कठिन (कम सटीकता) हैं, तो pBA एग्रीगेट स्कोर को कम कर देता है, जिससे अनवेटेड मेट्रिक का अति-आशावाद (optimism) उजागर होता है।
  - यदि छोटे सबकॉन्सेप्ट्स आसान (उच्च सटीकता) हैं, तो pBA एग्रीगेट स्कोर को बढ़ा सकता है।
- महत्व: यह सिद्ध करता है कि pBA एक "निराशावादी" सुधार नहीं बल्कि एक प्रतिनिधि (representative) सुधार है, जो लेटेंट सब-पॉपुलेशन के प्रदर्शन को वास्तव में दर्शाता है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

फेयरनेस से परे: यह पेपर इसे केवल निष्पक्षता (fairness) के मुद्दे के रूप में नहीं, बल्कि एक मौलिक मूल्यांकन समस्या के रूप में देखता है। उच्च औसत प्रदर्शन "हिडन स्ट्रैटिफिकेशन" (hidden stratification) को छिपा सकता है जहाँ महत्वपूर्ण उप-समूहों की अनदेखी की जाती है।
डिप्लॉयमेंट सुरक्षा: चिकित्सा जैसे उच्च-जोखिम वाले क्षेत्रों में, अनवेटेड स्कोर पर भरोसा करने से ऐसे सिस्टम तैनात करने का जोखिम होता है जो दुर्लभ लेकिन महत्वपूर्ण स्थितियों पर विफल हो जाते हैं। pBA एक अधिक स्थिर और व्याख्या योग्य मूल्यांकन प्रदान करता है।
लाइटवेट डायग्नोस्टिक: इस विधि के लिए मुख्य क्लासिफायर को फिर से प्रशिक्षित करने या जटिल ग्रुप-रोबस्ट ऑप्टिमाइज़ेशन की आवश्यकता नहीं है। यह यह निर्धारित करने के लिए एक लाइटवेट पोस्ट-हॉक लेयर के रूप में कार्य करता है कि क्या रिपोर्ट किया गया स्कोर वर्ग के भीतर की विषमता के प्रति सुदृढ़ है।
भविष्य का कार्य: लेखक सबकॉन्सेप्ट प्रेडिक्शन स्टेप को बेहतर बनाने और बड़े बहुसंख्यक सबकॉन्सेप्ट्स के विश्लेषण को विस्तारित करने का सुझाव देते हैं।

सारांश: यह पेपर pBA पेश करता है, जो एक व्यावहारिक मूल्यांकन मेट्रिक है जो असंतुलित वर्गीकरण मेट्रिक्स के पूर्वाग्रह को ठीक करने के लिए प्रेडिक्टेड सबकॉन्सेप्ट प्रोबेबिलिटीज का उपयोग करता है। यह प्रभावी ढंग से प्रकट करता है कि कब किसी मॉडल का उच्च औसत स्कोर बड़े और आसान सबकॉन्सेप्ट्स के प्रभुत्व के कारण एक भ्रम है, जो विषम, वास्तविक दुनिया के परिदृश्यों में मॉडल प्रदर्शन का आकलन करने के लिए एक अधिक विश्वसनीय उपकरण प्रदान करता है।