🤖 machine learning

Principled Evaluation with Human Labels: One Rater at a Time and Rater Equivalence

यह शोध पत्र यह तर्क देता है कि जब मानवीय निर्णय वस्तुनिष्ठता या समभाव की कमी रखते हैं, तो बहुमत के मतों का उपयोग करने की तुलना में व्यक्तिगत रेटर्स के विरुद्ध स्कोरिंग क्लासिफायर करना और परिणामों का औसत निकालना अधिक सिद्धांतवादी है, और एक क्लासिफायर के प्रदर्शन से मेल खाने के लिए आवश्यक रेटर्स की न्यूनतम संख्या निर्धारित करने के लिए "रेटर इक्विवेलेंस" (रेटर तुल्यता) को एक मीट्रिक के रूप में प्रस्तुत करता है।

मूल लेखक: Paul Resnick, Yuqing Kong, Grant Schoenebeck, Tim Weninger

प्रकाशित 2026-04-24

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Paul Resnick, Yuqing Kong, Grant Schoenebeck, Tim Weninger

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कंपनी में मैनेजर हैं और आपको यह तय करना है कि क्या एक नया AI रोबोट काम पर रखना चाहिए जो वह काम करेगा जो आमतौर पर इंसान करते हैं। यह काम पेचीदा है: इसमें चीजों का निर्णय लेना शामिल है जैसे कि "क्या यह टिप्पणी अपमानजनक है?" या "क्या यह फोटो मजेदार है?" या "क्या यह समाचार कहानी सच है?"

समस्या यह है कि इंसान हमेशा इन उत्तरों पर सहमत नहीं होते। एक व्यक्ति को कोई मजाक बहुत मजेदार लग सकता है, जबकि दूसरा व्यक्ति उसे अपमानजनक मान सकता है। तो, आपको कैसे पता चलेगा कि आपका AI इस काम के लिए पर्याप्त अच्छा है?

शोधकर्ताओं की एक टीम द्वारा लिखा गया यह शोध पत्र तर्क देता है कि हम आमतौर पर इन AI रोबोटों का परीक्षण करने के जिस तरीके का उपयोग करते हैं, वह अक्सर गलत होता है। वे प्रदर्शन को मापने का एक नया, अधिक निष्पक्ष तरीका प्रस्तावित करते हैं जिसे "रेटर इक्विवेलेंस" (Rater Equivalence) कहा जाता है।

यहाँ सरल शब्दों में इसका विवरण दिया गया है, कुछ मजेदार उपमाओं (analogies) का उपयोग करते हुए।

1. पुराना तरीका: "लोकप्रिय वोट" की गलती

परिदृश्य:
आपके पास एक AI है जो छात्रों के निबंधों को ग्रेड देता है। आपके पास निबंधों की जांच करने के लिए 10 मानव शिक्षकों का एक पैनल भी है।

पुराना तरीका: आप 10 शिक्षकों से एक निबंध को ग्रेड करने के लिए कहते हैं। यदि 6 कहते हैं "A" और 4 कहते हैं "B," तो आप घोषणा करते हैं कि "सत्य उत्तर" A है। फिर आप देखते हैं कि क्या AI ने "A" का अनुमान लगाया। यदि उसने ऐसा किया, तो उसे एक अंक मिलता है। यदि उसने "B" का अनुमान लगाया, तो उसे शून्य मिलता है।

यह दोषपूर्ण क्यों है:
लेखक कहते हैं कि यह 10 थर्मामीटरों (जिनमें से कुछ खराब हैं या जिनकी अलग-अलग राय है) का औसत लेकर कमरे के "तापमान" को मापने जैसा है।

समस्या: व्यक्तिपरक कार्यों (जैसे हास्य या नीति उल्लंघन) में, कोई एक एकल "सही" उत्तर नहीं होता है। "बहुमत का वोट" एक नकली "ग्राउंड ट्रुथ" (वास्तविक सत्य) बनाता है जो वास्तव में मौजूद ही नहीं है।
उपमा: कल्पना कीजिए कि आप एक कुकिंग प्रतियोगिता का निर्णय ले रहे हैं। यदि 6 जज कहते हैं कि सूप "बहुत नमकीन" है और 4 कहते हैं कि यह "परफेक्ट" है, तो बहुमत का वोट कहता है "बहुत नमकीन।" लेकिन यदि AI कहता है "परफेक्ट," तो पुराना तरीका कहता है कि AI गलत है। लेकिन शायद AI उन 4 लोगों के लिए सही है जिन्हें यह पसंद आया! बहुमत के वोट को थोपकर, आप AI को अल्पसंख्यक राय को देखने के लिए दंडित करते हैं, जो कि एक वैध राय भी है।

नई सलाह:
पैनल से एक एकल "सत्य उत्तर" न मांगें। इसके बजाय, AI से पूछें: "आप शिक्षक A के साथ कितनी बार सहमत थे? शिक्षक B के साथ कितनी बार?" फिर, उन स्कोर का औसत निकालें।

रूपक: AI से "वोट के विजेता" का अनुमान लगाने के लिए कहने के बजाय, यह अनुमान लगाने के लिए कहें कि प्रत्येक व्यक्तिगत व्यक्ति क्या कहेगा। यदि AI व्यक्तिगत रूप से शिक्षकों के 80% के साथ सहमत है, तो वह बहुत अच्छा काम कर रहा है, भले ही शिक्षक किसी एक विजेता पर सहमत न हों।

2. नौकरियों के दो प्रकार

यह पत्र बताता है कि नौकरियों के दो प्रकार हैं, और आपको उनके साथ अलग तरह से व्यवहार करने की आवश्यकता है:

प्रकार A: "वस्तुनिष्ठ" (Objective) काम (जैसे गणित या एक्स-रे)
- उदाहरण: "क्या इस एक्स-रे में ट्यूमर है?"
- वास्तविकता: यहाँ एक वास्तविक, भौतिक सत्य होता है। या तो ट्यूमर वहां है या नहीं है। यदि इंसान असहमत हैं, तो इसका मतलब है कि उन्होंने गलती की है (शोर/noise)।
- सलाह: यदि आप कर सकते हैं, तो असली सत्य (जैसे बायोप्सी) प्राप्त करें। यदि आप नहीं कर सकते, तो बहुत सावधान रहें। पैनल के मनुष्यों को पूर्ण मानने के लिए उन पर भरोसा न करें।
प्रकार B: "व्यक्तिपरक" (Subjective) काम (जैसे कला या नीति)
- उदाहरण: "क्या यह टिप्पणी 'घृणास्पद' है?" या "क्या यह फिल्म 'अच्छी' है?"
- वास्तविकता: यहाँ कोई एकल सत्य नहीं है। "घृणास्पद" होना इस पर निर्भर करता है कि आप किससे पूछ रहे हैं। यदि 60% लोग सोचते हैं कि यह घृणास्पद है, तो यह 60% घृणास्पद है।
- सलाह: कभी भी बहुमत के वोट का उपयोग न करें। बस प्रत्येक व्यक्तिगत मानव के साथ सहमति का औसत निकालें। यह "सब्जेक्टिव यूटिलिटी मॉडल" है।

3. नया मीट्रिक: "रेटर इक्विवेलेंस" (Rater Equivalence)

अब, मान लीजिए कि आपके पास आपका AI है, और आप जानना चाहते हैं: "मुझे इस AI के समान काम करने के लिए कितने मनुष्यों को काम पर रखने की आवश्यकता होगी?"

यहीं पर वे रेटर इक्विवेलेंस पेश करते हैं।

उपमा: "पावर कर्व"
कल्पना कीजिए कि आप एक नए अति-सटीक थर्मामीटर (AI) का परीक्षण कर रहे हैं। आप जानना चाहते हैं कि यह नियमित थर्मामीटरों (मनुष्यों) के समूह की तुलना में कितना अच्छा है।

आप 1 मानव के विरुद्ध AI का परीक्षण करते हैं। AI जीत जाता है।
आप मिलकर काम करने वाले 2 मनुष्यों के विरुद्ध AI का परीक्षण करते हैं। AI अभी भी जीतता है, लेकिन अंतर कम हो जाता है।
आप 3 मनुष्यों के विरुद्ध AI का परीक्षण करते हैं। अब, मनुष्य जीत जाते हैं!

रेटर इक्विवेलेंस वह सटीक संख्या है जहाँ मनुष्य AI को हरा देते हैं।

यदि AI का रेटर इक्विवेलेंस 2.5 है, तो इसका मतलब है कि AI 2 मनुष्यों की टीम से बेहतर है, लेकिन 3 लोगों की टीम जितना अच्छा नहीं है।
यह क्यों शानदार है: यह आपको एक ऐसा नंबर देता है जिसे आप समझ सकते हैं। "यह AI 3.5 लोगों के बराबर स्मार्ट है।" आप फिर लागत की गणना कर सकते हैं: "क्या मैं 3.5 मनुष्यों के लिए भुगतान करना चाहता हूँ, या बस AI चलाना चाहता हूँ?"

4. गुप्त नुस्खा: "एनोनिमस बेयसियन कॉम्बाइनर" (Anonymous Bayesian Combiner)

इस नंबर को सही ढंग से प्राप्त करने के लिए, आपको मानव उत्तरों को संयोजित करने का एक स्मार्ट तरीका चाहिए।

गलत तरीका: केवल साधारण बहुमत वोट (51% बनाम 49%) लें। यह "मायोपिक" (अल्पदर्शी) है। यह पैटर्न को अनदेखा करता है।
सही तरीका: लेखकों ने एक गणितीय ट्रिक बनाई है जिसे एनोनिमस बेयसियन कॉम्बाइनर कहा जाता है।
- रूपक: कल्पना कीजिए कि आप एक जासूस हैं। आप एक संदिग्ध (वस्तु) देखते हैं और आपके पास 3 गवाह (मनुष्य) हैं।
  - गवाह A कहता है "दोषी।"
  - गवाह B कहता है "दोषी।"
  - गवाह C कहता "निर्दोष।"
- एक साधारण वोट कहता है "दोषी।"
- लेकिन बेयसियन कॉबाइनर गवाहों के पूरे इतिहास को देखता है। "रुको, गवाह C आमतौर पर तब सही होता है जब अन्य दो इस प्रकार के मामले में गलत होते हैं।" यह सटीक भविष्यवाणी करने के लिए सभी डेटा का उपयोग करता है।
- यह तरीका यह सुनिश्चित करता है कि आप मनुष्यों की क्षमता का बहुत अधिक आकलन न करें, जिससे AI वास्तव में जितना अच्छा है उससे भी बुरा दिखाई दे।

5. भविष्य के लिए यह क्यों मायने रखता है

हम हर चीज़ के लिए AI का उपयोग कर रहे हैं: सोशल मीडिया मॉडरेशन, निबंधों की ग्रेडिंग, बीमारियों का निदान आदि।

जाल (The Trap): यदि हम "बहुमत के वोट" विधि का उपयोग करते हैं, तो हम एक बेहतरीन AI को हटा सकते क्योंकि वह "भीड़" से सहमत नहीं था, भले ही भीड़ विभाजित थी। या, हम एक खराब AI को रख सकते क्योंकि "भीड़" भ्रमित थी।
समाधान: रेटर इक्विवेलेंस का उपयोग करके, हमें एक स्पष्ट, निष्पक्ष संख्या मिलती है।
- "यह AI 4 विशेषज्ञ पत्रकारों की टीम के बराबर है।"
- "यह AI 0.5 पत्रकारों के बराबर है (यह एक व्यक्ति से भी बदतर है)।"

सारांश

विषयपरक चीजों (जैसे विचारों) को परखते समय "बहुमत के वोट" से बचें। यह नकली सत्य बनाता है।
AI को हर एक मानव के विरुद्ध स्कोर करें और परिणामों का औसत निकालें।
"रेटर इक्विवेलेंस" का उपयोग करें यह उत्तर देने के लिए कि: "यह AI कितने मनुष्यों की जगह लेता है?"
स्मार्ट गणित (बेयसियन कॉम्बाइनर) का उपयोग करें ताकि आप मानव उत्तरों को जोड़ सकें ताकि आप छोटे सैंपल साइज से धोखा न खाएं।

यह शोध पत्र हमें AI के प्रदर्शन को मापने के लिए एक ऐसा पैमाना देता है जो वास्तव में उस दुनिया में समझ में आता है जहाँ इंसान हमेशा एकमत नहीं होते।

यहाँ Resnick et al. के शोध पत्र "Principled Evaluation with Human Labels: One Rater at a Time and Rater Equivalence" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

कई मशीन लर्निंग वर्गीकरण कार्यों (जैसे, कंटेंट मॉडरेशन, रेडियोलॉजी, सेंटीमेंट एनालिसिस) में, कोई निश्चित "ग्राउंड ट्रुथ" (ground truth) नहीं होता है। इसके बजाय, मूल्यांकन मानव निर्णयों पर निर्भर करता है, जिनमें अक्सर असहमति होती है। यह शोध पत्र दो महत्वपूर्ण चुनौतियों को संबोधित करता है:

मूल्यांकन (Evaluation): एक क्लासिफायर को मानव लेबल के विरुद्ध कैसे स्कोर किया जाना चाहिए? सामान्य अभ्यास कई रेटर्स के लेबल को संयोजित करना (जैसे, बहुमत मत/majority vote के माध्यम से) है ताकि एक "गोल्ड स्टैंडर्ड" बनाया जा सके और फिर इस एग्रीगेट के विरुद्ध क्लासिफायर को स्कोर किया जा सके। लेखक तर्क देते हैं कि यह अक्सर सैद्धांतिक रूप से अनुचित है।
बेंचमार्किंग (Benchmarking): हम एक क्लासिफायर के प्रदर्शन की तुलना एक मानव विकल्प से कैसे कर सकते हैं? विशेष रूप से, एक दिए गए क्लासिफायर के प्रदर्शन से मेल खाने के लिए कितने मानव रेटर्स की आवश्यकता होगी?

मुख्य मुद्दा यह है कि मानव लेबल को एक एकल "सत्य" मानने से कार्य की प्रकृति (व्यक्तिपरक बनाम वस्तुनिष्ठ) और त्रुटियों की भिन्न लागतों (equanimity) की अनदेखी होती है।

2. सैद्धांतिक ढांचा (Theoretical Framework)

लेखक एक निर्णय ढांचे का प्रस्ताव करते हैं जो मूल्यांकन सेटिंग के दो गुणों पर आधारित है:

A. दो उपयोगिता मॉडल (Two Utility Models)

व्यक्तिपरक उपयोगिता मॉडल (Subjective Utility Model):
- संदर्भ: कोई वस्तुनिष्ठ ग्राउंड ट्रुथ मौजूद नहीं है (जैसे, "क्या यह टिप्पणी अमानवीयकरण करने वाली है?")। रेटर्स के बीच असहमति दृष्टिकोणों के वैध अंतर को दर्शाती है, न कि शोर (noise) को।
- धारणा: उपयोगिता (utility) जनसंख्या के यादृच्छिक रूप से चुने गए रेटर के विरुद्ध अपेक्षित स्कोर के रूप में परिभाषित है।
- निहितार्थ: "सत्य" मानव निर्णयों का वितरण है, न कि एक एकल लेबल।
वस्तुनिष्ठ उपयोगिता मॉडल (Objective Utility Model):
- संदर्भ: एक वस्तुनिष्ठ ग्राउंड ट्रुथ मौजूद है (जैसे, "क्या वहां ट्यूमर है?"), लेकिन यह तुरंत अवलोकन योग्य नहीं है। रेटर की असहमति को सत्य को समझने में शोर के रूप में देखा जाता है।
- धारणा: उपयोगिता पूरी तरह से छिपे हुए ग्राउंड ट्रुथ ( $g_i$ ) से मेल खाने पर निर्भर करती है।
- निहितार्थ: मानव लेबल अपूर्ण प्रॉक्सी (proxies) हैं। यदि ग्राउंड ट्रुथ उपलब्ध नहीं है, तो कोई भी सीमित पैनल आकार सही मूल्यांकन की गारंटी नहीं देता है।

B. इक्वैनिमिटी (Equanimity)

परिभाषा: क्या गलत वर्गीकरण का नुकसान इस बात से स्वतंत्र है कि आइटम कितना स्पष्ट है।
प्रासंगिकता: यदि इक्वैनिमिटी लागू नहीं होती है (जैसे, एक ट्यूमर को मिस करना जिसे 90% डॉक्टर पकड़ लेते, एक सीमावर्ती मामले को मिस करने से अधिक बुरा है), तो वस्तुनिष्ठ सेटिंग्स में भी व्यक्तिपरक उपयोगिता मॉडल ही अक्सर एकमात्र व्यावहारिक विकल्प होता है क्योंकि यह व्यक्तिगत लेबल से सीधे मापने योग्य है।

3. कार्यप्रणाली और मुख्य निष्कर्ष (Methodology and Key Findings)

A. मूल्यांकन रणनीति: "एक के विरुद्ध स्कोर करें, स्कोर का औसत निकालें" (Score Against One, Average the Scores)

यह शोध पत्र Subjective Utility Model के तहत सिद्ध करता है कि:

बहुमत मत (Majority Vote) पक्षपाती है: एक पैनल के बहुमत मत ( $k > 1$ ) के विरुद्ध क्लासिफायर को स्कोर करने से पूर्वाग्रह (bias) उत्पन्न होता है। यह सबसे बार-बार आने वाले लेबल का अधिक प्रतिनिधित्व करता है, जिससे अपेक्षित उपयोगिता विकृत हो जाती है।
एकल रेटर निष्पक्ष है: एक एकल, यादृच्छिक रूप से चुने गए रेटर के विरुद्ध स्कोर करना अपेक्षित उपयोगिता का एक निष्पक्ष अनुमान (unbiased estimate) प्रदान करता है।
इष्टतम अभ्यास: विचरण (variance) को कम करने के लिए बिना पूर्वाग्रह लाए, प्रत्येक उपलब्ध रेटर के विरुद्ध क्लासिफायर को व्यक्तिगत रूप से स्कोर करना चाहिए और फिर परिणामी स्कोर का औसत निकालना चाहिए।
- सूत्र: $Utility \approx \frac{1}{n} \sum_{i} Score(c(x_i), e_{i1})$
- विपरीत: $Score(c(x_i), maj(e_{i1}, ..., e_{ik}))$ का कंप्यूट न करें।

B. बेंचमार्किंग: रेटर इक्वैलेंस (Rater Equivalence)

एक क्लासिफायर की तुलना मानव प्रक्रिया से करने के लिए, लेखक Rater Equivalence ($REQ$) पेश करते हैं:

परिभाषा: एक बेंचमार्क पैनल में मानव रेटर्स की न्यूनतम संख्या ( $k$ ) जिनका संयुक्त निर्णय (एक विशिष्ट कंबाइनर के माध्यम से) दिए गए क्लासिफायर की तुलना में उच्च अपेक्षित स्कोर प्रदान करता है।
पावर कर्व (Power Curve): एक ग्राफ जो पैनल के आकार ( $k$ ) के बढ़ने के साथ मानव बेंचमार्क पैनल के अपेक्षित स्कोर को दर्शाता है।
व्याख्या: यदि किसी क्लासिफायर का $REQ$ 3.5 है, तो वह 3-व्यक्ति मानव पैनल से बेहतर प्रदर्शन करता है लेकिन 4-व्यक्ति पैनल से खराब।

C. एनोनिमस बेयसियन कंबाइनर (The Anonymous Bayesian Combiner - ABC)

मानव लेबल को संयोजित करने के तरीके (यानी "कंबाइनर") के चयन को सुनिश्चित करने के लिए, जो निष्पक्ष और इष्टतम बेंचमार्किंग सुनिश्चित करे, यह महत्वपूर्ण है।

समस्या: मेजॉरिटी वोट या फ्रीक्वेंसी जैसे सरल कंबाइनर "कैलिब्रेटेड" नहीं होते हैं और बेंचमार्क के प्रदर्शन को कृत्रिम रूप से बढ़ा सकते हैं, जिससे क्लासिफायर के $REQ$ का अतिरंजित अनुमान लग सकता है।
समाधान: Anonymous Bayesian Combiner (ABC)।
- यह पिछले रेटर्स के लेबल के देखे गए लेबल के आधार पर अगले रेटर के लेबल की बेयसियन पोस्टीरियर प्रोबेबिलिटी (Bayesian posterior probability) की भविष्यवाणी करने के लिए डेटासेट से सीखता है।
- यह सिद्ध रूप से इष्टतम (minimizes $REQ$) है जब प्रॉपर स्कोरिंग रूल्स जैसे क्रॉस-एन्ट्रॉपी (Cross-Entropy) का उपयोग किया जाता है।
- यह रेटर्स को वितरण से लिए गए अज्ञात ड्रॉ (anonymous draws) के रूप में मानता है, जिससे विशिष्ट रेटर की पहचान के प्रति ओवरफिटिंग से बचा जा सकता है।

4. परिणाम और केस स्टडीज (Results and Case Studies)

लेखकों ने अपने ढांचे को पूर्व साहित्य के तीन केस स्टडीज का उपयोग करके सत्यापित किया:

जिगसॉ पर्सनल अटैक्स (विकिपीडिया कमेंट्स):
- निष्कर्ष: ABC + क्रॉस-एन्ट्रॉपी का उपयोग करते हुए जिगसॉ क्लासिफायर का $REQ$ 7.63 था।
- अंतर्दृष्टि: मूल अध्ययन ने दावा किया कि मॉडल 5 रेटर्स से बेहतर प्रदर्शन करता है। नया ढांचा दिखाता है कि क्लासिफायर के प्रदर्शन से मेल खाने के लिए वास्तव में लगभग 8 रेटर्स की आवश्यकता है, जो यह दर्शाता है कि मूल मूल्यांकन (बहुमत मत का उपयोग करके) क्लासिफायर के सापेक्ष प्रदर्शन के बारे में अत्यधिक आशावादी था।
न्यूज़ क्रेडिबिलिटी (CredBank):
- निष्कर्ष: क्लासिफायर का $REQ$ 0.48 था।
- अंतर्दृष्टि: क्लासिफायर एक एकल मानव रेटर की तुलना में खराब प्रदर्शन करता था। मानव प्रक्रिया (48% वस्तुओं के लिए लेबल एकत्र करना और बाकी के लिए अनुमान लगाना) स्वचालित मॉडल की तुलना में बेहतर थी।
रेडिट अपवोट्स (सोशल रेटिंग):
- निष्कर्ष: रेडिट नेट-अपवोट सिस्टम का $REQ$ 2.39 था।
- अंतर्दृष्टि: हजारों वोटों के बावजूद, रेडित सिग्नल ने एक साधारण पोल के 3 लोगों की तुलना में उपयोगकर्ता की पसंद के बारे में कम जानकारी प्रदान की।

5. महत्व और योगदान (Significance and Contributions)

मूल्यांकन में प्रतिमान परिवर्तन (Paradigm Shift): यह शोध पत्र "ग्राउंड ट्रुथ के रूप में बहुमत मत" के मानक दृष्टिकोण को चुनौती देता है। यह सिद्ध करता है कि व्यक्तिपरक कार्यों के लिए, व्यक्तिगत रेटर्स के विरुद्ध स्कोर का औसत निकालना, एक एग्रीगेटेड लेबल के विरुद्ध स्कोर करने से सैद्धांतिक रूप से बेहतर है।
मापने योग्य मानव बेंचमार्किंग: Rater Equivalence की अवधारणा क्लासिफायर के प्रदर्शन के लिए एक ठोस, व्याख्या योग्य मीट्रिक प्रदान करती है। यह कहने के बजाय कि "मॉडल 85% सटीक है," हितधारक कह सकते हैं कि "मॉडल एक 4-व्यक्ति मानव टीम के बराबर है।"
इष्टतम कंबाइनर एल्गोरिदम: Anonymous Bayesian Combiner (ABC) का परिचय मानव बेंचमार्क को सिम्युलेट करने के लिए एक कम्प्यूटेशनल रूप से सुलभ, सैद्धांतिक रूप से इष्टतम तरीका प्रदान करता है, जिससे यह सुनिश्चित होता है कि तुलनाएं खराब एग्रीगेशन विधियों द्वारा विकृत न हों।
वस्तुनिष्ठ सेटिंग्स के लिए नकारात्मक परिणाम: शोध पत्र कठोरता से सिद्ध करता है कि वस्तुनिष्ठ ग्राउंड ट्रुथ वाले सेटिंग्स में जहाँ लेबल उपलब्ध नहीं हैं, कोई भी सीमित मूल्यांकन पैनल आकार क्लासिफायर की वास्तविक ग्राउंड ट्रुथ की तुलना में रैंकिंग को सही ढंग से नहीं बता सकता है। यह वस्तुनिष्ठ कार्यों के लिए ग्राउंड ट्रुथ लेबल प्राप्त करने की महत्वपूर्ण आवश्यकता को रेखांकित करता है।
व्यावहारिक टूल्स: लेखक इन विधियों को लागू करने के लिए एक सॉफ्टवेयर लाइब्रेरी (surveyequivalence) प्रदान करते हैं, जिससे यह ढांचा अभ्यासकर्ताओं के लिए सुलभ हो जाता है।

निष्कर्ष

यह शोध पत्र तर्क देता है कि मानव लेबल के विरुद्ध AI सिस्टम का मूल्यांकन करने के लिए कार्य की प्रकृति के बारे में सूक्ष्म समझ की आवश्यकता है। व्यक्तिपरक और वस्तुनिष्ठ उपयोगिता के बीच अंतर करके और Rater Equivalence पेश करके, वे मानव-केंद्रित डोमेन में मशीन लर्निंग मॉडलों के मूल्यांकन और तुलना के लिए एक सिद्धांतबद्ध, गणितीय रूप से सुदृढ़ ढांचा प्रदान करते। मुख्य सबक यह है: स्कोर का औसत निकालें, औसत लेबल के विरुद्ध स्कोर न करें।