💬 NLP

Counting on Consensus: Selecting the Right Inter-annotator Agreement Metric for NLP Annotation and Evaluation

यह शोधपत्र कार्यों के प्रकारों के अनुसार मापों को वर्गीकृत करके, लेबल असंतुलन और लुप्त डेटा जैसी चुनौतियों का समाधान करके, और विश्वसनीय एवं पुनरुत्पादित मानव एनोटेशन सुनिश्चित करने के लिए पारदर्शी रिपोर्टिंग प्रथाओं की वकालत करते हुए, एनएलपी (NLP) में इंटर-एनोटेटर एग्रीमेंट मेट्रिक्स के चयन और व्याख्या के लिए एक व्यापक मार्गदर्शिका के रूप में कार्य करता है।

मूल लेखक: Joseph James

प्रकाशित 2026-03-10

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Joseph James

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल रेस्टोरेंट के हेड शेफ हैं, और आपको एक नया, बेहतरीन मेनू बनाना है। लेकिन खाना पकाने से पहले, आपको यह जानना होगा कि "ताज़ा," "तीखा," या "स्वादिष्ट" का वास्तव में क्या मतलब है। इसलिए, आप 50 फूड क्रिटिक्स (खाद्य समीक्षकों) की एक टीम को काम पर रखते हैं ताकि वे व्यंजनों का स्वाद चख सकें और अपनी राय लिख सकें।

यह पेपर, "Counting on Consensus" (सहमति पर भरोसा), मूल रूप से हेड शेफ (शोधकर्ता) के लिए एक गाइडबुक है कि यह कैसे पता लगाया जाए कि क्या वे 50 क्रिटिक्स वास्तव में एक-दूसरे से सहमत हैं, या वे केवल अंदाज़ लगा रहे हैं।

यहाँ सरल उपमाओं (analogies) का उपयोग करके पेपर का विवरण दिया गया है:

1. समस्या: सिर्फ "हाँ" गिनना काफी क्यों नहीं है

कल्पना कीजिए कि आप 100 लोगों से एक डिब्बे में छिपी हुई गेंद का रंग पहचानने के लिए कहते हैं। 90% लोग "लाल" बताते हैं। यदि आप केवल उत्तरों को गिनते हैं, तो आप सोच सकते हैं, "वाह, 90% सहमति! वे निश्चित रूप से विशेषज्ञ होंगे!"

लेकिन रुकिए। क्या होगा अगर गेंद संयोग से ही 90% लाल होने की संभावना रखती थी? या क्या होगा अगर सभी ने केवल इसलिए "लाल" चुना क्योंकि यह सबसे आम रंग है, न कि इसलिए कि उन्होंने गेंद देखी थी?

पेपर का मुख्य बिंदु: केवल यह गिनना कि लोग कितनी बार सहमत होते हैं (Raw Agreement), बिना यह पूछे कि उन्होंने हाथ क्यों उठाए, सिर गिनने जैसा है। यह अक्सर टीम को उनकी वास्तविक क्षमता से अधिक स्मार्ट दिखाता है। हमें सहमति को मापने के लिए एक ऐसे तरीके की आवश्यकता है जो किस्मत (luck) और अंदाज़ लगाने (guessing) को ध्यान में रखे।

2. उपकरण: अलग-अलग कामों के लिए अलग-अलग पैमाने

पेपर समझाता है कि आप एक धागे के टुकड़े, रेत के ढेर और एक तरल पदार्थ को मापने के लिए एक ही पैमाने का उपयोग नहीं कर सकते। विभिन्न NLP (कंप्यूटर भाषा) कार्यों को सहमति मापने के लिए अलग-अलग गणितीय उपकरणों की आवश्यकता होती है।

सरल श्रेणियों के लिए (द "मल्टीपल चॉइस" टेस्ट):
- कार्य: "क्या यह वाक्य खुश है या दुखी?"
- उपकरण: कोहेन का कप्पा (Cohen's Kappa) या क्रिपेंडोर्फ का अल्फा (Krippendorff's Alpha)।
- उपमा: एक ऐसे जज की कल्पना करें जो "भाग्यशाली अनुमानों" के लिए अंक काट देता है। यदि दो क्रिटिक्स "दुखी" पर सहमत होते हैं, लेकिन उन दोनों की हर चीज़ के लिए "दुखी" चुनने की आदत है, तो जज उनका स्कोर कम कर देता है। ये उपकरण पूछते हैं: "क्या वे समझदार होने के कारण सहमत हुए, या केवल अपने पूर्वाग्रह (bias) के कारण?"
रैंकिंग या स्केल के लिए (द "1 से 10" रेटिंग):
- कार्य: "इस फिल्म को 1 से 5 स्टार दें।"
- उपकरण: इंट्राक्लास कोरिलेशन (ICC) या कॉन्कोर्डेंस कोरिलेशन (Concordance Correlation)।
- उपमा: यदि क्रिटिक A फिल्म को 4 स्टार देता है और क्रिटिक B उसे 5 स्टार देता है, तो यह एक मामूली असहमति है। यदि क्रिटिक A उसे 1 स्टार देता है और क्रिटिक B उसे 5 स्टार देता है, तो यह एक बड़ी लड़ाई है। ये उपकरण न केवल यह मापते हैं कि वे सहमत हैं या नहीं, बल्कि यह भी कि उनके स्कोर संख्या रेखा पर कितने करीब हैं।
टेक्स्ट के हिस्सों को खोजने के लिए (द "हाइलाइटर" गेम):
- कार्य: "इस वाक्य में व्यक्ति का नाम हाइलाइट करें।"
- उपकरण: F1 स्कोर या बाउंड्री एडिट डिस्टेंस (Boundary Edit Distance)।
- उपमा: कल्पना कीजिए कि क्रिटिक A अक्षर 1 से 5 तक "जॉन" को हाइलाइट करता है। क्रिटिक B अक्षर 1 से 6 तक "जॉन" को हाइलाइट करता है। क्या वे सहमत हैं? लगभग! ये उपकरण मापते हैं कि उनके हाइलाइटर कितने ओवरलैप होते हैं, जैसे यह देखना कि क्या दो पहेली के टुकड़े पूरी तरह से फिट बैठते हैं या उनके बीच एक छोटा सा अंतर है।

3. छिपे हुए जाल: क्या हमारे स्कोर को बिगाड़ सकता है?

पेपर हमें तीन चीजों के बारे में चेतावनी देता है जो हमारे माप को खराब कर सकती हैं:

"इम्बैलेंस्ड क्लास" (असंतुलित श्रेणी) का जाल:
- परिदृश्य: कल्पना कीजिए कि एक कार्य जहाँ 99% उत्तर "नहीं" हैं और केवल 1% "हाँ" हैं। यदि दो क्रिटिक्स हर बार "नहीं" का अनुमान लगाते हैं, तो वे 99% बार सहमत होंगे! लेकिन वे बेकार हैं।
- समाधान: पेपर ऐसे उपकरणों का सुझाव देता है जो इस तरह की आलसी सहमति को दंडित (penalize) करते हैं।
"मिसिंग डेटा" (लापता डेटा) का जाल:
- परिदृश्य: आपके पास 100 आइटम हैं, लेकिन क्रिटिक A ने केवल 50 देखे, और क्रिटिक B ने केवल 50 अलग आइटम देखे। आप उनकी तुलना कैसे करेंगे?
- समाधान: कुछ उपकरण (जैसे क्रिपेंडोर्फ का अल्फा) लचीले टेप माप की तरह होते हैं; वे पूरे कैलकुलेशन को तोड़े बिना गायब हिस्सों को संभाल सकते हैं।
"पे और समय" का जाल:
- परिदृश्य: यदि आप क्रिटिक्स को प्रति आइटम $0.01 देते हैं और 10 सेकंड का समय देते हैं, तो वे जल्दबाजी करेंगे और अंदाज़ लगाएंगे। यदि आप उन्हें अच्छा भुगतान करते हैं और समय देते हैं, तो वे गहराई से सोचते हैं।
- समाधान: पेपर तर्क देता है कि आप अपने श्रमिकों के साथ कैसा व्यवहार करते हैं (पैसा, समय, प्रशिक्षण) वह डेटा को बदल देता है। आप केवल एक स्कोर रिपोर्ट नहीं कर सकते; आपको यह भी रिपोर्ट करना चाहिए कि आपने श्रमिकों के साथ कैसा व्यवहार किया।

4. बड़ा बदलाव: असहमति "शोर" (Noise) नहीं है

अतीत में, यदि दो क्रिटिक्स असहमत थे, तो शोधकर्ता सोचते थे, "ओह नहीं, उनमें से एक ने गलती की है! आइए उस डेटा को फेंक दें।"

पेपर का नया विचार: असहमति वास्तव में सोना (gold) है।

उपमा: कल्पना कीजिए कि दो लोग एक बादल को देख रहे हैं। एक कहता है, "यह एक ड्रैगन जैसा दिखता है।" दूसरा कहता है, "यह एक जहाज जैसा दिखता है।"
- पुराना दृष्टिकोण: "वे गलत हैं। बादल केवल जलवाष्प है।"
- नया दृष्टिकोण: "बादल अस्पष्ट (ambiguous) है! यह एक ड्रैगन या एक जहाज हो सकता है! यह असहमति हमें बताती है कि बादल दिलचस्प और जटिल है।"
- असहमति को बनाए रखकर, हम कंप्यूटर को सिखाते हैं कि दुनिया अव्यवस्थित और व्यक्तिपरक (subjective) है, न कि केवल ब्लैक एंड व्हाइट।

5. नया दावेदार: क्रिटिक के रूप में AI

अंत में, पेपर उल्लेख करता है कि अब, हम केवल मनुष्यों का उपयोग AI को ग्रेड करने के लिए नहीं करते हैं; कभी-कभी हम AI का उपयोग मनुष्यों (या अन्य AI) को ग्रेड करने के लिए करते हैं।

ट्विस्ट: AI बहुत सुसंगत (consistent) होता है (यह कभी थकता नहीं है), लेकिन यह लगातार गलत या पक्षपाती हो सकता है। मनुष्य अव्यवस्थित होते हैं और असहमत होते हैं, लेकिन वे बारीकियों (nuance) को समझते हैं।
सबक: हमें AI पर "गोल्ड स्टैंडर्ड" के रूप में भरोसा नहीं करना चाहिए। हमें उन सूक्ष्म चीजों को पकड़ने के लिए मानव असहमति को लूप में रखना चाहिए जिन्हें AI मिस कर देता है।

सारांश: शेफ का टेकअवे

यदि आप एक NLP प्रोजेक्ट चला रहे हैं:

सिर्फ सिर न गिनें। अपने विशिष्ट खेल (वर्गीकरण, रैंकिंग, या हाइलाइटिंग) के लिए सही गणितीय उपकरण का उपयोग करें।
किस्मत की जाँच करें। सुनिश्चित करें कि आपकी सहमति केवल इसलिए नहीं है क्योंकि सभी ने एक ही आसान उत्तर का अनुमान लगाया था।
विवरण रिपोर्ट करें। हमें बताएं कि आपने अपने श्रमिकों को कितना भुगतान किया, उन्हें कितना समय मिला, और उनका "कॉन्फिडेंस इंटरवल" (त्रुटि की गुंजाइश) क्या था।
बहसों को अपनाएं। यदि आपके क्रिटिक्स असहमत हैं, तो घबराएं नहीं। इसका मतलब यह हो सकता है कि आपका कार्य दिलचस्प है, टूटा हुआ नहीं।

इन नियमों का पालन करके, हम यह दावा करना बंद कर देते हैं कि हमारा डेटा पूर्ण है और हम ऐसे सिस्टम बनाना शुरू करते हैं जो मानव भाषा की जटिल और सुंदर वास्तविकता को समझते हैं।

जोसेफ जेम्स के शोध पत्र "Counting on Consensus: Selecting the Right Inter-annotator Agreement Metric for NLP Annotation and Evaluation" के आधार पर, यहाँ समस्या, कार्यप्रणाली, प्रमुख योगदान, परिणाम और महत्व को कवर करने वाला एक विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

नेचुरल लैंग्वेज प्रोसेसिंग (NLP) डेटासेट और मूल्यांकन की विश्वसनीयता और व्याख्यात्मकता मौलिक रूप से मानव एनोटेशन (Human Annotation) पर निर्भर करती है। हालाँकि, जैसे-जैसे NLP कार्य सरल श्रेणीगत लेबलिंग से जटिल विभाजन (segmentation), व्यक्तिपरक निर्णय और निरंतर रेटिंग की ओर विकसित हुए हैं, इंटर-एनोटेटर एग्रीमेंट (IAA) को मापना अधिक कठिन हो गया है।

पहचाने गए प्रमुख चुनौतियाँ शामिल हैं:

मीट्रिक मिसअलाइनमेंट (Metric Misalignment): शोधकर्ता अक्सर ऐसे अनुपयुक्त मेट्रिक्स चुनते हैं जो डेटा प्रकार (nominal, ordinal, continuous) या कार्य संरचना (span-based, unitizing) से मेल नहीं खाते।
संयोग समझौता (Chance Agreement): कच्चे प्रतिशत समझौते ( $P_o$ ) पर भरोसा करने से विश्वसनीयता का अतिरंजित अनुमान लग सकता है, विशेष रूपकर असंतुलित वर्गों (imbalanced classes) के मामले में।
रिपोर्टिंग संबंधी कमियाँ (Reporting Deficiencies): अध्ययन अक्सर कॉन्फिडेंस इंटरवल (confidence intervals) के बिना केवल पॉइंट एस्टीमेट रिपोर्ट करते हैं, लुप्त डेटा (missing data) को अनदेखा करते हैं, या लेबल असंतुलन और एनोटेटर पूर्वाग्रह (annotator bias) को ध्यान में रखने में विफल रहते हैं।
असहमति की गलत व्याख्या (Misinterpretation of Disagreement): असहमति को अक्सर केवल "शोर" (noise) के रूप में देखा जाता है जिसे समाप्त किया जाना चाहिए, न कि वास्तविक अस्पष्टता, कार्य की अपर्याप्त विशिष्टता, या मानवीय निर्णय में वैध विविधता के संकेत के रूप में।
विकसित होता मूल्यांकन परिदृश्य (Evolving Evaluation Landscape): मूल्यांकनकर्ता के रूप में लार्ज लैंग्वेज मॉडल्स (LLMs) का उदय इस धारणा को चुनौती देता है कि मानव सहमति मूल्यांकन गुणवत्ता के 'गोल्ड स्टैंडर्ड' ऊपरी स्तर का प्रतिनिधित्व करती है।

2. कार्यप्रणाली (Methodology)

यह शोध पत्र अनुभवजन्य प्रयोगों (empirical experimentation) के बजाय एक व्यापक साहित्य समीक्षा और पद्धतिगत विश्लेषण का उपयोग करता है। लेखक कार्यों को वर्गीकृत करके और उनके अनुरूप सांख्यिकीय दृष्टिकोणों का विश्लेषण करके अपने विश्लेषण को व्यवस्थित करते हैं:

डेटा प्रकार द्वारा वर्गीकरण:
- श्रेणीगत डेटा (Categorical Data): चांस-करेक्टेड गुणांकों (Cohen's $\kappa$ , Fleiss' $\kappa$ , Krippendorff's $\alpha$ , Gwet's AC1/AC2) और कच्चे समझौते की समीक्षा।
- संरचित एनोटेशन (Structured Annotations): स्पैन-आधारित कार्यों (Precision/Recall/F1), टेक्स्ट सेगमेंटेशन (Pk, WindowDiff), और यूनिटाइजिंग कार्यों (Gamma, Boundary Edit Distance) के लिए मेट्रिक्स का विश्लेषण।
- निरंतर डेटा (Continuous Data): अंतराल/अनुपात पैमानों (interval/ratio scales) के लिए विश्वसनीयता उपायों की जांच, जिसमें इंट्राक्लास कोरिलेशन कोएफिशिएंट (ICC), क्रोनबैक का $\alpha$ (Cronbach's $\alpha$ ), और कॉनकोर्डेंस कोएफिशिएंट (CCC) शामिल हैं।
संदर्भगत कारक विश्लेषण (Contextual Factor Analysis): शोध पत्र जांच करता है कि बाहरी कारक कैसे IAA को प्रभावित करते हैं, जिसमें शामिल हैं:
- डेटा असंतुलन (Data Imbalance): कैसे विषम वर्ग वितरण $\kappa$ जैसे मेट्रिक्स को प्रभावित करते हैं।
- लुप्त डेटा (Missing Data): अधूरे एनोटेशन को संभालने की मेट्रिक्स (जैसे, Krippendorff's $\alpha$ ) की क्षमता।
- एनोटेटर जनसांख्यिकी (Annotator Demographics): विशेषज्ञता, डोमेन ज्ञान और सांस्कृतिक पृष्ठभूमि का प्रभाव।
- परिचालन बाधाएं (Operational Constraints): एनोटेशन की गुणवत्ता पर भुगतान संरचनाओं (फ्लैट-रेट बनाम प्रदर्शन-आधारित) और समय के दबाव का प्रभाव।
तुलनात्मक ढांचा (Comparative Framework): लेखक विशिष्ट प्रयोगात्मक डिजाइनों के लिए उपयुक्तता निर्धारित करने के लिए विभिन्न मेट्रिक्स (जैसे, ICC मॉडल में रैंडम बनाम फिक्स्ड रेटर्स) की अंतर्निहित मान्यताओं की तुलना करते हैं।

3. प्रमुख योगदान (Key Contributions)

यह शोध पत्र NLP समुदाय को एनोटेशन की कठोरता में सुधार करने के लिए एक संरचित मार्गदर्शिका प्रदान करता है। इसके प्राथमिक योगदान हैं:

IAA मेट्रिक्स का वर्गीकरण (A Taxonomy of IAA Metrics): कार्य प्रकार के आधार पर व्यवस्थित मेट्रिक्स का एक विस्तृत विवरण (शोध पत्र में तालिका 1), जो उनकी विशिष्ट शक्तियों, सीमाओं और वर्ग असंतुलन एवं लुप्त डेटा जैसी समस्याओं के प्रति संवेदनशीलता को उजागर करता है।
- उदाहरण के लिए: यह स्पष्ट करता है कि लुप्त डेटा और कई एनोटेटरों को संभालने के लिए Krippendorff's $\alpha$ बेहतर है, जबकि Weighted Kappa ऑर्डिनल स्केल के लिए आवश्यक है।
रिपोर्टिंग के लिए सर्वोत्तम अभ्यास (Best Practices for Reporting): लेखक केवल पॉइंट एस्टीमेट से आगे बढ़ने की वकालत करते हैं। मुख्य सिफारिशों में शामिल हैं:
- अनिश्चितता को मापने के लिए कॉन्फिडेंस इंटरवल (confidence intervals) रिपोर्ट करना।
- रेटर डिजाइन (रैंडम बनाम फिक्स्ड) और एनोटेशन गाइडलाइन्स का स्पष्ट वर्णन करना।
- गणनाओं में लेबल प्रिवेलेंस (label prevalence) और लुप्त डेटा को ध्यान में रखना।
असहमति का पुनर्गठन (Reframing Disagreement): शोध पत्र तर्क देता है कि असहमति को हमेशा एक एकल 'ग्राउंड ट्रुथ' में नहीं बदला जाना चाहिए। यह सुझाव देता है कि एनोटेटर पहचान को मॉडल करना और "सॉफ्ट लेबल्स" (लेबल वितरण) को संरक्षित करना डाउनस्ट्रीम मॉडल की मजबूती को बेहतर बना सकता है और वास्तविक अस्पष्टता को पकड़ सकता है।
मानव-मॉडल मूल्यांकन संश्लेषण (Human-Model Evaluation Synthesis): यह LLM-आधारित मूल्यांकन की ओर बदलाव को संबोधित करता है, यह नोट करते हुए कि हालांकि मॉडल उच्च आंतरिक स्थिरता दिखा सकते हैं, वे अक्सर उस सूक्ष्मता और प्रासंगिक संवेदनशीलता को पकड़ने में विफल रहते हैं जो मानव असहमति में पाई जाती है।
नैतिक और परिचालन दिशानिर्देश (Ethical and Operational Guidelines): यह शोध पत्र तकनीकी विश्वसनीयता को नैतिक विचारों से जोड़ता है, इस बात पर जोर देते हुए कि उच्च-गुणवत्ता, विश्वसनीय एनोटेशन के लिए उचित भुगतान और उचित समय सीमा पूर्व-आवश्यकताएं हैं।

4. परिणाम और निष्कर्ष (Results and Findings)

यद्यपि यह शोध पत्र एक समीक्षा है, यह कई निष्कर्ष निकालने के लिए अनेक अध्ययनों के निष्कर्षों को संश्लेषित करता है:

मेट्रिक संवेदनशीलता (Metric Sensitivity): मानक मेट्रिक्स जैसे Cohen's $\kappa$ , उच्च वर्ग असंतुलन (the " $\kappa$ paradox") के तहत अस्थिर होते हैं। Gwet's AC1 या Krippendorff's $\alpha$ जैसे विकल्प इन परिदृश्यों में अधिक स्थिर अनुमान प्रदान करते हैं।
कार्य निर्भरता (Task Dependency): कोई भी "एक-आकार-सभी-के-लिए-उपयुक्त" (one-size-fits-all) मेट्रिक नहीं है।
- सेगमेंटेशन के लिए, WindowDiff या Boundary Edit Distance जैसे मेट्रिक्स सरल F1 स्कोर की तुलना में पसंद किए जाते हैं क्योंकि वे बाउंड्री शिफ्ट को ध्यान में रखते हैं।
- निरंतर रेटिंग के लिए, ICC मानक है, लेकिन विशिष्ट वेरिएंट (जैसे, ICC(2,1) बनाम ICC(3,1)) का चयन इस आधार पर किया जाना चाहिए कि रेटर्स को रैंडम सैंपल माना जाता है या फिक्स्ड एंटिटी।
विश्वसनीयता बनाम वैधता (Reliability vs. Validity): उच्च IAA विश्वसनीयता (निरंतरता) को दर्शाता है, लेकिन यह वैधता (सही निर्माण को मापना) की गारंटी नहीं देता है। उच्च सहमति पक्षपाती गाइडलाइन्स के कारण भी हो सकती है, जबकि कम सहमति वास्तविक जटिलता को दर्शा सकती है।
डिजाइन का प्रभाव (Impact of Design): खराब कार्य डिजाइन (अस्पष्ट निर्देश, अपर्याप्त प्रशिक्षण) और परिचालन कारक (कम भुगतान, समय का दबाव) निम्न IAA के प्राथमिक चालक हैं, जो अक्सर कार्य की अंतर्निहित कठिनाई से भी अधिक होते हैं।
LLM की सीमाएं (LLM Limitations): जबकि LLMs संरचित कार्यों पर मानव विश्वसनीयता के बराबर हो सकते हैं, वे अक्सर उन सूक्ष्म, भावनात्मक या व्यक्तिपरक निर्णयों में कम प्रदर्शन करते हैं जहाँ मानव असहमति एक विशेषता है, त्रुटि नहीं।

5. महत्व (Significance)

यह शोध पत्र NLP शोधकर्ताओं और अभ्यासकर्ताओं के लिए एक महत्वपूर्ण पद्धतिगत मार्गदर्शिका के रूप में कार्य करता है। इसका महत्व निम्नलिखित में निहित है:

पुनरुत्पादकता (Reproducibility) को बढ़ाना: अनिश्चितता मात्रा निर्धारण (uncertainty quantification) सहित सहमति को मापने और रिपोर्ट करने के तरीकों को मानकीकृत करके, यह शोध पत्र डेटासेट तुलना और मूल्यांकन अध्ययनों में "शोर" को कम करने का लक्ष्य रखता है।
डेटा गुणवत्ता में सुधार: शोधकर्ताओं को असहमति को त्रुटि के बजाय सूचनात्मक डेटा के रूप में देखने के लिए प्रोत्साहित करके, यह पेपर अधिक मजबूत मॉडल बनाने को बढ़ावा देता है जो अस्पष्टता और विविध दृष्टिकोणों को संभाल सकें।
नैतिक संरेखण (Ethical Alignment): यह सांख्यिकीय कठोरता और नैतिक एनोटेशन प्रथाओं के बीच के अंतर को पाटता है, यह तर्क देते हुए कि उचित मुआवजा और स्पष्ट दिशानिर्देश केवल नैतिक अनिवार्यताएं नहीं, बल्कि विश्वसनीय IAA के लिए तकनीकी आवश्यकताएं हैं।
मूल्यांकन का भविष्य सुरक्षित करना (Future-Proofing Evaluation): जैसे-जैसे NLP, LLM-एज़-ए-जज (LLM-as-a-judge) प्रतिमानों की ओर बढ़ रहा है, यह शोध पत्र इस बात का ढांचा प्रदान करता है कि कब मानव सहमति आवश्यक है बनाम कब स्वचालित मेट्रिक्स पर्याप्त हैं, यह सुनिश्चित करते हुए कि स्केलेबिलिटी की दौड़ में क्षेत्र मानवीय निर्णय की सूक्ष्मता को न खो दे।

संक्षेप में, "Counting on Consensus" यह तर्क देता है कि IAA केवल एक पोस्ट-होक (post-hoc) गुणवत्ता जांच नहीं है, बल्कि अनुसंधान पद्धति का एक मौलिक घटक है जिसके लिए विशिष्ट NLP कार्यों के संदर्भ में सावधानीपूर्वक मेट्रिक चयन, पारदर्शी रिपोर्टिंग और सहमति (और असहमति) के अर्थ की सूक्ष्म समझ की आवश्यकता होती है।