🤖 AI

STABLEVAL: Disagreement-Aware and Stable Evaluation of AI Systems

यह शोधपत्र STABLEVAL को प्रस्तुत करता है, जो एक असहमति-जागरूक मूल्यांकन ढांचा है जो स्थिर, अनिश्चितता-जागरूक सिस्टम रैंकिंग उत्पन्न करने के लिए अंतर्निहित आइटम शुद्धता और एनोटेटर-विशिष्ट भ्रम पैटर्न को मॉडल करता है, जो पारंपरिक बहुमत मत एकत्रीकरण विधियों में निहित भंगुरता और पूर्वाग्रह को संबोधित करता है।

मूल लेखक: Akash Bonagiri, Gerard Janno Anderias, Saee Patil, Angelina Lai, Devang Borkar, Gezheng Kang, Ishant Gandhi, Setareh Rafatirad, Houman Homayoun

प्रकाशित 2026-05-06

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Akash Bonagiri, Gerard Janno Anderias, Saee Patil, Angelina Lai, Devang Borkar, Gezheng Kang, Ishant Gandhi, Setareh Rafatirad, Houman Homayoun

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप यह तय करने की कोशिश कर रहे हैं कि छह अलग-अलग शेफ में से कौन सबसे अच्छा सूप बनाता है। आप 65 फूड क्रिटिक्स (खाद्य समीक्षकों) से सूप चखने और उन्हें रेटिंग देने के लिए कहते हैं।

पुराना तरीका (बहुमत का वोट - Majority Vote):
अतीत में, शोधकर्ता केवल वोटों की गिनती करते थे। यदि 33 क्रिटिक्स कहते हैं "शेफ A का सूप अच्छा है" और 32 कहते हैं "शेफ A का सूप बुरा है," तो शेफ A को "अच्छा" रेटिंग मिलती है। उन 32 "बुरे" वोटों को अनदेखा कर दिया जाता है।

समस्या: यह नाजुक है। यदि केवल एक क्रिटिक अपना मन बदल लेता है या यदि आप अगले दौर के लिए 65 क्रिटिक्स का एक अलग समूह चुनते हैं, तो विजेता बदल सकता है। यह सभी क्रिटिक्स को समान रूप से पूर्ण मानता है, भले ही कुछ जाने-माने रूप से सख्त हों, कुछ बहुत दयालु हों, या कुछ बस अंदाज़ा लगा रहे हों। यह इस बात की बारीकियों को फेंक देता है कि लोग असहमत क्यों थे।

नया तरीका (STABLEVAL):
इस पेपर के लेखक, STABLEVAL कहते हैं: "केवल वोटों को मत गिनिए; मतदाताओं को समझें।"

वे एक ऐसा सिस्टम प्रस्तावित करते हैं जो एक साधारण वोट-काउंटर के बजाय एक स्मार्ट जासूस की तरह काम करता है। यह कैसे काम करता है, इसके लिए कुछ उपमाएँ दी गई हैं:

1. "कन्फ्यूजन मैट्रिक्स" (जासूस का प्रोफाइल)

यह मानने के बजाय कि हर क्रिटिक परफेक्ट है, STABLEVAL प्रत्येक का एक प्रोफाइल बनाता है।

सख्त क्रिटिक: शायद क्रिटिक नंबर 5 हमेशा सोचता है कि सूप बहुत नमकीन है, भले ही वह ठीक हो। STABLEVAL सीखता है, "आह, क्रिटिक नंबर 5 एक सख्त जज है; मैं उनके 'बुरा' वोट को कम महत्व दूँगा।"
लापरवाह क्रिटिक: शायद क्रिटिक नंबर 10 हर चीज़ के लिए "अच्छा" चुन लेता है। STABLEVAL सीखता है, "क्रिटिक नंबर 10 ध्यान नहीं दे रहा है; मैं उनकी राय को अनदेखा कर दूँगा।"
भ्रमित आइटम: कभी-कभी कोई सूप बस अजीब रूप से अस्पष्ट होता है। STABLEVAL महसूस करता है, "यह विशेष सूप का कटोरा परखने में कठिन है," और एक एकल "अच्छा" या "बुरा" लेबल थोपने के बजाय, यह कहता है, "इस बात की 60% संभावना है कि यह अच्छा है और 40% संभावना है कि यह बुरा है।"

2. "सॉफ्ट स्कोर" बनाम "हार्ड लेबल"

पुराना तरीका (हार्ड लेबल): सूप या तो "अच्छा" (1) है या "बुरा" (0) है। यह एक बाइनरी स्विच है।
STABLEVAL (सॉफ्ट स्कोर): सूप को "0.65" का "क्रेडिट स्कोर" मिलता है। यह स्वीकार करता है कि हालांकि सूप "अच्छे" की ओर झुक रहा है, फिर भी इसमें कुछ अनिश्चितता है। यह अनिश्चितता को जीवित रखता है बजाय इसके कि उसे एक एकल संख्या में कुचल दिया जाए।

3. "स्टेबिलिटी टेस्ट" (द शफल)

पेपर सफलता को मापने का एक नया तरीका पेश करता है जिसे रैंकिंग स्टेबिलिटी (Ranking Stability) कहा जाता है।
कल्पना कीजिए कि आपके पास ताश की एक गड्डी है जो आपके क्रिटिक्स का प्रतिनिधित्व करती है।

बहुमत का वोट (Majority Vote): यदि आप गड्डी को फेंट देते हैं और कुछ कार्ड (क्रिटिक्स) निकाल देते हैं, तो शेफ का क्रम पूरी तरह से बदल सकता है। रैंकिंग अस्थिर है, जैसे ताश का घर।
STABLEVAL: क्योंकि यह प्रत्येक क्रिटिक की विश्वसनीयता को समझता है, यदि आप गड्डी को फेंटते हैं और कुछ कार्ड हटा देते हैं, तो शेफ का क्रम वही रहता है। रैंकिंग स्थिर है, जैसे पत्थर की एक ठोस मूर्ति।

उन्होंने क्या पाया

शोधकर्ताओं ने वास्तविक दुनिया के डेटा (जैसे AI चैटबॉट्स और मेडिकल सारांशों को जज करना) और बनाए गए परिदृश्यों (जिनमें "परेशान करने वाले" क्रिटिक्स थे) पर इसका परीक्षण किया।

"डीनोइजिंग" का जाल (The "Denoising" Trap): उन्होंने "Dawid-Skene" नामक एक पुराने तरीके के साथ इसकी तुलना की। वह पुराना तरीका "सच्चा उत्तर" (जैसे अपराध सुलझाते हुए जासूस) पहचानने में बहुत अच्छा है। हालांकि, पेपर में पाया गया कि केवल "सच्चा उत्तर" जानने का मतलब यह नहीं है कि आपको शेफ की एक स्थिर रैंकिंग प्राप्त होगी। आप सत्य जान सकते हैं लेकिन फिर भी आपकी रैंकिंग ऐसी हो सकती है जो बदलती रहती है।
विजेता: STABLEVAL ने हमेशा "सच्चा" लेबल पूरी तरह से नहीं पहचाना, लेकिन इसने बहुत अधिक सुसंगत रैंकिंग प्रदान की। जब क्रिटिक्स के बीच बहुत अधिक असहमति थी (जो जटिल कार्यों जैसे AI सुरक्षा या मेडिकल सारांशों में अक्सर होता है), तब STABLEVAL ने लीडरबोर्ड को स्थिर रखा, जबकि पुराने तरीकों ने रैंकिंग को बेकाबू तरीके से उछाल दिया।

मुख्य निष्कर्ष (The Bottom Line)

पेपर का तर्क है कि AI मूल्यांकन में, असहमति केवल शोर नहीं है जिसे हटाया जाना चाहिए; बल्कि यह एक संकेत है जिसे समझा जाना चाहिए।

यदि आप जानना चाहते हैं कि कौन सा AI वास्तव में बेहतर है, तो आपको केवल बहुमत के वोट पर निर्भर नहीं रहना चाहिए। आपको एक ऐसा सिस्टम बनाना चाहिए जो जानता हो कि कौन से जज विश्वसनीय हैं, कौन से आइटम पेचीदा हैं, और कितनी अनिश्चितता मौजूद है। यह सुनिश्चित करता है कि जब आप कहते हैं, "AI मॉडल A, AI मॉडल B से बेहतर है," तो आप केवल इसलिए नहीं कह रहे हैं क्योंकि आपको उस दिन जजों का एक विशिष्ट समूह मिला था। आप यह कह रहे हैं क्योंकि परिणाम स्थिर (stable) है, चाहे आप किसी से भी पूछें।

तकनीकी सारांश: STABLEVAL

1. समस्या विवरण (Problem Statement)

आधुनिक AI प्रणालियों के मूल्यांकन के लिए मानव मूल्यांकन (human evaluation) प्राथमिक मानक बना हुआ है, फिर भी यह एनोटेटर की असहमति, पूर्वाग्रह और परिवर्तनशीलता से ग्रस्त है। वर्तमान मूल्यांकन पाइपलाइन मुख्य रूप से बहुमत मत (majority vote - MV) एकत्रीकरण पर निर्भर करती है, जो बहु-एनोटेटर निर्णयों को एक एकल 'हार्ड लेबल' में समाहित कर देती है। लेखक तर्क देते हैं कि यह दृष्टिकोण असहमति को एक ऐसे शोर (noise) के रूप रूप में देखता है जिसे समाप्त किया जाना चाहिए, जिससे एनोटेटर की विश्वसनीयता और आइटम-स्तरीय अस्पष्टता के संबंध में महत्वपूर्ण जानकारी लुप्त हो जाती है।

परिणामस्वरूप, बहुमत मत से प्राप्त सिस्टम रैंकिंग अक्सर नाजुक (fragile) होती है: एनोटेटर पूल की संरचना में छोटे बदलाव एजेंटों के स्कोर और रैंकिंग में महत्वपूर्ण बदलाव ला सकते हैं। यह अस्थिरता AI मूल्यांकन की मजबूती और पुनरुत्पादकता (reproducibility) को कमजोर करती है, विशेष रूप से विषम एनोटेटर व्यवहार या प्रतिकूल शोर (adversarial noise) वाले परिवेश में। पहचाना गया केंद्रीय संकट केवल एक शोर-मुक्त ग्राउंड ट्रुथ लेबल को पुनः प्राप्त करना नहीं है, बल्कि स्थिर और अनिश्चितता-जागरूक सिस्टम तुलना (stable and uncertainty-aware system comparisons) उत्पन्न करना है जो वास्तविक एनोटेटर परिवर्तनशीलता के तहत सुसंगत बनी रहे।

2. कार्यप्रणाली: STABLEVAL फ्रेमवर्क (Methodology: The STABLEVAL Framework)

यह शोध पत्र STABLEVAL प्रस्तुत करता है, जो एक असहमति-जागरूक मूल्यांकन ढांचा है जिसे लेटेंट आइटम शुद्धता (latent item correctness) और एनोटेटर-विशिष्ट भ्रम पैटर्न (confusion patterns) को मॉडल करने के लिए डिज़ाइन किया गया है। क्लासिकल लेबल-डिनोइजिंग दृष्टिकोणों (जैसे Dawid–Skene) के विपरीत, जिनका लक्ष्य प्रति आइटम एक एकल लेटेंट लेबल का अनुमान लगाना है, STABLEVAL स्पष्ट रूप से स्थिर सिस्टम मूल्यांकन (stable system evaluation) के लिए अनुकूलित है।

2.1 संभाव्य मॉडलिंग (Probabilistic Modeling)

यह फ्रेमवर्क मूल्यांकन समस्या को एक लेटेंट वेरिएबल मॉडल का उपयोग करके मॉडल करता है:

लेटेंट शुद्धता ( $z_i$ ): प्रत्येक आइटम $i$ का एक अव्यक्त शुद्धता स्तर $z_i \in \{0, \dots, K-1\}$ होता है जो श्रेणीबद्ध गुणवत्ता (graded quality) को दर्शाता है।
एनोटेटर व्यवहार: एनोटेटर्स को समान नहीं माना जाता है। प्रत्येक एनोटेटर $r$ को एक कन्फ्यूजन मैट्रिक्स (confusion matrix) $\pi_r[c, o] = P(y_{ir} = o | z_i = c)$ के माध्यम से मॉडल किया जाता है, जो वास्तविक शुद्धता $c$ दिए जाने पर लेबल $o$ रिपोर्ट करने की संभावना को कैप्चर करता है। यह मॉडल को आइटम की कठिनाई और एनोटेटर-विशिष्ट व्यवहारों (जैसे कठोरता, उदारता, या व्यवस्थित शोर) के बीच अंतर करने की अनुमति देता है।
प्रायर्स (Priors): बेयसियन अनुमान (Bayesian estimation) को सक्षम करने और कम-एनोटेशन वाले परिदृश्यों में डिजेनरेट समाधानों को रोकने के लिए क्लास प्रायर्स ( $\mu$ ) और कन्फ्यूजन मैट्रिसेस पर डिरिचलेट प्रायर्स (Dirichlet priors) रखे गए हैं।

2.2 पोस्टीरियर इन्फरेंस और स्कोरिंग (Posterior Inference and Scoring)

STABLEVAL लेटेंट शुद्धता और एनोटेटर विश्वसनीयता मापदंडों का अनुमान लगाने के लिए एक एक्सपेक्टेशन-मैक्सिमाइजेशन (EM) एल्गोरिदम का उपयोग करता है।

E-Step: यह पोस्टीरियर प्रोबेबिलिटी $\gamma_{ic}$ की गणना करता है कि आइटम $i$ शुद्धता स्तर $c$ से संबंधित है, जो सभी देखे गए एनोटेशन और अनुमानित विश्वसनीयताओं पर आधारित है।
पोस्टीरियर एक्सपेक्टेड आइटम क्रेडिट (Posterior Expected Item Credit): $\gamma_{ic}$ को हार्ड लेबल (जैसे $\arg\max$ के माध्यम से) में बदलने के बजाय, STABLEVAL पूर्ण पोस्टीरियर वितरण को बनाए रखता है। एक आइटम का क्रेडिट अपेक्षित शुद्धता मान के रूप में परिभाषित किया जाता है:
$\text{credit}(i) = \sum_{c=0}^{K-1} \gamma_{ic} v(c)$
जहाँ $v(c)$ एक कार्य-विशिष्ट स्कोरिंग फंक्शन है। यह फॉर्मूलेशन पोस्टीरियर विश्वास के आनुपातिक रूप में आंशिक क्रेडिट प्रदान करता है, जिससे श्रेणीबद्ध शुद्धता और आइटम-स्तरीय अस्पष्टता सुरक्षित रहती है।
एजेंट स्कोरिंग: एक एजेंट का स्कोर उसके मूल्यांकित आइटम्स पर औसत पोस्टीरियर आइटम क्रेडिट है। अनिश्चितता को कॉन्फिडेंस इंटरवल उत्पन्न करने के लिए बूटस्ट्रैप रीसैंपलिंग के माध्यम से मापा जाता है।

2.3 रैंकिंग स्थिरता को औपचारिक रूप देना (Formalizing Ranking Stability)

शोध पत्र रैंकिंग स्थिरता (ranking stability) को एक प्रथम-श्रेणी के उद्देश्य के रूप में औपचारिक रूप देता है। एक विधि तब स्थिर होती है जब एनोटेटर्स के रैंडम सबसैंपलिंग के तहत एजेंटों का क्रम सुसंगत रहता है।

बहुमत मत की अस्थिरता (Instability of Majority Vote): लेखक सिद्ध करते हैं (प्रपोजिशन 1) कि बहुमत मत स्वाभाविक रूप से अस्थिर है जब किसी आइटम का लेबल एक एकल-वोट मार्जिन पर निर्भर करता है; निर्णायक एनोटेटर को हटाने से लेबल बदल सकता है, जिससे रैंकिंग में अस्थिरता आती है।
STABLEVAL की एसिम्प्टोटिक स्थिरता (Asymptotic Stability of STABLEVAL): लेखक प्रदर्शित करते हैं (प्रपोजिशन 2) कि सही मॉडल स्पेसिफिकेशन के तहत, आइटम्स की संख्या बढ़ने पर STABLEVAL स्कोर स्थिर मानों की ओर अभिसरित (converge) होते हैं। क्योंकि STABLEVAL डिस्क्रीट थ्रेशोल्डिंग के बजाय स्मूथ, रिलायबिलिटी-वेटेड एग्रीगेशन का उपयोग करता है, यह एनोटेटर के छोटे परिवर्तनों के कारण होने वाली रैंकिंग विच्छिन्नता (discontinuities) को कम करता है।

3. प्रमुख योगदान (Key Contributions)

शोध पत्र चार प्राथमिक योगदानों को रेखांकित करता है:

STABLEVAL फ्रेमवर्क: एक असहमति-जागरूक ढांचे का परिचय जो हार्ड लेबल के बजाय कैलिब्रेटेड पोस्टीरियर आइटम क्रेडिट उत्पन्न करता है, जिससे श्रेणीबद्ध और अनिश्चितता-जागरूक स्कोरिंग संभव होती है।
स्थिरता का औपचारिकीकरण: रैंकिंग स्थिरता को एक औपचारिक मूल्यांकन मानदंड के रूप में परिभाषित करना और एनोटेटर सबसैंपलिंग के तहत बहुमत मत की अंतर्निहित अस्थिरता को प्रदर्शित करने वाला सैद्धांतिक विश्लेषण।
उद्देश्यों का अंतर: यह स्पष्ट करना कि लेबल डिनोइजिंग (ग्राउंड ट्रुथ को पुनः प्राप्त करना) और मूल्यांकन स्थिरता अलग-अलग लक्ष्य हैं; लेटेंट लेबल को पुनः प्राप्त करने से मजबूत सिस्टम रैंकिंग की गारंटी नहीं मिलती है।
अनुभवजन्य सत्यापन (Empirical Validation): सिंथेटिक स्ट्रेस टेस्ट और वास्तविक दुनिया के बेंचमार्क पर व्यापक सत्यापन, जो दिखाता है कि एनोटेटर विषमता और प्रतिकूल शोर के तहत बहुमत मत और Dawid–Skene की तुलना में STABLEVAL अधिक स्थिर और सांख्यिकीय रूप से ठोस रैंकिंग प्रदान करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने सिंथेटिक कॉन्फ़िगरेशन और चार वास्तविक दुनिया के डेटासेट्स (MT-Bench, ConvAbuse, QAGS, MSLR) में STABLEVAL का बहुमत मत (MV) और Dawid–Skene (DS) के विरुद्ध मूल्यांकन किया।

4.1 सिंथेटिक स्ट्रेस टेस्ट (Synthetic Stress Tests)

लेबल रिकवरी बनाम स्थिरता: DS ने लेटेंट ग्राउंड ट्रुथ के संबंध में सबसे कम मीन स्क्वेयर्ड एरर (MSE) प्राप्त किया, जो इसके डिनोइजिंग उद्देश्य के अनुरूप है। हालांकि, कम MSE ने स्थिर रैंकिंग की गारंटी नहीं दी।
विषमता और शोर: प्रतिकूल स्थितियों (40% तक प्रतिकूल एनोटेटर्स) और विषम सख्त/उदार आबादी के तहत, MV ने बढ़ता हुआ स्कोर एरर और रैंकिंग अस्थिरता प्रदर्शित की। पोस्टीरियर एक्सपेक्टेड क्रेडिट (PEC) ने त्रुटि न्यूनीकरण और रैंकिंग निरंतरता (Kendal's $\tau$ ) दोनों में MV से लगातार बेहतर प्रदर्शन किया।
कठिन आइटम्स (Hard Items): एजेंट क्वालिटी गैप या "कठिन" आइटम्स वाले शासन में, डिस्क्रीट MV थ्रेशोल्डिंग के कारण तीव्र रैंकिंग संवेदनशीलता देखी गई। PEC ने उन परिदृश्यों में लगभग पूर्ण रैंकिंग स्थिरता (Kendal's $\tau \approx 1.0$ ) बनाए रखी जहाँ MV खराब हो गया था।

4.2 वास्तविक दुनिया के बेंचमार्क (Real-World Benchmarks)

उच्च-असहमति शासन (MT-Bench): केवल 16.6% सर्वसम्मति के साथ, MT-Bench ने MV के लिए पर्याप्त अस्थिरता दिखाई। PEC ने एनोटेटर सबसैंपलिंग के तहत सबसे स्थिर रैंकिंग प्रदान की, जबकि DS मध्यम स्तर पर रहा। एनोटेटर डायग्नोस्टिक्स ने विश्वसनीयता में महत्वपूर्ण भिन्नता दिखाई, जिसे STABLEVAL ने सफलतापूर्वक मॉडल किया।
उच्च-सहमति शासन (ConvAbuse, QAGS): उच्च सहमति वाले डेटासेट्स (जैसे ConvAbuse में 78.4% सर्वसम्मति) में, सभी विधियाँ समान रैंकिंग और पूर्ण स्थिरता की ओर अभिसरित हुईं। यह इंगित करता है कि STABLEVAL अस्थिरता पैदा नहीं करता है जब असहमति न्यूनतम होती है।
सीमित एनोटेटर शासन (MSLR): कम-एनोटेटर सेटिंग्स में, सभी विधियों ने बढ़ी हुई परिवर्तनशीलता दिखाई। हालांकि इस विशिष्ट सीमित मामले में MV और DS ने PEC की तुलना में थोड़ी कम परिवर्तनशीलता दिखाई, लेकिन PEC ने समृद्ध आइटम-स्तरीय अस्पष्टता अनुमान प्रदान किए।

5. महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि मॉडलिंग असहमति (disagreement) मजबूत और पुनरुत्पादक AI मूल्यांकन के लिए आवश्यक है, विशेष रूप से जब एनोटेटर परिवर्तनशीलता पर्याप्त हो।

मूल्यांकन का पुनर्निर्धारण: यह कार्य स्थिरता को एक प्रथम-श्रेणी के उद्देश्य के रूप में पुनर्परिभाषित करता है, जो लेबल रिकवरी से अलग है। यह तर्क देता है कि अनिश्चितता को हार्ड लेबल में समेटने से वह सिग्नल खो जाता है जो स्थिर तुलना के लिए आवश्यक है।
संदर्भगत मूल्य: लेखक विनम्रतापूर्वक नोट करते हैं कि STABLEVAL का मूल्य उच्च-असहमति शासन (जैसे विषाक्तता का पता लगाना या जटिल तर्क जैसे व्यक्तिपरक कार्य) में सबसे अधिक स्पष्ट है। उच्च-सहमति सेटिंग्स में, बहुमत मत जैसे सरल तरीके पर्याप्त हो सकते हैं, और STABLEVAL सभी संदर्भों में सार्वभौमिक श्रेष्ठता का दावा नहीं करता है।
व्यावहारिक निहितार्थ: पोस्टीरियर अनिश्चितता को संरक्षित करके और एनोटेटर व्यवहार को मॉडल करके, STABLEVAL मूल्यांकन पाइपलाइनों के लिए एक सिद्धांत आधारित आधार प्रदान करता है जो एनोटेटर पूल की विशिष्ट संरचना के प्रति कम संवेदनशील हैं। यह सुरक्षा मूल्यांकन, कंटेंट मॉडरेशन और मेडिकल बेंचमार्किंग जैसे उच्च-दांव वाले डोमेन के लिए महत्वपूर्ण है, जहाँ नाजुक रैंकिंग उप-इष्टतम मॉडल चयन की ओर ले जा सकती है।

लेखक निष्कर्ष निकालते हैं कि जैसे-जैसे AI मूल्यांकन मानव या मॉडल-आधारित जजों पर अधिक निर्भर होता जा रहा है, मजबूत और पुनरुत्पादक सिस्टम तुलना प्राप्त करने के लिए बहुमत मत से आगे बढ़कर स्पष्ट रूप से असहमति और अनिश्चितता को मॉडल करना आवश्यक है।