💬 NLP

Decomposing and Reducing Hidden Measurement Error in LLM Evaluation Pipelines

यह शोध पत्र LLM मूल्यांकन पाइपलाइनों में छिपी हुई माप त्रुटियों को कम करने और उन्हें विघटित करने के लिए एक रूपरेखा प्रस्तावित करता है, जो रिड्यूसिबल वेरिएंस (reducible variance) और डिज़ाइन-सेंसिटिव अनसर्टेन्टी (design-sensitive uncertainty) के बीच अंतर करके अधिक सुदृढ़ बेंचमार्किंग को सक्षम बनाता है, गेमिंग को रोकता है, और अनुकूलित पाइपलाइन डिज़ाइन एवं बजट आवंटन के माध्यम से अनुमान सटीकता में महत्वपूर्ण सुधार करता है।

मूल लेखक: Solomon Messing

प्रकाशित 2026-04-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Solomon Messing

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक नए रेस्टोरेंट की गुणवत्ता का आकलन करने की कोशिश कर रहे हैं। आप तीन अलग-अलग फूड क्रिटिक्स (खाद्य समीक्षकों) से एक ही व्यंजन चखने और उसे एक स्कोर देने के लिए कहते हैं।

आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, हम बिल्कुल ऐसा ही कुछ करते हैं। हम AI मॉडल्स से कहानियाँ लिखने, गणित की समस्याओं को हल करने, या यह जाँचने के लिए कहते हैं कि कोई संदेश सुरक्षित है या नहीं। फिर, हम दूसरे AI (या इंसान) से उस काम को ग्रेड देने के लिए कहते हैं। ये ग्रेड तय करते हैं कि कौन से AI मॉडल जनता के लिए जारी किए जाएंगे, किन्हें "सुरक्षित" माना जाएगा, और कौन से रिसर्च पेपर प्रकाशित किए जाएंगे।

समस्या: "छिपा हुआ शोर" (The Hidden Noise)

यह पेपर तर्क देता है कि AI को ग्रेड देने का हमारा वर्तमान तरीका उन फूड क्रिटिक्स से व्यंजन चखने के समान है, लेकिन एक पेच के साथ: हमें यह एहसास नहीं है कि हमारे पूछने का तरीका कितना मायने रखता है।

यदि आप एक क्रिटिक से पूछते हैं, "क्या यह व्यंजन अच्छा है?" तो वे इसे 5 में से 4 अंक दे सकते हैं। यदि आप पूछते हैं, "इस व्यंजन को 1 से 10 के पैमाने पर रेट करें," तो वे इसे 10 में से 7 अंक दे सकते हैं। यदि आप उन्हें मंगलवार की सुबह बनाम शुक्रवार की दोपहर को पूछते हैं, या यदि आप मेनू पर फॉन्ट बदल देते हैं, तो उनका स्कोर फिर से बदल सकता है।

वर्तमान में, जब शोधकर्ता किसी AI का स्कोर रिपोर्ट करते हैं, तो वे इस तरह व्यवहार करते हैं जैसे वह स्कोर एक ठोस, अपरिवर्तनीय तथ्य हो (जैसे, "यह AI 90% सटीक है")। लेकिन यह पेपर दिखाता है कि स्कोर वास्तव में धुंधला (fuzzy) है। यह संभावनाओं के एक बादल जैसा है। यदि आप सवाल में थोड़ा सा भी बदलाव करते हैं, तो AI की रैंकिंग पूरी तरह से पलट सकती है।

उपमा: "शोर वाला रेडियो" (The Noisy Radio)

एक AI इवैल्यूएशन पाइपलाइन को एक मंद रेडियो स्टेशन सुनने की कोशिश करने के रूप में सोचें।

सिग्नल (Signal): AI की वास्तविक बुद्धिमत्ता।
शोर (Noise): वह भ्रम जो सवाल पूछने के तरीके, ग्रेडिंग के लिए उपयोग किए जाने वाले AI, और सिस्टम में मौजूद रैंडम "स्टैटिक" (विकार) के कारण होता है।

अभी, अधिकांश शोधकर्ता केवल वॉल्यूम नॉब (टेस्ट को दोहराने) से आने वाले स्टैटिक को माप रहे हैं। वे एंटीना की स्थिति (सवाल कैसे पूछा गया) और रेडियो के प्रकार (किस ग्रेडर AI का उपयोग किया गया) से होने वाले शोर को अनदेखा कर रहे हैं।

क्योंकि वे इस शोर को अनदेखा करते हैं, वे सोचते हैं कि वे संगीत को स्पष्ट रूप से सुन रहे हैं, लेकिन वास्तव में वे एक विकृत संस्करण सुन रहे होते हैं। इससे निम्नलिखित समस्याएं होती हैं:

गलत रैंकिंग: एक AI जो वास्तव में खराब है, वह केवल इसलिए बेहतर दिख सकता है क्योंकि वह एक विशिष्ट प्रश्न प्रारूप के साथ भाग्यशाली रहा।
सिस्टम को चकमा देना (Gaming the System): डेवलपर्स अपने AI को स्मार्ट बनाने के बजाय, उसे एक विशिष्ट, शोर वाले ग्रेडर के लिए अच्छा दिखने के हिसाब से ट्यून करके "चीटिंग" कर सकते हैं।
झूठी आत्मविश्वास (False Confidence): हमें लगता है कि हमें अपने परिणामों पर 95% भरोसा है, लेकिन शायद हमें केवल 50% भरोसा हो।

समाधान: "टोटल इवैल्यूएशन एरर" (Total Evaluation Error - TEE)

लेखक, सोलोमन मेसिंग (Solomon Messing), AI को मापने का एक नया तरीका प्रस्तावित करते हैं जिसे टोटल इवैल्यूएशन एरर (TEE) कहा जाता है।

केवल एक स्कोर लेने के बजाय, TEE मूल्यांकन को कई चलते-फिरते हिस्सों वाले एक वैज्ञानिक प्रयोग की तरह मानता है। यह "शोर" को विशिष्ट श्रेणियों में विभाजित करता है:

आइटम (The Item): सवाल कितना कठिन था?
प्रॉम्प्ट (The Prompt): सवाल कैसे शब्दों में लिखा गया था?
जज (The Judge): ग्रेडिंग के लिए किस AI का उपयोग किया गया?
टेम्परेचर (The Temperature): AI की सोचने की प्रक्रिया कितनी "रचनात्मक" या "रैंडम" थी?

"बजट" की उपमा

कल्पना कीजिए कि आपके पास परीक्षण करने के लिए खर्च करने हेतु एक सीमित बजट है। आप यथासंभव सटीक स्कोर प्राप्त करना चाहते हैं।

पुराना तरीका: आप अपना सारा पैसा एक ही सवाल को एक ही ग्रेडर से 1,000 बार पूछने में खर्च करते हैं। आपको एक बहुत ही सटीक औसत मिलता है, लेकिन यह एक त्रुटिपूर्ण प्रक्रिया का औसत है।
TEE तरीका: आप महसूस करते हैं कि ग्रेडर का प्रकार सवाल को कई बार पूछने से अधिक महत्वपूर्ण है। इसलिए, आप अपना पैसा 3 अलग-अलग ग्रेडर्स को अलग-अलग सवाल पूछने में खर्च करते हैं।

पेपर दिखाता है कि अपने बजट को फैलाकर (अलग-अलग सवाल, अलग-अलग ग्रेडर और अलग-अलग शब्दावली का उपयोग करके), आप एक ऐसा स्कोर प्राप्त करते हैं जो वास्तव में पुराने तरीके की तुलना में दोगुना सटीक है, भले ही आप समान पैसा खर्च कर रहे हों।

सभी के लिए मुख्य बातें

AI स्कोर नाजुक होते हैं: सवाल पूछने के तरीके में एक छोटा सा बदलाव परिणाम को पूरी तरह से बदल सकता है। हमें AI स्कोर को पूर्ण सत्य मानने से बचना चाहिए।
"सिंगल जज" का जाल: यदि आप केवल एक AI का उपयोग दूसरे AI को ग्रेड देने के लिए करते हैं, तो आप संभवतः एक पक्षपाती परिणाम प्राप्त कर रहे हैं। आपको सच्चाई पाने के लिए ग्रेडर्स की एक "कमेटी" की आवश्यकता है।
केवल दोहराएं नहीं, विविधता लाएं: यदि परीक्षण ही त्रुटिपूर्ण है, तो एक ही टेस्ट को 100 बार चलाना मददगार नहीं है। आपको असली सिग्नल खोजने के लिए टेस्ट के विभिन्न संस्करण चलाने की आवश्यकता है।
चीटिंग रोकें: जब हम "शोर" को छिपाना बंद कर देते हैं, तो डेवलपर्स ग्रेडिंग प्रक्रिया की किसी विशिष्ट खामी के लिए अपने AI को अनुकूलित करके सिस्टम को धोखा नहीं दे सकते।

संक्षेप में

यह पेपर एक चेतावनी है। यह बताता है कि जो "लीडरबोर्ड" हम समाचारों में देखते हैं, जो "सर्वश्रेष्ठ" AI मॉडल्स को रैंक करते हैं, वे अक्सर अस्थिर आधार पर बने होते हैं। TEE (Total Evaluation Error) जैसे नए सांख्यिकीय टूलकिट का उपयोग करके, हम एक अधिक मजबूत नींव बना सकते हैं, जिससे यह सुनिश्चित हो सके कि हम जो AI तैनात कर रहे हैं वह वास्तव में स्मार्ट और सुरक्षित है, न कि केवल एक विशिष्ट, शोर वाले सवाल का सही जवाब देने में माहिर।

यहाँ सोलोमन मेसिंग के शोध पत्र "Hidden Measurement Error in LLM Pipelines Distorts Annotation, Evaluation, and Benchmarking" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वर्तमान लार्ज लैंग्वेज मॉडल (LLM) मूल्यांकन पद्धतियाँ एक व्यवस्थित 'ब्लाइंड स्पॉट' (अंध बिंदु) से ग्रस्त हैं: वे ऐसे पॉइंट एस्टीमेट्स और कॉन्फिडेंस इंटरवल्स (CIs) रिपोर्ट करती हैं जो पाइपलाइन डिजाइन विकल्पों द्वारा उत्पन्न विचरण (variance) को अनदेखा करते हैं।

मुख्य मुद्दा: मानक मूल्यांकन आमतौर पर एक ही प्रॉम्प्ट, एक ही जज मॉडल और एक ही टेम्परेचर सेटिंग का उपयोग करते हैं। वे केवल इन निश्चित सेटिंग्स पर बार-बार नमूना लेने (replications) के आधार पर CIs की गणना करते हैं।
परिणाम: यह दृष्टिकोण "डिजाइन-साइड" विचरण स्रोतों जैसे प्रॉम्प्ट वर्डिंग संवेदनशीलता, जज मॉडल की असहमति और टेम्परेचर निर्भरता को अनदेखा करता है। क्योंकि ये स्रोत बड़े सैंपल साइज ( $N$ ) के साथ कम नहीं होते, इसलिए मानक CIs में गंभीर अंडर-कवरेज (under-coverage) होता है (उदाहरण के लिए, रिपोर्ट किया गया 95% CI वास्तविक मान को केवल 7% समय ही कवर कर पाता है जब $N$ बढ़ता है)।
जोखिम: यह छिपा हुआ अनिश्चितता (uncertainty) मॉडल डेवलपर्स को बेंचमार्क को "गेम" करने की अनुमति देता है, जहाँ वे वास्तविक क्षमता के बजाय माप के शोर (measurement noise) के विरुद्ध अनुकूलन (optimize) करते हैं। यह गलत शोध निष्कर्षों की ओर भी ले जाता है, जहाँ अध्ययन दिखाते हैं कि LLM एनोटेशन के साथ परीक्षण किए गए 31% परिकल्पनाएं गलत निष्कर्ष देती हैं जब प्रॉम्प्ट की शब्दावली बदलती है।

2. कार्यप्रणाली: टोटल इवैल्यूएशन एरर (TEE)

यह शोध पत्र टोटल इवैल्यूएशन एरर (TEE) पेश करता है, जो जनरलाइज़ेबिलिटी थ्योरी (G-theory) को डिसीजन स्टडी (D-study) प्रोजेक्शन के साथ जोड़ने वाला एक एकीकृत सांख्यिकीय ढांचा है।

A. डेटा-जेनरेटिंग प्रोसेस (DGP)

यह ढांचा एक LLM मेजरमेंट पाइपलाइन को एक लीनियर मिक्स्ड मॉडल के रूप में मॉडल करता है जहाँ स्कोर $Y$ निम्नलिखित पर निर्भर करता है:

रैंडम इफेक्ट्स (Tier 1): वे कारक जिन्हें विचरण को कम करने के लिए एकत्रित (aggregate) किया जा सकता है (Items, Prompt Variants, Replications)।
फिक्स्ड इफेक्ट्स (Tier 2): शोधकर्ता के डिजाइन विकल्प जो संवेदनशीलता तो पैदा करते हैं लेकिन एकत्रीकरण के साथ कम नहीं होते (Temperature, Judge Model, Scoring Method)।
इंटरेक्शन टर्म्स: महत्वपूर्ण रूप से, मॉडल में टू-वे इंटरेक्शन शामिल हैं (जैसे, Item $\times$ Judge, Item $\times$ Prompt) जो अक्सर विचरण पर हावी होते हैं।

मॉडल को इस प्रकार परिभाषित किया गया है:
$Y_{ivhm}^{(r)} = \mu + \alpha_i + \rho_v + \tau_h + \lambda_m + (\alpha\rho)_{iv} + (\alpha\tau)_{ih} + (\rho\tau)_{vh} + (\alpha\lambda)_{im} + (\rho\lambda)_{vm} + \epsilon_{ivhm}^{(r)}$
जहाँ $\alpha$ =item, $\rho$ =prompt, $\tau$ =temperature, $\lambda$ =judge/model, और $\epsilon$ =residual है।

B. वेरिएंस डिकंपोजिशन (Variance Decomposition)

Restricted Maximum Likelihood (REML) एस्टीमेशन का उपयोग करते हुए, TEE कुल विचरण को नामित घटकों में विभाजित करता है। यह पहचानता है कि कौन से स्रोत (जैसे, जज की असहमति बनाम प्रॉम्प्ट संवेदनशीलता) अनिश्चितता के प्रमुख चालक हैं।

C. डिसीजन स्टडी (D-Study) प्रोजेक्शन

एक बार जब वेरिएंस कंपोनेंट्स का अनुमान लग जाता है (अक्सर एक छोटे पायलट अध्ययन के माध्यम से), तो D-study वैकल्पिक प्रयोगात्मक डिजाइनों के तहत माध्य के स्टैंडर्ड एरर का अनुमान लगाता है। यह उत्तर देता है: त्रुटि को सबसे कुशलता से कम करने के लिए हमें अपना बजट कहाँ निवेश करना चाहिए?

ऑप्टिमाइजेशन: यह अधिक आइटम्स ( $N$ ), प्रॉम्प्ट वेरिएंट्स ( $V$ ), जजेस ( $M$ ), या रेप्लिकेशन्स ( $R$ ) को जोड़ने के मार्जिनल गेन की गणना करता है।
कॉस्ट-एफिशिएंसी फ्रंटियर: यह उन डिजाइनों के Pareto frontier की पहचान करता है जो दिए गए API लागत के लिए त्रुटि को न्यूनतम करते हैं।

3. मुख्य योगदान (Key Contributions)

पाइपलाइन अनिश्चितता के लिए ढांचा: LLM पाइपलाइनों में माप त्रुटि को मापने और विघटित करने के लिए एक औपचारिक सांख्यिकीय पद्धति, जो रिड्यूसेबल नॉइज़ (रैंडम इफेक्ट्स) और डिजाइन संवेदनशीलता (फिक्स्ड इफेक्ट्स) के बीच अंतर करती है।
"एक्सप्लोिटेबल सरफेस" (Exploitable Surface) की पहचान: शोध पत्र प्रदर्शित करता है कि अनमापा गया विचरण गेमिंग के लिए एक सतह बनाता है। डेवलपर्स शोर वाले बेंचमार्क के विरुद्ध कई मॉडल वेरिएंट सबमिट करके स्कोर को कृत्रिम रूप से बढ़ा सकते हैं, जिसे $K$ सबमिशन के अधिकतम (maximum) के अपेक्षित उछाल द्वारा मापा जा सकता है।
स्कोरिंग मेथड विश्लेषण: एक तुलनात्मक विश्लेषण दिखाता है कि पेयरवाइज (A/B) स्कोरिंग, सामान्य LLM जज विकृतियों (सेंट्रल टेंडेंसी कम्प्रेशन, लो सेल्फ-कंसिस्टेंसी, स्केल हेटेरोजेनिटी) के प्रति मजबूत है, जबकि लिकर्ट (Likert) स्कोरिंग इन मुद्दों के प्रति अत्यधिक संवेदनशील है, जो मौलिक रूप से वेरिएंस बजट को बदल देती है।
व्यावहारिक वर्कफ़्लो: शोधकर्ताओं को विचरण स्रोतों की रिपोर्ट करने और पूर्ण-स्तरीय मूल्यांकन को सूचित करने के लिए पायलट अध्ययन करने के मार्गदर्शन हेतु एक "थ्री-टियर रिपोर्टिंग चेकलिस्ट" (मिनिमम, स्टैंडर्ड, कॉम्प्रिहेंसिव) प्रदान करता है।

4. मुख्य परिणाम और अनुभवजन्य निष्कर्ष (Key Results & Empirical Findings)

लेखकों ने चार डोमेन में TEE को लागू किया: सेफ्टी क्लासिफिकेशन, MMLU बेंचमार्किंग, आइडियोलॉजी एनोटेशन, और एक ह्यूमन-वैलिडेटेड प्रोपेगंडा ऑडिट।

इंटरेक्शन टर्म्स का प्रभुत्व:
- सेफ्टी क्लासिफिकेशन में, Item $\times$ Judge इंटरेक्शन कुल विचरण का 43.9% था। जजेस इस बात पर असहमत थे कि कौन से विशिष्ट आइटम्स सुरक्षित थे, न कि केवल समग्र दर पर।
- आइडियोलॉजी एनोटेशन (Likert) में, Item Heterogeneity हावी रहा (72.4%)।
- आइडियोलॉजी एनोटेशन (Pairwise) में, विचरण बिखरा हुआ था: रेसिड्यूल (31.4%), Item $\times$ Judge (29.7%), और Judge Model (20.7%)।
- टेम्परेचर और प्रॉम्प्ट संवेदनशीलता अक्सर जज की असहमति या आइटम की कठिनाई की तुलना में नगण्य (<5%) थी।
लागत-दक्षता और बजट आवंटन:
- MMLU: TEE-निर्देशित बजट आवंटन (अधिक आइटम्स और प्रॉम्प्ट विविधता को प्राथमिकता देना) ने समकक्ष लागत पर मानक सिंगल-प्रॉम्प्ट मूल्यांकन की तुलना में RMSE को आधा कर दिया।
- सेफ्टी: आइटम्स की संख्या को दोगुना करने से सबसे बड़ा विचरण न्यूनीकरण प्राप्त हुआ। एक एकल जज के प्रति प्रतिबद्ध होने से विचरण 55% बढ़ गया।
- घटते प्रतिफल (Diminishing Returns): कॉस्ट-एफिशिएंसी फ्रंटियर तेजी से सपाट हो जाता है; "स्टेटस क्वो" डिजाइन से "फुल फैक्टोरियल" डिजाइन की ओर जाने से अक्सर भारी लागत वृद्धि के बावजूद मामूली लाभ मिलता है (जैसे, केवल 3% त्रुटि कमी के लिए 120x लागत)।
गेमिंग भेद्यता (Gaming Vulnerability):
- सिंगल-कॉन्फ़िगरेशन बेंचमार्क अत्यधिक शोषण योग्य हैं। एक डेवलपर जो शोर वाले बेंचमार्क में 10 मॉडल वेरिएंट सबमिट करता है, वह स्कोर में 0.26 यूनिट (1-5 के पैमाने पर) के उछाल की उम्मीद कर सकता है।
- शमन (Mitigation): कई जजेस जोड़ना, प्रॉम्प्ट वेरिएंट्स जोड़ने की तुलना में अनिश्चितता को कम करने में कहीं अधिक प्रभावी है। 3 जजेस जोड़ने से गेमिंग एडवांटेज में 30% की कमी आई, जबकि 5 प्रॉम्प्ट + 3 जजेस ने इसे 46% तक कम कर दिया।
पायलट वैधता:
- छोटे पायलट ( $N=30$ , $\sim\$ 16$ लागत) सफलतापूर्वक प्रमुख वेरिएंस कंपोनेंट्स और गुणात्मक D-study सिफारिशों की पहचान करने में सफल रहे, भले ही मात्रात्मक अनुमानों में कुछ पूर्वाग्रह (bias) था। यह अनुकूल प्रयोगात्मक डिजाइनों के सस्ते, पूर्व-गणना (pre-computation) की अनुमति देता है।
स्कोरिंग मेथड मजबूती:
- पेयरवाइज स्कोरिंग ने उन परिदृश्यों में लिकर्ट स्कोरिंग से बेहतर प्रदर्शन किया जहाँ कम व्यापकता (low prevalence) (जैसे, सेफ्टी उल्लंघन) या खराब जज कैलिब्रेशन था। लिकर्ट स्कोरिंग कम व्यापकता वाले बाइनरी क्लासिफिकेशन कार्यों में विफल रही (Kendall's $\tau$ गिरकर 0.06 हो गया), जबकि पेयरवाइज स्थिर रही ( $\tau \approx 0.73$ )।

5. महत्व और निहितार्थ (Significance and Implications)

बेंचमार्किंग में प्रतिमान परिवर्तन (Paradigm Shift): यह शोध पत्र तर्क देता है कि वर्तमान लीडरबोर्ड वैज्ञानिक रूप से अमान्य हैं क्योंकि वे माप के शोर को सिग्नल मान लेते हैं। यह "सिंगल-शॉट" मूल्यांकन से बहु-आयामी, विचरण-जागरूक पाइपलाइनों की ओर बढ़ने का आह्वान करता है।
नीति और सुरक्षा: उच्च-दांव वाले निर्णयों (सुरक्षा प्रमाणन, नियामक अनुपालन) के लिए, पाइपलाइन विचरण को अनदेखा करना झूठी सुरक्षा की भावना देता है। एक मॉडल जिसे एक प्रॉम्प्ट/जज कॉन्फ़िगरेशन के तहत "सुरक्षित" माना जाता है, दूसरे के तहत असुरक्षित हो सकता है।
अनुसंधान अखंडता: यह ढांचा LLM अनुसंधान में "p-hacking" को ठीक करने के लिए एक तंत्र प्रदान करता है। TEE-संशोधित CIs रिपोर्ट करके, शोधकर्ता यह सुनिश्चित कर सकते हैं कि उनके निष्कर्ष डिजाइन विकल्पों के प्रति मजबूत हैं।
आर्थिक दक्षता: प्रमुख विचरण स्रोत (जैसे, "जजेस जोड़ें" बनाम "प्रॉम्प्ट्स जोड़ें") की पहचान करके, संगठन अपनी API लागत को कम करते हुए माप की सटीकता में सुधार कर सकते हैं।

निष्कर्षतः, टोटल इवैल्यूशन एरर (TEE) LLM मूल्यांकन को पॉइंट एस्टीमेट्स के "ब्लैक बॉक्स" से एक कठोर, पारदर्शी और मजबूत माप विज्ञान में बदलने के लिए आवश्यक सांख्यिकीय बुनियादी ढांचा प्रदान करता है। यह प्रकट करता है कि डेटा की मात्रा के बजाय डिजाइन विकल्प अधिक मायने रखते हैं।