🤖 machine learning

From Uncertain Judgments to Calibrated Rankings: Conformal Elo Estimation for LLM Evaluation

यह शोध पत्र Conformal Elo प्रस्तुत करता है, जो एक कम लागत वाला मूल्यांकन ढांचा है जो स्थानीय अनिश्चितता का अनुमान लगाने के लिए कैलिब्रेटेड जीत की संभावनाओं को प्रसारित करके और मानव निर्णयों के साथ वैश्विक असहमति को सीमित करने के लिए स्प्लिट कॉन्फॉर्मल प्रेडिक्शन लागू करके LLM रैंकिंग सटीकता को बढ़ाता है, जिससे बड़े पैमाने पर मानव एनोटेशन के बिना विश्वसनीय Elo अनुमान प्रदान किए जाते हैं।

मूल लेखक: Bora Kargi, David Salinas

प्रकाशित 2026-06-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Bora Kargi, David Salinas

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप दुनिया के सर्वश्रेष्ठ शेफ की रैंकिंग करने की कोशिश कर रहे हैं। आमतौर पर, आप हर व्यंजन का स्वाद चखने और विजेता चुनने के लिए मानव खाद्य आलोचकों के एक पैनल से पूछेंगे। लेकिन हजारों मनुष्यों को ऐसा करने के लिए कहना महंगा और धीमा है। इसलिए, इसके बजाय, आप एक "रोबोट जज" (एक लार्ज लैंग्वेज मॉडल) को काम पर रखते हैं जो व्यंजनों का स्वाद लेता है और विजेताओं का निर्णय लेता है।

समस्या क्या है? रोबोट जज थोड़े अजीब हो सकते हैं। वे उस शेफ को पसंद कर सकते हैं जो पहले बोलता है, जो लंबे रिव्यू लिखता है, या उन शेफ को जो खुद रोबोट की तरह लगते हैं। यदि आप केवल रोबोट से पूछते हैं, "क्या शेफ A ने शेफ B को हराया?" और वह कहता है "हाँ," तो आप बहुत सारी जानकारी खो देते हैं। आपको यह नहीं पता चलेगा कि शेफ A कितना बेहतर था। क्या यह एक बड़ी जीत थी, या बहुत मामूली अंतर था?

यह पेपर इस समस्या को ठीक करने के लिए Soft-Elo नामक एक नई विधि पेश करता है। यह एक साधारण "जीत/हार" स्कोरबोर्ड से एक हाई-टेक "कॉन्फिडेंस मीटर" (विश्वास मीटर) में अपग्रेड करने जैसा है।

यह कैसे काम करता है, इसे दो सरल चरणों में विभाजित किया गया है:

1. लोकल फिक्स: "हार्ड" लेबल से "सॉफ्ट" प्रोबेबिलिटी (संभावना) तक

पुराना तरीका (Hard-Elo):
कल्पना कीजिए कि रोबोट जज दो व्यंजन देखता है। वह उन्हें स्कोर देता है: व्यंजन A को 8 मिलता है, व्यंजन B को 2 मिलता है। पुराना सिस्टम केवल यह देखता है और कहता है, "A जीत गया!" यह इस बात को बिल्कुल वैसे ही देखता है जैसे किसी ऐसे युद्ध को जहाँ व्यंजन A को 9 और व्यंजन B को 8 मिला हो। दोनों ही मामलों में, सिस्टम केवल एक "1" (जीत) रिकॉर्ड करता है।

दोष: यह बारीकियों को फेंक देता है। रोबोट जानता है कि पहला मुकाबला एक बड़ी जीत थी, लेकिन सिस्टम इसे एक करीबी मुकाबले के समान ही मानता है। इससे अंतिम रैंकिंग बहुत अधिक "फैली हुई" और गलत होती है।

नया तरीका (Soft-Elo):
रोबोट को विजेता चुनने के लिए मजबूर करने के बजाय, Soft-Elo पूछता है: "आप कितने आश्वस्त हैं?"

यदि रोबोट 8 बनाम 2 देता है, तो यह गणना करता है कि A के बेहतर होने की 94% संभावना है।
यदि रोब "9 बनाम 8" देता है, तो यह गणना करता है कि A के बेहतर होने की 52% संभावना है।
जादू: सिस्टम इन प्रतिशतों (संभावनाओं) को केवल "जीत/हार" के बजाय रैंकिंग गणित में फीड करता है। यह गणित को बताता है, "हे, यह जीत एक बड़ी बात थी," या "यह लगभग बराबरी का मामला था।"
परिणाम: अंतिम रैंकिंग बहुत अधिक सटीक हो जाती है। पेपर दिखाता है कि यह रैंकिंग में त्रुटि को लगभग 70% कम कर देता है, जिससे रोबोट के स्कोर मानव न्यायाधीशों द्वारा दिए गए स्कोर के बहुत करीब आ जाते हैं।

2. ग्लोबल फिक्स: एक "सेफ्टी नेट" जोड़ना

भले ही बेहतर "सॉफ्ट" विधि के साथ, रोबोट जज भी दोषरहित नहीं है। रोबोट और मनुष्यों के बीच अभी भी एक छोटा सा अंतर बना रहता है। कभी-कभी रोबोट नए शेफों के प्रति बहुत सख्त होता है या पुराने शेफों के प्रति बहुत उदार होता है।

पुराना तरीका:
आप बस रोबोट की रैंकिंग देते और उम्मीद करते कि सब ठीक होगा। यदि आप अनुमान लगाने की कोशिश करते कि यह कितना गलत हो सकता है, तो आपका अनुमान एक बहुत बड़ा, बेकार रेंज होता (जैसे यह कहना कि "शेफ 10वें और 100वें स्थान के बीच है")।

नया तरीका (कन्फॉर्मल प्रेडिक्शन):
लेखक स्प्लिट कन्फॉर्मल प्रेडिक्शन नामक एक सांख्यिकीय ट्रिक का उपयोग करके एक "सेफ्टी नेट" जोड़ते हैं।

इसे मौसम के पूर्वानुमान की तरह समझें। केवल यह कहने के बजाय कि "बारिश होगी," एक अच्छा पूर्वानुमान कहता है, "दोपहर 2 बजे से 4 बजे के बीच बारिश होने की 90% संभावना है।"
लेखक देखते हैं कि रोबोट ने कई ज्ञात शेफों (कैलिब्रेशन ग्रुप) पर कैसा प्रदर्शन किया। वे त्रुटियों के पैटर्न को देखते हैं।
जब एक नए शेफ का परीक्षण किया जाता है, तो सिस्टम केवल एक संख्या नहीं देता। यह एक रेंज (जैसे, "यह शेफ संभवतः 1400 और 1450 एलो के बीच है") देता है।
परिणाम: क्योंकि "सॉफ्ट" विधि ने प्रारंभिक रैंकिंग को इतना बेहतर बना दिया था, इसलिए यह सेफ्टी नेट अब संकुचित और उपयोगी (पहले की तुलना में लगभग 60% संकुचित) है। यह डेवलपर्स को बिना मनुष्यों को भुगतान किए, यह एक ईमानदार और सटीक अनुमान देता है कि उनका मॉडल कहाँ खड़ा है।

बड़ी तस्वीर

पेपर का तर्क है कि हमें केवल AI जज से यह नहीं पूछना चाहिए कि "कौन जीता?" बल्कि यह पूछना चाहिए कि "आप कितने आश्वस्त हैं?" और फिर उस आत्मविश्वास के स्तर का उपयोग करके एक बेहतर रैंकिंग बनानी चाहिए।

ऐसा करके, उन्होंने एक उपकरण बनाया जो:

पैसे बचाता है: इसे अच्छी रैंकिंग प्राप्त करने के लिए हजारों मानव वोटों की आवश्यकता नहीं है।
अधिक सटीक है: रैंकिंग मानव वास्तविकता के बहुत करीब है।
ईमानदार है: यह आपको बताता है कि आप परिणाम पर कितना भरोसा कर सकते हैं (एक "कॉन्फिडेंस इंटरवल" या विश्वास अंतराल के साथ)।

संक्षेप में, उन्होंने एक कठोर, त्रुटिपूर्ण रोबोट जज को एक लचीले, आत्म-जागरूक जज में बदल दिया जो जानता है कि वह कब अनुमान लगा रहा है और कब वह निश्चित है, जिससे हमें यह स्पष्ट तस्वीर मिलती है कि हमारे वास्तविक AI मॉडल वास्तव में कौन से हैं।

तकनीकी सारांश: अनिश्चित निर्णयों से अंशांकित रैंकिंग तक (From Uncertain Judgments to Calibrated Rankings)

समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) का मूल्यांकन करने के लिए आमतौर पर महंगी मानव एनोटेशन अभियानों (human annotation campaigns) पर निर्भर रहना पड़ता है। जबकि "LLM-as-a--judge" एक स्केलेबल और कम लागत वाला विकल्प प्रदान करता है, यह व्यवस्थित त्रुटियाँ (systematic errors) पेश करता है जो परिणामी रैंकिंग को गलत तरीके से अंशांकित (miscalibrate) कर देती हैं। इन त्रुटियों में पोजीशन बायस (position bias), लेंथ बायस (length bias), और सेल्फ-प्रेफरेंस (self-preference) शामिल हैं। इसके अलावा, मानक मूल्यांकन पाइपलाइन अक्सर जज के सूक्ष्म स्कोर को हार्ड बाइनरी लेबल (जीत/हार/टाई) में समेट देती हैं, जिससे पसंद की मजबूती (strength of preference) के बारे में जानकारी लुप्त हो जाती है।

यह शोध पत्र वर्तमान "Hard-Elo" पाइपलाइनों के दो विशिष्ट विफलता मोड (failure modes) की पहचान करता है:

स्केल डिस्टॉर्शन (Scale Distortion): जबकि जज अक्सर मॉडल्स की सही रैंकिंग को रिकवर कर लेते हैं, परिणामी Elo दूरियां गलत तरीके से स्केल की गई होती हैं। जज अत्यधिक आत्मविश्वासी (overconfident) होते हैं, जिससे वे ऐसे Elo अंतराल (gaps) उत्पन्न करते हैं जो मानव-व्युत्पन्न अंतरालों के साथ मेल नहीं खाते।
व्यापक अनिश्चितता अंतराल (Wide Uncertainty Intervals): जब इन गलत-स्केल्ड रेसिडुअल्स (residuals) पर कॉन्फॉर्मल प्रेडिक्शन (conformal prediction) का उपयोग करके अनिश्चितता को मापने का प्रयास किया जाता है, तो परिणामी कॉन्फिडेंस इंटरवल अत्यधिक चौड़े (132–261 Elo पॉइंट्स) होते हैं, जो मॉडल प्रदर्शन को अलग करने के लिए परिचालन रूप से बेकार साबित होते हैं।

मुख्य मुद्दा यह है कि Hard-Elo एक निर्णायक जीत (बड़ी स्कोर अंतर) और एक करीबी मुकाबले (छोटा स्कोर अंतर) को समान मानता है, और जज के स्कोर गैप में निहित स्थानीय अनिश्चितता (local uncertainty) की अनदेखी करता है।

कार्यप्रणाली (Methodology): Soft-Elo

लेखक Soft-Elo का प्रस्ताव देते हैं, जो एक दो-स्तरीय ढांचा (two-layer framework) है जो स्थानीय स्तर पर अनिश्चितता की जानकारी को संरक्षित करके और वैश्विक स्तर पर इसे अंशांकित (calibrate) करके Elo अनुमान में सुधार करता है।

1. स्थानीय स्तर: अंशांकित जीत की संभावनाएं (Calibrated Win Probabilities)

जज स्कोर को हार्ड लेबल ( $y \in \{0, 0.5, 1\}$ ) में बदलने के बजाय, लेखक कच्चे स्कोर अंतर ( $s$ ) को अंशांकित जीत की संभावनाओं में प्रसारित करते हैं।

स्कोर-टू-प्रोबेबिलिटी मैपिंग: कच्चे स्कोर अंतर $s(x)$ को एक सीखे गए तापमान पैरामीटर $\beta$ वाले लॉजिस्टिक फंक्शन का उपयोग करके एक सॉफ्ट टारगेट $\tilde{y}(x)$ में मैप किया जाता है:
$\tilde{y}(x) = P[B \prec A | x] = \sigma(\beta s(x))$
कैलिब्रेशन (Calibration): पैरामीटर $\beta$ का अनुमान बैटल्स के एक कैलिब्रेशन सेट (होल्ड-आउट मॉडल को छोड़कर) पर मैक्सिमम लाइकलीहुड एस्टीमेशन (MLE) के माध्यम से लगाया जाता है ताकि यह सुनिश्चित हो सके कि अनुमानित संभावनाएँ देखे गए मानव सहमति दरों से मेल खाती हैं।
एकीकरण (Integration): यह सॉफ्ट टारगेट मानक BT लॉग-लाइक्लीहुड ऑब्जेक्टिव में हार्ड लेबल की जगह लेता है। BT मॉडल संरचना और Elo रूपांतरण अपरिवित रहता है; केवल प्रशिक्षण लक्ष्य (training targets) जज के आत्मविश्वास को दर्शाने के लिए "सॉफ्ट" किए जाते हैं।

2. वैश्विक स्तर: स्प्लिट कॉन्फॉर्मल प्रेडिक्शन (Split Conformal Prediction)

स्थानीय अंशांकन के बावजूद, LLM-व्युत्पन्न और मानव-व्युत्पन्न Elo रेटिंग के बीच एक रेसिडुअल गैप बना रह सकता है। इस अपरिहार्य विसंगति को मापने और ईमानदार अनिश्चितता सीमाएं प्रदान करने के लिए:

रेसिडुअल मॉडलिंग (Residual Modeling): लेखक कैलिब्रेशन मॉडल्स के लिए साइनेड रेसिड्यू $\epsilon_i = \text{Elo}_{\text{LLM}, i} - \text{Elo}_{\text{Human}, i}$ की गणना करते हैं।
नॉर्मलाइज्ड नॉनकॉन्फॉर्मिटी (Normalized Nonconformity): विभिन्न सैंपल साइज और शोर (noise) को ध्यान में रखने के लिए, रेसिड्यू को LLM Elo अनुमान के बूटस्ट्रैप स्टैंडर्ड एरर ( $\hat{SE}_i$ ) द्वारा नॉर्मलाइज किया जाता है: $S_i = |\epsilon_i| / \hat{SE}_i$ ।
इंटरवल निर्माण (Interval Construction): स्प्लिट कॉन्फॉर्मल प्रेडिक्शन का उपयोग करके, कैलिब्रेशन सेट से एक क्वांटाइल $\hat{q}$ निर्धारित किया जाता है। एक नए मॉडल के लिए, अंतिम मानव Elo अनुमान एक कॉन्फॉर्मल इंटरवल के रूप में प्रदान किया जाता है:
$C = [\text{Elo}_{\text{LLM}, n+1} - \hat{q}\hat{SE}_{n+1}, \text{Elo}_{\text{LLM}, n+1} + \hat{q}\hat{SE}_{n+1}]$
यह समान जनसंख्या से लिए गए नए मॉडल्स के लिए डिस्ट्रीब्यूशन-फ्री मार्जिनल कवरेज गारंटी प्रदान करता है।

मुख्य योगदान (Key Contributions)

स्थानीय अनिश्चितता हैंडलिंग: यह प्रदर्शित किया गया कि कच्चे जज स्कोर से अंशांकित जीत की संभावनाओं को रिग्रेस (regress) करना (बाइनरी लेबल में समेटने के बजाय) Elo अनुमान में सटीकता में काफी सुधार करता है और स्ट्रक्चर्ड रेसिड्यू को कम करता है।
वैश्विक अनिश्चितता का परिमाणीकरण: LLM-मानव Elo रेसिड्यूअल्स पर स्प्लिट कॉन्फॉर्मल प्रेडिक्शन लागू किया गया, जो डिस्ट्रीब्यूशन-फ्री मार्जिनल कवरेज गारंटी के साथ प्रेडिक्शन इंटरवल उत्पन्न करता है।
कम लागत वाला मूल्यांकन पाइपलाइन: एक ऐसा प्रोटोकॉल स्थापित किया गया जो परीक्षण के अधीन मॉडल के लिए मानव एनोटेशन की आवश्यकता के बिना, विविध विरोधियों के विरुद्ध बैटल्स का उपयोग करके Elo रेटिंग और अनिश्चितता सीमा का अनुमान लगाता है।
बेंचमार्किंग: LMArena (55 होल्ड-आउट मॉडल्स) पर दृष्टिकोण को मान्य किया गया, जिससे दिखाया गया कि Soft-Elo, LLM-व्युत्पन्न रेटिंग को मानव-व्युत्पन्न रेटिंग के 17.9 Elo मीन एब्सोल्यूट एरर (MAE) के भीतर लाता है।

परिणाम (Results)

सटीकता में सुधार: आठ अलग-अलग जज मॉडल्स केAcross, Soft-Elo ने होल्ड-आउट Elo MAE को 39% से 73% तक कम कर दिया। औसत MAE 45.9 Elo (Hard-Elo) से गिरकर 17.9 Elo (Soft-Elo) हो गया।
रैंकिंग स्थिरता: विधि ने मॉडल रैंकिंग को बदले बिना स्केल फिडेलिटी में सुधार किया; स्पीयरमैन रैंक कोरिलेशन में परिवर्तन नगण्य था ( $\Delta\rho \in [-0.011, +0.014]$ )।
इंटरवल संकुचन (Interval Narrowing): कॉन्फॉर्मल स्टेप में फीड किए गए स्ट्रक्चर्ड रेसिड्यू को कम करके, Soft-Elo ने 90% कॉन्फॉर्मल इंटरवल के मीडियन विड्थ (median width) को 39% से 70% तक कम कर दिया। उदाहरण के लिए, DeepSeek-V3.2 जज पर, मीडियन इंटरवल विड्थ 261 Elo (Hard-Elo) से घटकर 78 Elo (Soft-Elo) हो गई, जबकि 90% के लक्ष्य के पास एम्पिरिकल कवरेज बनाए रखा।
सैंपल दक्षता (Sample Efficiency): Soft-Elo सभी एनोटेशन बजटों में Hard-Elo से बेहतर प्रदर्शन करता है, जिसमें प्रदर्शन का अंतर कम-डेटा वाले परिदृश्यों में सबसे अधिक महत्वपूर्ण है।

महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि Soft-Elo एक कम लागत वाला मूल्यांकन उपकरण प्रदान करता है जो डेवलपर्स को अंशांकित Elo अनुमान और "ईमानदार अनिश्चितता सीमाएं" प्रदान करता है, जिसके लिए टेस्ट मॉडल के बड़े पैमाने पर मानव एनोटेशन अभियानों की आवश्यकता नहीं है।

इसका महत्व केवल एक पॉइंट एस्टीमेट (जो पक्षपाती हो सकता है) रिपोर्ट करने से हटकर एक अंशांकित अंतराल (calibrated interval) प्रदान करने की ओर शिफ्ट होने में है, जो स्थानीय जज अनिश्चितता और वैश्विक व्यवस्थित असहमति दोनों को ध्यान में रखता है। लेखक इस बात पर जोर देते हैं कि यह दृष्टिकोण उस विशिष्ट मात्रा को लक्षित करता है जिसे लीडरबोर्ड उपयोगकर्ता देखते हैं: मानव Elo स्केल पर दूरियां। जज के पूर्वाग्रहों और भंगुरता (fragility) के कारण मॉडल रैंकिंग की गलत व्याख्या को रोकने के लिए मॉडल-स्तर पर अंशांकित अनिश्चितता को सामने लाकर, यह विधि मॉडल रैंकिंग को बेहतर बनाने का लक्ष्य रखती है।

स्वीकृत सीमाएं (Limitations Acknowledged):

यह विधि केवल जज के स्कोर अंतर में निहित अनिश्चितता को मॉडल करती है; यह एपिस्टेमिक अनिश्चितता (epistemic uncertainty), मतिभ्रम (hallucinated) स्कोर, या प्रॉम्प्ट अस्पष्टता को ध्यान में नहीं रखती है।
कॉन्फॉर्मल गारंटी के लिए कैलिब्रेशन और टेस्ट मॉडल्स की एक्सचेंजेबिलिटी (exchangeability) पर निर्भरता आवश्यक है। प्रॉम्प्ट वितरण, मॉडल परिवारों, या टेम्पोरल परिवर्तनों में महत्वपूर्ण बदलाव इस स्थिति का उल्लंघन कर सकते हैं, जिसके लिए पुनः अंशांकन (re-calibration) की आवश्यकता होगी।