🤖 machine learning

DualEval: Joint Model-Item Calibration for Unified LLM Evaluation

DualEval एक संयुक्त मॉडल-आइटम अंशांकन (calibration) ढांचे को पेश करता है जो विश्वसनीय मॉडल रैंकिंग और कई डोमेन में आइटम-स्तरीय निदान (diagnostics) उत्पन्न करने के लिए स्थिर बेंचमार्क और एरिना-शैली के प्राथमिकता डेटा को एक साझा लेटेंट स्पेस में एकीकृत करता है।

मूल लेखक: Aaron J. Li, Hao Huang, Youngmin Park, Yitong Ma, Wei-Lin Chiang, Li Chen, Cho-Jui Hsieh, Bin Yu, Ion Stoica

प्रकाशित 2026-06-26

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Aaron J. Li, Hao Huang, Youngmin Park, Yitong Ma, Wei-Lin Chiang, Li Chen, Cho-Jui Hsieh, Bin Yu, Ion Stoica

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल रसोई में 18 अलग-अलग शेफ के कौशल का आकलन करने की कोशिश कर रहे हैं। पारंपरिक रूप से, आपके पास इसे करने के दो तरीके थे, लेकिन वे दो अलग-अलग भाषाओं की तरह थे जो कभी आपस में मिल नहीं पाते थे:

बहुविकल्पीय प्रश्नोत्तरी (स्थिर बेंचमार्क): आप उन्हें एक परीक्षण देते हैं जिसमें स्पष्ट सही और गलत उत्तर होते हैं। यह वस्तुनिष्ठ है और ग्रेडिंग करना आसान है, लेकिन अंततः शेफ उत्तरों को रट लेते हैं, या प्रश्न इतने आसान हो जाते हैं कि सभी उन्हें पास कर लेते हैं, जिससे यह बताना कठिन हो जाता है कि वास्तव में सबसे अच्छा कौन है।
स्वाद प्रतियोगिता (एरिना-शैली): लोग दो व्यंजनों को अगल-बगल रखकर चखते हैं और वोट देते हैं कि उन्हें कौन सा अधिक पसंद आया। यह वास्तविक जीवन जैसा लगता है, लेकिन यह अव्यवधित है। लोग असहमत होते हैं, कुछ जज बहुत नखरेबाज होते हैं, और यह जानना कठिन होता है कि "जीत" इसलिए हुई क्योंकि व्यंजन वास्तव में बेहतर था या केवल इसलिए क्योंकि जज अच्छे मूड में था।

DualEval एक नया फ्रेमवर्क है जो एक मास्टर अनुवादक और एक स्मार्ट स्केल की तरह काम करता है, जो इन दोनों दुनियाओं को एक एकीकृत प्रणाली में जोड़ता है। यह इस प्रकार काम करता है, सरल उपमाओं का उपयोग करते हुए:

1. साझा "कौशल पैमाना" (Shared Skill Scale)

प्रत्येक शेफ को क्विज़ और टेस्टिंग के लिए अलग-अलग स्कोर देने के बजाय, DualEval सभी को क्षमता की एक ही सीढ़ी पर रखता है।

यह केवल यह नहीं पूछता, "कौन जीता?"
यह पूछता है, "यह विशिष्ट व्यंजन कितना कठिन था, और एक अच्छे शेफ और एक महान शेफ के बीच का अंतर कितना गहरा है?"

इसे एक वीडियो गेम रेटिंग सिस्टम की तरह समझें। एक गेम में, कुछ स्तर इतने आसान होते हैं कि एक नौसिखिया भी उन्हें जीत लेता है (वे कौशल के बारे में बहुत कुछ नहीं बताते)। कुछ इतने कठिन होते हैं कि कोई भी उन्हें जीत नहीं पाता (वे भी बहुत कुछ नहीं बताते)। DualEval यह पता लगाता है कि कौन से "स्तर" (प्रश्न) "गोल्डिलॉक्स ज़ोन" (Goldilocks zone) में हैं—इतने कठिन कि शीर्ष शेफ को चुनौती दें, लेकिन इतने आसान भी नहीं कि कमजोर लोग भी पास हो जाएं। ये वे प्रश्न हैं जो वास्तव में बताते हैं कि सबसे अच्छा कौन है।

2. दो प्रकार का फीडबैक, एक मस्तिष्क

DualEval क्विज़ और टेस्टिंग दोनों से एक साथ सीखता है।

क्विज़ इसे कठोर तथ्य (सही/गलत) देता है।
टेस्टिंग इसे "कोमल" भावनाएं (मुझे यह थोड़ा अधिक पसंद आया) देती है।

जादू यह है कि वे एक-दूसरे की मदद करते हैं। यदि टेस्टिंग जज भ्रमित या शोर वाले हैं, तो क्विज़ के कठोर तथ्य रैंकिंग को स्थिर रखते हैं। यदि क्विज़ के प्रश्न बहुत पुराने या रटे हुए हैं, तो ताज़ा टेस्टिंग डेटा कमियों को भर देता है। यह एक सख्त गणित शिक्षक और एक रचनात्मक कला समीक्षक द्वारा एक ही छात्र की ग्रेडिंग करने जैसा है; साथ मिलकर, वे अकेले किसी भी एक की तुलना में छात्र की प्रतिभा की कहीं अधिक सच्ची तस्वीर पेश करते हैं।

3. "शोर" को खोजना (विसंगति का पता लगाना - Anomaly Detection)

चूंकि DualEval को ठीक-ठीक पता है कि एक प्रश्न कितना कठिन है और एक शेफ को कितना अच्छा होना चाहिए, इसलिए यह पहचान सकता है कि कब कुछ अजीब हो रहा है।

उपमा: कल्पना कीजिए कि एक शेफ जो आमतौर पर टोस्ट जला देता है, अचानक एक ऐसा कठिन सूफ़ले (soufflé) बनाता है जो बेहद मुश्किल सवाल पर आधारित है।
परिणाम: DualEval इसे एक "संदिग्ध आउटलायर" (suspicious outlier) के रूप में चिह्नित करता है। यह यह नहीं कहता कि शेफ एक जीनियस है; यह कहता है, "रुको, यह परिणाम पैटर्न में फिट नहीं बैठता। क्या उन्होंने नकल की? क्या उन्होंने उत्तर रट लिए? या क्या डेटा खराब है?" यह डेटा लीकेज या धोखाधड़ी (contamination) को पकड़ने में मदद करता है इससे पहले कि वह लीडरबोर्ड को खराब कर दे।

4. "स्मार्ट फ़िल्टर" (बेंचमार्क संपीड़न - Benchmark Compression)

पेपर में पाया गया कि यह जानने के लिए कि सबसे अच्छा कौन है, आपको शेफ को हर एक प्रश्न पर टेस्ट करने की आवश्यकता नहीं है।

उपमा: यदि आपके पास 1,000 प्रश्न हैं, तो उनमें से 900 शायद बहुत आसान होंगे (सभी पास हो जाते हैं) या बहुत कठिन (कोई पास नहीं हो पाता)। वे केवल "फिलर" हैं।
परिणाम: DualEval उन शीर्ष 10% प्रश्नों की पहचान कर सकता है जो सबसे अधिक "सूचनात्मक" हैं। यदि आप शेफ का परीक्षण केवल इन 10% उच्च-गुणवत्ता वाले प्रश्नों पर करते हैं, तो आपको वही रैंकिंग मिलेगी जो 1,000 प्रश्नों के परीक्षण से मिलती। इससे समय और पैसे की भारी बचत होती है।

सारांश

DualEval एक ऐसा टूल है जो टेस्ट प्रश्नों को बदलने योग्य वस्तुओं के रूप में मानना बंद करता है। इसके बजाय, यह प्रत्येक प्रश्न को अपनी कठिनाई और "तीक्ष्णता" के साथ एक अद्वितीय उपकरण के रूप में मानता है। कठोर टेस्ट स्कोर को मानवीय प्राथमिकताओं के साथ जोड़कर, यह लार्ज लैंग्वेज मॉडल्स (LLMs) को रैंक करने का एक अधिक निष्पक्ष, अधिक स्थिर और अधिक कुशल तरीका बनाता है, जबकि यह धोखाधड़ी या खराब डेटा का पता लगाने के लिए एक जासूस के रूप में भी कार्य करता है।

तकनीकी सारांश: DualEval – एकीकृत LLM मूल्यांकन के लिए संयुक्त मॉडल-आइटम अंशांकन (Calibration)

समस्या विवरण

लार्ज लैंग्वेज मॉडल (LLM) मूल्यांकन वर्तमान में दो पूरक लेकिन अक्सर असंबद्ध संकेतों पर निर्भर करता है:

स्थिर बेंचमार्क (Static Benchmarks): ये वस्तुनिष्ठ शुद्धता लेबल (correctness labels) और मानकीकृत ग्रेडिंग प्रदान करते हैं, लेकिन ये संतृप्ति (saturation), संदूषण (contamination) और ओपन-एंडेड कार्यों के लिए सूक्ष्मता की कमी से ग्रस्त हैं।
एरिना-शैली के मूल्यांकन (Arena-Style Evaluations): ये प्राथमिकता रैंकिंग (जैसे, ब्रैडली-टेरी मॉडल) के माध्यम से ओपन-एंडेड उपयोगकर्ता इंटरैक्शन को दर्शाते हैं, लेकिन इनमें व्यक्तिपरकता, एनोटेटर की असहमति और व्यवस्थित मूल्यांकनकर्ता पूर्वाग्रह शामिल होते हैं।

मौजूदा दृष्टिकोण अक्सर इन सेटिंग्स को अलग मानते हैं या आइटम-स्तरीय परिणामों को समग्र मॉडल स्कोर में एकत्रित कर देते हैं, जिससे इस महत्वपूर्ण अंतर्दृष्टि की अनदेखी होती है कि रैंकिंग संकेत मॉडल-आइटम इंटरैक्शन पर निर्भर करते हैं। जो आइटम अत्यधिक सरल या असंभव रूप से कठिन होते हैं, वे मॉडलों के बीच सीमित अलगाव (separation) प्रदान करते हैं। इसके अलावा, वर्तमान विधियाँ मुख्य रूप से मॉडल-केंद्रित हैं, जो मूल्यांकन मदों (items) के गुणों (जैसे, कठिनाई, तीक्ष्णता या संतृप्ति) का निदान करने में विफल रहती हैं।

कार्यप्रणाली: DualEval

लेखक DualEval प्रस्तावित करते हैं, जो एक एकीकृत ढांचा है जो आइटम रिस्पॉन्स थ्योरी (IRT) से प्रेरित होकर एक साझा लेटेंट स्पेस (latent space) के भीतर मॉडल क्षमताओं और आइटम गुणों का संयुक्त रूप से अनुमान लगाता है।

मुख्य ढांचा

DualEval प्रत्येक मॉडल $i$ को एक क्षमता पैरामीटर $\theta_i$ के साथ और प्रत्येक कार्य $q$ को एक कठिनाई पैरामीटर $b_q$ और एक तीक्ष्णता (sharpness) पैरामीटर $a_q$ (जहाँ $a_q = \exp(k_q)$ ) के साथ प्रदर्शित करता है। यह ढांचा दो अलग-अलग डेटा स्रोतों को एकीकृत करता है:

स्थिर IRT (बाइनरी शुद्धता):
बाइनरी लेबल ( $y_{i,q} \in \{0, 1\}$ ) वाले स्थिर बेंचमार्क के लिए, DualEval एक मानक टू-पैरामीटर लॉजिस्टिक (2PL) IRT मॉडल का उपयोग करता है:
$p_{i,q} = P(y_{i,q} = 1) = \sigma(a_q(\theta_i - b_q))$
जहाँ $\sigma$ सिग्मॉइड फंक्शन है। लॉस (loss), अनुमानित संभावनाओं और देखे गए लेबल के बीच बाइनरी क्रॉस-एन्ट्रॉपी है।
रिवॉर्ड-डिस्टिल्ड पेयरवाइज IRT (ओपन-एंडेड प्राथमिकताएं):
एरिना-शैली के डेटा के लिए, एक रिवॉर्ड मॉडल (RM) प्रतिक्रियाओं को स्केलर स्कोर $r_{i,q}$ प्रदान करता है। इन्हें $z_{i,q}$ में मानकीकृत किया जाता है।
- सॉफ्ट प्रेफरेंस टारगेट्स: पेयरवाइज प्राथमिकताएं सॉफ्ट टारगेट्स $p^*_{ijq} = \sigma(z_{i,q} - z_{j,q})$ के रूप में बनाई जाती हैं, जो रिवॉर्ड गैप को कैलिब्रेटेड प्राथमिकता शक्ति में बदल देती हैं।
- लेटेंट प्रेडिक्शन: मॉडल प्रश्न $q$ पर मॉडल $i$ के मॉडल $j$ को हराने की संभावना का अनुमान लगाता है: $\hat{P}(i \succ j | q) = \sigma(\gamma(p_{i,q} - p_{j,q}))$ , जहाँ $\gamma$ एक सीखा गया तापमान (temperature) पैरामीटर है।
- फिल्टरिंग: यह ढांचा "टाई" (छोटे रिवॉर्ड गैप) और "दोनों-बुरे" (जहाँ दोनों मॉडल कम रिवॉर्ड प्राप्त करते हैं) जोड़ों को फ़िल्टर करता है ताकि शोर वाले ग्रेडिएंट्स से बचा जा सके। "दोनों-बुरे" जोड़ों को पूर्ण विफलता के साक्ष्य के रूप में माना जाता है, जो दोनों मॉडलों को उस आइटम के लिए निम्न सफलता संभावनाओं की ओर धकेलता है।

संयुक्त अनुकूलन (Joint Optimization)

स्थिर और एरिना घटक समान लेटेंट पैरामीटर $(\theta, b, k)$ साझा करते हैं। कुल ऑब्जेक्टिव फंक्शन स्थिर लॉस, एरिना प्रेफरेंस लॉस और एक "दोनों-बुरे" पेनल्टी को जोड़ता है, जिसे पहचान क्षमता (identifiability) सुनिश्चित करने के लिए नियमित (regularized) किया जाता है (प्रत्येक चरण के बाद क्षमताओं को शून्य माध्य पर केंद्रित करना)।

मुख्य योगदान

एकीकृत मूल्यांकन प्रतिमान: DualEval एक साझा लेटेंट स्केल पर स्थिर शुद्धता और ओपन-एंडेड प्राथमिकताओं को जोड़ता है, जिससे प्रत्येक सिग्नल स्रोत एक-दूसरे की कमजोरियों की भरपाई कर सकता है (जैसे, स्थिर लेबल शोर वाले रिवॉर्ड सिग्नल को स्थिर करते हैं)।
आइटम-स्तरीय डायग्नोस्टिक्स: पारंपरिक लीडरबोर्ड के विपरीत, DualEval आइटम प्रोफाइल (कठिनाई, तीक्ष्णता और फिशर इंफॉर्मेशन) को सीखता है, जिससे संतृप्त, भेदभावपूर्ण या कम-सिग्नल वाले मदों की पहचान करना संभव होता है।
डायग्नोस्टिक अनुप्रयोग:
- बेंचमार्क संपीड़न (Compression): पूर्ण-डेटा रैंकिंग को न्यूनतम डेटा के साथ पुनः प्राप्त करने के लिए उच्च-सिग्नल वाले मदों के उपसमुच्चय (subsets) चुनने के लिए फिशर इंफॉर्मेशन का उपयोग करना।
- विसंगति का पता लगाना (Anomaly Detection): उन संदिग्ध (मॉडल, आइटम) जोड़ों को चिह्नित करने के लिए अवशेषों (residuals) का उपयोग करना जो अपेक्षाओं से विचलित होते हैं, जिससे संदूषण का पता लगाने में मदद मिलती है।

प्रयोगात्मक परिणाम

इस ढांचे का मूल्यांकन चार डोमेन (कोडिंग, गणित, विविध, जेनेरिक) में 18 फ्रंटियर LLMs के माध्यम से किया गया।

सिग्नल पुनर्निर्माण: DualEval ने स्थिर लेबल पर 88-92% सटीकता और एरिना तुलनाओं पर 68-81% निर्णायक-जोड़ी सहमति हासिल की।
मजबूती (Robustness): स्थिर-आधारित डोमेन में, DualEval ने स्थिर संदर्भों के साथ उच्च सहमति बनाए रखी, भले ही रिवॉर्ड मॉडल को एक सार्वजनिक विकल्प (Skywork-Reward-V2-Qwen3-8B) से बदल दिया गया हो। इसके विपरीत, एरिना-मात्र बेसलाइन ने समान परिस्थितियों में महत्वपूर्ण रैंकिंग विचलन ( $\rho \approx 0.25$ ) दिखाया।
बेंचमार्क संपीड़न: फिशर इंफॉर्मेशन द्वारा शीर्ष 10% मदों को चुनने पर, इसने स्थिर-आधारित डोमेन में $\rho \ge 0.95$ के स्पियरमैन $\rho$ के साथ पूर्ण-डेटा रैंकिंग को पुनः प्राप्त किया, जो यह दर्शाता है कि रैंकिंग संकेत उच्च-सूचना वाले मदों के एक छोटे समूह में केंद्रित हैं।
विसंगति का पता लगाना: अवशेष-आधारित डिटेक्टर ने स्थिर-लेबल संदूषण के लिए AUROC $\ge 0.995$ और क्लीन-रेफरेंस फिट का उपयोग करने पर एरिना-रिवॉर्ड संदूषण के लिए AUROC 0.93–0.98 प्राप्त किया।

महत्व और दावे

यह पेपर LLM मूल्यांकन को केवल एक मॉडल-केंद्रित रैंकिंग कार्य के बजाय एक संयुक्त मॉडल-आइटम अंशांकन (calibration) समस्या के रूप में पुनर्गठित करता है। लेखक दावा करते हैं कि यह दृष्टिकोण:

स्थिर और एरिना संकेतों को एकीकृत करके अधिक संतुलित और स्थिर रैंकिंग प्रदान करता है।
मूल्यांकन डेटा को विश्लेषण के विषय में बदल देता है, जिससे संतृप्त मदों की पहचान और नमूना-कुशल (sample-efficient) बेंचमार्क का निर्माण संभव होता है।
ऑडिट योग्य, व्याख्या योग्य डायग्नोस्टिक्स (आइटम प्रोफाइल और अवशेषों के माध्यम से) प्रदान करता है जो अधिक कठोर और लागत प्रभावी मूल्यांकन पाइपलाइनों का समर्थन करते हैं।

लेखक सीमाओं को स्वीकार करते हैं, जिसमें एक प्रोप्रायटरी रिवॉर्ड मॉडल पर निर्भरता (जिसे सार्वजनिक RM सत्यापन द्वारा कम किया गया है), एकल-प्रतिक्रिया मूल्यांकन का उपयोग (सैंपलिंग परिवर्तनशीलता को अनदेखा करना), और स्केलर क्षमता मापदंडों का उपयोग (भविष्य का कार्य बहुआयामी प्रोफाइल का सुझाव देता है) शामिल है। हालांकि, वे तर्क देते हैं कि DualEval अधिक कुशल, व्याख्या योग्य और सुदृढ़ मूल्यांकन प्रणालियों की ओर एक सिद्धांतवादी कदम है।