💬 NLP

Don't Pass@k: A Bayesian Framework for Large Language Model Evaluation

यह शोध पत्र एक सिद्धांत-आधारित बेयसियन ढांचे (Bayesian framework) का प्रस्ताव करता है जो अस्थिर Pass@k मीट्रिक को पोस्टीरियर अनुमानों (posterior estimates) और विश्वसनीय अंतरालों (credible intervals) से बदल देता है ताकि बाइनरी और ग्रेड-आधारित दोनों मूल्यांकन परिदृश्यों में लार्ज लैंग्वेज मॉडल्स के लिए अधिक विश्वसनीय, गणना-कुशल और अनिश्चितता-जागरूक रैंकिंग प्रदान की जा सके।

मूल लेखक: Mohsen Hariri, Amirhossein Samandar, Michael Hinczewski, Vipin Chaudhary

प्रकाशित 2026-03-20

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mohsen Hariri, Amirhossein Samandar, Michael Hinczewski, Vipin Chaudhary

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक टैलेंट स्काउट हैं जो 20 दिग्गजों से भरे कमरे में सबसे अच्छे गणित के छात्र को खोजने की कोशिश कर रहे हैं। आप उन्हें एक कठिन समस्या देते हैं।

पुराना तरीका (Pass@k): "किस्मत का खेल" (लॉटरी)
वर्तमान में, अधिकांश लोग AI मॉडल्स का मूल्यांकन Pass@k नामक एक विधि से करते हैं। कल्पना कीजिए कि आप एक छात्र को गणित की समस्या हल करने के लिए कहते हैं। वे पहली बार में ही इसे सही कर सकते हैं, या वे पांच बार गलत हो सकते हैं और छठी बार में सही कर सकते हैं।

Pass@k कहता है: "यदि छात्र अपने पहले $k$ प्रयासों में से कम से कम एक बार सही उत्तर देता है, तो वह पास हो जाता है।"
समस्या: यह वैसा ही है जैसे किसी बास्केटबॉल खिलाड़ी का मूल्यांकन इस आधार पर करना कि उसने दस कोशिशों में से एक बार किस्मत से शॉट मारा या नहीं। यदि आप उन्हें केवल 5 शॉट लेने की अनुमति देते हैं, तो परिणाम अराजक होते हैं। एक दिन वे एक भाग्यशाली शॉट मारकर प्रो लग सकते हैं; दूसरे दिन वे हर शॉट मिस कर सकते हैं, भले ही उनका वास्तविक कौशल नहीं बदला हो। यह शोर भरा, अस्थिर और भ्रामक है, खासकर जब आपके पास 100 शॉट लेने का बजट न हो।

नया तरीका (Bayes@N): "कॉन्फिडेंस कोच"
यह पेपर Bayes@N नामक एक नया फ्रेमवर्क प्रस्तावित करता है। केवल "पास" या "फेल" गिनने के बजाय, यह एक बुद्धिमान कोच की तरह काम करता है जो छात्र के प्रदर्शन की एक निरंतर डायरी रखता है।

यह कैसे काम करता है, सरल रूपकों का उपयोग करते हुए:

1. "कैटेगोरिकल" स्कोरकार्ड (केवल सही/गलत नहीं)

पुराने दिनों में, एक टेस्ट केवल 1 (सही) या 0 (गलत) होता था।

नया तरीका: कल्पना कीजिए कि एक रूब्रिक (rubric) है जो कहता है:
- 0: छात्र ने उत्तर देने से मना कर दिया।
- 1: उन्होंने कोशिश की लेकिन गणित गलत हुआ।
- 2: उन्होंने गणित सही किया लेकिन उसे गलत फॉर्मेट में लिखा (जैसे उत्तर को बॉक्स में करना भूल जाना)।
- 3: उन्होंने इसे सही किया और फॉर्मेट भी एकदम सही रखा।
- 4: उन्होंने इसे सही किया, फॉर्मेट भी सही रखा, और अपने चरणों (steps) को स्पष्ट रूप से समझाया।
  नया सिस्टम इन प्रदर्शनों को केवल बाइनरी पास/फेल के बजाय अलग-अलग "फ्लेवर्स" के रूप में देखता है। यह आपको एक बहुत अधिक समृद्ध चित्र देता है कि मॉडल कैसे सोचता है।

2. "कॉन्फिडेंस इंटरवल" (सुरक्षा जाल)

यह सबसे महत्वपूर्ण हिस्सा है।

पुराना तरीका: यदि मॉडल A का स्कोर 60% है और मॉडल B का 61% है, तो पुराना सिस्टम कहता है: "मॉडल B विजेता है!" लेकिन क्या 1% का अंतर वास्तविक था, या केवल किस्मत? पुराना सिस्टम यह नहीं जानता।
नया तरीका: बेयसियन फ्रेमवर्क स्कोर के चारों ओर एक "धुंधला घेरा" (जिसे क्रेडिबल इंटरवल कहा जाता है) बनाता है।
- यदि मॉडल A का घेरा [55% से 65%] है और मॉडल B का [56% से 66%] है, तो घेरे आपस में ओवरलैप होते हैं। कोच कहता है, "रुकिए! हम अभी यह नहीं बता सकते कि कौन बेहतर है। यह एक टाई है।"
- यदि घेरे आपस में नहीं मिलते हैं, तब हम पूरे विश्वास के साथ एक विजेता घोषित करते हैं।
  यह "लीडरबोर्ड चर्न" (leaderboard churn) को रोकता है जहाँ मॉडल हर बार टेस्ट चलाने पर अपनी रैंक बदलते रहते हैं।

3. "पूर्व ज्ञान" (अतीत से सीखना)

कल्पना कीजिए कि आप एक ऐसे नए संस्करण का मूल्यांकन कर रहे हैं जिसने पिछले साल भी एक टेस्ट दिया था।

पुराना तरीका: आप पिछले साल के परिणामों को अनदेखा करते हैं और शून्य से शुरुआत करते हैं।
नया तरीका: आप पिछले साल के प्रदर्शन को एक "हेड स्टार्ट" (एक प्रायर/Prior) के रूप में उपयोग करते हैं। यदि छात्र पिछले साल बहुत अच्छा था, तो आप इस धारणा के साथ शुरू करते हैं कि वह इस साल भी अच्छा होगा, और आपको यह पुष्टि करने के लिए केवल कुछ नए टेस्ट परिणामों की आवश्यकता होती है। इससे बहुत सारा समय और पैसा बचता है।

4. यह क्यों मायने रखता है (द "गोल्ड स्टैंडर्ड")

लेखकों ने सिमुलेशन चलाए जहाँ उन्हें मॉडल्स के वास्तविक कौशल स्तर का पता था (जैसे कि किसी सिक्के का सटीक वजन जानना)। उन्होंने पाया कि:

Pass@k (पुराना तरीका) एक सिक्के को उछालकर उसका वजन अनुमान लगाने जैसा था। स्थिर उत्तर पाने के लिए इसे बहुत अधिक उछालों की आवश्यकता थी।
Bayes@N (नया तरीका) एक तराजू का उपयोग करने जैसा था। इसने बहुत कम उछालों और परीक्षणों के साथ वास्तविक रैंकिंग को बहुत तेज़ी से खोज लिया।

मुख्य निष्कर्ष

यह पेपर तर्क देता है कि हमें AI मूल्यांकन को लॉटरी टिकट (क्या यह इस बार भाग्यशाली रहा?) की तरह नहीं, बल्कि एक सांख्यिकीय जांच (statistical investigation) की तरह मानना चाहिए।

इस नए बेयसियन फ्रेमवर्क का उपयोग करके, हम:

पैसे बचा सकते हैं: हमें यह जानने के लिए कि वास्तव में सबसे अच्छा कौन है, बहुत कम कंप्यूटर रन (प्रयासों) की आवश्यकता है।
ईमानदार हो सकते हैं: हम यह स्वीकार कर सकते हैं कि दो मॉडल बहुत करीब हैं, बजाय इसके कि एक नकली विजेता घोषित किया जाए।
सूक्ष्म हो सकते हैं: हम मॉडल्स को केवल एक भाग्यशाली पूर्ण उत्तर के लिए नहीं, बल्कि "काफी हद तक सही" या "अच्छे फॉर्मेट" के लिए भी पुरस्कृत कर सकते हैं।

संक्षेप में: केवल जीत न गिनें; आत्मविश्वास को मापें। यह AI मूल्यांकन को अधिक निष्पक्ष, सस्ता और विश्वसनीय बनाता है।

यहाँ शोध पत्र "DON'T PASS@K: A BAYESIAN FRAMEWORK FOR LARGE LANGUAGE MODEL EVALUATION" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वर्तमान लार्ज लैंग्वेज मॉडल (LLM) मूल्यांकन, विशेष रूप से तर्क संबंधी कार्यों (जैसे गणित, कोड) के लिए, काफी हद तक Pass@k मीट्रिक और सरल औसत सटीकता (avg@N) पर निर्भर करता है। लेखक इन दृष्टिकोणों में कई महत्वपूर्ण दोषों की पहचान करते हैं:

अस्थिरता (Instability): रैंकिंग परीक्षणों की संख्या ( $N$ ) और डिकोडिंग सीड्स (decoding seeds) के प्रति अत्यधिक संवेदनशील होती है, जिससे अस्थिर लीडरबोर्ड बनते हैं, विशेष रूप से छोटे बेंचमार्क (जैसे ~30 समस्याओं वाला AIME) पर।
अनिश्चितता परिमाणीकरण का अभाव (Lack of Uncertainty Quantification): Pass@k बिना किसी सिद्धांत-आधारित विश्वास अंतराल (confidence intervals) के एक पॉइंट एस्टीमेट प्रदान करता है। यह निर्धारित करना कठिन है कि प्रदर्शन का अंतर सांख्यिकीय रूप से महत्वपूर्ण है या केवल शोर (noise) है।
बाइनरी सीमा (Binary Limitation): मानक मीट्रिक मूल्यांकन को बाइनरी (सही/गलत) तक सीमित कर देते हैं, जिससे आंशिक शुद्धता, फॉर्मेटिंग त्रुटियों या तर्क की गुणवत्ता के बारे में मूल्यवान जानकारी लुप्त हो जाती है।
कंप्यूटेशनल अक्षमता (Computational Inefficiency): स्थिर रैंकिंग प्राप्त करने के लिए अक्सर परीक्षणों की एक अव्यवहारिक बड़ी संख्या ( $N$ ) की आवश्यकता होती है, जिससे मूल्यांकन महंगा हो जाता है।

2. कार्यप्रणाली: बेयसियन फ्रेमवर्क (Methodology: The Bayesian Framework)

यह शोध पत्र एक सिद्धांत-आधारित बेयसियन मूल्यांकन ढांचे का प्रस्ताव करता है जो LLM प्रदर्शन को एक सांख्यिकीय अनुमान (statistical inference) समस्या के रूप में मानता है।

मुख्य अवधारणाएं (Core Concepts)

कैटेगोरिकल मॉडलिंग (Categorical Modeling): बाइनरी परिणामों के बजाय, यह ढांचा प्रतिक्रियाओं को $C+1$ श्रेणियों (जैसे, सही, आंशिक रूप से सही, फॉर्मेटिंग त्रुटि, इनकार/refusal) वाले कैटेगोरिकल वेरिएबल्स के रूप में मॉडल करता है।
डिरिचलेट-मल्टीनोमियल इन्फरेंस (Dirichlet-Multinomial Inference):
- प्रायर (Prior): प्रत्येक प्रश्न $\alpha$ के लिए संभाव्यता वेक्टर $\pi_\alpha$ पर एक डिरिचलेट प्रायर रखा जाता है। डिफॉल्ट रूप से एक यूनिफॉर्म प्रायर (कोई पूर्व ज्ञान नहीं) का उपयोग किया जाता है, लेकिन सूचनात्मक प्रायर (informative priors) को शामिल किया जा सकता है।
- पोस्टीरियर (Posterior): देखे गए परीक्षण परिणामों के आधार पर, पोस्टीरियर वितरण विश्लेषणात्मक रूप से प्राप्त किया जाता है।
- एस्टीमेटर्स (Estimators): ढांचा किसी भी भारित प्रदर्शन मीट्रिक (weighted performance metric) के पोस्टीरियर मीन ( $\mu$ ) और वेरिएंस ( $\sigma^2$ ) के लिए क्लोज्ड-फॉर्म एक्सप्रेशन प्रदान करता है।
एल्गोरिदम (Bayes@N):
- इनपुट: एक परिणाम मैट्रिक्स $R$ ( $M$ प्रश्न $\times$ $N$ परीक्षण) और एक वेट वेक्टर $w$ ।
- आउटपुट: एक पॉइंट एस्टीमेट ( $\mu$ ) और एक मानक विचलन ( $\sigma$ ) जो अनिश्चितता को दर्शाता है।
- जटिलता: परीक्षणों और श्रेणियों की संख्या के रैखिक में ( $O(M(N+C))$ ), इसके मुख्य अनुमानों के लिए किसी मोंटे कार्लो सैंपलिंग की आवश्यकता नहीं है।

प्रमुख तंत्र (Key Mechanisms)

क्रेडिबल इंटरवल (Credible Intervals - CI): ढांचा प्रदर्शन स्कोर के लिए सटीक क्रेडिबल इंटरवल की गणना करता है। एक "विजेता" तभी घोषित किया जाता है जब दो मॉडलों के CI ओवरलैप नहीं होते हैं, जो एक पारदर्शी निर्णय नियम प्रदान करता है।
अनिश्चितता के साथ रैंकिंग (Ranking with Uncertainty): मॉडल को उनके पोस्टीरियर मीन द्वारा रैंक किया जाता है, लेकिन उन मॉडलों को 'टाई' (tie) दिया जाता है जिनके CI ओवरलैप होते हैं। यह छोटे, शोर वाले अंतरों की अति-व्याख्या को रोकता है।
अभिसरण विश्लेषण (Convergence Analysis): शोध पत्र convergence@n को परीक्षणों की उस न्यूनतम संख्या के रूप में परिभाषित करता है जो एक "गोल्ड स्टैंडर्ड" (एक बड़े $N_{max}$ से प्राप्त) से मेल खाने के लिए आवश्यक है।
प्रायर समावेश (Prior Incorporation): ढांचा संबंधित कार्यों या पिछले मॉडल संस्करणों से डेटा को एक प्रायर ( $R_0$ ) के रूप में पुनः उपयोग करने की अनुमति देता है, जो नए मूल्यांकन के लिए अभिसरण (convergence) को तेज कर सकता है।

3. प्रमुख योगदान (Key Contributions)

एकीकृत ढांचा (Unified Framework): Pass@k और avg@N को एक एकल बेयसियन एस्टीमेटर से बदलता है जो बाइनरी और श्रेणीबद्ध (rubric-based) दोनों मूल्यांकनों को सहजता से संभालता है।
विश्लेषणात्मक अनिश्चितता (Analytical Uncertainty): सेंट्रल लिमिट थ्योरम (CLT) पर निर्भर रहने के बजाय सटीक, क्लोज्ड-फॉर्म क्रेडिबल इंटरवल प्रदान करता है, जो अक्सर LLM बेंचमार्क में सामान्य छोटे सैंपल साइज के लिए अमान्य होता है।
कंप्यूट-कुशल प्रोटोकॉल (Compute-Efficient Protocol): यह प्रदर्शित करता है कि Pass@k विधियों की तुलना में काफी कम परीक्षणों के साथ विश्वसनीय रैंकिंग प्राप्त की जा सकती है, जिससे कंप्यूटेशनल लागत कम हो जाती है।
Scorio लाइब्रेरी (Scorio Library): कस्टम रूब्रिक्स और प्रायर के समर्थन के साथ इस ढांचे को लागू करने वाला एक ओपन-सोर्स पायथन पैकेज (scorio) जारी करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने ज्ञात ग्राउंड ट्रुथ और वास्तविक दुनिया के गणितीय तर्क बेंचमार्क (AIME'24/25, HMMT'25, BrUMO'25) के साथ सिमुलेशन का उपयोग करके ढांचे को मान्य किया।

तेजी से अभिसरण (Faster Convergence):
- Bayes@N, Pass@k वेरिएंट की तुलना में वास्तविक रैंकिंग (Kendall's $\tau$ द्वारा मापा गया) तक बहुत तेजी से पहुँचता है।
- HMMT'25 और BrUMO'25 पर, Bayes@N ने क्रमशः ~44 और ~27 परीक्षणों पर माध्य अभिसरण (mean convergence) प्राप्त किया, जबकि Pass@k को ~70 और ~48 परीक्षणों की आवश्यकता थी।
- AIME'25 पर, Pass@k विधियां 80 परीक्षणों के भीतर अभिसरण करने में विफल रहीं, जबकि Bayes@N ने अनिश्चितता के साथ क्वांटिफाइड (quantified) स्थिर रैंकिंग प्रदान की।
रैंकिंग स्थिरता (Rank Stability):
- 11 मॉडलों के सिमुलेशन में, Bayes@N ने $N=10$ तक उच्च सहसंबंध ( $\tau > 0.9$ ) प्राप्त किया, जबकि Pass@k वेरिएंट काफी पीछे रह गए।
- जैसे-जैसे मॉडलों की संख्या बढ़ी (20 तक), Pass@k रैंकिंग अस्थिर हो गई और अक्सर अभिसरण करने में विफल रही, जबकि Bayes@N ने मजबूती बनाए रखी।
टाई और शोर को संभालना (Handling Ties and Noise):
- ढांचे ने सही ढंग से पहचाना कि कब प्रदर्शन का अंतर सांख्यिकीय रूप से अविभेद्य था (ओवरलैपिंग CI), जिससे श्रेष्ठता के झूठे दावों को रोका जा सका।
- "वर्स्ट-केस" बूटस्ट्रैप परिदृश्यों में, Bayes@N ने तब भी अनिश्चितता को मापने का एक तंत्र प्रदान किया जब रैंकिंग पूरी तरह से स्थिर नहीं हुई थी।
रूब्रिक-जागरूक मूल्यांकन (Rubric-Aware Evaluation):
- ढांचे ने 12 विभिन्न कैटेगोरिकल स्कीमा (जैसे, "कॉन्फिडेंटली रोंग" उत्तरों को दंडित करना, फॉर्मेटिंग को पुरस्कृत करना) को सफलतापूर्वक लागू किया।
- परिणामों ने दिखाया कि मॉडल रैंकिंग चुने गए रूब्रिक के प्रति संवेदनशील है, जो सरल शुद्धता के बजाय स्पष्ट, भारित मूल्यांकन की आवश्यकता को रेखांकित करती है।

5. महत्व और निहितार्थ (Significance and Implications)

प्रतिमान परिवर्तन (Paradigm Shift): शोध पत्र "Pass@k" को मानक मीट्रिक के रूप में छोड़ने और एक पोस्टीरियर-आधारित, अनिश्चितता-जागरूक प्रोटोकॉल की ओर बढ़ने का तर्क देता है।
संसाधन दक्षता (Resource Efficiency): कम परीक्षणों के साथ विश्वसनीय तुलना को सक्षम करके, यह ढांचा LLM मूल्यांकन की कंप्यूटेशनल लागत को कम करता है, जिससे यह अधिक सुलभ और टिकाऊ बनता है।
वैज्ञानिक कठोरता (Scientific Rigor): यह मॉडल की श्रेष्ठता घोषित करने के लिए एक पारदर्शी निर्णय नियम (गैर-ओवरलैपिंग CI) पेश करता है, जिससे लीडरबोर्ड में उतार-चढ़ाव और मामूली प्रदर्शन बदलावों के "शोर" को कम किया जा सकता है।
लचीलापन (Flexibility): पूर्व ज्ञान को शामिल करने और जटिल, श्रेणीबद्ध रूब्रिक्स को संभालने की क्षमता इस ढांचे को साधारण शुद्धता से परे, सुरक्षा, संरेखण (alignment) और तर्क की गुणवत्ता सहित मूल्यांकन के व्यापक परिदृश्यों के लिए लागू करने योग्य बनाती है।

निष्कर्षतः, लेखक प्रदर्शित करते हैं कि Bayes@N, मौजूदा LLM मूल्यांकन मेट्रिक्स के मुकाबले एक सांख्यिकीय रूप से कठोर, कंप्यूटेशनल रूप से कुशल और अधिक स्थिर विकल्प प्रदान करता है, जो मॉडल क्षमताओं को मापने और तुलना करने के तरीके में मौलिक सुधार करता है।