📊 statistics

Efficient Evaluation of LLM Performance with Statistical Guarantees

यह शोध पत्र फैक्टरइज़्ड एक्टिव क्वेयरिंग (FAQ) का प्रस्ताव करता है, जो एक ऐसी विधि है जो ऐतिहासिक डेटा और अनुकूली नमूनाकरण (adaptive sampling) का लाभ उठाकर सांख्यिकीय रूप से वैध विश्वास अंतराल (confidence intervals) बनाए रखते हुए लार्ज लैंग्वेज मॉडल्स के मूल्यांकन के लिए आवश्यक प्रश्नों की संख्या को काफी कम कर देती है।

मूल लेखक: Skyler Wu, Yash Nair, Emmanuel J. Candès

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Skyler Wu, Yash Nair, Emmanuel J. Candès

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक हायरिंग मैनेजर हैं जो यह पता लगाने की कोशिश कर रहे हैं कि 2,000 नौकरी उम्मीदवारों में से कौन कंपनी के लिए सबसे अच्छा फिट है। आपके पास 12,000 प्रश्नों का एक विशाल टेस्ट बैंक है। प्रत्येक उम्मीदवार को प्रत्येक प्रश्न पर टेस्ट करना समय और पैसे के मामले में बहुत महंगा होगा, और आप इसे कभी पूरा नहीं कर पाएंगे।

यह शोध पत्र एक स्मार्ट, सांख्यिकीय विधि पेश करता है जिसे FAQ (Factorized Active Querying) कहा जाता है। FAQ को एक "सुपर-इंटेलिजेंट इंटरव्यूअर" के रूप में समझें जो जानता है कि उम्मीदवार के कौशल की सबसे सटीक तस्वीर पाने के लिए किन प्रश्नों को पूछना है, जिससे वह एक मानक साक्षात्कार की तुलना में बहुत कम प्रश्नों का उपयोग करता है।

यह इस प्रकार काम करता है, जिसे तीन सरल भागों में विभाजित किया गया है:

1. "गॉसिप" फैक्टर (इतिहास का उपयोग करना)

कल्पना कीजिए कि आपने पहले सैकड़ों लोगों को काम पर रखा है। आपके पास इस बात का रिकॉर्ड है कि उन्होंने विभिन्न प्रश्नों पर कैसा प्रदर्शन किया। भले ही आपके पास सभी के लिए पूर्ण रिकॉर्ड न हो (कुछ डेटा गायब है), फिर भी आप पैटर्न पहचान सकते हैं।

उपमा: यह यह जानने जैसा है कि "उम्मीदवार A" कोडिंग में अच्छा है लेकिन गणित में खराब है, और "प्रश्न 50" एक कठिन गणित का प्रश्न है। भले ही आपने अभी तक किसी नए उम्मीदवार का परीक्षण नहीं किया हो, फिर भी आप अनुमान लगा सकते हैं कि वे प्रश्न 50 पर संघर्ष कर सकते हैं यदि वे "उम्मीदवार A" के समान दिखते हैं।
FAQ क्या करता है: यह इस ऐतिहासिक गॉसिप को पढ़ने के लिए एक "फैक्टर मॉडल" का उपयोग करता है। यह प्रश्नों के "व्यक्तित्व" (वे कितने कठिन हैं) और मॉडलों के "कौशल" (वे कितने अच्छे हैं) को सीखता है ताकि यह शिक्षित अनुमान लगाया जा सके कि एक नया मॉडल उन प्रश्नों पर कैसा प्रदर्शन करेगा जिन्हें उसने अभी तक नहीं देखा है।

2. "स्मार्ट इंटरव्यूअर" (एक्टिव लर्निंग)

एक मानक इंटरव्यूअर शायद रैंडम तरीके से या एक निश्चित क्रम में प्रश्न चुनता है। FAQ अलग है; यह एक एक्टिव लर्नर है।

उपमा: कल्पना कीजिए कि आप एक रहस्यमय बॉक्स के वजन का अनुमान लगाने की कोशिश कर रहे हैं।
- रैंडम सैंपलिंग: आप यादृच्छिक वस्तुओं के विरुद्ध वजन करके अनुमान लगाते हैं।
- FAQ: आप अपने इतिहास को देखते हैं, अनुमान लगाते हैं कि बॉक्स भारी है, और तुरंत एक भारी वस्तु चुनते हैं जिसे आप उसके विरुद्ध तौलेंगे। यदि आप गलत होते हैं, तो आप तुरंत अपने अनुमान को बदलते हैं और एक अलग वस्तु चुनते हैं। आप लगातार पूछ रहे हैं, "वह एक प्रश्न क्या है जो मुझे अभी सबसे अधिक सिखाएगा?"
FAQ क्या करता है: यह गतिशील रूप से उन प्रश्नों को चुनता है जो अनिश्चितता को सबसे अधिक कम करेंगे। यदि इसे लगता है कि एक मॉडल "औसत" है, तो यह पुष्टि करने के लिए एक "मध्यम" प्रश्न पूछता है। यदि यह अनिश्चित है, तो यह अधिक सीखने के लिए एक कठिन प्रश्न पूछता है।

3. "सेफ्टी नेट" (सांख्यिकीय गारंटी)

कई "स्मार्ट" AI विधियाँ बेहतरीन अनुमान लगाने में अच्छी होती हैं लेकिन यह स्वीकार करने में बहुत खराब होती हैं कि वे गलत हो सकती हैं। वे कह सकती हैं, "मुझे 99% यकीन है कि यह मॉडल अच्छा है," जबकि वास्तव में वे केवल अनुमान लगा रही होती हैं।

उपमा: कल्पना कीजिए कि एक मौसम विज्ञानी कहता है, "बारिश होगी।" एक स्मार्ट मौसम विज्ञानी जोड़ता है, "मुझे 95% विश्वास है कि बारिश होगी, और यहाँ इसका गणितीय प्रमाण है।"
FAQ क्या करता है: यह प्रो-एक्टिव इन्फरेंस (PAI) नामक एक तकनीक का उपयोग करता है। भले ही यह प्रश्नों को चुनने के लिए "अनुमानों" (फैक्टर मॉडल) का उपयोग करता है, यह उन अनुमानों को एक सख्त गणितीय सुरक्षा जाल में लपेट देता है। यह सुनिश्चित करता है कि जब यह कहता है, "हमें 95% विश्वास है कि इस मॉडल की सटीकता 80% और 85% के बीच है," तो वह कथन सांख्यिकीय रूप से सत्य हो। यह स्मार्ट दिखने के लिए आपसे झूठ नहीं बोलेगा।

परिणाम: कम में अधिक करना

शोधकर्ताओं ने दो बड़े प्रश्न सेटों पर परीक्षण किया (एक जिसमें 12,000 प्रश्न थे, दूसरा जिसमें 9,500 प्रश्न थे) और हजारों AI मॉडल का उपयोग किया।

बड़ी जीत: FAQ ने उसी स्तर की सटीकता (समान कॉन्फिडेंस इंटरवल की चौड़ाई) प्राप्त की, जो पुराने तरीके (यादृच्छिक प्रश्नों को पूछने) का उपयोग करके मिलती, लेकिन इसने 5 गुना कम प्रश्नों का उपयोग किया।
"गायब डेटा" की समस्या: भले ही ऐतिहासिक डेटा अव्यवस्थित या काफी हद तक गायब था (जैसे कि एक रिज्यूमे जिसमें केवल 10% पृष्ठ भरे हुए हों), FAQ अभी भी अन्य तरीकों की तुलना में काफी बेहतर प्रदर्शन करता रहा।
"कोल्ड स्टार्ट" की समस्या: भले ही आपके पास किसी नए प्रकार के टेस्ट के लिए कोई इतिहास न हो, FAQ एक अलग टेस्ट से ज्ञान उधार ले सकता है (जैसे कोडिंग कौशल का अनुमान लगाने के लिए गणित कौशल का उपयोग करना) और फिर भी रैंडम गेसिंग से बेहतर प्रदर्शन कर सकता है।

यह क्यों मायने रखता है

वास्तविक दुनिया में, AI मॉडल का परीक्षण करना महंगा है। मॉडलों को चलाने के लिए पैसा खर्च होता है, और मनुष्यों से उनके उत्तरों की जांच कराने के लिए भी पैसा खर्च होता है।

पुराना तरीका: 100 मॉडलों को 10,000 प्रश्नों पर टेस्ट करें। (बहुत महंगा, धीमा)।
FAQ तरीका: 100 मॉडलों को केवल 2,000 प्रश्नों पर टेस्ट करें, लेकिन यह जानें कि परिणाम उतने ही विश्वसनीय हैं। (5 गुना सस्ता, 5 गुना तेज़)।

शोध पत्र निष्कर्ष निकालता है कि FAQ एक ऐसा उपकरण है जो संगठनों को बजट को तोड़े बिना उनके AI मॉडलों का कठोरता से मूल्यांकन करने की अनुमति देता है, यह सुनिश्चित करता है कि वे गलती से एक खराब मॉडल को तैनात न कर दें क्योंकि उन्होंने उसका पर्याप्त परीक्षण नहीं किया था।

तकनीकी सारांश: सांख्यिकीय गारंटी के साथ LLM प्रदर्शन का कुशल मूल्यांकन

समस्या विवरण

हगिंगफेस (HuggingFace) जैसे प्लेटफार्मों पर सैकड़ों हजारों वेरिएंट्स के साथ लार्ज लैंग्वेज मॉडल्स (LLMs) के तेजी से प्रसार ने मूल्यांकन में एक बाधा उत्पन्न कर दी है। बड़े, क्यूरेटेड बेंचमार्क सूट्स (जैसे 12,000 प्रश्नों वाला MMLU-Pro) पर उम्मीदवार मॉडल्स का व्यापक परीक्षण करना API लागत, रनटाइम और विशेषज्ञ एनोटेशन के मामले में अत्यधिक महंगा है। जबकि संगठन अक्सर बड़े, तदर्थ (ad-hoc) उपसमुच्चयों पर "वाइब्स" (vibes)-आधारित निर्णयों पर निर्भर रहते हैं, इसमें सांख्यिकीय कठोरता का अभाव होता है।

यह शोध पत्र इस चुनौती को एक परिमित-जनसंख्या अनुमान (finite-population inference) समस्या के रूप में देखता है। प्रश्नों के एक निश्चित बैंक $N_q$ और एक नए मॉडल को देखते हुए, लक्ष्य एक सीमित क्वेरी बजट $n_b$ का उपयोग करके मॉडल की सटीकता $\theta$ (संपूर्ण बैंक पर सही उत्तरों का अनुपात) का अनुमान लगाना है। महत्वपूर्ण बाधा यह है कि परिणामी कॉन्फिडेंस इंटरवल (CI) को वैध फ्रीक्वेंटिस्ट कवरेज (valid frequentist coverage) बनाए रखना चाहिए (उदाहरण के लिए, 95% समय, वास्तविक $\theta$ रिपोर्ट किए गए अंतराल के भीतर होता है)। यह गारंटी विश्वसनीय मॉडल चयन और निगरानी के लिए आवश्यक है, विशेष रूप से तब जब अनुकूली मूल्यांकन रणनीतियाँ अन्यथा i.i.d. धारणाओं को अमान्य कर सकती हों।

कार्यप्रणाली: फैक्टराइज्ड एक्टिव क्वेयरिंग (FAQ)

लेखक फैक्टराइज्ड एक्टिव क्वेयरिंग (FAQ) का प्रस्ताव करते हैं, जो वैध कवरेज के साथ टाइट CIs बनाने के लिए ऐतिहासिक डेटा और अनुकूली सैंपलिंग को जोड़ता है। FAQ के तीन मुख्य घटक हैं:

1. ऐतिहासिक जानकारी के लिए बेयसियन फैक्टर मॉडल (Bayesian Factor Model)

ऐतिहासिक प्रदर्शन डेटा (पिछले मॉडल्स के मॉडल-प्रश्न परिणामों का एक मैट्रिक्स) का लाभ उठाने के लिए, FAQ एक संभाव्यतात्मक फैक्टर मॉडल का उपयोग करता है।

लेटेंट फैक्टर्स (Latent Factors): प्रत्येक ऐतिहासिक मॉडल $i$ को एक लेटेंट फैक्टर $u_i \in \mathbb{R}^k$ और प्रत्येक प्रश्न $j$ को एक लेटेंट फैक्टर $v_j \in \mathbb{R}^k$ सौंपा जाता है।
लाइकलीहुड (Likelihood): सही उत्तर की संभावना को लॉजिस्टिक लिंक के माध्यम से मॉडल किया जाता है: $P(H_{ij}=1) = \sigma(u_i^\top v_j)$ ।
भूमिका: इस मॉडल का उपयोग केवल अनुकूली क्वेरी चयन को निर्देशित करने और प्रारंभिक भविष्यवाणियाँ प्रदान करने के लिए किया जाता है। यह अंतिम कॉन्फिडेंस इंटरवल्स प्राप्त करने के लिए उपयोग नहीं किया जाता है, जिससे यह सुनिश्चित होता है कि विधि की वैधता इस बात पर निर्भर नहीं है कि फैक्टर मॉडल पूरी तरह से निर्दिष्ट है या नहीं।
तैनाती (Deployment): एक नए मॉडल के लिए, इसका लेटेंट फैक्टर $u$ ऐतिहासिक मॉडल फैक्टर्स के एम्पिरिकल मीन और कोवेरिएंस से इनिशियलाइज़ किया जाता है। जैसे-जैसे मॉडल को क्वेरी किया जाता है, $u$ को लैप्लेस एप्रोक्सिमेशन (Laplace approximations) का उपयोग करके ऑनलाइन अपडेट किया जाता है।

2. प्रो-एक्टिव इन्फरेंस (PAI) एस्टीमेटर

यह सुनिश्चित करने के लिए कि फैक्टर मॉडल की शुद्धता पर निर्भर किए बिना वैध फ्रीक्वेंटिस्ट कवरेज प्राप्त हो, FAQ प्रो-एक्टिव इन्फरेंस (PAI) का उपयोग करता है, जो सक्रिय सांख्यिकीय अनुमान का एक परिमित-जनसंख्या विस्तार है।

तंत्र: अनुक्रमिक (sequential) सक्रिय अनुमान के विपरीत, जो "नेचर के क्रम" में प्रश्नों को प्रोसेस करता है और लेबल करने या छोड़ने का निर्णय लेता है, PAI वर्तमान जानकारी के आधार पर पूरे बैंक से अगले प्रश्न को क्वेरी करने के लिए सक्रिय रूप से चुनता (proactively selects) है।
एस्टीमेटर: एस्टीमेटर $\hat{\theta}_{n_b}$ एक अनबायस्ड, इनवर्स-प्रोबेबिलिटी वेटेड एस्टीमेटर है:
$\hat{\theta}_{n_b} = \frac{1}{n_b} \sum_{t=1}^{n_b} \phi_t, \quad \text{जहाँ } \phi_t = \frac{1}{N_q} \sum_{j=1}^{N_q} \hat{p}^{(t-1)}_j + \frac{1}{N_q} \frac{z_{I_t} - \hat{p}^{(t-1)}_{I_t}}{q_t(I_t)}$
यहाँ, $\hat{p}^{(t-1)}_j$ फैक्टर मॉडल से अनुमानित प्रायिकता है, $z_{I_t}$ देखा गया लेबल है, और $q_t(I_t)$ प्रश्न $I_t$ को चुनने की प्रायिकता है।
सैद्धांतिक गारंटी: हल्के रेगुलैरिटी कंडीशंस के तहत, लेखक मार्टिंगेल सेंट्रल लिमिट थ्योरम (CLT) के माध्यम से सिद्ध करते हैं कि $\hat{\theta}_{n_b}$ अनबायस्ड और एसिम्प्टोटिकली नॉर्मल है, जिससे वैध CIs का निर्माण संभव होता है: $[\hat{\theta}_{n_b} \pm z_{1-\alpha/2} \frac{\hat{\sigma}_{n_b}}{\sqrt{n_b}}]$ ।

3. हाइब्रिड सैंपलिंग पॉलिसी

CI की चौड़ाई को कम करने के लिए, FAQ एक समय-परिवर्तनीय हाइब्रिड सैंपलिंग पॉलिसी $q_t(\cdot)$ का उपयोग करता है जो एक्सप्लोइटेशन (वेरिएंस रिडक्शन) और एक्सप्लोरेशन (नए मॉडल के लेटेंट फैक्टर को सीखना) के बीच संतुलन बनाता है।

ओरेकल वेरिएंस रिडक्शन: ओरेकल सेटिंग से प्रेरित होकर, उच्च अनिश्चितता (0.5 के करीब अनुमानित प्रायिकता) वाले प्रश्नों को वेरिएंस कम करने के लिए अपवेट (upweight) किया जाता है।
एक्टिव लर्निंग: वे प्रश्न जो मॉडल के लेटेंट फैक्टर $u$ के पोस्टीरियर वेरिएंस को अधिकतम रूप से कम करने की उम्मीद रखते हैं, उन्हें भविष्य की भविष्यवाणियों में सुधार के लिए अपवेट किया जाता है।
मिक्सिंग: पॉलिसी इन स्कोर को एक टेम्परिंग एक्सपोनेंट और एक यूनिफॉर्म मिक्सिंग टर्म $\tau$ के साथ मिलाती है ताकि यह सुनिश्चित हो सके कि सभी प्रश्नों में गैर-शून्य चयन प्रायिकता बनी रहे, जो CLT के लिए आवश्यक रेगुलरिटी कंडीशंस को पूरा करती है।

प्रमुख योगदान

फ्रेमवर्क: FAQ का परिचय, जो ऐतिहासिक डेटा का लाभ उठाते हुए निश्चित बजट के तहत वैध फ्रीक्वेंटिस्ट कवरेज प्राप्त करने वाला एक LLM बेंचमार्किंग मेथड है।
प्रो-एक्टिव इन्फरेंस: सक्रिय अनुमान का एक नया विस्तार जो सांख्यिकीय वैधता बनाए रखते हुए, एक निश्चित बैंक से सीधे, डेटा-अनुकूली प्रश्न चयन की अनुमति देता है, न कि केवल अनुक्रमिक स्ट्रीम प्रोसेसिंग।
दक्षता: विधि यूनिफॉर्म सैंपलिंग की तुलना में 5× प्रभावी सैंपल साइज (ESS) गेन्स और मजबूत बेसलाइन्स (पोस्ट-हॉक चयनित एक्टिव इन्फरेंस वेरिएंट्स सहित) की तुलना में 1.8–2.4× गेन्स प्रदान करती है। यह यूनिफॉर्म सैंपलिंग की CI चौड़ाई से मेल खाने के लिए 5× कम क्वेरी का उपयोग करने में सक्षम है।
मजबूती (Robustness): FAQ ऐतिहासिक डेटा की महत्वपूर्ण कमी (जैसे, केवल 0.1% ऐतिहासिक प्रविष्टियाँ देखी गईं) और कोल्ड-स्टार्ट परिदृश्यों में भी वैध कवरेज बनाए रखता है।

प्रयोगात्मक परिणाम

लेखकों ने दो बेंचमार्क सूट्स पर FAQ का मूल्यांकन किया: MMLU-Pro (12K प्रश्न) और एक संमिश्र सूट (BBH+GPQA+IFEval+MATH+MuSR, 9.5K प्रश्न) का उपयोग करते हुए 2,200 टेस्ट मॉडल्स और प्रति मॉडल 100 रैंडम सीड्स।

पूर्णतः-अवलोकित इतिहास (Fully-Observed History): FAQ ने यूनिफॉर्म सैंपलिंग की तुलना में 4–5× अधिक ESS और सबसे मजबूत पोस्ट-हॉक बेसलाइन की तुलना में 1.8–2.4× अधिक ESS प्राप्त किया। एम्पिरिकल कवरेज 95% के लक्ष्य के करीब रहा।
स्पार्स इतिहास (Sparse History): केवल 12–42% ऐतिहासिक डेटा देखे जाने पर भी, FAQ ने बेसलाइन्स को काफी पीछे छोड़ दिया। केवल 0.1% देखे जाने पर भी, इसने एक सुसंगत ESS बढ़त बनाए रखी, हालांकि बहुत बड़े बजट पर नॉइज़ी फैक्टर एस्टीमेट्स के कारण प्रदर्शन थोड़ा गिर गया।
कोल्ड-स्टार्ट ट्रांसफर: शून्य टारगेट-सूट हिस्ट्री वाले सेटिंग में, FAQ (MMLU-Pro ट्रांसफर के माध्यम से इनिशियलाइज्ड) ने यूनिफॉर्म सैंपलिंग पर 1.32× तक ESS प्राप्त किया, जिसने 10 में से 8 बजट पर 0.1% टारगेट-सूट हिस्ट्री वाले बेसलाइन्स को भी पछाड़ दिया।
कवरेज स्थिरता: कवरेज मॉडल रिलीज डेट और सटीकता स्तरों के बीच स्थिर था, जो दर्शाता है कि विशिष्ट मॉडल प्रकारों के लिए कोई व्यवस्थित अंडर-कवरेज नहीं है।
एब्लेशन (Ablation): एक "पारंपरिक" अनुक्रमिक सक्रिय अनुमान एब्लेशन (जो समान फैक्टर मॉडल का उपयोग करता है लेकिन नेचर के क्रम का पालन करता है) के साथ तुलना करने पर पाया गया कि FAQ लो-बजट रिजीम में बेहतर है, जबकि अनुक्रमिक विधि बहुत बड़े बजट पर बराबरी कर सकती है।

महत्व और दावे

यह पेपर दावा करता है कि FAQ LLMs के निरंतर निगरानी (continuous monitoring) के लिए एक सांख्यिकीय रूप से कठोर ढांचा प्रदान करता है। संचित ऐतिहासिक डेटा का लाभ उठाकर और नए परिणामों को जोड़कर, यह अनिश्चितता-क्वांटिफाइड मूल्यांकन को प्रगतिशील रूप से अधिक लागत-प्रभावी बनाता है। लेखक इस बात पर जोर देते हैं कि यह उन संगठनों के लिए विशेष रूप से मूल्यवान है जो सीमित क्वेरी या एडजुडिकेशन बजट के तहत बार-बार मॉडल वेरिएंट्स (जैसे, चेकपॉइंट्स, फाइन-ट्यून्स, क्वांटाइज्ड मॉडल्स) की तुलना कर रहे हैं।

इसका महत्व उच्च-दांव वाले परिनियोजन (deployment) निर्णयों के लिए आवश्यक सांख्यिकीय गारंटी से समझौता किए बिना, मूल्यांकन लागत (API क्रेडिट, लेटेंसी, विशेषज्ञ समय) को 5× तक कम करने की क्षमता में निहित है। यह विधि अंतिम अनुमान के संबंध में मॉडल-मुक्त (model-free) है, जिसका अर्थ है कि इसकी वैधता अंतर्निहित फैक्टर मॉडल की शुद्धता पर नहीं, बल्कि सैंपलिंग पॉलिसी की नियमितता पर निर्भर करती है। लेखक अपने क्यूरेटेड डेटासेट्स (4.4K+ मॉडल्स, 21.5K+ प्रश्न) और सोर्स कोड को पुनरुत्पादित मूल्यांकन के समर्थन के लिए जारी करते हैं।