🤖 AI

Beyond the Singular: Revealing the Value of Multiple Generations in Benchmark Evaluation

यह शोध पत्र एक पदानुक्रमित सांख्यिकीय मॉडल (hierarchical statistical model) प्रस्तावित करता है जो LLM बेंचमार्किंग में सैंपलिंग वेरिएंस (sampling variance) को संबोधित करने के लिए कई पीढ़ियों (multiple generations) का लाभ उठाता है, जिससे स्कोर की सटीकता में सुधार होता है, सूक्ष्म-स्तरीय प्रॉम्प्ट-स्तर का कठिनाई विश्लेषण सक्षम होता है, और डेटा विज़ुअलाइज़ेशन के माध्यम से बेंचमार्क गुणवत्ता नियंत्रण की सुविधा मिलती है।

मूल लेखक: Wenbo Zhang, Hengrui Cai, Wenyu Chen

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Wenbo Zhang, Hengrui Cai, Wenyu Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप यह आंकने की कोशिश कर रहे हैं कि एक नया शेफ खाना बनाने में कितना अच्छा है। आप उन्हें 100 रेसिपी बनाने की एक सूची देते हैं।

पुराना तरीका (द "वन शॉट" समस्या)
वर्तमान में, अधिकांश लोग AI मॉडल (जैसे लार्ज लैंग्वेज मॉडल्स) को एक सवाल पूछकर और उसके एक एकल उत्तर को देखकर आंकते हैं।

यदि शेफ एक बार एक बेहतरीन ऑमलेट बनाता है, तो हम कहते हैं कि वे एक उस्ताद हैं।
यदि वे एक बार इसे जला देते हैं, तो हम कहते हैं कि वे बहुत बुरे हैं।

समस्या यह है कि ये AI शेफ थोड़े अनिश्चित हो सकते हैं। कभी-कभी वे "लालची" (greedy) मूड में होते हैं और सबसे सुरक्षित, सबसे मानक रेसिपी पर टिके रहते हैं। अन्य समय में, वे "रैंडम" (random) हो जाते हैं और रचनात्मक बदलावों की कोशिश करते हैं। यदि आप केवल एक व्यंजन चखते हैं, तो आप भाग्यशाली या अभागा हो सकते हैं। आपको यह नहीं पता चलेगा कि शेफ वास्तव में अच्छे हैं, या उन्हें बस उस एक विशिष्ट ऑर्डर के साथ किस्मत मिली थी। यह एक बास्केटबॉल खिलाड़ी के फ्री-थ्रो प्रतिशत को केवल एक सिंगल बॉल फेंकते हुए देखने जैसा है।

नया तरीका (द "मल्टीपल जनरेशन" दृष्टिकोण)
यह पेपर एक बेहतर तरीका सुझाता है: शेफ को वही व्यंजन 50 बार बनाने के लिए कहें।

उसी रेसिपी के 50 अलग-अलग प्रयासों को देखकर, आपको एक स्पष्ट तस्वीर मिलती है:

वास्तविक कौशल बनाम भाग्य: यदि शेफ 50 में से 48 बार इसे सही करते हैं, तो आप जानते हैं कि वे वास्तव में कुशल हैं। यदि वे केवल 25 बार इसे सही करते हैं, तो आप जानते हैं कि वे संघर्ष कर रहे हैं, भले ही वह एक भाग्यशाली शॉट एकदम सटीक रहा हो।
कठिनाई को मापना: अब आप देख सकते हैं कि कौन सी रेसिपी वास्तव में कठिन हैं। यदि हर शेफ एक विशिष्ट व्यंजन में 50 बार विफल होता है, तो वह व्यंजन वस्तुनिष्ठ रूप से कठिन है। यदि वे सभी इसे सही करते हैं, तो यह आसान है। यह प्रत्येक प्रश्न के लिए एक "डिफिकल्टी स्कोर" (कठिनाई स्कोर) बनाता है।
खराब रेसिपी खोजना: कभी-कभी, रेसिपी बुक खुद गलत होती है। हो सकता है कि रेसिपी कहती हो "नमक डालें" लेकिन उत्तर कुंजी (answer key) कहती हो "चीनी डालें।" यदि शेफ 50 बार प्रयास करता है और नमक डालता रहता है (क्योंकि रेसिपी यही कहती है), लेकिन उत्तर कुंजी गलत है, तो कंप्यूटर इस भ्रम को पकड़ सकता है। यह पेपर इसे "डेटा मैप" (Data Map) कहता है, जो टेस्ट में टूटे हुए प्रश्नों को खोजने और ठीक करने में मदद करता है।

"पासा फेंकने" (रोलिंग डाइस) का रूपक
AI को पासे की एक जोड़ी के रूप में सोचें।

ग्रीडी डिकोडिंग (पुराना तरीका): यह पासे को हमेशा उच्चतम संख्या पर रहने के लिए मजबूर करने जैसा है। यह अनुमानित है, लेकिन यह नहीं दिखाता कि पासे क्या कर सकते हैं।
रैंडम सैंपलिंग (नया तरीका): यह पासे को स्वाभाविक रूप से रोल करने देने जैसा है।
पेपर की अंतर्दृष्टि: यदि आप पासा एक बार फेंकते हैं, तो आपको लग सकता है कि पासा "6" आया है और आप सोच सकते हैं कि पासा जादुई है। यदि आप इसे 50 बार फेंकते हैं, तो आप वास्तविक औसत देख पाएंगे। यह पेपर गणितीय रूप से सिद्ध करता है कि पासे को अधिक बार फेंकने से (अधिक उत्तर उत्पन्न करने से) आपके द्वारा AI के कौशल का अनुमान लगाना बहुत अधिक सटीक और कम भाग्य पर आधारित हो जाता है।

उन्होंने वास्तव में क्या पाया
शोधकर्ताओं ने कई अलग-अलग AI मॉडलों का उपयोग करके चार अलग-अलग प्रकार के "टेस्ट" (बेंचमार्क) पर इसका परीक्षण किया:

स्थिरता (Stability): उन्होंने पाया कि कठिन तर्क (reasoning) कार्यों के लिए, AI एक रैंडम सैंपलर की तरह व्यवहार करता है। सच्चाई बताने के लिए एक उत्तर पर्याप्त नहीं है।
अंतर (The Gap): अक्सर एक बड़ा अंतर होता है जब AI सुरक्षित खेलता है (greedy) बनाम जब वह जोखिम लेता है (random)। केवल एक रैंडम अनुमान पर भरोसा करना अस्थिर है।
डेटा की सफाई: एक ही प्रश्न का 50 बार उत्तर देकर, वे एक गणितीय डेटासेट के लगभग 44% प्रश्नों को खोजने में सक्षम रहे जो या तो गलत लेबल किए गए थे या भ्रमित करने वाले तरीके से लिखे गए थे।

चुनौती (The Catch)
पेपर स्वीकार करता है कि 50 व्यंजन पकाने में केवल एक पकाने की तुलना में अधिक समय और ऊर्जा लगती है। इसके लिए अधिक कंप्यूटर पावर की आवश्यकता होती है। हालांकि, ट्रेड-ऑफ यह है कि आपको AI के लिए बहुत अधिक ईमानदार और विश्वसनीय रिपोर्ट कार्ड मिलता है।

सारांश में
किसी किताब को केवल एक पन्ने से न आंकें, और न ही किसी AI को केवल एक उत्तर से आंकें। AI को एक ही कार्य को कई बार करने के लिए कहकर, हम उसकी वास्तविक क्षमताओं को देख सकते हैं, समझ सकते हैं कि कौन से प्रश्न वास्तव में कठिन हैं, और उन टेस्ट को ठीक कर सकते हैं जो टूटे हुए हैं।

तकनीकी सारांश: एकल से परे: बेंचमार्क मूल्यांकन में कई पीढ़ियों (Multiple Generations) के मूल्य को प्रकट करना

समस्या विवरण
वर्तमान लार्ज लैंग्वेज मॉडल (LLM) बेंचमार्क मूल्यांकन मुख्य रूप से प्रति प्रॉम्प्ट एक एकल पीढ़ी (single generation) पर निर्भर करते हैं, जो या तो नियत ग्रिडी डिकोडिंग (deterministic greedy decoding) या एक एकल रैंडम सैंपल का उपयोग करते हैं। लेखक तर्क देते हैं कि यह प्रतिमान LLMs की अंतर्निहित स्टोकेस्टिसिटी (stochasticity) की अनदेखी करता है। नियत पीढ़ी (Deterministic generation) वास्तविक दुनिया के अनुप्रयोगों के साथ मेल नहीं खाती जहाँ यादृच्छिकता (randomness) स्वाभाविक है, जिससे पक्षपाती प्रदर्शन अनुमान लग सकते हैं। इसके विपरीत, एक एकल रैंडम सैंपल पर निर्भर रहने से महत्वपूर्ण सैंपलिंग वेरिएंस (sampling variance) उत्पन्न होता है, जिसके परिणामस्वरूप अविश्वसनीय बेंचमार्क स्कोर मिलते हैं, विशेष रूप से जब डेटासेट का आकार छोटा हो। इसके अलावा, एकल-पीढ़ी दृष्टिकोण व्यक्तिगत प्रॉम्प्ट की कठिनाई या मॉडल प्रतिक्रियाओं की सिमेंटिक निरंतरता (semantic consistency) के बारे में सूक्ष्म अंतर्दृष्टि प्रदान करने में विफल रहता है, जिससे डेटासेट की गुणवत्ता या मॉडल की कमजोरियों का निदान करने की क्षमता सीमित हो जाती है।

कार्यप्रणाली (Methodology)
यह शोध पत्र बेंचमार्क मूल्यांकन को एक अनुमान समस्या (estimation problem) के रूप में पुनर्गठित करने के लिए एक पदानुक्रमित सांख्यिकीय मॉडल (hierarchical statistical model) प्रस्तावित करता है, जो स्पष्ट रूप से बेंचमार्क की विशेषताओं और LLM की यादृच्छिकता को शामिल करता है।

पदानुक्रमित मॉडल निर्माण (Hierarchical Model Formulation):
- बेंचमार्क को $n$ प्रॉम्प्ट्स के साथ मॉडल किया गया है। प्रत्येक प्रॉम्प्ट $i$ के लिए, एक अज्ञात वितरण $P(\mu, \sigma; \theta)$ से एक लेटेंट डिफिकल्टी पैरामीटर $p_i$ (एक सही उत्तर की प्रायिकता) लिया जाता है, जहाँ $\mu$ औसत बेंचमार्क स्कोर है और $\sigma$ प्रॉम्प्ट कठिनाई में परिवर्तनशीलता को दर्शाता है।
- प्रत्येक प्रॉम्प्ट के लिए, $k$ पीढ़ियाँ (generations) उत्पन्न की जाती हैं। प्रॉम्प्ट $i$ के लिए $j$ -वीं पीढ़ी की शुद्धता, जिसे $y_{i,j}$ द्वारा दर्शाया गया है, पैरामीटर $p_i$ के साथ बरनौली वितरण (Bernoulli distribution) का पालन करती है।
- लेखक प्रॉम्प्ट-स्तरीय प्रायिकता $\hat{p}_i$ और समग्र बेंचमार्क स्कोर $\hat{\mu}$ के लिए मोमेंट एस्टिमेटर्स (moment estimators) प्राप्त करते हैं।
वेरिएंस विश्लेषण (Variance Analysis):
- लेम्मा 2.1 का उपयोग करते हुए, शोध पत्र सैद्धांतिक रूप से प्रदर्शित करता है कि बेंचमार्क स्कोर एस्टिमेटर $\hat{\mu}$ के वेरिएंस को "प्रॉम्प्ट-के-भीतर वेरिएंस" (within-prompt variance) और "प्रॉम्प्ट-के-बीच वेरिएंस" (between-prompt variance) में विभाजित किया जा सकता है।
- महत्वपूर्ण रूप से, भीतर-प्रॉम्प्ट वेरिएंस $k$ बढ़ने के साथ घटता है, और जैसे-जैसे $k \to \infty$ होता है, यह शून्य की ओर अग्रसर होता है। इसके विपरीत, प्रॉम्प्ट-के-बीच का वेरिएंस $k$ से अप्रभावित रहता है। यह सिद्ध करता है कि $k$ बढ़ाने से समग्र अनुमान त्रुटि कम हो जाती है।
प्रॉम्प्ट-स्तरीय मेट्रिक्स (Prompt-Level Metrics):
- $P(\text{correct})$ : इसे अनुमानित प्रायिकता $\hat{p}_i = \frac{1}{k}\sum_{j=1}^k y_{i,j}$ के रूप में परिभाषित किया गया है। यह व्यक्तिगत प्रॉम्प्ट के लिए एक सूक्ष्म कठिनाई स्कोर के रूप में कार्य करता है।
- सिमेंटिक निरंतरता ( $S(\text{consistency})$ ): लेबलिंग त्रुटियों का पता लगाने के लिए, लेखक सिमेंटिक क्लस्टर्स के एंट्रॉपी (entropy) पर आधारित एक मेट्रिक पेश करते हैं। प्रतिक्रियाओं को $C$ सिमेंटिक सेट्स में क्लस्टर किया जाता है, और निरंतरता को $S(\text{consistency}) = \sum_{c=1}^C \text{Prop}_c \log \text{Prop}_c$ के रूप में मापा जाता है। उच्च निरंतरता (कम एंट्रॉपी) के साथ कम $P(\text{correct})$ यह संकेत देता है कि एक प्रॉम्प्ट गलत लेबल किया गया हो सकता है या अस्पष्ट हो सकता है।
डेटा मैपिंग (Data Mapping):
- लेखक $P(\text{correct})$ और $S(\text{consistency})$ के बीच संबंध को एक "डेटा मैप" बनाने के लिए विज़ुअलाइज़ करते हैं। यह मैप आउटलेर्स (outliers) की पहचान करने में मदद करता है, जैसे कि ऐसे प्रॉम्प्ट जहाँ मॉडल सुसंगत लेकिन गलत उत्तर उत्पन्न करता है, जो संभावित डेटासेट शोर (dataset noise) का संकेत देता है।

प्रमुख परिणाम
इस कार्यप्रणाली का मूल्यांकन चार ओपन-सोर्स LLMs (Llama 3.1 8B/70B, Qwen 2.5 7B, Ministral 8B) के साथ चार बेंचमार्क्स (MMLU-Pro, GSM8K, MuSR, IFEval) पर $k=50$ पीढ़ियों के साथ किया गया।

वेरिएंस में कमी: $k$ बढ़ाने से बेंचमार्क स्कोर के 95% कॉन्फिडेंस इंटरवल काफी संकीर्ण हो जाते हैं। उदाहरण के लिए, GSM8K पर, सर्वश्रेष्ठ और सबसे खराब सिंगल-जेनरेशन रन के बीच प्रदर्शन अंतराल ( $\Delta$ ) Llama 3.1 8B के लिए 18.6 जितना अधिक था, जबकि $k=50$ अनुमान ने 0.68 के स्टैंडर्ड एरर के साथ एक स्थिर स्कोर प्रदान किया।
ग्रिडी बनाम रैंडम सैंपलिंग: अध्ययन में पाया गया कि ग्रिडी डिकोडिंग और रैंडम सैंपलिंग अक्सर अलग-अलग बेंचमार्क स्कोर देते हैं। उदाहरण के लिए, MuSR पर, Llama 3.1 8B ने ग्रिडी डिकोडिंग के साथ 24.8 स्कोर किया लेकिन रैंडम सैंपलिंग ( $k=50$ ) के साथ 29.0 स्कोर किया। लेखक नोट करते हैं कि मध्यम संख्या में सैंपल्ड जनरेशन भी अक्सर ग्रिडी डिकोडिंग की तुलना में वास्तविक $P(\text{correct})$ के करीब होता है।
मॉडल व्यवहार विश्लेषण:
- मॉडल्स ने रीजनिंग-भारी कार्यों (MMLU-Pro, IFEval, MuSR) पर $P(\text{correct})$ के "डिफ्यूज डेंसिटी" (diffuse density) वितरण प्रदर्शित किए, जो रैंडम सैंपलर्स की तरह व्यवहार करते हैं।
- सरल कार्यों (GSM8K) ने 0 और 1 के पास पूंछ (tails) के साथ अधिक स्थिर वितरण दिखाया।
- बड़े मॉडल्स (Llama 70B) ने छोटे मॉडल्स की तुलना में सभी बेंचमार्क्स में अधिक स्थिर रीजनिंग प्रक्रिया प्रदर्शित की।
त्रुटि का पता लगाना: GSM8K पर एक केस स्टडी में, डेटा मैप ने 18 ऐसे प्रॉम्प्ट्स की पहचान की जिनमें कम $P(\text{correct})$ और उच्च $S(\text{consistency})$ थी। मैनुअल रिव्यू से पता चला कि इनमें से 44.4% गलत लेबल किए गए या अस्पष्ट थे, जो डेटासेट क्लीनिंग के लिए कई पीढ़ियों की उपयोगिता को प्रमाणित करता है।

महत्व और दावे
यह शोध पत्र दावा करता है कि कई पीढ़ियों का लाभ उठाना बेंचमार्क मूल्यांकन को एक पॉइंट एस्टीमेट से एक मजबूत सांख्यिकीय प्रक्रिया में बदल देता है। इसके प्राथमिक योगदान हैं:

सैद्धांतिक सत्यापन: यह गणितीय प्रमाण प्रदान करना कि कई पीढ़ियाँ अनुमानित वेरिएंस को कम करती हैं, जो एकल-सैंपल बेंचमार्क्स की अविश्वसनीयता को संबोधित करती हैं।
सूक्ष्म निदान (Granular Diagnostics): $P(\text{correct})$ को प्रॉम्प्ट-स्तरीय कठिनाई मेट्रिक के रूप में पेश करना, जो समग्र स्कोर से परे मॉडल की ताकत और कमजोरियों की गहरी समझ सक्षम बनाता है।
गुणवत्ता नियंत्रण: यह प्रदर्शित करना कि कई पीढ़ियों और सिमेंटिक निरंतरता मेट्रिक्स का संयोजन प्रभावी रूप से गलत लेबल किए गए या अस्पष्ट प्रॉम्प्ट का पता लगा सकता है, जो बेंचमार्क निर्माण में सुधार के लिए एक स्केलेबल टूल प्रदान करता है।

लेखक सीमाओं के संबंध में एक विनम्र लहजा बनाए रखते हैं, यह स्वीकार करते हुए कि कई पीढ़ियाँ कम्प्यूटेशनल लागत बढ़ाती हैं और उनकी वर्तमान त्रुटि पहचान पद्धति की ट्रू पॉजिटिव दर लगभग 50% है। वे सुझाव देते हैं कि भविष्य के कार्यों को मजबूत मूल्यांकन के लिए न्यूनतम जेनरेशन आवश्यकताओं और त्रुटि पहचान के लिए अधिक परिष्कृत सिमेंटिक मेट्रिक्स का पता लगाना चाहिए।

इसी तरह के और पेपर