🤖 AI

The Capability Frontier: Benchmarks Miss 82% of Model Performance

यह शोध पत्र "कैपेबिलिटी फ्रंटियर" (Capability Frontier) को प्रस्तुत करता है, जो एक पारेटो-इष्टतम (Pareto-optimal) मूल्यांकन ढांचा है जो यह प्रकट करता है कि मौजूदा बेंचमार्क व्यवस्थित रूप से वास्तविक दुनिया के एलएलएम (LLM) प्रदर्शन को 82% तक कम करके आंकते हैं क्योंकि वे विविध मॉडलों की पूरक शक्तियों और कई पीढ़ियों (generations) में से सर्वश्रेष्ठ आउटपुट चुनने के लाभों को ध्यान में रखने में विफल रहते हैं।

मूल लेखक: Bradley Fowler, Ryan Smith, Daniel Thi Graviet, William Myers, Joshua Greaves, Narmeen Fatimah Oozeer, Antía García, Philip Quirke, Amirali Abdullah, Fazl Barez, Shriyash Kaustubh Upadhyay

प्रकाशित 2026-06-26

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Bradley Fowler, Ryan Smith, Daniel Thi Graviet, William Myers, Joshua Greaves, Narmeen Fatimah Oozeer, Antía García, Philip Quirke, Amirali Abdullah, Fazl Barez, Shriyash Kaustubh Upadhyay

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, उच्च-दांव वाली ट्रिविया नाइट (trivia night) चला रहे हैं। आपके पास 20 अलग-अलग विशेषज्ञों की एक टीम है (AI मॉडल), जिनमें से प्रत्येक की अपनी अनूठी ताकत है। एक कोडिंग का जीनियस है, दूसरा मेडिकल का जादूगर है, और तीसरा इतिहास का उस्ताद है।

समस्या: "सिंगल-प्लेयर" की गलती
वर्तमान में, जब हम यह परीक्षण करते हैं कि ये AI विशेषज्ञ कितने अच्छे हैं, तो हम आमतौर पर हर एक प्रश्न का उत्तर देने के लिए केवल एक विशेषज्ञ को चुनते हैं। यदि उस विशेषज्ञ को उत्तर नहीं पता होता है, तो हम उसे गलत मान लेते हैं।

यह एक बड़ी गलती है। यह एक ही डॉक्टर को हर संभव बीमारी का इलाज करने के लिए नियुक्त करने जैसा है, या एक ही शेफ से मेनू के हर व्यंजन को पकाने के लिए कहने जैसा है। भले ही वह एक डॉक्टर औसत रूप से "सर्वश्रेष्ठ" हो, फिर भी वह कुछ विशिष्ट मामलों में चूक जाएगा जिन्हें उसके सहकर्मी सफलतापूर्वक हल कर सकते थे। केवल एक मॉडल का उपयोग करके, हम वास्तव में हमारी AI टीम क्या हासिल कर सकती है, उसका बहुत कम आकलन कर रहे हैं।

समाधान: "कैपेबिलिटी फ्रंटियर" (क्षमता की सीमा)
लेखक प्रदर्शन को मापने का एक नया तरीका पेश करते हैं जिसे कैपेबिलिटी फ्रंटियर कहा जाता है। इसे एक "सुपर-टीम" रणनीति के रूप में सोचें।

एक मॉडल को सब कुछ करने के लिए मजबूर करने के बजाय, कल्पना करें कि आपके पास एक जादुई, सर्वज्ञ प्रबंधक (जिसे ओरेकल कहा जाता है) है जो हर प्रश्न को देखता है और तुरंत जानता है कि कौन सा विशेषज्ञ उस प्रश्न के लिए सबसे उपयुक्त है।

यदि प्रश्न पायथन कोड के बारे में है, तो वह कोडिंग विशेषज्ञ को भेज दिया जाता है।
यदि यह हृदय शल्य चिकित्सा (heart surgery) के बारे में है, तो यह मेडिकल विशेषज्ञ के पास जाता है।
यदि यह एक पहेली है, तो यह तर्क (logic) विशेषज्ञ के पास जाता है।

"कैपेबिलिटी फ्रंटियर" वह स्कोर है जो यह आदर्श टीम प्राप्त करेगी। यह उस सर्वोत्तम प्रदर्शन का प्रतिनिधित्व करता है जो संभव है यदि हम सही उपकरण को सही काम के साथ पूरी तरह से मिला सकें।

बड़ी खोज: हम बहुत कुछ खो रहे हैं
लेखकों ने 16 अलग-अलग प्रकार के कार्यों (जैसे कोडिंग, चिकित्सा और तर्क) के लिए 21 अलग-अलग AI मॉडलों का उपयोग करके यह प्रयोग चलाया। परिणाम चौंकाने वाले थे:

हम AI का बहुत कम आकलन कर रहे हैं: जब उन्होंने "सिंगल-प्लेयर" स्कोर की तुलना "सुपर-टीम" स्कोर से की, तो उन्होंने पाया कि मानक बेंचमार्क संभावित प्रदर्शन का 82% हिस्सा मिस कर देते हैं।
सस्ता होना संभव है: यदि आप वही उच्च-गुणवत्ता वाला उत्तर चाहते हैं जो "सर्वश्रेष्ठ" एकल मॉडल देता है, तो सुपर-टीम आसान प्रश्नों के लिए सस्ते, विशिष्ट मॉडलों का उपयोग करके इसे 85% कम लागत में प्राप्त कर सकती है।
बेहतर सटीकता संभव है: यदि आप लागत समान रखते हैं, तो सुपर-टीम सर्वश्रेष्ठ एकल मॉडल की तुलना में 54% कम गलतियाँ करती है।

"नॉइज़" (शोर) का जाल: हम अनुमान क्यों नहीं लगा सकते
आप सोच सकते हैं, "ठीक है, मैं बस 10 अलग-अलग मॉडल पूछने की कोशिश करता हूँ और सबसे अच्छा उत्तर चुन लेता हूँ।" पेपर चेतावनी देता है कि यह पेचीदा है।

यदि आप केवल 10 मॉडल पूछते हैं और विजेता चुनते हैं, तो आप गलती से एक ऐसे मॉडल को चुन सकते हैं जो भाग्यशाली था (एक "फ्लूक" या संयोगवश मिला हुआ उत्तर) बजाय इसके कि वह वास्तव में अच्छा हो। इसे "ऑप्टिमिज़र का अभिशाप" (Optimizer's Curse) कहा जाता है। यह एक सिक्के के उछाल के विजेता को चुनने जैसा है क्योंकि उसने लगातार 10 बार 'हेड्स' दिखाया है, यह मानते हुए कि वह एक "भाग्यशाली" सिक्का है, जबकि वह वास्तव में एक सामान्य सिक्का हो सकता है जो बस भाग्यशाली रहा।

लेखकों ने विशेष गणितीय उपकरण विकसित किए हैं (जैसे "डी-बायसिंग" विधियाँ) जो इन भाग्यशाली संयोगों को फ़िल्टर करते हैं और टीम की वास्तविक क्षमता को पाते हैं। उन्होंने पाया कि इन उपकरणों के बिना, पिछले अध्ययन इस बात का अत्यधिक आकलन कर रहे थे कि टीमें वास्तव में कितनी बेहतर हो सकती हैं।

"एन्ट्रॉपी" का कारक: विविधता क्यों मायने रखती है
पेपर ने यह देखने के लिए सिमुलेशन भी चलाए कि यह इतना अच्छा क्यों काम करता है। उन्होंने पाया कि प्रश्न जितने विविध होंगे (गणित, कला, कोड और इतिहास का मिश्रण), टीम का लाभ उतना ही बड़ा होगा।

एक स्पोर्ट्स टीम की तरह सोचें:

यदि आप केवल एक ऐसा खेल खेलते हैं जहाँ सभी एक सीधी रेखा में दौड़ते हैं (कम विविधता), तो एक तेज़ धावक ही पर्याप्त है।
यदि आप एक ऐसा खेल खेलते हैं जिसमें दौड़ना, तैरना, चढ़ना और पहेलियाँ सुलझाना शामिल है (उच्च विविधता), तो आपको विशेषज्ञों की एक पूरी टीम की आवश्यकता होती है। काम जितना विविध होगा, "सुपर-टीम" उतना ही अधिक मूल्यवान होगा।

निष्कर्ष
पेपर निष्कर्ष निकालता है कि वर्तमान में हम AI को एक बहुत ही संकीमित लेंस से देख रहे हैं। एक मॉडल और एक प्रयास पर टिके रहकर, हम एक धुंधली, अधूरी तस्वीर देख रहे हैं। यदि हम मॉडलों के बीच गतिशील रूप से स्विच करना शुरू करते हैं और समझदारी से कई प्रयासों का उपयोग करते हैं, तो हम बहुत कम लागत में बहुत बेहतर परिणाम प्राप्त कर सकते हैं। "कैपेबिलिटी फ्रंटियर" वह मानचित्र है जो हमें दिखाता है कि हम वास्तव में कितनी ऊँचाई तक जा सकते हैं।

तकनीकी सारांश: द कैपेबिलिटी फ्रंटियर (क्षमता की सीमा)

समस्या विवरण

मानक लार्ज लैंग्वेज मॉडल (LLM) बेंचमार्क वास्तविक दुनिया की मॉडल क्षमताओं को व्यवस्थित रूप से कम करके आंकते हैं। यह कम आकलन दो प्राथमिक मूल्यांकन दोषों से उत्पन्न होता है:

सिंगल-मॉडल बायस (एकल-मॉडल पूर्वाग्रह): बेंचमार्क आमतौर पर एक एकल "सर्वश्रेष्ठ" मॉडल का मूल्यांकन करते हैं, यह अनदेखा करते हुए कि विभिन्न मॉडलों के पास विशिष्ट दक्षता होती है। विषम वर्कलोड (जैसे आनुवंशिकी और शरीर रचना विज्ञान में फैले चिकित्सा प्रश्न) में, कोई भी एकल मॉडल सभी उप-डोमेन में प्रभुत्व नहीं रखता है।
सिंगल-रन बायस (एकल-रन पूर्वाग्रह): बेंचमार्क अक्सर प्रति प्रॉम्प्ट एक एकल जनरेशन के आधार पर सटीकता रिपोर्ट करते हैं। यह कई जनरेशन को सैंपल करने और सर्वश्रेष्ठ आउटपुट चुनने से होने वाले संभावित लाभों को पकड़ने में विफल रहता है, विशेष रूप से तब जब मॉडल स्टोकेस्टिक परिवर्तनशीलता (stochastic variability) प्रदर्शित करते हैं।

इसके विपरीत, "ओरेकल" प्रदर्शन (प्रति क्वेरी सर्वश्रेष्ठ मॉडल/जनरेशन चुनने से प्राप्त होने वाला सैद्धांतिक अधिकतम) का अनुमान लगाने के मौजूदा प्रयास पॉजिटिव बायस (धनात्मक पूर्वाग्रह) से ग्रस्त हैं: नैव ओरेकल एस्टिमेटर्स शोर वाले सैंपल मीन (sample means) के अधिकतम मान को चुनते हैं, जिससे वे धनात्मक आउटलेयर्स को प्राथमिकता देते हैं। यह "ऑप्टिमाइज़र कर्स" (optimizer's curse) उत्पन्न करता है, जो प्राप्त होने योग्य लाभों का अतिरंजित आकलन करता है, विशेष रूप से जब जनरेशन बजट सीमित ( $G \le 10$ ) हो।

यह शोध पत्र तर्क देता है कि वास्तविक "कैपेबिलिटी फ्रंटियर" (क्षमता की सीमा)—जो इष्टतम मॉडल और जनरेशन चयन के माध्यम से प्राप्त होने वाला पारेटो-इष्टतम (Pareto-optimal) प्रदर्शन है—दो विपरीत पूर्वाग्रहों के कारण अनमैपित है: एकल-मॉडल/एकल-रन मूल्यांकन से होने वाला कम आकलन और नैव ओरेकल एकत्रीकरण से होने वाला अधिक आकलन।

कार्यप्रणाली (Methodology)

1. द कैपेबिलिटी फ्रंटियर फ्रेमवर्क

लेखक कैपेबिलिटी फ्रंटियर को एक ओरेकल राउटर द्वारा प्राप्त गुणवत्ता ( $Q$ ) और लागत ( $C$ ) के पारेटो-इष्टतम सतह के रूप में परिभाषित करते हैं। एक ओरेकल राउटर $\pi^*$ प्रत्येक प्रॉम्प्ट $n$ के लिए वास्तविक अपेक्षित प्रदर्शन $\mu_{nl}$ के आधार पर इष्टतम मॉडल $l^*$ का चयन करता है:
$l^*(n) = \arg\max_l \mu_{nl}$
वास्तविक ओरेकल मान इन मैक्सिमम्स का डेटासेट में औसत है।

2. डिबायसिंग ओरेकल एस्टिमेशन (पूर्वाग्रह सुधार)

सीमित नमूनों से सटीक फ्रंटियर माप प्राप्त करने के लिए, लेखक $O_{biased} = \frac{1}{N}\sum_n \max_l \bar{\phi}_{nl}$ में निहित पॉजिटिव बायस को ठीक करने के लिए दो डिबायसिंग विधियाँ प्रस्तावित करते हैं:

एक्सट्रैपोलेशन-आधारित सुधार (Extrapolation-Based Correction): इस सैद्धांतिक निष्कर्ष के आधार पर कि ओरेकल बायस $O(G^{-\lambda})$ के रूप में घटता है (जहाँ $\lambda \in [0.25, 0.75]$ ), लेखक विभिन्न जनरेशन काउंट्स पर प्राप्त बायस्ड एस्टिमेट्स पर एक डिके कर्व (decay curve) फिट करते हैं। वे वास्तविक ओरेकल मान ( $O_{true}$ ) के इंटरसेप्ट के रूप में वास्तविक मान का अनुमान लगाने के लिए एक स्मूथ ट्रांजिशन फॉर्मूलेशन का उपयोग करते हैं, भले ही $G < 50$ हो।
प्रोबेबिलिस्टिक ग्राफिकल मॉडलिंग (PGM): एक जेनेरेटिव मॉडल बनाया गया है जहाँ देखा गया प्रदर्शन लेटेंट वेरिएबल्स (latent variables) पर निर्भर करता है: टास्क डिफिकल्टी ( $D_n$ ), टॉपिक असाइनमेंट ( $T_n$ ), और मॉडल एप्टीट्यूड ( $A_{l,t}$ )। स्टोकेस्टिक वेरिएशनल इन्फरेंस का उपयोग करके इन लेटेंट वेरिएबल्स के पोस्टीरियर डिस्ट्रीब्यूशन को इन्फर करके, मॉडल प्रत्येक प्रॉम्प्ट-मॉडल जोड़ी के लिए वास्तविक सफलता की संभावना $\hat{\pi}_{nl}$ का अनुमान लगाता है, जो प्रभावी रूप से सैंपलिंग शोर को फ़िल्टर करता है।

3. प्रयोगात्मक सेटअप (Experimental Setup)

स्कोप: प्रमुख प्रदाताओं (OpenAI, Anthropic, Google, Meta, Mistral, Qwen, आदि) के 21 LLMs का 16 बेंचमार्क्स पर मूल्यांकन किया गया।
डोमेन: कोडिंग (LiveCodeBench, HumanEval-X, MBPP), रीजनिंग (LiveBench, GPQA), इंस्ट्रक्शन फॉलोइंग, मेडिसिन (MedCalcBench), फैक्टुअलिटी (TruthfulQA), और एजेंटिक टास्क (Terminal-Bench)।
प्रोटोकॉल: प्रत्येक प्रॉम्प्ट-मॉडल जोड़ी का मूल्यांकन $G=10$ स्वतंत्र जनरेशन के साथ किया गया। लागत की गणना जनवरी 2026 के API प्राइसिंग के आधार पर की गई।
पोस्टहॉक रूटिंग (Posthoc Routing): यह अध्ययन एक "पोस्टहॉक ओरेकल" का भी मूल्यांकन करता है जहाँ कई जनरेशन को सैंपल किया जाता है और एक परफेक्ट, कॉस्ट-फ्री जज सर्वश्रेष्ठ आउटपुट चुनता है, जो इन्फरेंस-टाइम वेरिफिकेशन का अनुकरण करता है।

मुख्य परिणाम

1. डायनेमिक सिलेक्शन से पर्याप्त लाभ

एकल-मॉडल मूल्यांकन को ठीक करने से समान लागत पर सर्वश्रेष्ठ एकल मॉडल (SOTA) की तुलना में 54% औसत त्रुटि दर में कमी आती है। जब सिंगल-रन परिवर्तनशीलता को भी ठीक किया जाता है (कौशल $k=10$ जनरेशन के साथ पोस्टहॉक चयन के माध्यम से), तो त्रुटि में कमी 82% तक पहुँच जाती है।

2. महत्वपूर्ण लागत कटौती

इसके विपरीत, कैपेबिलिटी फ्रंटियर औसत रूप से 85% लागत में कमी के साथ SOTA मॉडल की सटीकता से मेल खा सकता है। उदाहरण के लिए, TruthfulQA बेंचमार्क पर, फ्रंटियर SOTA सटीकता के साथ 99.5% लागत बचत प्राप्त करता है।

3. बायस का परिमाणीकरण (Quantification of Bias)

अध्ययन पुष्टि करता है कि नैव ओरेकल एस्टिमेटर्स धनात्मक रूप से बायस्ड हैं:

क्वालिटी बायस (गुणवत्ता पूर्वाग्रह): नैव एस्टिमेट्स प्राप्त करने योग्य सटीकता को औसतन 1.2% बढ़ाकर दिखाते हैं।
कॉस्ट बायस (लागत पूर्वाग्रह): नैव एस्टिमेट्स लागत बचत को औसतन 37.5% बढ़ाकर दिखाते हैं, जो लागत के स्क्यूड वितरण के कारण एक बड़ा मार्जिन है।

4. डेटा विविधता के साथ संबंध

नियंत्रित प्रोबेबिलिस्टिक सिमुलेशन दर्शाते हैं कि ओरेकल राउटर और सर्वश्रेष्ठ एकल मॉडल के बीच प्रदर्शन का अंतर वर्कलोड एंट्रॉपी (workload entropy) के साथ मोनोटोनिक रूप से बढ़ता है। लो-डाइवर्सिटी (सिंगल-टॉपिक) शासन में, ओरेकल लाभ न्यूनतम होते हैं। हाई-डाइवर्सिटी (मिक्स्ड-टॉपिक) शासन में, लाभ अधिकतम होते हैं, जो पुष्टि करता है कि डेटा विषमता (heterogeneity) मॉडल पूरकता का मौलिक चालक है।

5. मॉडल विश्वसनीयता

अध्ययन में पाया गया कि मॉडल की विश्वसनीयता (जनरेशन के बीच निरंतरता) और उसकी गुणवत्ता या लागत के बीच कोई महत्वपूर्ण सहसंबंध नहीं है। GPT-5-mini सबसे विश्वसनीय (90.2%) था, जबकि GLM-4.6 सबसे कम (76.3%) था।

महत्व और दावे

यह शोध पत्र एक कठोर ढांचा प्रदान करने का दावा करता है जो मानक बेंचमार्क मूल्यांकन और सिस्टम-स्तरीय प्रदर्शन के बीच के अंतर को मापता है। इसका प्राथमिक महत्व निम्नलिखित है:

मूल्यांकन मेट्रिक्स को ठीक करना: यह प्रदर्शित करता है कि मानक बेंचमार्क विषम, बहु-डोमेन सेटिंग्स में LLM क्षमताओं को काफी कम करके आंकते हैं। "कैपेबिलिटी फ्रंटियर" सिस्टम प्रदर्शन के लिए एक अधिक यथार्थवादी ऊपरी सीमा (upper bound) प्रदान करता है।
मेथडोलॉजिकल रिगर (कार्यप्रणाली की कठोरता): डिबायसिंग विधियों (एक्सट्रैपोलेशन और PGM) को पेश करके, यह पेपर "ऑप्टिमाइज़र कर्स" को संबोधित करता है, जो पिछले ओरेकल अध्ययनों के ओवरएस्टिमेशन पिटफॉल से बचने के लिए सिद्धांतपूर्ण ऊपरी सीमाएं प्रदान करता है।
व्यावहारिक निहितार्थ: परिणाम बताते हैं कि नए मॉडल प्रशिक्षण की आवश्यकता के बिना, मौजूदा मॉडलों और सरल इन्फरेंस-टाइम रणनीतियों (डायनेमिक रूटिंग और मल्टी-जनरेशन सैंपलिंग) का उपयोग करके आज ही पर्याप्त प्रदर्शन लाभ (82% त्रुटि कमी तक) और लागत बचत (85% तक) प्राप्त की जा सकती है।
सैद्धांतिक आधार: यह कार्य स्थापित करता है कि इन लाभों का परिमाण मौलिक रूप से डेटा विषमता द्वारा संचालित होता है, जो एक यांत्रिक स्पष्टीकरण प्रदान करता है कि क्यों मॉडल पूरकता विभिन्न बेंचमार्क्स और वर्कलोड के बीच भिन्न होती है।

लेखक निष्कर्ष निकालते हैं कि हालांकि कैपेबिलिटी फ्रंटियर अपने आप में कोई परिनियोजन रणनीति (deployment strategy) नहीं है, लेकिन यह उन स्थितियों को उजागर करता है जहाँ सरल रूटिंग या बार-बार सैंपलिंग करने से बड़े लाभ मिल सकते हैं, और यह वर्तमान तकनीक द्वारा प्राप्त किए जाने योग्य सीमाओं को संदर्भ प्रदान करता है।