📊 statistics

BayesAME: Bayesian Active Model Evaluation

BayesAME एक अनुक्रमिक बेयसियन ढांचा (sequential Bayesian framework) है जो बड़े जनरेटिव मॉडलों को कुशलतापूर्वक मूल्यांकन करने के लिए एक इष्टतम कोरेसेट आकार (coreset size) को स्वचालित रूप से निर्धारित करता है, जो लेटेंट आइटम क्षमताओं को मॉडल करता है, अनिश्चितता को मापता है, और प्रदर्शन अनुमानों के स्थिर होने तक सूचनात्मक मदों का पुनरावृत्ति से चयन करता है, जबकि निरंतर लॉग-लाइक्लीहुड (log-likelihoods) के उपयोग के माध्यम से रैंडम चयन और मौजूदा विधियों पर अपनी श्रेष्ठता प्रदर्शित करता है।

मूल लेखक: Paula Cordero Encinar, Taylan Cemgil, Arnaud Doucet, Virginia Aglietti, Silvia Chiappa

प्रकाशित 2026-07-30

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Paula Cordero Encinar, Taylan Cemgil, Arnaud Doucet, Virginia Aglietti, Silvia Chiappa

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप यह आंकने की कोशिश कर रहे हैं कि एक नया वीडियो गेम कैरेक्टर कितना अच्छा है। आप पूरे 100 घंटे के कैंपेन को खेल सकते हैं, हर बॉस से लड़ सकते हैं और हर पहेली को सुलझा सकते हैं, लेकिन इसमें बहुत समय लगता है और आपकी बैटरी भी खत्म हो जाती है। इसके बजाय, आप कैरेक्टर की ताकत का अंदाज़ा लगाने के लिए बस कुछ लेवल्स खेलने का फैसला करते हैं। यह विशाल आर्टिफिशियल इंटेलिजेंस मॉडल्स का परीक्षण करने वाले वैज्ञानिकों का दैनिक संघर्ष है: उन्हें हर एक सवाल पर मॉडल चलाना बहुत धीमा और महंगा पड़ता है। इसलिए, वे अंतिम स्कोर का अनुमान लगाने के लिए सवालों का एक छोटा सा "सैंपल" (नमूना) चुनने की कोशिश करते हैं।

tricky हिस्सा यह है कि कौन से सवाल चुनें। यदि आप उन्हें रैंडम तरीके से चुनते हैं, जैसे कि जार से मुट्ठी भर M&Ms उठाना, तो हो सकता है कि आप भाग्यशाली हों, या आपको केवल लाल रंग के ही कुछ दाने मिल जाएं और आप नीले रंगों को पूरी तरह से मिस कर दें। लंबे समय तक, कई विशेषज्ञों का मानना था कि चूंकि AI मॉडल्स इतने जटिल हैं, इसलिए सवालों को रैंडम तरीके से चुनना उतना ही अच्छा है जितना कि किसी चतुर तरीके का उपयोग करना। उनका मानना था कि निश्चित होने का एकमात्र तरीका यह था कि आप बस एक रैंडम मुट्ठी भर सवाल उठा लें और उम्मीद करें कि सब ठीक होगा। लेकिन क्या होगा अगर कोई स्मार्ट जासूस बनने का कोई तरीका हो, जो यह जानने के लिए पुराने समान पात्रों के प्रदर्शन को देखता है कि कौन से कुछ सवाल नए पात्र के बारे में सबसे अधिक जानकारी देंगे?

यह BayesAME की कहानी है, एक नई विधि जिसे Google DeepMind और Imperial College London के शोधकर्ताओं द्वारा विकसित किया गया है। BayesAME को एक सुपर-स्मार्ट, जिज्ञासु लाइब्रेरियन की तरह समझें जो यह जानना चाहता है कि एक नया लेखक कितना अच्छा है, बिना उसकी पूरी किताब पढ़े। पूरी किताब के पन्ने-दर-पन्ना पढ़ने के बजाय, लाइब्रेरियन लेखक के पिछले काम (या समान लेखकों के काम) को देखता है ताकि यह अनुमान लगा सके कि कौन से विशिष्ट पैराग्राफ उसकी लेखन शैली के बारे में सबसे अधिक खुलासा करेंगे।

यहाँ इसका जादू काम करता है: शोधकर्ता AI के प्रदर्शन को एक निश्चित संख्या के रूप में नहीं, बल्कि एक "मिस्ट्री बॉक्स" के रूप में देखते हैं जिसमें एक "लेटेंट एबिलिटी" (छिपी हुई क्षमता) होती है—एक छिपी हुई कौशल स्तर जो सवाल के प्रकार के आधार पर बदलता रहता है। वे एक "गौसियन प्रायर" (Gaussian prior) नामक गणितीय उपकरण का उपयोग करते हैं (जो एक स्मार्ट अनुमान लगाने का एक फैंसी तरीका है) यह विश्वास करने के लिए कि यदि नया AI कुछ विशेष सवालों पर पुराने, ज्ञात AI की तरह व्यवहार करता है, तो वह नए सवालों पर भी समान व्यवहार करेगा। जैसे ही लाइब्रेरियन कुछ पन्ने पढ़ता है (कुछ सवालों का मूल्यांकन करता है), वह अपने अनुमान को अपडेट करता है। यदि नया AI उन्हें चौंका देता है, तो वे अपने मानचित्र (मैप) को संशोधित करते हैं।

सबसे कूल बात यह है कि BayesAME को आपको यह कहने की आवश्यकता नहीं है कि, "ठीक 50 पन्ने पढ़ें।" इसके बजाय, इसके पास अपना आंतरिक दिशा-सूचक यंत्र (कंपास) है। यह एक-एक पन्ना करके पढ़ना जारी रखता है, और पूछता है, "यदि मैं अगला पन्ना पढ़ता हूँ, तो क्या इससे मेरी उलझन दूर होगी?" यह तभी रुकता है जब यह अपने अनुमान के बारे में इतना आश्वस्त हो जाता है कि और अधिक पन्ने पढ़ने से उसके निर्णय में ज्यादा बदलाव नहीं आएगा। यह एक ऐसे जासूस की तरह है जो जांच बंद कर देता है क्योंकि सुराग इतने स्पष्ट हैं कि संदिग्ध का दोष अब स्पष्ट है, न कि "ठीक 3 घंटे जांच करने" के नियम का पालन करने के लिए।

शोध बताते हैं कि यह स्मार्ट, जासूसी-शैली वाला दृष्टिकोण पुराने "रैंडम मुट्ठी भर" तरीके की तुलना में काफी बेहतर है। कई बेंचमार्क्स (जैसे GPQA, MMLU-Pro और अन्य) में अपने परीक्षणों के दौरान, BayesAME ने बहुत कम सवालों का उपयोग करके बहुत अधिक सटीकता के साथ अंतिम स्कोर का अनुमान लगाया। इसने साबित कर दिया कि यह वास्तव में मायने रखता है कि आप किन सवालों के बारे में चतुर हैं, जिसने इस विचार को उलट दिया कि रैंडम अनुमान लगाना उतना ही अच्छा है।

इसके अलावा, शोधकर्ताओं ने पाया कि स्कोर का प्रकार मायने रखता है। यदि आप केवल "सही या गलत?" (बाइनरी स्कोर) पूछते हैं, तो सटीक होना कठिन है। लेकिन यदि आप मॉडल के वास्तविक आत्मविश्वास स्तर (कंटीन्यूअस स्कोर, जैसे "मुझे 87% यकीन है कि यह सही है") का उपयोग करते हैं, तो BayesAME और भी तेज हो जाता है, जैसे ब्लैक-एंड-व्हाइट स्केच से हाई-डेफिनिशन फोटो में बदलना। उन्होंने यह भी दिखाया कि यदि आप एक साथ कई AI मॉडल्स का परीक्षण कर रहे हैं, तो आप यह देखकर और भी अधिक समय बचा सकते हैं कि क्या वे एक साथ एक ही तरह की गलतियाँ करते हैं, जिससे आप एक ही सेट के सवालों से कई मॉडल्स के बारे में सीख सकते हैं।

संक्षेप में, यह पेपर सुझाव देता है कि हमें AI को सब कुछ टेस्ट करने में समय बर्बाद करने की आवश्यकता नहीं है। इतिहास से सीखने वाली और ठीक तब रुकने वाली एक स्मार्ट, स्टेप-बाय-स्टेप रणनीति का उपयोग करके, हम तेजी से और सस्ते में विश्वसनीय उत्तर प्राप्त कर सकते हैं। यह दक्षता के लिए एक जीत है, जो साबित करता है कि कभी-कभी, पूरी कहानी जानने का सबसे अच्छा तरीका सही सवाल पूछना है, न कि सिर्फ ज़्यादा सवाल पूछना।

तकनीकी सारांश: BayesAME: बेयसियन एक्टिव मॉडल इवैल्यूएशन (Bayesian Active Model Evaluation)

समस्या विवरण

व्यापक बेंचमार्क पर बड़े जनरेटिव मॉडल्स का मूल्यांकन करना गणनात्मक रूप से महंगा और समय लेने वाला है। वर्तमान दृष्टिकोण अक्सर मॉडल्स को आइटम्स के एक उपसमूह, जिसे कोरेसेट (coreset) कहा जाता है, पर मूल्यांकन करके इस समस्या को कम करते हैं ताकि पूर्ण बेंचमार्क प्रदर्शन का अनुमान लगाया जा सके। हालाँकि, मौजूदा साहित्य मुख्य रूप से अभ्यासकर्ताओं को कोरेसेट का आकार मैन्युअल रूप से निर्दिष्ट करने की आवश्यकता बताता है। यह एक दुविधा पैदा करता है: जब सख्त दक्षता के बजाय विश्वसनीय प्रदर्शन अनुमान को प्राथमिकता दी जाती है, तो आवश्यक कोरेसेट आकार को स्वचालित रूप से निर्धारित करने के लिए कोई तंत्र उपलब्ध नहीं होता है। इसके अलावा, हालिया साहित्य (जैसे, Zhang et al., 2025) ने एक्सट्रपलेशन रिजीम (extrapolation regimes) में गैर-यादृच्छिक (non-random) कोरेसेट चयन की उपयोगिता के प्रति संदेह व्यक्त किया है, जहाँ लक्ष्य मॉडल ऐतिहासिक संदर्भ मॉडल्स के प्रदर्शन रेंज से काफी विचलित होते हैं, जिससे यह सुझाव मिलता है कि रैंडम सैंपलिंग अक्सर पर्याप्त होती है।

कार्यप्रणाली: BayesAME

लेखक BayesAME का प्रस्ताव करते हैं, जो एक अनुक्रमिक बेयसियन फ्रेमवर्क (sequential Bayesian framework) है जिसे ऐतिहासिक संदर्भ मॉडल्स का लाभ उठाते हुए इष्टतम कोरेसेट आकार को स्वचालित रूप से निर्धारित करने के लिए डिज़ाइन किया गया है।

मुख्य ढांचा

लेटेंट एबिलिटी मॉडलिंग (Latent Ability Modeling): यह विधि बेंचमार्क आइटम्स को $K_r$ संदर्भ मॉडल्स के समान प्रदर्शन वेक्टर्स के आधार पर "बकेट्स" (buckets) में समूहीकृत करती है। प्रत्येक बकेट $b$ को एक लेटेंट एबिलिटी $\theta_b$ सौंपा जाता है, जो उस समूह पर लक्ष्य मॉडल के अंतर्निहित प्रदर्शन का प्रतिनिधित्व करता है।
प्रायर डिस्ट्रीब्यूशन (Prior Distribution): इन क्षमताओं पर एक जॉइंट गॉसियन प्रायर (joint Gaussian prior) रखा जाता है। प्रायर मीन (mean) बकेट के लिए संदर्भ स्कोर का औसत होता है, और कोवेरिएंस (covariance) इस विश्वास को एनकोड करता है कि समान संदर्भ स्कोर वाले बकेट्स लक्ष्य मॉडल के लिए सह-संबंधित (correlated) लेटेंट एबिलिटीज प्रदान करते हैं।
अनुक्रमिक प्रक्रिया (Sequential Process):
- अनुमान (Estimation): जैसे-जैसे आइटम्स का मूल्यांकन किया जाता है, लेटेंट एबिलिटीज के पोस्टीरियर डिस्ट्रीब्यूशन को अपडेट किया जाता है। इससे एक प्रदर्शन एस्टीमेट $\hat{R}$ और अनिश्चितता (वेरिएंस) का परिमाण प्राप्त होता है।
- एक्टिव सिलेक्शन (Active Selection): उन रिजीम्स में जहाँ संदर्भ स्कोर पर्याप्त रूप से अद्वितीय हैं (लगभग अद्वितीय संदर्भ रिजीम), विधि एक्स्पेक्टेड इंफॉर्मेशन गेन (expected information gain) के आधार पर अगले आइटम का चयन करती है, विशेष रूप से पूर्ण बेंचमार्क प्रदर्शन अनुमान के वेरिएंस को कम करने को अधिकतम करती है।
- फ़ालबैक (Fallback): गैर-अद्वितीय संदर्भ स्कोर वाले रिजीम्स में (जैसे, छोटे संदर्भ पूल के साथ बाइनरी स्कोर), विधि पक्षपात से बचने के लिए रैंडम सिलेक्शन का डिफ़ॉल्ट विकल्प चुनती है, जिससे यह सुनिश्चित होता है कि नमूने लिए गए आइटम्स की अपेक्षित संख्या बकेट साइज के समानुपाती रहे।
स्टॉपिंग क्राइटेरियन (Stopping Criterion): यह प्रक्रिया तब तक कोरेसेट को बढ़ाती रहती है जब तक कि दो शर्तें पूरी नहीं हो जातीं:
- प्रदर्शन अनुमान $\hat{R}$ स्थिर हो जाता है ( $W$ विंडो के भीतर उतार-चढ़ाव $\epsilon_1$ से नीचे गिर जाता है)।
- अनिश्चितता (95% क्रेडिबल इंटरवल की चौड़ाई) उपयोगकर्ता द्वारा परिभाषित थ्रेशोल्ड $\epsilon_2$ से नीचे गिर जाती है।

मल्टी-टारगेट एक्सटेंशन (Multi-Target Extension)

कई लक्ष्य मॉडल्स वाले परिदृश्यों के लिए, BayesAME एक लीनियर मॉडल ऑफ कोरिगियोनालाइजेशन (linear model of coregionalization) का उपयोग करता है। यह मानता है कि विभिन्न लक्ष्य मॉडल्स की लेटेंट एबिलिटीज साझा, स्वतंत्र लेटेंट रैंडम वेक्टर्स द्वारा संचालित होती हैं। यह फ्रेमवर्क मॉडल्स के बीच सहसंबंधों (correlations) को कैप्चर करने में सक्षम बनाता है, जिससे उन्हें स्वतंत्र रूप से मूल्यांकन करने की तुलना में कम कुल कोरेसेट आकार के साथ कई लक्ष्यों का एक साथ मूल्यांकन संभव हो पाता है।

गणनात्मक दक्षता (Computational Efficiency)

स्केलेबिलिटी सुनिश्चित करने के लिए, विधि बकेट-स्तरीय फॉर्मूलेशन का उपयोग करती है। $n \times n$ मैट्रिक्स (जहाँ $n$ कोरेसेट का आकार है) को इनवर्ट करने के बजाय, यह अधिकतम $B \times B$ मैट्रिक्स को इनवर्ट करती है (जहाँ $B$ अद्वितीय संदर्भ स्कोर वेक्टर्स की संख्या है)। प्रति इटरेशन गणनात्मक जटिलता $O(\min(n, B)^2)$ है।

मुख्य योगदान

स्वचालित कोरेसेट निर्धारण: कुशल मॉडल मूल्यांकन को एक बेयसियन अनुक्रमिक प्रक्रिया के रूप में तैयार करता है जो निश्चित इनपुट के बजाय उपयोगकर्ता-परिभाषित परिशुद्धता और स्थिरता थ्रेशोल्ड के आधार पर कोरेसेट आकार को स्वचालित रूप से निर्धारित करता है।
मजबूत एस्टिमेटर्स: अच्छी तरह से परिभाषित गुणों वाले गणनात्मक रूप से कुशल प्रदर्शन एस्टिमेटर्स विकसित करता है, जिसमें गैर-अद्वितीय संदर्भ रिजीम्स के लिए कंट्रोल-वेरियट एस्टिमेटर शामिल है।
एक्टिव सिलेक्शन रणनीतियाँ: सूचना लाभ (information gain) को अधिकतम करने वाले बेंचमार्क आइटम्स की पहचान करने के लिए चयन रणनीतियों को डिजाइन करता है, जो संदर्भ संकेतों की विशिष्टता के आधार पर सक्रिय और रैंडम सिलेक्शन के बीच गतिशील रूप से स्विच करती हैं।
मल्टी-टारगेट कोरिलेशन: फ्रेमवर्क को कई लक्ष्य मॉडल्स के बीच प्रदर्शन सहसंबंधों को कैप्चर करने के लिए विस्तारित करता है, जिससे मूल्यांकन लागत और कम हो जाती है।
अनुभवजन्य सत्यापन (Empirical Validation): विविध बेंचमार्क्स (GPQA, MMLU-Pro, BBH, आदि) पर व्यापक प्रयोग करता है, जो यह प्रदर्शित करता है कि BayesAME इंटरपोलेशन और एक्सट्रपलेशन दोनों रिजीम्स में मौजूदा विधियों (जैसे, AIPW, ProEval, IRT) के अनुक्रमिक अनुकूलन की तुलना में लगातार बेहतर प्रदर्शन करता है।
संदेह का खंडन: गैर-रैंडम चयन के कोई लाभ न होने के दावों को पलटने वाला व्यापक विश्लेषण प्रदान करता है। यह पेपर प्रदर्शित करता है कि जब समृद्ध जानकारी (निरंतर स्कोर, बड़े संदर्भ पूल) का लाभ उठाया जाता है, तो गैर-रैंडम चयन काफी बेहतर प्रदर्शन करता है।
स्कोर उपयोगिता: यह उजागर करता है कि पारंपरिक बाइनरी स्कोर की तुलना में निरंतर रिस्पॉन्स लॉग-लाइक्लीहुड (log-likelihoods) का उपयोग करने से अनुमान सटीकता में काफी वृद्धि होती है।

परिणाम

प्रदर्शन: सात बेंचमार्क्स और संदर्भ मॉडल्स के विभिन्न अनुपातों (10%, 50%, 90%) में, BayesAME लगातार सबसे कम रूट मीन स्क्वायर एरर (RMSE) और रैंडम सैंपल मीन बेसलाइन के सापेक्ष उच्चतम RMSE गेन प्राप्त करता है।
लागत-सटीकता ट्रेड-ऑफ: BayesAME एक स्पष्ट रूप से श्रेष्ठ पारेटो फ्रंटियर (Pareto frontier) स्थापित करता है, जो बेसलाइन्स की तुलना में काफी कम कोरेसेट आकार के साथ समान स्तर की अनुमान सटीकता प्राप्त करता है।
मल्टी-टारगेट दक्षता: उच्च-सहसंबंध रिजीम में, मल्टी-टारगेट एक्सटेंशन सिंगल-टारगेट दृष्टिकोण की तुलना में त्रुटि में तीव्र गिरावट प्राप्त करता है और कम मूल्यांकनों के साथ उच्च सटीकता तक पहुँचता है। निम्न-सहसंबंध रिजीम में, यह बिना किसी विनाशकारी विफलता के प्रतिस्पर्धी बेसलाइन्स के प्रदर्शन के साथ तालमेल बिठाते हुए गरिमापूर्ण रूप से घटता है।
मजबूती (Robustness): विधि तब भी फायदेमंद रहती है जब कोरेसेट का आकार पूर्व निर्धारित होता है, और यह इंटरपोलेशन (लक्ष्य मॉडल संदर्भ रेंज के भीतर) और एक्सट्रपलेशन (लक्ष्य मॉडल संदर्भ मॉडल से बाहर) दोनों परिदृश्यों को प्रभावी ढंग से संभालती है।

महत्व और दावे

यह पेपर एक ऐसी विधि प्रदान करके मॉडल मूल्यांकन के एक महत्वपूर्ण अंतर को दूर करने का दावा करता है जो निश्चित कम्प्यूटेशनल बजट के बजाय विश्वसनीय प्रदर्शन अनुमान को प्राथमिकता देती है। कोरेसेट आकार को स्वचालित करके, BayesAME अभ्यासकर्ताओं को आवश्यक सैंपल साइज का अनुमान लगाने के बजाय अपनी आवश्यक परिशुद्धता ( $\epsilon_1$ और $\epsilon_2$ के माध्यम से) को परिभाषित करने की अनुमति देता है।

महत्वपूर्ण रूप से, लेखक अपने कार्य को हालिया साहित्य के सीधे खंडन के रूप में प्रस्तुत करते हैं जो सुझाव देता है कि परिष्कृत एक्टिव सिलेक्शन अनावश्यक है। वे प्रदर्शित करते हैं कि:

गैर-रैंडम चयन फायदेमंद है: जब पर्याप्त संदर्भ डेटा और निरंतर स्कोर उपलब्ध होते हैं, तो एक्टिव सिलेक्शन प्रभावी रूप से सूचनात्मक आइटम्स को लक्षित करता है, जो रैंडम बेसलाइन्स से बेहतर प्रदर्शन करता है।
समृद्ध संकेत मायने रखते हैं: बाइनरी स्कोर के ऊपर निरंतर लॉग-लाइक्लीहुड का उपयोग प्रभावी एक्टिव सिलेक्शन को सक्षम करने और अनुमान त्रुटि को कम करने में एक प्रमुख कारक है।
एक्सट्रपलेशन में मजबूती: इस दावे के विपरीत कि एक्सट्रपलेशन रिजीम एक्टिव सिलेक्शन को अप्रभावी बना देते हैं, BayesAME तब भी बेहतर प्रदर्शन बनाए रखता है जब लक्ष्य मॉडल संदर्भ मॉडल्स से काफी भिन्न होते हैं, बशर्ते कि संदर्भ पूल पर्याप्त रूप से विविध हो।

लेखक निष्कर्ष निकालते हैं कि हालांकि सरल विधियों को मात देना कठिन है, उनका बेयसियन फ्रेमवर्क संदर्भ मॉडल जानकारी और निरंतर स्कोर का सफलतापूर्वक लाभ उठाता है ताकि एक अधिक कुशल और विश्वसनीय मूल्यांकन प्रक्रिया प्रदान की जा सके, विशेष रूप से जब लक्ष्य उच्च-विश्वास प्रदर्शन अनुमान हो।