🤖 AI

Submodular Benchmark Selection

यह शोध पत्र एक बहुभिन्न प्रचर गाऊसी मॉडल (multivariate Gaussian model) के अंतर्गत एक उप-मॉड्यूलर मैक्सिमाज़ेशन समस्या के रूप में बड़े भाषा मॉडलों (large language models) के मूल्यांकन के लिए सह-संबद्ध बेंचमार्क के एक छोटे, सूचनात्मक उपसमूह के चयन को औपचारिक रूप देता है, और यह प्रदर्शित करता है कि एक ग्रीडी म्यूचुअल इंफॉर्मेशन दृष्टिकोण छोटे उपसमूह आकारों पर इम्प्यूटेशन (imputation) के लिए एंट्रॉपी-आधारित विधियों से बेहतर प्रदर्शन करता है।

मूल लेखक: Alexander Smola

प्रकाशित 2026-05-06

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Alexander Smola

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक खाद्य समीक्षक (food critic) हैं जो यह तय करने के लिए हर एक व्यंजन का स्वाद लेना चाहते हैं कि कौन सा शेफ सबसे अच्छा है। आपके पास चखने के लिए 57 अलग-अलग व्यंजन (benchmarks) हैं। लेकिन हर एक को चखने में बहुत समय लगता है, बहुत पैसा खर्च होता है, और आपका पेट भी एक सीमा तक ही बर्दाश्त कर सकता है।

समस्या क्या है? कई व्यंजनों का स्वाद बहुत समान होता है। यदि आपको स्पाइसी पास्ता पसंद आया, तो आपको स्पाइसी नूडल्स भी पसंद आने की संभावना है। वे "सहसंबंधित" (correlated) हैं। तो, बड़ा सवाल यह है: आपको पूरे मामले को समझने के लिए वास्तव में व्यंजनों के कितने छोटे समूह को चखने की आवश्यकता है?

एलेक्स स्मोला का यह शोध पत्र इस सटीक समस्या को हल करने के लिए एक गणितीय नुस्खा प्रदान करता है। यह विभिन्न AI मॉडलों के विभिन्न परीक्षणों पर स्कोर को एक विशाल सूप के अवयवों (ingredients) की तरह मानता है, जिसमें सबमॉड्यूलर ऑप्टिमिज़ेशन (submodular optimization) नामक गणित की एक शाखा का उपयोग किया गया है (जो केवल "घटते प्रतिफल" या diminishing returns का एक फैंसी तरीका है) ताकि सबसे अच्छा उपसमूह चुना जा सके।

यहाँ उनके दृष्टिकोण का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. दो रणनीतियाँ: "विविध नमूनाकर्ता" बनाम "कनेक्टर"

लेखक आपके छोटे उपसमूह को चुनने के दो अलग-अलग तरीके प्रस्तावित करते हैं। उन्हें उस बुफे के लिए दो अलग-अलग शॉपिंग लिस्ट के रूप में सोचें।

रणनीति A: "विविध नमूनाकर्ता" (एन्ट्रॉपी मैक्सिमाइजेशन - Entropy Maximization)
- लक्ष्य: ऐसे व्यंजन चुनें जो एक-दूसरे से बहुत अलग हों।
- उपमा: आप एक तीखा व्यंजन, एक मीठा व्यंजन, एक नमकीन व्यंजन और एक खट्टा व्यंजन चाहते हैं। आप तीन अलग-अलग प्रकार के स्पाइसी पास्ता नहीं चाहते क्योंकि वे आपको एक ही बात बताते हैं।
- यह कैसे काम करता है: यह विधि "सबसे अद्वितीय" बेंचमार्क खोजती है। यह एक मानचित्र के ध्रुवों (pivot points) को चुनने जैसा है। शोध पत्र नोट करता है कि यह गणितीय रूप से "पिवोटेड चोलेस्की" (pivoted Cholesky) नामक एक मानक तकनीक के समान है, जो एक बड़े मैट्रिक्स को छोटे, प्रबंधनीय टुकड़ों में तोड़ने का एक तरीका है।
- परिणाम: यह एक व्यापक अवलोकन प्राप्त करने के लिए बहुत अच्छा है, लेकिन यह उन विशिष्ट विवरणों को मिस कर सकता है जो व्यंजनों को आपस में जोड़ते हैं।
रणनीति B: "कनेक्टर" (म्युचुअल इंफॉर्मेशन - Mutual Information)
- लक्ष्य: ऐसे व्यंजन चुनें जो उन अन्य व्यंजनों के बारे में आपको सबसे अधिक जानकारी दें जिन्हें आपने नहीं चुना है।
- उपमा: कल्पना करें कि आप एक "मास्टर की" (master key) व्यंजन चुनते हैं। यदि आप जानते हैं कि शेफ ने इस एक विशिष्ट व्यंजन को कैसे बनाया है, तो आप बाकी 50 व्यंजनों के बारे में सटीक अनुमान लगा सकते हैं, भले ही आपने उन्हें कभी चखा न हो। आप केवल विविधता नहीं खोज रहे हैं; आप वह व्यंजन खोज रहे हैं जो शेष मेनू के लिए सबसे अच्छा "हब" या "पुल" (bridge) है।
- यह कैसे काम करता है: यह विधि गणना करती है कि एक बेंचमार्क आपको शेष अनचयनित बेंचमार्क के बारे में कितनी जानकारी देता है।
- परिणाम: शोध पत्र में पाया गया कि छोटे बजट (केवल 1 से 5 व्यंजन चखने) के लिए, यह "कनेक्टर" रणनीति विजेता है। यह शेष व्यंजनों के स्कोर की तुलना में बहुत बेहतर भविष्यवाणी करता है।

2. "गायब मेनू" की समस्या

वास्तविक दुनिया में, हर AI मॉडल का हर बेंचमार्क पर परीक्षण नहीं किया गया है। यह एक ऐसे मेनू की तरह है जहाँ कुछ शेफ ने अभी तक कुछ व्यंजन नहीं बनाए हैं। डेटा अधूरा है।

समाधान: लेखक EM (एक्सपेक्टेशन-मैक्सिमाइजेशन) नामक एक सांख्यिकीय ट्रिक का उपयोग करते हैं।
उपमा: कल्पना करें कि आप एक सूप की रेसिपी का अनुमान लगाने की कोशिश कर रहे हैं, लेकिन आपके पास केवल उसके कुछ चम्मच ही हैं। आप जो आपके पास है उसके आधार पर गायब सामग्री का अनुमान लगाते हैं, अपने "अनुमान" को चखते हैं, और फिर अपनी रेसिपी को समायोजित करते हैं। आप इस प्रक्रिया को बार-बार तब तक दोहराते हैं जब तक कि आपका अनुमान पूर्ण सूप का एक बहुत ही सटीक अनुमान न बन जाए। यह उन्हें अधूरे डेटा के साथ भी एक पूर्ण तस्वीर बनाने की अनुमति देता है।

3. "सरोगेट गैप" (क्यों विजेता जीतता है)

शोध पत्र ने एक दिलचस्प विचित्रता खोजी जिसे वे "सरोगेट गैप" कहते हैं।

अवलोकन: "विविध नमूनाकर्ता" (एन्ट्रॉपी) वास्तव में शेष व्यंजनों के गणितीय त्रुटि (residual variance) को कम करने में बेहतर काम करता है। यह सबसे सांख्यिकीय रूप से स्वतंत्र वस्तुओं को चुनता है।
ट्विस्ट: हालाँकि, जब बात उन व्यंजनों के स्कोर की भविष्यवाणी करने की आती है जिन्हें आपने नहीं चुना, तो "कनेक्टर" (म्युचुअल इंफॉर्मेशन) जीतता है, विशेष रूप से जब आप केवल कुछ ही चुन सकते हैं।
क्यों? क्योंकि "विविध नमूनाकर्ता" ऐसी चीजें चुनता है जो अद्वितीय हैं लेकिन दूसरों का अनुमान लगाने में बहुत मददगार नहीं हो सकती हैं। "कनेक्टर" उन चीजों को चुनता है जो बाकी समूह के साथ मजबूती से जुड़ी हुई हैं। यदि आप भविष्य का अनुमान लगाना चाहते हैं, तो आपको हब (hub) की आवश्यकता है, न कि केवल आउटलेर्स (outliers) की।

4. परिणाम: आपको कितने की आवश्यकता है?

लेखकों ने दस अलग-अलग AI लीडरबोर्ड (जैसे MMLU, जिसमें 57 विषय हैं, और MTEB, जिसमें 56 कार्य हैं) से वास्तविक डेटा पर इसका परीक्षण किया।

अच्छी खबर: आपको सब कुछ टेस्ट करने की आवश्यकता नहीं है।
आंकड़े:
- MMLU डेटासेट (57 विषयों) पर, सावधानीपूर्वक चुने गए केवल 5 बेंचमार्क चुनने से वे अन्य 52 के स्कोर की 91% सटीकता के साथ भविष्यवाणी करने में सक्षम थे।
- एक अव्यवस्थित, अधूरे डेटासेट पर भी, 15 बेंचमार्क चुनने से पूरे सेट की आधी से अधिक जानकारी प्राप्त हो गई।
दृश्य (Visual): उन्होंने डेटा के "स्पेक्ट्रम" (जैसे इंद्रधनुष के रंगों को देखना) को देखा। उन्होंने पाया कि जानकारी बहुत कम "रंगों" (dimensions) में पैक है। एक बार जब आप सही कुछ रंग चुन लेते हैं, तो बाकी सब केवल शोर (noise) है।

सारांश

यदि आप अपना पैसा या धैर्य खर्च किए बिना AI मॉडल का मूल्यांकन करना चाहते हैं:

केवल रैंडम टेस्ट न चुनें।
केवल सबसे "अलग" टेस्ट न चुनें।
उन टेस्ट को चुनें जो समूह के बाकी हिस्सों के लिए सबसे अच्छे "कनेक्टर्स" के रूप में कार्य करते हैं।
यदि आपके पास बहुत छोटा बजट (1–5 टेस्ट) है, तो म्युचुअल इंफॉर्मेशन पद्धति का उपयोग करें। यदि आपके पास बड़ा बजट है, तो "विविध नमूनाकर्ता" बराबरी कर लेता है।

यह शोध पत्र शोधकर्ताओं को दोहराव वाले परीक्षणों पर समय बर्बाद करने के बजाय उन कुछ परीक्षणों पर ध्यान केंद्रित करने में मदद करने के लिए एक गणितीय "शॉपिंग लिस्ट" प्रदान करता है जो वास्तव में मायने रखते हैं।

तकनीकी सारांश: सबमॉड्यूलर बेंचमार्क चयन (Submodular Benchmark Selection)

समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) का व्यापक मूल्यांकन करने के लिए उन्हें बेंचमार्क्स के एक विशाल और बढ़ते सेट पर चलाना आवश्यक है। यह प्रक्रिया गणनात्मक रूप से महंगी और समय लेने वाली है। हालांकि, अनुभवजन्य साक्ष्य (empirical evidence) बताते हैं कि कई बेंचमार्क्स अत्यधिक सह-संबंधित (highly correlated) होते हैं; एक पर मजबूत प्रदर्शन अक्सर दूसरे पर भी मजबूत प्रदर्शन का संकेत देता है। यह अतिरेक (redundancy) यह संकेत देता है कि पूर्ण सेट में निहित अधिकांश जानकारी को पकड़ने के लिए चुनि़किए गए बेंचमार्क्स का एक छोटा, सुव्यवस्थित उपसमूह (subset) पर्याप्त हो सकता है। मुख्य चुनौती यह पहचानना है कि विशिष्ट उपसमूह कौन सा चुनना है और सूचना लाभ (information gain) को अधिकतम करने तथा मूल्यांकन लागत को न्यूनतम करने के लिए इष्टतम उपसमूह का आकार क्या होना चाहिए।

कार्यप्रणाली (Methodology)

लेखक बेंचमार्क चयन को एक सबमॉड्यूलर अनुकूलन (submodular optimization) समस्या के रूप में औपचारिक रूप देते हैं। $M$ मॉडलों को $N$ बेंचमार्क्स पर मूल्यांकित करने वाले स्कोर मैट्रिक्स $B \in \mathbb{R}^{M \times N}$ को देखते हुए, स्कोर को एक मल्टीवेरिएट गौसियन वितरण $\mathcal{N}(\mu, \Sigma)$ से स्वतंत्र ड्रॉ के रूप में मॉडल किया जाता है। लक्ष्य आकार $k$ का एक उपसमूह $A \subseteq \{1, \dots, N\}$ चुनना है ताकि दो में से एक उद्देश्य को अनुकूलित किया जा सके:

एन्ट्रॉपी मैक्सिमाइजेशन ( $H(X_A)$ ): चयनित बेंचमार्क्स की संयुक्त अनिश्चितता (joint uncertainty) को अधिकतम करना। गौसियन मॉडल के तहत, यह $\log \det(\Sigma_{AA})$ को अधिकतम करने के बराबर है। यह उद्देश्य एक मोनोटोन सबमॉड्यूलर (appropriate shifting के साथ) है और पिवोटेड चोलेस्की अपघटन (pivoted Cholesky decomposition) के साथ मेल खाता है। इस उद्देश्य के लिए ग्रीडी एल्गोरिदम उन बेंचमार्क्स का चयन करता है जो अवशिष्ट सशर्त प्रसरण (residual conditional variance) को अधिकतम करते हैं, जो कोवेरिएंस स्पेक्ट्रम से जुड़ा एक नैदानिक (diagnostic) है।
म्युचुअल इंफॉर्मेशन मैक्सिमाइजेशन ( $I(X_A; X_{\bar{A}})$ ): वह जानकारी को अधिकतम करना जो चयनित बेंचमार्क्स अनसेलेक्टेड पूरक (unselected complement) के बारे में प्रदान करते हैं। यह उद्देश्य सबमॉड्यूलर है लेकिन आम तौर पर नॉन-मोनोटोन (non-monotone) है। लेखक देखते हैं कि छोटे उपसमूह आकार $k$ के लिए, मार्जिनल गेन सकारात्मक रहता है, जिससे ग्रीडी ह्यूरिस्टिक का उपयोग संभव होता है। यह दृष्टिकोण कुशलतापूर्वक मार्जिनल गेन की गणना करने के लिए फॉरवर्ड चोलेस्की अपडेट्स को कॉम्प्लीमेंट रिफैक्टरियज़ेशन (complement refactorization) के साथ जोड़ता है।

लुप्त डेटा को संभालना (Handling Missing Data):
वास्तविक दुनिया के स्कोर मैट्रिक्स अक्सर अधूरे होते हैं (सभी मॉडल सभी बेंचमार्क्स पर नहीं चलाए गए होते हैं)। लेखक आंशिक रूप से देखे गए प्रविष्टियों से माध्य वेक्टर $\mu$ और कोवेरिएंस मैट्रिक्स $\Sigma$ का अनुमान लगाने के लिए एक्सपेक्टेशन-मैक्सिमाइजेशन (EM) एल्गोरिदम का उपयोग करते हैं, जिसमें लुप्त मानों को 'मिसिंग एट रैंडम' (MAR) धारणा के तहत लेटेंट वेरिएबल्स के रूप में माना जाता है।

इम्प्यूटेशन (Imputation):
एक बार उपसमूह $A$ का चयन हो जाने के बाद, नए मॉडलों के अनऑब्जर्व्ड स्कोर को गौसियन वितरण के कंडीशनल एक्सपेक्टेशन का उपयोग करके इम्प्यूट किया जाता है:
$E[B_{i\bar{A}} | B_{iA}] = \mu_{\bar{A}} + \Sigma_{\bar{A}A} \Sigma_{AA}^{-1} (B_{iA} - \mu_A)$

मुख्य योगदान (Key Contributions)

यह शोध पत्र बेंचमार्क चयन के लिए एक एंड-टू-एंड पाइपलाइन प्रस्तुत करता है जिसके विशिष्ट योगदान निम्नलिखित हैं:

सबमॉड्यूलर ऑब्जेक्टिव्स: बेंचमार्क चयन के लिए दो सबमॉड्यूलर उद्देश्यों (एन्ट्रॉपी और म्यूचुअल इंफॉर्मेशन) का प्रतिपादन, साथ ही दोनों के लिए कुशल, संख्यात्मक रूप से स्थिर ग्रीडी एल्गोरिदम।
EM-आधारित अनुमान: अधूरी स्कोर मैट्रिसेस से EM का उपयोग करके कोवेरिएंस मैट्रिक्स का अनुमान लगाने की एक विधि, जो इन विधियों को वास्तविक, स्पार्स लीडरबोर्ड डेटा पर लागू करने में सक्षम बनाती है।
स्पेक्ट्रल डायग्नोस्टिक: उपयुक्त उपसमूह आकार $k$ निर्धारित करने के लिए आइजनवैल्यू डिके (eigenvalue decay) और पिवोटेड-चोलेस्की रेसिडुअल ट्रेस का उपयोग करने वाला एक नैदानिक उपकरण। तीव्र एम्पिरिकल स्पेक्ट्रल डिके यह दर्शाता है कि छोटे उपसमूह प्रभावी होने की संभावना अधिक है।
अनुभवजन्य सत्यापन (Empirical Validation): दस सार्वजनिक लीडरबोर्ड (MMLU, MTEB, और एक मर्ज किया हुआ हेट्रोजेनियस सेट) से प्राप्त तीन स्कोर मैट्रिसेस पर प्रयोग।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन डेटासेट्स पर 10-फोल्ड क्रॉस-वैलिडेशन का उपयोग करके अपने दृष्टिकोण का मूल्यांकन किया:

MMLU (5,452 मॉडल, 57 कार्य, पूर्णतः ऑब्जर्वड): केवल $k=5$ चयनित बेंचमार्क्स के साथ, म्यूचुअल इंफॉर्मेशन (MI) चयन ने 0.91 का इम्प्यूटेशन $R^2$ प्राप्त किया। एन्ट्रॉपी चयन 0.89 तक पहुँचा। दोनों विधियों ने रैंडम चयन को काफी पीछे छोड़ दिया।
MTEB (263 मॉडल, 56 कार्य, 77% ऑब्जर्वड): MI चयन ने छोटे $k$ (जैसे, $k \le 3$ ) के लिए एन्ट्रॉपी से बेहतर प्रदर्शन किया, जिसमें लगभग 10 $R^2$ अंकों का अंतर था।
MERGED (118 मॉडल, 114 कार्य, 31% ऑब्जर्वड): यह स्पार्स, हेट्रोजेनियस डेटासेट सबसे चुनौतीपूर्ण था। MI चयन ने बड़े $k$ के लिए एन्ट्रॉपी पर स्पष्ट बढ़त बनाए रखी, $k=15$ पर $R^2 \approx 0.59$ प्राप्त किया जबकि एन्ट्रॉपी के लिए यह 0.55 था।

मुख्य निष्कर्ष:

"सरोगेट गैप" (The "Surrogate Gap"): जबकि एन्ट्रॉपी चयन चयनित सेट के अवशिष्ट प्रसरण (residual variance) को कम करता है (जो पिवोटेड चोलेस्की का गुण है), यह हमेशा अनसेलेक्टेड बेंचमार्क्स के लिए भविष्य कहनेवाला शक्ति (predictive power) को अधिकतम नहीं करता है। MI चयन, जो स्पष्ट रूप से पूरक (complement) के साथ कपलिंग को पुरस्कृत करता है, छोटे उपसमूह आकार के लिए बेहतर इम्प्यूटेशन गुणवत्ता प्रदान करता है।
स्केलेबिलिटी (Scalability): अच्छी तरह से कंडिशन्ड डेटासेट्स के लिए, एन्ट्रॉमेरी चयन अंततः MI के बराबर पहुँच जाता है या उससे आगे निकल जाता है। हालाँकि, बजट-बाधित परिदृश्यों (छोटे $k$ ) के लिए, MI पसंदीदा उद्देश्य है।
मजबूती (Robustness): हालांकि सभी डेटासेट्स पर नॉर्मलिटी टेस्ट ने गौसियन धारणा को खारिज कर दिया, फिर भी गौसियन कंडीशनल मीन (सर्वश्रेष्ठ लीनियर प्रेडिक्टर) ने अत्यधिक सटीक इम्प्यूटेशन प्रदान किया, जो गौसियन मॉडल को एक व्यावहारिक वर्किंग एप्रोक्सिमेशन के रूप में मान्य करता है।

महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि यह प्रिस्क्रिप्टिव बेंचमार्क चयन के लिए एक सिद्धांत-आधारित, सूचना-सैद्धांतिक ढांचा प्रदान करता है। पूर्ववर्ती कार्यों के विपरीत जो एकल बेंचमार्क के भीतर रेडंडेंसी को कम करने या लेटेंट स्किल्स को सीखने पर ध्यान केंद्रित करते हैं, यह दृष्टिकोण चलाने के लिए पूरे बेंचमार्क्स को चुनता है और शेष को इम्प्यूट करता है, बिना किसी जटिल प्रेडिक्टिव मॉडल को प्रशिक्षित किए।

लेखक इस बात पर जोर देते हैं कि:

छोटे बजट के लिए MI श्रेष्ठ है: जब कंप्यूटेशनल संसाधन सीमित हों और लक्ष्य शेष बेंचमार्क्स के लिए स्कोर इम्प्यूट करना हो, तो म्यूचुअल इंफॉर्मेशन (MI) चयन अनुशंसित रणनीति है।
विविधता के लिए एन्ट्रॉपी उपयोगी है: एन्ट्रॉपी चयन चयनित सेट की विविधता को अधिकतम करने या बड़े, वेल-कंडिशन्ड उपसमूहों में अवशिष्ट प्रसरण को कम करने के लिए मूल्यवान बना रहता है।
स्पेक्ट्रल विश्लेषण नैदानिक है: स्कोर कोवेरिएंस का आइजनवैल्यू डिके इस बात का एक विश्वसनीय संकेतक है कि कब छोटे बेंचमार्क उपसमूह प्रभावी होंगे।

यह कार्य निष्कर्ष निकालता है कि सावधानीपूर्वक चुने गए बेंचमार्क्स की एक छोटी संख्या मूल्यांकन संबंधी जानकारी का एक बड़ा हिस्सा कैप्चर कर सकती है, जिससे LLM मूल्यांकन की कम्प्यूटेशनल लागत को कम करते हुए प्रदर्शन अनुमान में उच्च निष्ठा (fidelity) बनाए रखी जा सकती है।