Valid Best-Model Identification for LLM Evaluation via Low-Rank Factorization

तकनीकी सारांश: LLM मूल्यांकन के लिए लो-रैंक फैक्टराइजेशन के माध्यम से वैध बेस्ट-मॉडल की पहचान

समस्या का स्वरूप

निश्चित बेंचमार्क का उपयोग करके किसी विशिष्ट कार्य के लिए सर्वश्रेष्ठ लार्ज लैंग्वेज मॉडल (LLM) का चयन करना अक्सर अत्यधिक महंगा होता है। व्यापक मूल्यांकन के लिए प्रत्येक उदाहरण पर प्रत्येक मॉडल को चलाना आवश्यक होता है, एक ऐसी प्रक्रिया जिसमें हजारों डॉलर खर्च हो सकते हैं और महत्वपूर्ण कंप्यूटेशनल संसाधनों की आवश्यकता होती है, विशेष रूप से जब स्टोकेस्टिक एजेंटों को विश्वसनीय अनुमानों के लिए बार-बार रोलआउट की आवश्यकता होती है।

इसे कम करने के लिए, मल्टी-आर्म्ड बैंडिट (MAB) एल्गोरिदम, जैसे कि UCB-E, प्रस्तावित किए गए हैं ताकि अनुकूल रूप से मूल्यांकन बजट को आवंटित किया जा सके, जिससे संसाधनों को आशाजनक उम्मीदवारों पर केंद्रित किया जा सके। हालांकि, मॉडल-उदाहरण स्कोर मैट्रिक्स की संरचना का उपयोग करके मॉडल स्कोर का पूर्वानुमान लगाकर और अधिक बचत की जा सकती है। चूंकि मॉडल अक्सर उदाहरणों के बीच समान प्रदर्शन प्रोफाइल प्रदर्शित करते हैं, और उदाहरण अक्सर मॉडलों के बीच समान स्कोर प्राप्त करते हैं, इसलिए यह परिकल्पना की गई है कि स्कोर मैट्रिक्स को एक लो-रंक (low-rank) मैट्रिक्स द्वारा अच्छी तरह से अनुमानित किया जा सकता है।

इस कार्य द्वारा संबोधित मुख्य चुनौती यह है कि ये लो-रंक भविष्यवाणियां 'ग्राउंड ट्रुथ' नहीं हैं; वे पक्षपाती (biased) हो सकती हैं। इन भविष्यवाणियों को नाईटिवली (naively) MAB एल्गोरिदम में शामिल करने से गलत मॉडल की पहचान हो सकती है। इसके अलावा, डबली रोबस्ट (doubly robust) एस्टिमेटर्स के मौजूदा सांख्यिकीय सिद्धांत अक्सर अनंत जनसंख्या या स्थिर डेटा वितरण मानते हैं, जो इस सेटिंग में लागू नहीं होते जहाँ:

1. उदाहरणों को एक निश्चित, परिमित डेटासेट से बिना प्रतिस्थापन (without replacement) के लिया जाता है।
2. भविष्यवाणियां एक ही ऑनलाइन लो-रंक मॉडल को बार-बार रिफिट (refit) करके उत्पन्न की जाती हैं, जो मजबूत क्रॉस-आर्म डिपेंडेंस (cross-arm dependence) पैदा करती हैं।

लक्ष्य एक ऐसा ढांचा विकसित करना है जो इन सस्ते, अपूर्ण भविष्यवाणियों का लाभ उठाकर LLM कॉल्स की संख्या को कम कर सके, जबकि सांख्यिकीय वैधता (unbiased अनुमान और वैध कॉन्फिडेंस इंटरवल) बनाए रख सके।

कार्यप्रणाली: PULSE

लेखक PULSE (Prediction-Powered Unbiased Low-Rank Sequential Evaluation) प्रस्तावित करते हैं, जो एक अनुक्रमिक ढांचा है जो अनुकूल नमूनाकरण (adaptive sampling) को लो-रंक स्कोर प्रेडिक्शन के साथ जोड़ता है। यह विधि दो वैकल्पिक चरणों में कार्य करती है:

1. लो-रंक फैक्टराइजेशन (प्रेडिक्शन)

एल्गोरिदम एक लो-रंक लॉजिस्टिक मॉडल का उपयोग करके यह मॉडल करता है कि मॉडल $i$ प्रश्न $j$ का सही उत्तर देने की संभावना क्या है:
$$\hat{S}_{i,j} = \sigma(u_i^\top v_j)$$
जहाँ $u_i$ और $v_j$ सीखे गए लेटेंट रिप्रेजेंटेशन (latent representations) हैं। मॉडल को ओवरफिटिंग को रोकने के लिए $L_2$ रेगुलराइजेशन के साथ देखे गए एंट्रियों पर बाइनरी क्रॉस-एंट्रॉपी (BCE) लॉस को कम करके प्रशिक्षित किया जाता है। महत्वपूर्ण रूप से, प्रश्न रिप्रेजेंटेशन ($V$) को एक ट्रेनिंग स्प्लिट से इनिशियलाइज़ किया जाता है और फ्रीज (frozen) रखा जाता है, जबकि मॉडल रिप्रेजेंटेशन ($U$) को नए देखे गए स्कोर के साथ ऑनलाइन अपडेट किया जाता है।

2. डबली रोबस्ट एस्टिमेशन (अनबायस्ड इवैल्यूएशन)

सांख्यिकीय वैधता सुनिश्चित करने के लिए, PULSE प्रत्येक मॉडल के औसत सटीकता $\mu_i$ के लिए एक डबली रोबस्ट एस्टिमेटर का उपयोग करता है। किसी भी चरण $t$ पर, एक चयनित मॉडल $i$ के लिए, एस्टिमेटर $\hat{\theta}_i^t$ का निर्माण इस प्रकार किया जाता है:
$$\hat{\theta}_i^t = \frac{1}{n} \left[ \sum_{j \in O_i^{t-1}} S_{i,j} + \sum_{j \in U_i^t} \lambda_i^t \hat{S}_{i,j}^t + \frac{S_{i,j_t} - \lambda_i^t \hat{S}_{i,j_t}^t}{\pi_i^t} \right]$$
जहाँ:

• $O_i^{t-1}$: मॉडल $i$ के लिए पहले से देखे गए उदाहरणों का सेट।
• $U_i^t$: अनदेखे उदाहरणों का सेट।
• $\hat{S}_{i,j}^t$: लो-रंक मॉडल से अनुमानित स्कोर।
• $\lambda_i^t \in [0, 1]$: एक ट्यूनेबल वेट (tunable weight) जो प्रेडिक्शन और ऑब्जर्वेशन के बीच संतुलन बनाता है।
• $\pi_i^t$: विशिष्ट उदाहरण $j_t$ को सैंपल करने की संभावना (इन्वर्स प्रोबेबिलिटी वेटिंग)।
• अंतिम पद एक इन्वर्स-प्रोबेबिलिटी रेसिड्यूल करेक्शन (inverse-probability residual correction) है जो संभावित रूप से गलत भविष्यवाणियों द्वारा उत्पन्न पूर्वाग्रह (bias) को हटा देता है।

प्रमुख सैद्धांतिक गुण:

• कंडीशनल अनबायस्डनेस (Conditional Unbiasedness): यह सिद्ध किया गया है कि एस्टिमेटर कंडीशनली अनबायस्ड है ($E[\hat{\theta}_i^t | \mathcal{F}_{t-1}] = \mu_i$), बशर्ते कि वेट्स और प्रेडिक्शंस हिस्ट्री $\mathcal{F}_{t-1}$ के सापेक्ष मेयरेबल (measurable) हों।
• वेरिएंस रिडक्शन (Variance Reduction): एस्टिमेटर का वेरिएंस वास्तविक और अनुमानित स्कोर के बीच सहसंबंध (correlation) पर निर्भर करता है। यदि भविष्यवाणियां सूचनात्मक हैं, तो केवल ऑब्जर्वेशन का उपयोग करने की तुलना में वेरिएंस कम हो जाता है।
• फाइनाइट-सैंपल कॉन्फिडेंस इंटरवल्स (CIs): मार्टिंगेल कंसंट्रेशन इनइक्वेलिटीज (विशेष रूप से फ्रीडमैन की इनइक्वेलिटी) का उपयोग करते हुए, लेखक वैध फाइनाइट-सैंपल CIs प्राप्त करते हैं। इंटरवल की चौड़ाई रेसिड्यूल करेक्शन टर्म के कंडीशनल वेरिएंस द्वारा संचालित होती है, जिसे $\lambda_i^t$ को ट्यून करके कम किया जा सकता है।
• एडैप्टिव ट्यूनिंग (Adaptive Tuning): चूंकि इष्टतम $\lambda_i^t$ अज्ञात भविष्य के स्कोर पर निर्भर करता है, इसलिए एल्गोरिदम पिछले रेसिड्यूल्स के आधार पर एक "प्रेडिक्टेबल प्लग-इन" एप्रोक्सिमेशन का उपयोग करके गतिशील रूप से इष्टतम वेट का अनुमान लगाता है।

3. बेस्ट-मॉडल आइडेंटिफिकेशन

PULSE इन एस्टिमेटर्स को UCB-E स्टाइल बैंडिट लूप में एकीकृत करता है। प्रत्येक चरण में, यह उच्चतम अपर कॉन्फिडेंस बाउंड वाले मॉडल का चयन करता है, नए उदाहरणों के बैच पर इसका मूल्यांकन करता है, लो-रंक फैक्टराइजेशन को अपडेट करता है, और एस्टिमेटर को रिफिट करता है। एल्गोरिदम एक सीमित बजट के भीतर अद्वितीय सर्वश्रेष्ठ मॉडल की पहचान करने की उच्च संभावना की गारंटी देता है।

प्रमुख योगदान

1. लो-रंक प्रेडिक्शंस के साथ अनबायस्ड एस्टिमेटर: लेखक एक डबली रोबेक्ट एस्टिमेटर विकसित करते हैं जो वेरिएंस को कम करने के लिए लो-रंक फैक्टराइजेशन प्रेडिक्शंस का लाभ उठाता है, जबकि अनबायस्डनेस की गारंटी देता है, भले ही भविष्यवाणियां अपूर्ण हों।
2. अनुकूल सेटिंग्स में फाइनाइट-सैंपल वैधता: वे एक ऐसी सेटिंग में फाइनाइट-सैंपल कॉन्फिडेंस इंटरवल और सफलता की गारंटी स्थापित करते हैं जहाँ बिना प्रतिस्थापन के नमूनाकरण और समय-परिवर्तनीय, एडैप्टिव रूप से उत्पन्न भविष्यवाणियां मौजूद हैं। यह मौजूदा डबली रोबस्ट थ्योरी को LLM बेंचमार्किंग की विशिष्ट बाधाओं तक विस्तारित करता है।
3. अनुभवजन्य दक्षता (Empirical Efficiency): दिखाया गया है कि प्रस्तावित PULSE एल्गोरिदम मानक UCB-E की तुलना में आवश्यक LLM कॉल्स की संख्या को काफी कम कर देता है, जबकि उच्च पहचान सटीकता बनाए रखता है।

प्रयोगात्मक परिणाम

लेखकों ने छह डेटासेट्स (MMLU-Pro, BBH, GPQA, MATH, आदि सहित) में 2,200 मॉडलों को शामिल करते हुए वास्तविक दुनिया के बेंचमार्क पर PULSE का मूल्यांकन किया।

• प्रदर्शन बनाम UCB-E: PULSE ने सभी कठिनाई स्तरों (डिफिनिशन: शीर्ष दो मॉडलों के बीच $\Delta_{top2}$ सटीकता अंतर) में मानक UCB-E एल्गोरिदम (जो केवल देखे गए स्कोर का उपयोग करता है) की तुलना में लगातार बेहतर प्रदर्शन किया।
• लागत बचत: 95% पहचान सटीकता प्राप्त करने के लिए, PULSE ने UCB-E की तुलना में आवश्यक LLM कॉल्स को 46% तक कम कर दिया।
• बायस करेक्शन का महत्व: एक "नेव-पूलिंग" (Naive-Pooling) बेसलाइन, जिसने बिना बायस करेक्शन के सीधे प्रेडिक्टेड स्कोर का उपयोग किया, PULSE और UCB-E दोनों की तुलना में काफी खराब प्रदर्शन करती है। यह पुष्टि करता है कि पक्षपाती भविष्यवाणियों को सीधे शामिल करना हानिकारक है और प्रस्तावित डीबायसिंग मैकेनिज्म आवश्यक है।
• कंप्यूटेशनल ओवरहेड: PUL-SE चलाने की कंप्यूटेशनल लागत (540k बजट के लिए लगभग 60 सेकंड) बचाए गए LLM मूल्यांकनों की लागत की तुलना में नगण्य है।

महत्व और दावे

पेपर का दावा है कि PULSE LLM मूल्यांकन को तेज करने के लिए एक सिद्धांतिक ढांचा (principled framework) प्रदान करता है। इसका प्राथमिक महत्व सस्ते प्रेडिक्शंस की दक्षता और विश्वसनीय मॉडल चयन के लिए आवश्यक सांख्यिकीय कठोरता के बीच के अंतर को पाटने में निहित है।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण पेशेवरों को निम्नलिखित अनुमति देता है:

• कंप्यूट और लागत बचाएं: सर्वश्रेष्ठ मॉडल के चयन की विश्वसनीयता से समझौता किए बिना बेंचमार्किंग के लिए आवश्यक बजट को काफी कम करें।
• वैधता बनाए रखें: यह सुनिश्चित करें कि सर्वश्रेष्ठ मॉडल की पहचान सांख्यिकीय रूप से सुदृढ़ है, जिसमें वैध कॉन्फिडेंस इंटरवल हैं, भले ही यह एडैप्टिव सैंपलिंग और अपूर्ण भविष्यवाणियों वाली जटिल, नॉन-i.i.d. सेटिंग्स में हो।

यह कार्य LLM मूल्यांकन की सभी चुनौतियों को हल करने का दावा नहीं करता है, बल्कि विशेष रूप से सर्वश्रेष्ठ-मॉडल पहचान में मूल्यांकन लागत और सांख्यिकीय वैधता के बीच के ट्रेड-ऑफ को लक्षित करता है। लेखक सीमाओं का भी उल्लेख करते हैं, जैसे कि लो-रंक फैक्टराइजेशन की गुणवत्ता पर निर्भरता और वर्तमान में बाइनरी स्कोरिंग फंक्शन पर ध्यान केंद्रित करना, जो सुझाव देता है कि भविष्य के कार्य समृद्ध प्रासंगिक जानकारी और नॉन-बाइनरी स्कोर का पता लगा सकते हैं।