तकनीकी सारांश: CELEUS

समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) का मूल्यांकन तेजी से प्रदर्शन मेट्रिक्स का अनुमान लगाने के लिए नमूनों के क्रमिक क्यूरेशन (sequential curation) पर निर्भर होता जा रहा है। हालाँकि, मानक मूल्यांकन पद्धतियाँ सैद्धांतिक कठोरता और व्यावहारिक अनुप्रयोग के बीच एक महत्वपूर्ण अंतर का सामना करती हैं। मौजूदा विधियाँ जो कॉन्फिडेंस इंटरवल्स (CIs) को क्रमिक रूप से अपडेट करती हैं, अक्सर एनीटाइम-वैलिड (anytime-valid) होने में विफल रहती हैं। इसका अर्थ यह है कि जब एक मूल्यांकनकर्ता बार-बार CIs को अपडेट करता है और उन्हें यह तय करने के लिए उपयोग करता है कि कब रुकना है (जैसे, जब अंतराल की चौड़ाई एक लक्षित परिशुद्धता तक पहुँच जाती है), तो दावा की गई कवरेज प्रोबेबिलिटी (जैसे, 95%) "डबल-डिप्पिंग" (double dipping) के कारण विफल हो सकती है—अर्थात, उसी डेटा का उपयोग मूल्यांकन रणनीति को चुनने और अनिश्चितता को मापने, दोनों के लिए करना। इसके अलावा, केवल अधिक नमूने एकत्र करना यह प्रमाणित नहीं करता है कि अनुमान निर्णय लेने के लिए पर्याप्त सटीक है, जिससे कोई सांख्यिकिक रूप से ठोस स्टॉपिंग क्राइटेरियन (stopping criterion) नहीं बचता।

Cer-Eval जैसे वर्तमान दृष्टिकोण अनुकूलित विभाजन (adaptive partitioning) के माध्यम से इसे संबोधित करने का प्रयास करते हैं, लेकिन वे फिक्स्ड-पार्टिशन धारणाओं पर निर्भर करते हैं जो तब मान्य नहीं होतीं जब विभाजन डेटा से अनुकूलित रूप से सीखे जाते हैं, जिससे संभावित कवरेज हानि होती है। इसके अतिरिक्त, कुशल मूल्यांकन उच्च लागत वाले ग्राउंड-ट्रुथ लेबल या मानव निर्णयों के कारण बाधित होता है, जिसके लिए सांख्यिकीय वैधता बनाए रखते हुए मूल्यांकित नमूनों की संख्या को न्यूनतम करने वाली रणनीतियों की आवश्यकता होती है।

CELEUS (Certifiable and Efficient LLM Evaluation via E-Processes) नामक यह शोध पत्र एक ढांचा प्रस्तावित करता है जो E-processes का लाभ उठाकर सैद्धांतिक गारंटी और व्यावहारिक दक्षता के बीच के अंतर को पाटता है।

कार्यप्रणाली (Methodology)

मुख्य ढांचा (Core Framework)

1. एनीटाइम-वैलिड कॉन्फिडेंस इंटरवल्स: CELEUS, E-processes का उपयोग करके CIs का निर्माण करता है, जो किसी भी स्टॉपिंग टाइम पर गारंटी प्रदान करते हैं। पारंपरिक विधियों के विपरीत, E-processes केवल इस धारणा पर निर्भर करते हैं कि मूल्यांकन स्कोर सीमित (bounded) हैं (जो नॉर्मलाइजेशन या क्लिपिंग के माध्यम से सुनिश्चित किया जाता है), जिससे वे अनुकूलित स्टॉपिंग नियमों के प्रति मजबूत बनते हैं।
2. क्रमिक प्रक्रिया (Sequential Procedure): यह विधि एक परिमित डेटा पूल $D_N$ पर कार्य करती है। प्रत्येक दौर $t$ में, यह एक बिना मूल्यांकित नमूना चुनती है, उसका वास्तविक जोखिम (true risk) देखती है, और CI को अपडेट करती है। प्रक्रिया तब रुक जाती है जब CI की चौड़ाई लक्षित परिशмता $\epsilon$ तक पहुँच जाती है।

प्रमुख तकनीकी घटक (Key Technical Components)

गैर-समान सैंपलिंग के तहत दक्षता और वैधता सुनिश्चित करने के लिए, CELEUS इन्फेरेंशियल सिग्नल्स का निर्माण दो प्राथमिक घटकों के माध्यम से करता है:

• अनिश्चितता-निर्देशित सैंपलिंग (Uncertainty-Guided Sampling): यूनिफॉर्म रैंडम सैंपलिंग के बजाय, CELEUS उन नमूनों को प्राथमिकता देता है जिनकी उम्मीद अनुमान विचरण (estimation variance) को कम करने की है। सैंपलिंग प्रोबेबिलिटी $q_t$ को इस तरह डिज़ाइन किया गया है कि वह देखे गए जोखिम और एक सरोगेट स्कोर के बीच के विसंगति (discrepancy) के परिमाण के समानुपाती हो। यह सैद्धांतिक रूप से व्युत्पन्न विचरण-इष्टतम (variance-optimal) सैंपलिंग नियम के अनुरूप है।
• सरोगेट-सहायता प्राप्त सन्निकटन (Surrogate-Assisted Approximations): बिना मूल्यांकित नमूनों के लिए, CELEUS एक छोटे, प्री-ट्रेन्ड सरोगेट मॉडल (जैसे, 7–8B मॉडल) के स्कोर का उपयोग करके वास्तविक जोखिम का अनुमान लगाता है। यह ढांचे को पूरे पूल से जानकारी निकालने की अनुमति देता है बिना हर नमूने को लक्षित मॉडल के साथ मूल्यांकित किए।

सिग्नल निर्माण (Signal Construction)

ढांचा एक प्रति-राउंड सिग्नल $\hat{S}_t$ का निर्माण करता है जो परिमित-पूल जोखिम $R_N$ के लिए कंडीशनली अनबायस्ड (conditionally unbiased) है। सिग्नल निम्नलिखित को जोड़ता है:

1. एक सरोगेट-पूर्ण अनुमान (पूल जोखिम का), जिसमें मूल्यांकित नमूनों के लिए देखे गए जोखिम और शेष नमूनों के लिए सरोगेट स्कोर का उपयोग किया जाता है।
2. नए मूल्यांकित नमूने के रेसिड्यूल (वास्तविक जोखिम और सरोगेट स्कोर के बीच का अंतर) के लिए एक इनवर्स-प्रोबेबिलिटी-वेटेड करेक्शन।

यह कंडीशनल अनबायस्डनेस ही वैध E-processes के निर्माण को सक्षम करने वाला केंद्रीय तंत्र है। ढांचा फिर $R_N$ से जनसंख्या जोखिम $R$ तक CI को एक होफडिंग-शैली (Hoeffding-style) के करेक्शन के माध्यम से ऊपर उठाता है, जो पूर्ण पूल आकार $N$ पर निर्भर करता है।

सैद्धांतिक गारंटी (Theoretical Guarantees)

• एनीटाइम-वैलिड कवरेज: परिणामी CIs किसी भी स्टॉपिंग टाइम पर कम से कम $1-\alpha$ प्रायिकता के साथ वास्तविक जनसंख्या जोखिम को कवर करते हैं।
• श्रिंकेज रेट (Shrinkage Rate): CIs की चौड़ाई लॉगरिदमिक कारकों तक, $O(\sqrt{\log t \log \log t / t})$ की लगभग पैरामेट्रिक दर से सिकुड़ती है।
• विचरण न्यूनीकरण (Variance Reduction): शोध पत्र सिद्ध करता है कि प्रस्तावित अनिश्चितता-निर्देशित सैंपलिंग और सरोगेट सहायता सिग्नल के कंडीशनल वेरिएंस को कम करती है, जिससे कॉन्फिडेंस इंटरवल्स के सिकुड़ने की प्रक्रिया सीधे तेज हो जाती है।

प्रमुख योगदान (Key Contributions)

1. रिगोर-प्रैक्टिस गैप को पाटना: CELEUS पहला ऐसा LLM मूल्यांकन ढांचा प्रदान करता है जो सांख्यिकीय रूप से कठोर (anytime-valid) और व्यावहारिक रूप से कुशल दोनों है, जो Cer-Eval जैसी मौजूदा एडेप्टिव विधियों की कवरेज विफलताओं को हल करता है।
2. नवीन सिग्नल निर्माण: शोध पत्र एक कंडिशनली अनबायस्ड सिग्नल पेश करता है जो सरोगेट-असिस्टेड एप्रोक्सिमेशन को इनवर्स-प्रोबेबिलिटी वेटिंग के साथ एकीकृत करता है, जिससे गैर-समान, अनुकूलित सैंपलिंग के तहत वैध E-प्रोसेस निर्माण संभव होता है।
3. सैद्धांतिक विश्लेषण: लेखक एस्टिमेटर की अनबायस्डनेस, एनीटाइम-वैलिड CIs की वैधता और उनकी सैंपलिंग रणनीति के वेरिएन्स-ऑप्टिमल गुणों के लिए प्रमाण प्रदान करते हैं। वे CI चौड़ाई की अभिसरण दर (convergence rate) को भी स्पष्ट करते हैं।
4. अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोग प्रदर्शित करते हैं कि CELEUS नाममात्र कवरेज बनाए रखते हुए बेसलाइन (जैसे, EVALUE के साथ यूनिफॉर्म सैंपलिंग विद E-processes) की तुलना में 54–62% कम मूल्यांकित नमूनों के साथ लक्षित परिशुद्धता प्राप्त करता है। बिना टास्क-स्पेसिफिक फाइन-ट्यूनिंग के छोटे सरोगेट मॉडल्स (7–8B पैरामीटर्स) का उपयोग करने से नॉन-सरोगेट वेरिएंट की तुलना में अतिरिक्त 10–23% दक्षता में सुधार होता है।

परिणाम (Results)

प्रयोग तीन बेंचमार्क (SST-2, AG News, MMLU) पर विभिन्न टारगेट मॉडल्स (जैसे, Llama-3-70B, DeepSeek-67B, Mixtral-8×7B) और सरोगेट-टारगेट पेयर्स पर किए गए।

• कवरेज: उन डायग्नोस्टिक सेटिंग्स में जहाँ Cer-Eval कवरेज बनाए रखने में विफल रहा (16.1% मिसकवरेज रेट बनाम नाममात्र 5%), CELEUS और अन्य E-प्रोसेस आधारित विधियों ने नाममात्र स्तर (0.021–0.030) से नीचे मिसकवरेज दर बनाए रखी।
• दक्षता: CELEUS ने काफी कम लेबल के साथ लक्षित परिशुद्धता ($\epsilon=0.05$) प्राप्त की। उदाहरण के लिए, MMLU पर, इसे बेसलाइन (EVALUE) के 8,144 नमूनों की तुलना में 3,242 नमूनों की आवश्यकता थी, जो 60% की कमी है।
• सरोगेट प्रभाव: सरोगेट-असिस्टेड वेरिएंट ने लगातार बिना सरोगेट वाले संस्करण से बेहतर प्रदर्शन किया, जो दर्शाता है कि छोटे प्री-ट्रेन्ड मॉडल्स का लाभ उठाना अनुमान सिग्नल के वेरिएंस को प्रभावी ढंग से कम करता है।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि CELEUS पॉइंट एस्टिमेट्स से आगे बढ़कर, प्रमाणित कॉन्फिडेंस इंटरवल्स के माध्यम से यह तय करने के लिए एक सांख्यिकीय रूप से ठोस मानदंड प्रदान करता है कि कब पर्याप्त नमूने मूल्यांकित किए जा चुके हैं। एनीटाइम-वैलिडिटी सुनिश्चित करके, यह मूल्यांकनकर्ताओं को टाइप I एरर रेट को बढ़ाए बिना प्रगति की निगरानी करने और जल्दी रुकने की अनुमति देता है।

लेखक जोर देते हैं कि उनकी विधि विशेष रूप से उन परिदृश्यों में मूल्यवान है जहाँ मूल्यांकन महंगे मानव एनोटेशन या स्ट्रॉन्ग LLM जजों पर निर्भर करता है, क्योंकि यह मूल्यांकित किए जाने वाले लक्षित-मॉडल मूल्यांकनों की संख्या को नाटकीय रूप से कम कर देती है। वे नोट करते हैं कि जबकि उनकी विधि मूल्यांकन में सांख्यिकीय अनिश्चितता को संबोधित करती है, यह अन्य परिनियोजन जोखिमों (जैसे, सुरक्षा, पूर्वाग्रह) को हल नहीं करती है और न ही यह गारंटी देती है कि बेंचमार्क स्वयं वास्तविक दुनिया की स्थितियों के प्रतिनिधि हैं। सरोगेट स्कोरिंग की कम्प्यूटेशनल लागत को स्वीकार किया गया है, लेकिन इसे लक्षित-मॉडल मूल्यांकनों की संख्या को कम करने से होने वाली बचत की तुलना में नगण्य दिखाया गया है।

लेखकों द्वारा सुझाया गया भविष्य का कार्य डिस्ट्रिब्यूशन-शिफ्ट-अवेयर (distribution-shift-aware) मूल्यांकन परिदृश्यों में ढांचे का विस्तार करना है।