तकनीकी सारांश: ArxivRoll – वन-टाइम-पैड-आधारित ढांचे के तहत अति-आकलन का बेंचमार्किंग

1. समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) का मूल्यांकन एक गंभीर चुनौती का सामना कर रहा है: डेटा संदूषण (data contamination) और पक्षपाती ओवरट्रेनिंग (biased overtraining) के कारण क्षमताओं का अति-आकलन (overestimation)।

• डेटा संदूषण (Data Contamination): सार्वजनिक बेंचमार्क (जैसे MMLU, GSM8K) के परीक्षण नमूने अक्सर अनजाने में या जानबूझकर LLMs के प्री-ट्रेनिंग या फाइन-ट्यूनिंग डेटासेट में शामिल हो जाते हैं। यह मॉडल्स को वास्तविक तर्क प्रदर्शित करने के बजाय उत्तरों को "याद करने" (memorize) की अनुमति देता है, जिससे प्रदर्शन मेट्रिक्स कृत्रिम रूप से बढ़ जाते हैं।
• पक्षपाती ओवरट्रेनिंग (Biased Overtraining): डेवलपर्स विशिष्ट बेंचमार्क डोमेन के लिए रणनीतिक रूप से मॉडल्स को अनुकूलित कर सकते हैं जबकि अन्य डोमेन की उपेक्षा करते हैं, जिससे व्यापक क्षमता का भ्रम पैदा होता है।
• मौजूदा समाधानों की सीमाएं: मौजूदा शमन रणनीतियां, जैसे कि तीसरे पक्ष द्वारा बनाए रखे गए निजी बेंचमार्क (जैसे Chatbot Arena) या प्रतीकात्मक फॉर्मेटिंग बेंचमार्क (जैसे GSM-Symbolic), पारदर्शिता, पुनरुत्पादकता (reproducibility) या सीमित डोमेन कवरेज से ग्रस्त हैं। इसके अलावा, मौजूदा तरीके अति-आकलन की सीमा को मापने (quantify) में विफल रहते हैं, जो केवल एक बाइनरी पास/फेल या एकल प्रदर्शन स्कोर प्रदान करते हैं बिना यह अंतर किए कि क्या यह वास्तविक क्षमता है या धोखाधड़ी।

2. कार्यप्रणाली: ArxivRoll फ्रेमवर्क

लेखक ArxivRoll का प्रस्ताव करते हैं, जो क्रिप्टोग्राफी में वन-टाइम पैड (OTP) एन्क्रिप्शन सिद्धांत से प्रेरित एक गतिशील मूल्यांकन ढांचा है। जिस तरह OTP पूर्ण गोपनीयता सुनिश्चित करने के लिए एक बार उपयोग के लिए एक अद्वितीय, गुप्त कुंजी का उपयोग करता है, ArxivRoll अद्वितीय, निजी बेंचमार्क का उपयोग करता है जिन्हें एक बार उपयोग किया जाता है और फिर संदूषण को रोकने के लिए समाप्त (expire) कर दिया जाता है।

मुख्य घटक

फ्रेमवर्क में दो प्राथमिक तंत्र शामिल हैं:

A. SCP (Sequencing, Cloze, and Prediction)

ताजा, गोपनीय परीक्षण मामले उत्पन्न करने के लिए जिन्हें LLMs ने प्रशिक्षण के दौरान नहीं देखा है, लेखक ArXiv प्रीप्रिंट्स का उपयोग करते हैं जो एक विशिष्ट हालिया विंडो (जैसे, पिछले छह महीने) के भीतर प्रकाशित हुए हैं। चूंकि ये पेपर उन मॉडल्स द्वारा देखे नहीं गए होंगे जो पुराने डेटा पर प्रशिक्षित हैं, इसलिए वे मूल्यांकन के लिए एक सुरक्षित स्रोत के रूप में कार्य करते हैं। SCP जनरेटर तीन वस्तुनिष्ठ कार्यों के माध्यम से परीक्षण मामलों के निर्माण को स्वचालित करता है:

1. Sequencing (अनुक्रमण): एक टेक्स्ट फ्रैगमेंट के वाक्यों को क्रमबद्ध (shuffle) किया जाता है; मॉडल को सही क्रम चुनना होता है।
2. Cloze (रिक्त स्थान पूर्ति): एक फ्रैगमेंट के भीतर विशिष्ट वाक्यों को मास्क (mask) किया जाता है; मॉडल को उम्मीदवारों के सेट में से सही वाक्यों को रिक्त स्थानों को भरने के लिए चुनना होता है।
3. Prediction (पूर्वानुमान): एक संदर्भ और एक सही आगामी अनुक्रम दिए जाने पर, मॉडल को डिस्ट्रैक्टर्स (distractors) के बीच सही अगले अनुक्रम की पहचान करनी होती है।

यह प्रक्रिया सुनिश्चित करती है कि बेंचमार्क गोपनीय (प्रशिक्षण के दौरान अनदेखा), कठिन (लचीला और जटिल, निश्चित पैटर्न नहीं), वस्तुनिष्ठ (बहुविकल्पीय चयन), और व्यापक (आठ डोमेन को कवर करता है: CS, Econ, EESS, Math, Phy, Bio, Fin, Stat) हैं।

B. रग्ड स्कोर (Rugged Scores - RS)

अति-आकलन को मापने के लिए, फ्रेमवर्क रग्ड स्कोर (Rugged Scores) पेश करता है, जो सार्वजनिक बेंचमार्क बनाम निजी बेंचमार्क के बीच प्रदर्शन के अंतर या "रग्डनेस" को मापता है।

• RSI (Absolute Rugged Score): यह एक सार्वजनिक बेंचमार्क ($T_p$) और उसी डोमेन के भीतर इसके संबंधित निजी बेंचमार्क ($T_c$) पर मॉडल के प्रदर्शन के अंतर को मापता है। एक उच्च RSI महत्वपूर्ण संदूषण या सार्वजनिक बेंचमार्क पर ओवरफिटिंग को दर्शाता है।
  $$RSI = \frac{M(m, T_p) - M(m, T_c)}{M(m, T_p) + M(m, T_c)}$$
  (जहाँ $M$ प्रदर्शन मेट्रिक है)।
• RSII (Biased Overtraining Score): यह विभिन्न निजी बेंचमार्क में एक मॉडल के प्रदर्शन के विचरण (variance) को मापता है। उच्च विचरण यह सुझाव देता है कि मॉडल विशिष्ट डोमेन पर ओवर-ट्रेन किया गया है जबकि अन्य में कम प्रदर्शन करता है।
  $$RSII = \sqrt{\sum (M(m, T_c) - \bar{M})^2}$$

वर्कफ़्लो

1. Generation (जनरेशन): SCP हाल के ArXiv पेपर्स से एक नया निजी बेंचमार्क (ArxivRollBench) बनाता है।
2. Evaluation (मूल्यांकन): LLMs का सार्वजनिक बेंचमार्क और नए निजी बेंचमार्क दोनों पर मूल्यांकन किया जाता है।
3. Scoring (स्कोरिंग): अति-आकलन को मापने के लिए रग्ड स्कोर (Rugged Scores) की गणना की जाती है।
4. Release & Expiration (रिलीज़ और समाप्ति): पुनरुत्पादकता सुनिश्चित करने के लिए निजी बेंचमार्क को सार्वजनिक रूप से जारी किया जाता है लेकिन इसे "समाप्त" (expired) के रूप में चिह्नित किया जाता है ताकि भविष्य के मूल्यांकनों में इसके उपयोग को रोका जा सके, जिससे "वन-टाइम" सुरक्षा गुण बना रहे।

3. प्रमुख योगदान

1. नवीन बेंचमार्क निर्माण रणनीति (SCP): ArXiv से उच्च-गुणवत्ता वाले, चुनौतीपूर्ण और ताज़ा परीक्षण मामले उत्पन्न करने की एक स्वचालित विधि, जो गोपनीयता सुनिश्चित करती है और डेटा संदूषण के जोखिम को कम करती है।
2. अति-आकलन का परिमाणीकरण (Quantification of Overestimation - Rugged Scores): पहला अध्ययन जिसने RSI और RSII जैसे मेट्रिक्स प्रस्तावित किए जो सरल प्रदर्शन रैंकिंग से आगे बढ़कर स्पष्ट रूप से अति-आकलन और पक्षपाती ओवरट्रेनिंग के अनुपात को मापते हैं।
3. गतिशील मूल्यांकन ढांचा (ArxivRoll): एक प्रणाली जो निजी बेंचमार्क और रग्ड स्कोर को एकीकृत करती है ताकि अति-आकलन को ध्यान में रखते हुए LLMs का व्यवस्थित, पारदर्शी और पुनरुत्पादक मूल्यांकन प्रदान किया जा सके।

4. प्रयोगात्मक परिणाम

लेखकों ने ArxivRollBench2024b का उपयोग करके ओपन-सोर्स और क्लोज्ड-सोर्स LLMs (Llama, Qwen, Phi, GPT, Claude, और Gemini सीरीज़ सहित) की एक विस्तृत श्रृंखला पर व्यापक प्रयोग किए।

• बेंचमार्क गुणवत्ता: मेटा-इवैल्यूएशन ने पुष्टि की कि SCP जनरेशन रणनीति स्थिर है (रैंडम सीड्स के बीच कम मानक विचलन) और स्थापित निजी बेंचमार्क जैसे Chatbot Arena के साथ उच्च सहसंबंध (Spearman $\rho \approx 0.76$) प्रदर्शित करती है, जो इसकी विश्वसनीयता को प्रमाणित करती है।
• प्रदर्शन बनाम अति-आकलन (Performance vs. Overestimation):
  • ओपन-सोर्स बनाम क्लोज्ड-सोर्स: कुछ ओपन-सोर्स मॉडल्स (जैसे Kimi-K2) ने निजी बेंचमार्क पर प्रोप्रायटरी मॉडल्स के बराबर या उनसे अधिक प्रदर्शन हासिल किया।
  • अति-आकलन का पता लगाना: अध्ययन ने कई मॉडल्स में महत्वपूर्ण अति-आकलन का खुलासा किया। उदाहरण के लिए, Qwen और Phi सीरीज़ ने कुछ मामलों में 100% से अधिक RSI मान प्रदर्शित किए, जो यह दर्शाता है कि उनके सार्वजनिक बेंचमार्क स्कोर संदूषण के कारण अत्यधिक बढ़े हुए थे।
  • पक्षपाती ओवरट्रेनिंग: Llama-3.1-Nemotron-70B जैसे मॉडल्स ने उच्च RSII स्कोर दिखाया, जो असमान प्रदर्शन का सुझाव देता है, जिसे उनके उच्च औसत सार्वजनिक स्कोर द्वारा छिपा दिया गया था।
  • स्मॉल लैंग्वेज मॉडल्स (SLMs): Phi-3-mini जैसे मॉडल्स ने निजी बेंचमार्क पर खराब प्रदर्शन दिखाया, बावजूद इसके कि वे उच्च क्षमता का दावा करते हैं, जो यह सुझाव देता है कि उनके सार्वजनिक स्कोर अतिरंजित हो सकते हैं।

5. महत्व और दावे

पेपर का दावा है कि ArxivRoll वर्तमान LLM मूल्यांकन की मौलिक सीमाओं को संबोधित करता है:

• ताजगी सुनिश्चित करना (Ensuring Freshness): डायनेमिक, समय-बद्ध बेंचमार्क के साथ "वन-टाइम-पैड" दृष्टिकोण का उपयोग करके, यह डेटा संदूषण के जोखिम को प्रभावी ढंग से कम करता है।
• पारदर्शिता प्रदान करना (Providing Transparency): "ब्लैक बॉक्स" निजी लीडरबोर्ड के विपरीत, ArxivRoll मूल्यांकन के बाद बेंचमार्क को जारी करता है, जिससे पूर्ण पुनरुत्पादकता संभव होती है।
• अखंडता का परिमाणीकरण (Quantifying Integrity): यह ध्यान को "एक मॉडल कितना अच्छा प्रदर्शन करता है" से बदलकर "उस प्रदर्शन का कितना हिस्सा वास्तविक है" पर केंद्रित करता है, जो मॉडल क्षमताओं का अधिक ईमानदार मूल्यांकन प्रदान करता है।

लेखक निष्कर्ष निकालते हैं कि हालांकि विभिन्न मजबूत मूल्यांकन विधियां मौजूद हैं, ArxivRoll डायनेमिक जनरेशन, पारदर्शिता और मात्रात्मक अति-आकलन मेट्रिक्स का एक अनूठा संयोजन प्रदान करता है, जो व्यापक डेटा संदूषण के युग में LLMs के निष्पक्ष और विश्वसनीय मूल्यांकन के लिए एक आवश्यक उपकरण है।