Mind the Gap: Explicit Cross-Benchmark Calibrations for Estimating Missing LLM Evaluation Scores
यह शोध पत्र "benchgap" का परिचय देता है, जो एक ऐसा पाइपलाइन है जो क्षमता समूहों के भीतर बेंचमार्क को मोनोटोन कर्व फिटिंग (monotone curve fitting) और मल्टीवेरिएट मैपिंग (multivariate mappings) का उपयोग करके स्पष्ट रूप से कैलिब्रेट करके लुप्त लार्ज लैंग्वेज मॉडल मूल्यांकन स्कोर का अनुमान लगाता है, जिससे मैट्रिक्स कम्प्लीशन बेसलाइन्स की तुलना में काफी कम त्रुटि दर प्राप्त होती है और मूल्यांकन सेटअप विसंगतियों को मापा जाता है जिन्हें "हार्नेस टैक्स" (harness tax) के रूप में जाना जाता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, नए लैंग्वेज मॉडल्स को उनके परीक्षण होने से पहले ही तेजी से जारी किया जा रहा है। ये मॉडल्स समस्याओं को हल करने, कोड लिखने और जटिल कार्यों के माध्यम से तर्क करने के लिए डिज़ाइन किए गए हैं, लेकिन उनकी वास्तविक क्षमताओं का पता केवल तभी चलता है जब उन्हें बेंचमार्क नामक मानकीकृत परीक्षणों के माध्यम से परखा जाता है। एक बेंचमार्क को एक विशिष्ट परीक्षा पत्र की तरह समझें; उस पेपर पर मॉडल का स्कोर सख्त परिस्थितियों में उसके प्रदर्शन का एक स्नैपशॉट होता है। हालांकि, इन परीक्षाओं का परिदृश्य विशाल और खंडित है। विभिन्न अनुसंधान प्रयोगशालाएं और कंपनियां अपने मॉडल्स को प्रदर्शित करने के लिए अलग-अलग परीक्षणों के सेट चुनती हैं, और मूल्यांकन सेवाएं अपने स्वयं के मॉडल्स के उपसमुच्चयों (subsets) को अपने स्वयं के शेड्यूल पर चलाती हैं। इसका परिणाम एक विशाल, अपूर्ण चित्र है जहाँ अधिकांश मॉडल्स को केवल कुछ ही परीक्षाओं पर परखा गया है, जिससे अधिकांश संभावित स्कोर गायब रह जाते हैं। यह अंतराल मॉडल्स की निष्पक्ष तुलना करना या उनकी क्षमताओं की पूरी सीमा को समझना कठिन बना देता है, क्योंकि विश्लेषक उन तालिकाओं को देखने के लिए मजबूर होते हैं जहाँ नब्बे प्रतिशत से अधिक डेटा खाली होता है।
इस पहेली को हल करने के लिए, शोधकर्ताओं—पाट्रिक पी. सुली, ग्योर्गी एगनर और रोलैंड होलोस ने 'बेंचगैप' (benchgap) नामक एक विधि विकसित की है, जो वास्तव में परीक्षण चलाए बिना ही छूटे हुए स्कोर का अनुमान लगाने के लिए डिज़ाइन किया गया एक सिस्टम है। किसी मॉडल के प्रदर्शन का शून्य से अनुमान लगाने या सभी मॉडल्स के लिए एक एकल वैश्विक सूत्र का उपयोग करने के बजाय, यह सिस्टम विभिन्न विशिष्ट परीक्षाओं के बीच एक अनुवादक (translator) के रूप में कार्य करता है। यह उन मॉडल्स को देखता है जिन्होंने पहले ही दो अलग-अलग टेस्ट दिए हैं और उनके स्कोर के बीच के संबंध को मैप करता है। यदि कोई मॉडल एक परीक्षा में उच्च स्कोर करता है, तो सिस्टम अन्य मॉडल्स के ऐतिहासिक डेटा का उपयोग करके यह अनुमान लगाता है कि उसी मॉडल का दूसरे, अन-टेस्टेड एग्जाम में क्या स्कोर होने की संभावना है। यह प्रक्रिया केवल एक तुक्का नहीं है; यह एक सटीक अंशांकन (calibration) है जो डेटा के लिए एक स्मूथ कर्व (smooth curve) फिट करता है, यह सुनिश्चित करते हुए कि अनुमान परीक्षणों की प्राकृतिक सीमाओं और मॉडल्स की क्षमताओं का सम्मान करे। सिस्टम अपने नियमों के प्रति सख्त है: यह कभी भी किसी मॉडल को ऐसे टेस्ट पर अनुमानित नहीं होने देता जिसके लिए वह मौलिक रूप से अनुपयुक्त हो, जैसे कि टेक्स्ट-ओनली परिणामों के आधार पर विजन टेस्ट का स्कोर बताना, और यह ऐसे अनुमान लगाने से इनकार करता है जो देखे गए डेटा की सीमा से बहुत आगे निकल जाते हैं।
शोधकर्ताओं ने इस दृष्टिकोण का परीक्षण 401 विभिन्न मॉडल्स और 146 बेंचमार्क वर्जन्स वाले डेटासेट पर किया। उन्होंने पाया कि सिस्टम 71 प्रतिशत छूटे हुए स्कोर को उच्च सटीकता के साथ सफलतापूर्वक भर सकता है। जब उन्होंने अपने अनुमानों की तुलना उन वास्तविक, मापे गए स्कोर से की जो परीक्षण के लिए छिपाकर रखे गए थे, तो सिस्टम की औसत त्रुटि (error) केवल 4.6 प्रतिशत अंक थी। यह एक प्रतिस्पर्धी पद्धति की तुलना में काफी बेहतर था जो एक व्यापक, वैश्विक पैटर्न का उपयोग करके अंतरालों को भरने की कोशिश करती थी, जिसने उन्हीं सेल्स पर बड़ी त्रुटियां की थीं। सिस्टम अपनी अनिश्चितता के बारे में भी पारदर्शी है; इसके द्वारा बनाया गया प्रत्येक अनुमान एक विश्वास स्तर (confidence level) और एक विशिष्ट त्रुटि मार्जिन के साथ आता है, जो उपयोगकर्ता को बताता है कि वह संख्या कितनी विश्वसनीय है। उदाहरण के लिए, परीक्षणों के बीच मजबूत, स्पष्ट संबंधों पर आधारित अनुमानों को उच्च विश्वास (high confidence) के रूप में चिह्नित किया जाता है, जबकि कम डेटा पॉइंट्स या अधिक अनिश्चित कनेक्शनों पर आधारित अनुमानों को निम्न विश्वास के रूप में फ्लैग किया जाता है, जिससे उपयोगकर्ता जानकारी का उचित वजन कर सकें।
इस कार्य में एक प्रमुख खोज थी जिसे लेखकों ने "हार्नेस टैक्स" (harness tax) कहा है। यह वह असहमति है जो तब उत्पन्न होती है जब एक ही बेंचमार्क को विभिन्न मूल्यांकन सेटअपों द्वारा चलाया जाता है। भले ही दो सेवाएं बिल्कुल एक ही मॉडल पर और एक ही प्रश्नों के सेट पर परीक्षण कर रही हों, फिर भी परीक्षण चलाने के लिए उपयोग किए जाने वाले सॉफ्टवेयर और प्रोटोकॉल के आधार पर स्कोर काफी भिन्न हो सकते हैं। शोधकर्ताओं ने पाया कि उन बेंचमार्क्स के लिए जिनमें एजेंट शामिल हैं जो टूल्स का उपयोग कर सकते हैं या कंप्यूटर टर्मिनल्स को नेविगेट कर सकते हैं, ये अंतर काफी अधिक थे, जहाँ सेटअप के बीच औसत अंतर 8.7 प्रतिशत अंक था। इसके विपरीत, सरल, टूल-फ्री नॉलेज टेस्ट के लिए, असहमति बहुत कम, केवल 2.3 प्रतिशत अंक थी। यह निष्कर्ष रेखांकित करता है कि एक बेंचमार्क स्कोर केवल मॉडल का गुण नहीं है, बल्कि उस विशिष्ट वातावरण का भी गुण है जिसमें उसका परीक्षण किया गया है। सिस्टम इस बात का ध्यान रखता है कि वह केवल उन्हीं टेस्ट्स के बीच अंशांकन (calibrate) करे जो एक ही क्षमता समूह (capability group) साझा करते हैं, और प्रत्येक स्कोर के स्रोत को रिकॉर्ड करता है, जिससे यह सुनिश्चित होता है कि अनुमान वास्तविक दुनिया में इन टेस्ट्स के संचालन को दर्शाते हैं।
यह सिस्टम एक जीवित पाइपलाइन के रूप में कार्य करता है जो प्रतिदिन अपडेट होता है, जैसे ही नए स्कोर प्रकाशित होते हैं, यह नए स्कोर खींचता है और अनुमानों की पुनर्गणना करता है। यह छिपे हुए प्रशिक्षण डेटा या मॉडल्स की आंतरिक वास्तुकला (architecture) पर निर्भर नहीं है, जिससे यह किसी भी मॉडल के लिए लागू योग्य है, जिसमें क्लोज्ड-सोर्स मॉडल भी शामिल हैं जो केवल अपने अंतिम स्कोर जारी करते हैं। स्पष्ट, ट्रैसेबल अंशांकन के साथ अंतरालों को भरकर, यह सिस्टम आर्टिफिशियल इंटेलिजेंस के परिदृश्य का अधिक पूर्ण और ईमानदार दृश्य प्रदान करता है। यह स्वीकार करता है कि हालांकि कोई भी अनुमान पूर्ण नहीं है, लेकिन वास्तविक दुनिया के डेटा पर आधारित एक सावधानीपूर्वक निर्मित भविष्यवाणी, एक खाली स्थान की तुलना में कहीं अधिक उपयोगी है। परिणाम स्वरूप, यह एक ऐसा उपकरण है जो शोधकर्ताओं, डेवलपर्स और जनता को मॉडल मूल्यांकन की जटिल दुनिया में अधिक स्पष्टता के साथ नेविगेट करने में मदद करता है, जिससे क्षमताओं के एक बिखरे हुए और भ्रमित करने वाले मैट्रिक्स को क्षमताओं के एक सुसंगत मानचित्र में बदल दिया जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।