The Double Measurement Confound in Agent Benchmarks: De-Scaffolding, Ground-Truth Scoring, and Reliability Beyond the Mean
यह शोध पत्र LLM एजेंट बेंचमार्क में एक "दोहरा मापन भ्रम" (double measurement confound) की पहचान करता है जहाँ स्थिर स्कैफोल्ड्स और त्रुटिपूर्ण स्कोरर मॉडल की वास्तविक क्षमता को अस्पष्ट कर देते हैं, और एक मापन-सैद्धांतिक ढांचे का प्रस्ताव करता है जिसमें ऑडिट-एंड-रिपेयर प्रोटोकॉल शामिल है ताकि निष्पादन नियंत्रण को मॉडलों को स्थानांतरित किया जा सके, ग्राउंड-ट्रुथ स्कोरिंग लागू की जा सके, और माध्य (mean) से परे विश्वसनीयता मेट्रिक्स रिपोर्ट किए जा सकें।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, शोधकर्ता यह मापने के लिए कि बड़े लैंग्वेज मॉडल्स (large language models) कैसा प्रदर्शन करते हैं, मानकीकृत परीक्षणों पर भरोसा करते हैं, जिन्हें बेंचमार्क कहा जाता है। इन मॉडल्स को एजेंट के रूप में कार्य करने के लिए डिज़ाइन किया गया है, जो डेटा विश्लेषण से लेकर उड़ान बुक करने जैसे जटिल कार्यों को हल करने के लिए डिजिटल टूल्स का उपयोग करने में सक्षम हैं। यह निर्धारित करने के लिए कि कौन सा मॉडल सबसे अच्छा है, वैज्ञानिक उन्हें इन परीक्षणों के माध्यम से चलाते हैं और उनके स्कोर की तुलना करते हैं। अंतर्निहित धारणा यह है कि उच्च स्कोर का अर्थ एक अधिक स्मार्ट और सक्षम मशीन है। हालाँकि, यह विश्वास एक नाजुक आधार पर टिका है: कि वह परीक्षण वास्तव में मशीन की बुद्धिमत्ता को माप रहा है, न कि परीक्षण के डिज़ाइन या उसे चलाने वाले सॉफ़्टवेयर की चतुराई को। यदि परीक्षण त्रुटिपूर्ण है, तो रैंकिंग भ्रामक हो जाती है, जो डेवलपर्स और व्यवसायों को गलत उपकरणों की ओर ले जा सकती है।
शोधकर्ताओं की एक टीम ने उजागर किया है कि वर्तमान में इन एजेंट बेंचमार्क्स को कैसे बनाया जाता है, इसमें एक विशिष्ट, छिपे हुए दोष को, जिसे वे "डबल मेजरमेंट कॉन्फाउंड" (double measurement confound) कहते हैं। उन्होंने पाया कि कई लोकप्रिय परीक्षणों में, प्रयोग चलाने वाला सॉफ़्टवेयर ही लगभग सारा कठिन काम कर रहा है, जबकि आर्टिफिशियल इंटेलिजेंस केवल रिक्त स्थानों को भरने का काम कर रहा है। इसके अलावा, परिणामों को ग्रेड देने वाली प्रणाली अक्सर केवल यह देखती है कि उत्तर सतही तौर पर सही दिखता है या नहीं, बजाय इसके कि वह यह सत्यापित करे कि उत्तर वास्तव में सत्य है या नहीं। जब ये दोनों मुद्दे एक साथ होते हैं, तो वे प्रदर्शन का एक आदर्श भ्रम पैदा करते हैं जहाँ बिना किसी आर्टिफिशियल इंटेलिजेंस वाला एक साधारण कंप्यूटर स्क्रिप्ट भी उतना ही उच्च स्कोर प्राप्त कर सकता है जितना कि सबसे उन्नत आर्टिफिशियल इंटेलिजेंस।
इसे उजागर करने के लिए, शोधकर्ताओं ने एक बेंचमार्क पर ध्यान केंद्रित किया जो मॉडल्स को वास्तविक दुनिया के अव्यवस्थित डेटा, विशेष रूप से उन व्यापार सांख्यिकी (trade statistics) को संभालने के तरीके का परीक्षण करने के लिए बनाया गया था जिनमें त्रुटियां, डुप्लिकेट और छूटे हुए पन्ने शामिल थे। इस परीक्षण के मानक संस्करण में, मॉडल के चारों ओर का 'सॉफ्टवेयर रैपर' स्वचालित रूप से हर कठिन निर्णय को संभाल लेता है। यदि डेटा स्रोत विफल हो जाता है, तो सॉफ़्टवेयर कनेक्शन को पुनः प्रयास करता है। यदि डेटा में डुप्लिकेट हैं, तो सॉफ़्टवेयर उन्हें हटा देता है। यदि डेटा कई पृष्ठों में फैला हुआ है, तो सॉफ़्टवेयर उन सभी को प्राप्त करता है। आर्टिफिशियल इंटेलिजेंस से केवल यह तय करने के लिए कहा जाता है कि किस विशिष्ट डेटा को देखना है और कब रुकना है। क्योंकि सॉफ़्टवेयर सारा महत्वपूर्ण कार्य कर रहा है, इसलिए परिणाम इस बात पर निर्भर नहीं करते कि कौन सा मॉडल उपयोग किया गया है। एक उल्लेखनीय मामले में, दुनिया के दो सबसे शक्तिशाली मॉडल्स के साथ-साथ एक साधारण नियम-आधारित स्क्रिप्ट, जिसमें कोई आर्टिफिशियल इंटेलिजेंस नहीं था, सभी ने लगभग एक जैसा पूर्ण स्कोर प्राप्त किया। परीक्षण मॉडल्स को नहीं माप रहा था; यह उस सॉफ़्टवेयर को माप रहा था जो उन्हें चला रहा था।
समस्या का दूसरा भाग यह है कि परिणामों को कैसे ग्रेड दिया जाता है। इन परीक्षणों में मानक ग्रेडिंग प्रणाली सबमिशन के प्रारूप (format) को देखती है। यह जाँचती है कि क्या मॉडल ने अपने कार्यों का एक लॉग प्रदान किया है और क्या डेटा संरचना व्यवस्थित दिखती है। यह प्रस्तुत किए गए डेटा की वास्तविक सही उत्तर के विरुद्ध तुलना नहीं करती है। शोधकर्ताओं ने प्रदर्शित किया कि एक मॉडल पूरी तरह से फर्जी रिकॉर्ड का एक सेट सबमिट कर सकता है, बशर्ते कि फ़ाइल अच्छी तरह से व्यवस्थित दिखे और लॉग सही ढंग से लिखा गया हो, और उसे उतना ही उच्च स्कोर प्राप्त होगा जितना कि एक मॉडल को जो सटीक, सही डेटा सबमिट करता है। इसका अर्थ यह है कि परीक्षण काम की गुणवत्ता के बजाय काम के दिखावे को पुरस्कृत कर रहा था।
शोधकर्ताओं को एहसास हुआ कि केवल एक समस्या को ठीक करना पर्याप्त नहीं था। यदि वे केवल ग्रेडिंग प्रणाली को बदलकर सत्य की जांच करने के लिए बदलते, तो मॉडल्स अभी भी आपस में बंधे होते क्योंकि सॉफ़्टवेयर अभी भी सारा काम कर रहा होता। यदि वे केवल सॉफ़्टवेयर की सहायता को हटा देते, तो त्रुटिपूर्ण ग्रेडिंग प्रणाली अभी भी मॉडल्स की विफलताओं को छिपा देती। उन्हें दोनों को एक साथ हटाना था। उन्होंने सहायक सॉफ़्टवेयर को हटा दिया, जिससे आर्टिफिशियल इंटेलिजेंस को कनेक्शन को पुनः प्रयास करने, डुप्लिकेट हटाने और पन्ने प्राप्त करने जैसे हर निर्णय को लेने के लिए मजबूर होना पड़ा। फिर, उन्होंने प्रारूप-जांचने वाले ग्रेडर को एक ऐसी प्रणाली से बदल दिया जो मॉडल के आउटपुट की सीधे ज्ञात सही उत्तर के साथ तुलना करती है।
जब उन्होंने इस 'डबल रिपेयर' को लागू किया, तो सपाट, गैर-सूचनात्मक लीडरबोर्ड एक स्पष्ट क्षमता स्पेक्ट्रम में बदल गया। अचानक, मॉडल्स को एक-दूसरे से अलग किया जा सका। सबसे सक्षम मॉडल्स ने उच्च स्कोर बनाए रखा, जिससे सिद्ध हुआ कि वे खुद को स्वतंत्र छोड़ने पर कठिन कार्यों को संभालने में सक्षम हैं। हालाँकि, अन्य मॉडल्स जो पहले उच्च स्कोर प्राप्त कर रहे थे, उनका स्कोर शून्य हो गया, जिससे पता चला कि वे कार्य करने के लिए पूरी तरह से सहायक सॉफ़्टवेयर पर निर्भर थे। कुछ मॉडल्स जो औसतन मजबूत दिखते थे, वे बेहद अविश्वसनीय पाए गए, जो विशिष्ट स्थितियों में पूरी तरह से विफल हो जाते हैं, जबकि छोटे, कम प्रसिद्ध मॉडल्स आश्चर्यजनक रूप से सुसंगत और मजबूत साबित हुए।
अध्ययन ने यह भी प्रकट किया कि इन मॉडल्स की विश्वसनीयता परीक्षण की विशिष्ट स्थितियों के आधार पर बहुत अधिक भिन्न होती है। एक मॉडल औसत में उत्कृष्ट दिख सकता है लेकिन अपने सबसे खराब मामले (worst-case scenario) में पूरी तरह विफल हो सकता है, एक ऐसा विवरण जिसे मानक परीक्षण अक्सर छिपा देते हैं। इन 'वर्स्ट-केस' परिणामों को देखकर, शोधकर्ताओं ने पाया कि मॉडल्स की रैंकिंग पूरी तरह से बदल गई। एक मॉडल जो औसत स्कोर के आधार पर शीर्ष प्रदर्शन करने वाला प्रतीत होता था, वास्तव में सबसे नाजुक था, जबकि एक छोटा मॉडल जिसे पहले अनदेखा किया गया था, सबसे विश्वसनीय साबित हुआ।
यह कार्य केवल एक परीक्षण तक सीमित नहीं है। शोधकर्ताओं ने अपने नए ऑडिट पद्धति को अन्य मौजूदा बेंचमार्क्स पर लागू किया और वही मुद्दे पाए। कुछ मामलों में, ग्रेडिंग प्रणाली परीक्षण के लिए विशिष्ट थी और सही ढंग से काम कर रही थी, लेकिन परीक्षण चलाने वाला सॉफ़्टवेयर अभी भी बहुत अधिक काम कर रहा था, जिससे रैंकिंग उपयोग किए गए सॉफ़्टवेयर संस्करण पर निर्भर हो गई। अन्य मामलों में, ग्रेडिंग प्रणाली स्वयं त्रुटिपूर्ण थी, जो गलत चीजों को पुरस्कृत कर रही थी। शोधकर्ताओं ने निष्कर्ष निकाला कि एक आर्टिफिशियल इंटेलिजेंस एजेंट को वास्तव में समझने के लिए, हमें यह जानना होगा कि एजेंट कितना काम कर रहा है बनाम परीक्षण उसके लिए कितना काम कर रहा है, और हमें एजेंट को उसके उत्तरों की सत्यता पर ग्रेड देना चाहिए, न कि केवल उसकी प्रस्तुति की स्वच्छता पर। इन परिवर्तनों के बिना, आज जो स्कोर हम देखते हैं वे उस बुद्धिमत्ता को मापने के बजाय स्वयं परीक्षण को माप रहे हो सकते हैं जिसका वह मूल्यांकन करने का दावा करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।