Benchmarking the Benchmarks: A Validity Audit of Tool-Calling Evaluation
यह शोध पत्र चार प्रमुख टूल-कॉलिंग बेंचमार्क का एक व्यवस्थित वैधता ऑडिट प्रस्तुत करता है, जो महत्वपूर्ण मूल्यांकनकर्ता-मानव मिसअलाइनमेंट और पुनरुत्पादकता संबंधी मुद्दों को प्रकट करता है जो वर्तमान लीडरबोर्ड स्कोर को कमजोर करते हैं, और अधिक कठोर, ऑडिट करने योग्य और मानव-संरेखित मूल्यांकन मानकों को स्थापित करने के लिए नए टूल्स जैसे कि Tool-Veritas और Harness Lab के साथ विफलताओं के एक एकीकृत वर्गीकरण का प्रस्ताव करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कोच हैं जो यह पता लगाने की कोशिश कर रहे हैं कि आपका कौन सा एथलीट एक जटिल वीडियो गेम खेलने में सबसे अच्छा है, जिसमें पहेलियाँ सुलझाना, इन्वेंटरी मैनेज करना और NPCs (नॉन-प्लेयर कैरेक्टर्स) से बात करना शामिल है। विजेता तय करने के लिए, आप चुनौतियों की एक श्रृंखला तैयार करते हैं और प्रदर्शन का ग्रेड देने के लिए एक स्कोरकीपर (scorekeeper) का उपयोग करते हैं।
यह शोध पत्र वास्तव में स्कोरकीपरों का ही एक फोरेंसिक ऑडिट (forensic audit) है। लेखकों, जो CoreThink AI और स्टैनफोर्ड के शोधकर्ता हैं, ने एक सरल लेकिन चौंकाने वाला सवाल पूछा: "जो स्कोर हम देख रहे हैं, क्या वे वास्तव में एथलीटों के कौशल को माप रहे हैं, या वे केवल यह माप रहे हैं कि हमारे स्कोरकीपर कितने खराब/टूटे हुए हैं?"
यहाँ उन्होंने जो पाया है, उसे रोजमर्रा के उपमाओं (analogies) के माध्यम से समझाया गया है।
1. समस्या: स्कोरकीपर अविश्वसनीय है
शोधकर्ताओं ने चार प्रमुख "स्कोरकीपिंग सिस्टम" (बेंचमार्क) देखे जो वर्तमान में AI एजेंटों को रैंक करने के लिए उपयोग किए जाते हैं। उन्होंने 496 विशिष्ट कार्य लिए और मानव विशेषज्ञों को AI को खेलते हुए देखा, फिर मानव के निर्णय की तुलना कंप्यूटर स्कोरकीपर के ग्रेड से की।
परिणाम: स्कोरकीपर 18.5% बार गलत थे।
- फॉल्स नेगेटिव (False Negatives): AI ने पहेली को वास्तव में हल कर लिया था, लेकिन स्कोरकीपर ने इसे "F" ग्रेड दिया क्योंकि इसमें एक छोटी सी, अप्रासंगिक गलती थी (जैसे एक कॉमा की कमी या उत्तर कहने का थोड़ा अलग तरीका)।
- फॉल्स पॉजिटिव (False Positives): AI पहेली सुलझाने में विफल रहा, लेकिन स्कोरकीपर ने इसे "A" ग्रेड दे दिया क्योंकि उसने विफलता को नहीं देखा।
उपमा: कल्पना कीजिए कि एक छात्र गणित के सवाल को सही ढंग से हल करता है लेकिन अंतिम उत्तर "42" के बजाय "42." लिख देता है। शिक्षक (AI एजेंट) जानता है कि गणित सही है, लेकिन एक स्वचालित ग्रेडिंग मशीन (बेंचमार्क) छात्र को फेल कर देती है क्योंकि वह सटीक कैरेक्टर मिलान की मांग करती है। इसके विपरीत, एक छात्र गलत उत्तर दे सकता है, लेकिन यदि ग्रेडिंग मशीन भ्रमित है, तो वह गलती से उसे पूरे अंक दे सकती है।
2. टूटे हुए स्कोरकीपरों के दो प्रकार
शोधकर्ताओं ने पाया कि स्कोरकीपर दो बहुत अलग तरीकों से विफल होते हैं, जो इस बात पर निर्भर करता है कि वे कैसे बनाए गए हैं।
प्रकार A: "कठोर रोबोट" (डिटरमिनिस्टिक बेंचमार्क)
ये सिस्टम एक सख्त सुरक्षा गार्ड की तरह हैं जो आपको तभी अंदर आने देते हैं जब आपकी आईडी फोटो से बिल्कुल मेल खाती हो, पिक्सेल तक।
- दोष: वे "भंगुर" (brittle) हैं। यदि AI सही काम करता है लेकिन थोड़े अलग क्रम में करता है, या यदि डेटाबेस उस तरह से अपडेट होता है जिसकी उम्मीद रोबोट को नहीं थी, तो रोबोट घबरा जाता है और इसे विफलता के रूप में चिह्नित कर देता है।
- वास्तविक दुनिया का उदाहरण: एक AI ने सफलतापूर्वक दो फ्लाइट रिजर्वेशन रद्द किए और शेष उड़ानों की लागत की गणना की। हालांकि, स्कोरकीपर एक विशिष्ट संख्या ($1,628) की अपेक्षा कर रहा था जिसमें रद्द की गई उड़ानें भी शामिल थीं। क्योंकि AI ने उपयोगकर्ता के अनुरोध के लिए सही उत्तर दिया लेकिन स्कोरकीपर के कठोर स्क्रिप्ट के लिए गलत संख्या दी, इसलिए AI को विफल माना गया।
प्रकार B: "नशे में धुत जज" (LLM-Judge बेंचमार्क)
ये सिस्टम एक दूसरे AI का उपयोग पहले वाले AI को ग्रेड देने के लिए करते हैं। यह अपने स्वयं के होमवर्क को ग्रेड देने के लिए एक छात्र को कहने जैसा है, लेकिन ग्रेड देने वाला भी एक छात्र है जो थका हुआ और असंगत है।
- दोष: वे "स्टोकेस्टिक" (stochastic - यादृच्छिक) हैं। यदि आप एक ही परीक्षण को दो बार चलाते हैं, तो "नशे में धुत जज" दो पूरी तरह से अलग स्कोर दे सकता है।
- वास्तविक दुनिया का उदाहरण: शोधकर्ताओं ने एक ही बेंचमार्क को 23 बार चलाया। स्कोर 57.9% से 76.8% के बीच झूलता रहा। यह 18.9 अंकों का अंतर है! यदि आप इस परीक्षण को लीडरबोर्ड पर चलाते हैं, तो "विजेता" केवल इसलिए बदल सकता है क्योंकि जज का मूड उस दिन अलग था, न कि इसलिए कि AI अधिक स्मार्ट हो गया था।
3. परिणाम: एक टूटा हुआ लीडरबोर्ड
क्योंकि स्कोरकीपर इतने अविश्वसनीय हैं, वर्तमान "लीडरबोर्ड" (सर्वश्रेष्ठ AI मॉडल को रैंक करने वाली सूचियाँ) भ्रामक हैं।
- उपमा: एक ऐसी दौड़ की कल्पना करें जहाँ फिनिश लाइन हर बार दौड़ने वाले के पार होने पर बेतरतीब ढंग से हिल जाती है। कभी-कभी लाइन 10 मीटर पीछे होती है, कभी-कभी 10 मीटर आगे। यदि आप एक ही रन के आधार पर दुनिया को बताते हैं कि कौन जीता, तो आप झूठ बोल रहे हैं। पेपर का तर्क है कि वर्तमान AI रैंकिंग अक्सर AI के कौशल के बजाय परीक्षण के दोषों को दर्शाती है।
4. समाधान: ग्रेडिंग का एक नया तरीका
लेखकों ने केवल शिकायत नहीं की; उन्होंने समस्या को ठीक करने के लिए दो नए उपकरण बनाए।
टूल-वेरिटास (Tool-Veritas): "तथ्य-प्रथम" जज
यह एक नया स्कोरिंग सिस्टम है जो दोनों दुनियाओं का सर्वश्रेष्ठ प्राप्त करने की कोशिश करता है।
- यह कैसे काम करता है: पहले, यह एक कठोर, अपरिवर्तनीय रोबोट का उपयोग करके तथ्यों की जांच करता है। क्या फ़ाइल सेव की गई? क्या बैंक खाता अपडेट हुआ? यदि तथ्य गलत हैं, तो परीक्षण समाप्त हो जाता है।
- सुरक्षा जाल (Safety Net): केवल तभी जब तथ्य एकदम सही हों, यह एक मानव जैसे AI जज को उत्तर की "शैली" या "टोन" को देखने की अनुमति देता है।
- परिणाम: यह नया सिस्टम मानव विशेषज्ञों के साथ 95.5% बार सहमत रहा, जो पुराने सिस्टमों की 69-90% सहमति की तुलना में एक बड़ा सुधार है।
हारनेस लैब (Harness Lab): "रिप्ले कैमरा"
यह एक सॉफ्टवेयर है जो एक स्पोर्ट्स ब्रॉडकास्ट रिप्ले सिस्टम की तरह काम करता है।
- यह क्या करता है: यह AI द्वारा किया गया हर मूव, हर एरर मैसेज और स्कोरकीपर द्वारा लिया गया हर निर्णय को सेव करता है।
- क्यों महत्वपूर्ण है: यदि कोई स्कोर अजीब दिखता है, तो आप "रिवाइंड" कर सकते हैं, उस सटीक क्षण को देख सकते हैं जब AI या जज ने गलती की थी, और उसे ठीक कर सकते हैं। यह ग्रेडिंग प्रक्रिया को पारदर्शी और ऑडिट योग्य बनाता है, न कि एक "ब्लैक बॉक्स" की तरह जहाँ आपको केवल एक अंतिम संख्या मिलती है।
सारांश
पेपर निष्कर्ष निकालता है कि हम AI एजेंटों के वर्तमान "स्कोर" पर भरोसा नहीं कर सकते क्योंकि परीक्षण स्वयं टूटे हुए हैं। यह जानने के लिए कि क्या कोई AI वास्तव में बेहतर हो रहा है, हमें ऐसे परीक्षणों की आवश्यकता है जो:
- पुनरुत्पादनीय (Reproducible) हों: परीक्षण को दो बार चलाने पर समान परिणाम मिलना चाहिए।
- ऑडिट योग्य (Auditable) हों: हमें यह देखने में सक्षम होना चाहिए कि ग्रेड क्यों दिया गया।
- मानवों के अनुरूप (Aligned with Humans) हों: परीक्षण को इस बात से सहमत होना चाहिए कि एक मानव विशेषज्ञ के लिए सफलता क्या है।
लेखक अपने नए "फैक्ट-फर्स्ट" टेस्ट और अपने "रिप्ले कैमरा" सॉफ्टवेयर को समुदाय की मदद के लिए जारी कर रहे हैं ताकि बेहतर, निष्पक्ष बेंचमार्क बनाए जा सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।