Every Eval Ever: A Unifying Schema and Community Repository for AI Evaluation Results
यह शोध पत्र "एवरी इवैल एवर" (Every Eval Ever) को प्रस्तुत करता है, जो एक समुदाय-शासित पहल है जो एक एकीकृत JSON स्कीमा स्थापित करके, विविध स्रोतों से स्वचालित कन्वर्टर प्रदान करके, और हगिंग फेस (Hugging Face) पर एक क्राउडसोर्स रिपॉजिटरी होस्ट करके AI मूल्यांकन परिणामों के विखंडन को संबोधित करता है, जो वर्तमान में 22,000 से अधिक मॉडलों और 2,000 बेंचमार्क से डेटा एकत्रित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया एक विशाल, अराजक स्पोर्ट्स लीग की तरह है। हर दिन, अलग-अलग टीमें (शोधकर्ता और कंपनियाँ) अपने खिलाड़ियों (AI मॉडल्स) को विभिन्न बाधा दौड़ (बेंचमार्क्स) के माध्यम से दौड़ाती हैं ताकि यह देखा जा सके कि कौन सबसे तेज़ या सबसे शक्तिशाली है।
समस्या क्या है? हर कोई स्कोर अलग तरीके से रख रहा है।
कुछ टीमें अपने परिणाम एक नोटबुक में लिखती हैं, कुछ व्हाइटबोर्ड पर, कुछ स्प्रेडशीट का उपयोग करती हैं, और कुछ बस एक नंबर ट्वीट कर देती हैं। एक टीम कह सकती है कि खिलाड़ी ने "85" स्कोर किया, लेकिन वे आपको यह नहीं बताते कि उन्होंने स्टॉपवॉच का उपयोग किया था या रेत वाली घड़ी (सैंड टाइमर) का, या खिलाड़ी ट्रेडमिल पर दौड़ रहा था या ट्रैक पर। इस अव्यवस्था के कारण, टीम X के प्लेयर A की तुलना टीम Y के प्लेयर B से करना असंभव है।
"एवरी इवैल एवर" (Every Eval Ever - EEE) वह प्रोजेक्ट है जो इस अराजकता को ठीक करने की कोशिश कर रहा है। इसे पूरी AI दुनिया के लिए यूनिवर्सल ट्रांसलेटर (सार्वीय अनुवादक) और आधिकारिक स्कोरकीपर के रूप में समझें।
यह कैसे काम करता है, इसे सरल रूप में यहाँ समझाया गया है:
1. यूनिवर्सल स्कोरकार्ड (द स्कीमा)
EEE से पहले, यदि आप दो AI मॉडल्स की तुलना करना चाहते थे, तो आपको एक जासूस की तरह काम करना पड़ता था, यह पता लगाने के लिए कि स्कोर कैसे निकाला गया था, शोध पत्रों, ब्लॉग पोस्ट और कोड लॉग्स की तलाश करनी पड़ती थी।
- EEE का समाधान: उन्होंने एक एकल, मानक "स्कोरकार्ड" (एक विशिष्ट फॉर्मेट जिसे JSON स्कीमा कहा जाता है) बनाया।
- उपमा: कल्पना कीजिए कि यदि हर स्पोर्ट्स लीग एक ही प्रकार के स्टैट शीट (सांख्यिकी पत्र) का उपयोग करने के लिए सहमत हो जाए। केवल "85 अंक" लिखने के बजाय, उस शीट में यह अनिवार्य रूप से शामिल होना चाहिए: "टेस्ट किसने चलाया? उन्होंने किन नियमों का पालन किया? कमरे का तापमान क्या था? क्या उन्होंने स्टॉपवॉच का उपयोग किया या टाइमर का?"
- यह क्यों मायने रखता है: अब, जब आप कोई स्कोर देखते हैं, तो आप जानते हैं कि उसका सटीक अर्थ क्या है और आप अन्य स्रोतों से प्राप्त स्कोर के साथ उसकी निष्पक्ष तुलना कर सकते हैं।
2. जादुई अनुवादक (द कन्वर्टर्स)
आप सोच सकते हैं, "लेकिन हर किसी के पास पहले से ही अपने स्वयं के बिखरे हुए स्कोरकार्ड हैं। हम उन्हें कैसे ठीक करें?"
- EEE का समाधान: उन्होंने "कन्वर्टर्स" बनाए। ये जादुई अनुवाद उपकरणों की तरह हैं।
- उपमा: एक ऐसे अनुवादक की कल्पना करें जो फ्रेंच में लिखे हस्तलिखित नोट, जर्मन में स्प्रेडशीट और स्पेनिश में वॉयस मेमो को तुरंत एक आदर्श मानकीकृत अंग्रेजी दस्तावेज़ में बदल सकता है।
- यह कैसे काम करता है: इस प्रोजेक्ट ने ऐसे उपकरण बनाए हैं जो लोकप्रिय AI टेस्टिंग सॉफ़्टवेयर (जैसे HELM या lm-eval) और लीडरबोर्ड से परिणामों को स्वचालित रूप से लेते हैं और तुरंत उन्हें उनके नए मानक स्कोरकार्ड में रीफॉर्मेट कर देते हैं।
3. कम्युनिटी लाइब्रेरी (द रिपॉजिटरी)
एक बार जब स्कोर ट्रांसलेट हो जाते हैं, तो वे कहाँ जाते हैं?
- EEE का समाधान: उन्होंने Hugging Face नामक प्लेटफॉर्म पर होस्ट की गई एक विशाल, सार्वजनिक लाइब्रेरी बनाई है।
- उपमा: इसे एक विशाल सार्वजनिक संग्रह के रूप में सोचें जहाँ कोई भी अपने मानकीकृत स्कोरकार्ड जमा कर सकता है। यह केवल विजेताओं की सूची नहीं है; यह विवरणों की एक गहरी जांच है।
- पैमाना: वर्तमान में, यह लाइब्रेरी 22,000 से अधिक विभिन्न AI मॉडल्स के परिणामों को रखती है जिन्हें 2,200 विभिन्न चुनौतियों पर परखा गया है। यह पहली बार है जब इतना सारा डेटा एक ऐसी जगह इकट्ठा किया गया है जिसे कंप्यूटर वास्तव में पढ़ और तुलना कर सकते हैं।
4. यह खेल को कैसे बदल देता है (केस स्टडीज)
पेपर में चार विशिष्ट तरीके दिखाए गए जिनसे यह नया सिस्टम शोधकर्ताओं को वे चीजें देखने में मदद करता है जो वे पहले नहीं देख पा रहे थे:
- लागत बनाम सटीकता (Cost vs. Accuracy): "AI एजेंट्स" (काम करने वाले रोबोट) की दुनिया में, EEE ने दिखाया कि कुछ सेटअप महंगे हैं लेकिन वे वास्तव में बेहतर प्रदर्शन नहीं करते हैं। यह यह महसूस करने जैसा है कि एक फेरारी चलाने में आपको प्रतिदिन 50 में पहुँचा रही है।
- "परप्लेक्सिटी" का जाल (The "Perplexity" Trap): शोधकर्ता अक्सर यह देखने के लिए "परप्लेक्सिटी" नामक मीट्रिक देखते हैं कि मॉडल टेक्स्ट की भविष्यवाणी करने में कितना अच्छा है। EEE ने खुलासा किया कि दो अलग-अलग कंप्यूटर प्रोग्राम "परप्लेक्सिटी" की गणना थोड़े अलग तरीकों से कर सकते हैं, जिससे नंबर तुलना योग्य दिखते हैं जबकि वे वास्तव में नहीं होते हैं। EEE इन अंतरों को फ्लैग करता है ताकि कोई धोखा न खा सके।
- मशीन में "भूत" (The "Ghost" in the Machine): जब शोधकर्ताओं ने पुराने टेस्ट को स्थानीय स्तर पर (locally) फिर से चलाने की कोशिश की, तो उन्होंने पाया कि कभी-कभी आधिकारिक परिणामों में डेटा (जैसे खाली उत्तर) गायब था जो उनके स्थानीय कॉपियों में मौजूद था। EEE ने इन "घोस्ट" त्रुटियों को पकड़ने में मदद की जो सामने ही छिपी हुई थीं।
- कठिनाई रेटिंग (Difficulty Ratings): केवल अंतिम स्कोर (न कि व्यक्तिगत प्रश्नों) को देखकर, EEE ने शोधकर्ताओं को 'आइटम रिस्पॉन्स थ्योरी' (Item Response Theory) का उपयोग करने की अनुमति दी ताकि वे सटीक रूप से जान सकें कि कौन से प्रश्न बहुत कठिन या बहुत आसान थे, जिससे उन्हें बेहतर टेस्ट डिजाइन करने में मदद मिली।
निचोड़ (The Bottom Line)
"एवरी इवेल एवर" कोई नया AI मॉडल नहीं है, और यह खुद टेस्ट नहीं चलाता है। इसके बजाय, यह वह इन्फ्रास्ट्रक्चर (बुनियादी ढांचा) है जो उन टेस्ट को अर्थ देता है जो पहले से ही चल रहे हैं।
यह भ्रमित करने वाले, असंगत नोट्स के ढेर को एक स्पष्ट, व्यवस्थित और निष्पक्ष डेटाबेस में बदल देता है। यह शोधकर्ताओं को "क्या उन्होंने इसे एक ही तरीके से मापा?" पूछने के बजाय, "यह वास्तव में हमें AI प्रगति के बारे में क्या बताता है?" पूछने की अनुमति देता है।
इस प्रोजेक्ट को शोधकर्ताओं, कंपनियों और विश्वविद्यालयों के एक गठबंधन द्वारा चलाया जा रहा है जिनका मानना है कि AI के सुधार के लिए, हमें यह बात करने के लिए कि यह कितना अच्छा काम करता है, एक ही भाषा बोलनी चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।