On the missing benchmarks layer and a potential solution
यह शोध पत्र एक क्षेत्रीय बेंचमार्क लेयर की अनुपस्थिति को लैटिन अमेरिका के मूल एआई विकास के लिए एक महत्वपूर्ण बाधा के रूप में पहचानता है और "EvalsHub" (इसके प्रारंभिक इंस्टेंस, LatamBoard के साथ) को एक खुले, प्रोत्साहन-संचालित बुनियादी ढांचे के रूप में प्रस्तावित करता है ताकि स्थानीय सामाजिक और आर्थिक आवश्यकताओं के विरुद्ध एआई प्रणालियों के स्वतंत्र ऑडिटिंग और अनुकूलन को सक्षम किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
अदृश्य स्कोरबोर्ड: AI को एक स्थानीय परीक्षण की आवश्यकता क्यों है?
आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया की कल्पना एक विशाल, हाई-टेक रसोई के रूप में करें जहाँ शेफ (AI मॉडल) सभी के खाने के लिए व्यंजन बना रहे हैं। लंबे समय से, सबसे प्रसिद्ध शेफ केवल कुछ विशिष्ट रसोईघरों में काम कर रहे हैं, अपने ही पड़ोस की रेसिपी और सामग्रियों का उपयोग कर रहे हैं। वे अविश्वसनीय रूप से प्रतिभाशाली हैं, लेकिन वे हमेशा यह नहीं जानते कि दुनिया के दूसरे हिस्से में रहने वाले परिवार के लिए एकदम सही स्वाद वाला व्यंजन कैसे बनाया जाए। यह AI की दुनिया है: एक स्थान पर निर्मित शक्तिशाली उपकरण, लेकिन अक्सर हर जगह उपयोग किए जाने वाले।
यह जानने के लिए कि क्या कोई शेफ वास्तव में एक विशिष्ट भोजन पकाने में कुशल है, आपको एक 'टेस्ट टेस्ट' (स्वाद परीक्षण) की आवश्यकता होती है। AI की दुनिया में, इस टेस्ट टेस्ट को बेंचमार्क कहा जाता है। बेंचमार्क को एक मानकीकृत परीक्षा या स्कोरबोर्ड के रूप में समझें। यह केवल यह नहीं पूछता, "क्या AI बात कर सकता है?" बल्कि यह पूछता है, "क्या AI इस विशिष्ट समस्या को इस विशिष्ट भाषा में और इन स्थानीय नियमों के साथ हल कर सकता है?" इन स्थानीय स्कोरबोर्ड के बिना, देश और कंपनियाँ उन डाइनर्स की तरह हैं जो यह जाने बिना भोजन कर रहे हैं कि क्या वह ताज़ा है, सुरक्षित है, या उसका स्वाद कैसा होना चाहिए। उन्हें केवल शेफ की बात पर भरोसा करना पड़ता है। यह शोध पत्र तर्क देता है कि लैटिन अमेरिका के पास अपना स्वयं का 'रसोई स्कोरबोर्ड' गायब है, और इसके बिना, यह क्षेत्र वास्तव में यह जांच नहीं सकता कि जो AI वह उपयोग कर रहा है वह सही ढंग से काम कर रहा है या नहीं, या अपने अनूठे समाधानों के लिए उसे कैसे सुधारा जाए।
गायब स्कोरबोर्ड: लैटिन अमेरिका के AI अंतराल की एक कहानी
इस शोध पत्र के लेखक, जो SURUS की एक टीम और एक स्वतंत्र शोधकर्ता हैं, लैटिन अमेरिकी तकनीक के मानचित्र में एक बहुत बड़े छेद की ओर इशारा कर रहे हैं। वे इसे "मिसिंग बेंचमार्क लेयर" (लुप्त बेंचमार्क परत) कहते हैं। यह समझने के लिए कि यह क्यों महत्वपूर्ण है, कल्पना करें कि आप एक कार को ठीक करने की कोशिश कर रहे हैं, लेकिन आपके पास केवल एक अलग ब्रांड की कार के लिए डिज़ाइन किए गए उपकरण हैं। आप काम तो पूरा कर सकते हैं, लेकिन यह पूर्ण नहीं होगा, और आपको ठीक से पता नहीं चलेगा कि इंजन कहाँ अटक रहा है। लैटिन अमेरिका के साथ AI के मामले में यही हो रहा है।
दो बड़ी समस्याएँ: ब्लाइंड ऑडिट और स्टालड इंजनों की समस्या
शोध पत्र बताता है कि यह गायब परत दो प्रमुख सिरदर्द का कारण बनती है।
पहला है, ऑडिट की समस्या (Audit Problem)। कल्पना कीजिए कि एक सरकारी एजेंसी सार्वजनिक रिकॉर्ड प्रबंधित करने में मदद के लिए एक नया AI सिस्टम खरीदती है। क्योंकि AI दूसरे देश में बनाया गया था, एजेंसी के पास स्वतंत्र रूप से यह जांचने का कोई तरीका नहीं है कि क्या वह स्थानीय कानूनों को समझता है या स्थानीय बोली को सही ढंग से बोलता है। वे केवल विक्रेता के दावों पर भरोसा करने के लिए मजबूर हैं। लेखक सुझाव देते हैं कि स्थानीय बेंचमार्क के बिना, ये संस्थान "अंधे" हैं। वे यह नहीं देख सकते कि क्या AI ऐसी गलतियाँ कर रहा है जो उनके विशिष्ट संदर्भ में महत्वपूर्ण हैं, जैसे कि किसी स्थानीय फसल की बीमारी को गलत पहचानना या किसी विशिष्ट कानूनी शब्द को गलत समझना।
दूसरा है, ऑप्टिमाइज़ेशन की समस्या (Optimization Problem)। यह उन कंपनियों के लिए है जो शानदार AI टूल बनाने की कोशिश कर रही हैं। आधुनिक AI विकास एक वीडियो गेम की तरह है जहाँ आप उच्च स्कोर प्राप्त करने के लिए सेटिंग्स को बदलते हैं। लेकिन उच्च स्कोर प्राप्त करने के लिए, आपको अपनी प्रगति को मापने के लिए एक स्कोरबोर्ड की आवश्यकता होती है। पत्र का तर्क है कि स्थानीय बेंचमार्क के बिना, कंपनियों के पास लक्ष्य निर्धारित करने के लिए कोई आधार नहीं है। वे यह नहीं बता सकते कि क्या उनका AI स्थानीय समस्याओं को हल करने में बेहतर हो रहा है क्योंकि उनके पास इसे ग्रेड करने के लिए कोई "परीक्षा" नहीं है। यह बिना फिनिश लाइन के दौड़ने जैसा है; आप तेज़ दौड़ सकते हैं, लेकिन आपको पता नहीं चलेगा कि आप वास्तव में जीत रहे हैं या नहीं।
प्रस्तावित समाधान: EvalsHub और LatamBoard
तो, इसका समाधान क्या है? लेखक एक नया बुनियादी ढांचा बनाने का प्रस्ताव देते हैं जिसे EvalsHub कहा जाता है, जिसका पहला संस्करण LatamBoard है।
LatamBoard को इस क्षेत्र के लिए एक विशाल, ओपन-सोर्स "परीक्षा हॉल" के रूप में समझें। यह एक ऐसी जगह है जहाँ विश्वविद्यालय, सरकारें और कंपनियाँ अपने स्वयं के परीक्षण (बेंचमार्क) प्रकाशित कर सकती हैं और देख सकती हैं कि विभिन्न AI मॉडल उन पर कैसा प्रदर्शन करते हैं।
- यह कार्य-केंद्रित है (Task-First): केवल "AI कितना स्मार्ट है?" का परीक्षण करने के बजाय, परीक्षण विशिष्ट कार्यों के इर्द-गिर्द बनाए गए हैं। उदाहरण के लिए, एक परीक्षण विशेष रूप से "चिली के स्वास्थ्य रिकॉर्ड से चिकित्सा जानकारी निकालने" या "कोलंबियाई कॉफी फसलों में कीटों को वर्गीकृत करने" के लिए डिज़ाइन किया जा सकता है।
- यह पुन: प्रयोज्य है (Reusable): शोध पत्र एक बेहतरीन वाक्यांश का उपयोग करता है: "एक बार बनाया गया, हमेशा के लिए मापा गया" (Built once, measured forever)। एक बार जब कोई परीक्षण बनाया जाता है, तो इसे बार-बार चलाया जा सकता है। हर बार जब कोई नया AI मॉडल आता है, या कोई कंपनी अपना सॉफ़्टवेयर बदलती है, तो वे यह देखने के लिए वही परीक्षण चला सकते हैं कि क्या उन्होंने सुधार किया है। यह बेंचमार्क को एक बार के प्रोजेक्ट के बजाय, सड़क या पुल की तरह, एक स्थायी बुनियादी ढांचे में बदल देता है।
"एक्सेस की समस्या": इसे बनाना कठिन क्यों है?
पत्र यह भी स्वीकार करता है कि इन स्कोरबोर्ड्स को बनाना वास्तव में कठिन है। यह केवल कोड लिखने के बारे में नहीं है। किसी विशिष्ट कार्य (जैसे बीमारी का निदान करना) के लिए एक वैध परीक्षण बनाने के लिए, आपको चार अलग-अलग प्रकार के विशेषज्ञों को मिलकर काम करने की आवश्यकता होती है:
- एक डोमेन विशेषज्ञ (Domain Expert) (जैसे डॉक्टर या वकील) जो जानता है कि "सही" क्या दिखता है।
- एक ML इंजीनियर जो उस ज्ञान को कंप्यूटर परीक्षण में बदल सके।
- एक सांख्यिकीविद् (Statistician) यह सुनिश्चित करने के लिए कि परीक्षण के प्रश्न निष्पक्ष और प्रतिनिधि हों।
- एक डेवलपर यह सुनिश्चित करने के लिए कि परीक्षण सुचारू रूप से चले।
लेखक इसे "एक्सेस की समस्या" (Access Problem) कहते हैं। आमतौर पर, जो व्यक्ति काम के बारे में सबसे अधिक जानता है (डॉक्टर), वह परीक्षण को कोड करना नहीं जानता, और कोडर को चिकित्सा विवरणों का ज्ञान नहीं होता। यह बेमेल होने का अर्थ है कि बहुत कम लोग इन बेंचमार्क को अपने दम पर बना सकते हैं। पत्र सुझाव देता है कि LatamBoard के काम करने के लिए, उन्हें एक ऐसा तरीका खोजने की आवश्यकता है जिससे विशेषज्ञ बिना कोडिंग विजार्ड बने अपने ज्ञान में योगदान दे सकें।
भविष्य के लिए एक दृष्टिकोण: खुला और बहुध्रुवीय (Open and Multipolar)
लेखकों का इस बारे में एक मजबूत रुख है कि यह कैसे काम करना चाहिए। वे एक "बहुध्रुवीय" (multipolar) दुनिया चाहते हैं, जिसका अर्थ है कि वे नहीं चाहते कि एक या दो देश सभी AI नियमों को नियंत्रित करें। वे चाहते हैं कि लैटिन अमेरिका की अपनी आवाज़ और अपने मानक हों।
इसे साकार करने के लिए, वे प्रस्तावित करते हैं कि LatamBoard को डिज़ाइन द्वारा खुला (open by design) होना चाहिए (हर कोई परीक्षण और परिणाम देख सकता है) और निर्माण द्वारा प्रोत्साहन-संचालित (incentive-driven by construction) होना चाहिए (लोगों को मदद करने के लिए श्रेय और पहचान मिलती है)। यदि कोई विश्वविद्यालय स्थानीय कृषि के लिए एक बेहतरीन परीक्षण बनाता है, तो उन्हें योगदानकर्ता के रूप में नाम दिया जाएगा, और बाकी सभी उस परीक्षण से लाभान्वित होंगे। यह एक ऐसी प्रणाली है जहाँ ज्ञान साझा करना सभी को स्मार्ट और शक्तिशाली बनाता है।
अभी क्या अज्ञात है?
पत्र ईमानदार है कि यह एक शुरुआत है, कोई तैयार उत्पाद नहीं। वे स्वीकार करते हैं कि अभी भी कई बड़े सवालों के जवाब देने बाकी हैं, जैसे:
- जैसे-जैसे AI स्मार्ट होता जाता है, हम यह कैसे सुनिश्चित करें कि परीक्षण निष्पक्ष बने रहें?
- इन परीक्षणों को चलाने के लिए आवश्यक कंप्यूटरों का भुगतान कौन करेगा?
- हम स्वास्थ्य सेवा जैसे संवेदनशील क्षेत्रों को कैसे संभालेंगे जहाँ गोपनीयता अत्यंत महत्वपूर्ण है?
लेखक यह दावा नहीं कर रहे हैं कि उन्होंने अभी तक इन सभी समस्याओं को हल कर लिया है। इसके बजाय, वे समुदाय को एक चुनौती दे रहे हैं। वे विश्वविद्यालयों, सरकारों और कंपनियों को एक साथ आने और इस बुनियादी ढांचे की परत बनाने के लिए आमंत्रित कर रहे हैं। लक्ष्य एक ऐसी प्रणाली बनाना है जहाँ लैटिन अमेरिका केवल AI का उपभोक्ता न हो, बल्कि एक निर्माता भी हो, जिसके पास तकनीक को मापने, सुधारने और उस पर भरोसा करने के लिए अपने स्वयं के उपकरण हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।