La Leaderboard: A Large Language Model Leaderboard for Spanish Varieties and Languages of Spain and Latin America
यह शोधपत्र ला लीडरबोर्ड (La Leaderboard) को प्रस्तुत करता है, जो मूल्यांकन मानक स्थापित करने और भाषाई विविधता को बढ़ावा देने के लिए स्पेन की विविधताओं और स्पेन एवं लैटिन अमेरिका की भाषाओं को कवर करने वाले 66 डेटासेट में 50 जनरेटिव एलएलएम (LLMs) का मूल्यांकन करने वाली पहली ओपन-सोर्स, समुदाय-संचालित पहल है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास कई अलग-अलग भाषाओं में लिखी गई किताबों का एक विशाल पुस्तकालय है। लंबे समय तक, इस पुस्तकालय की "सबसे बुद्धिमान" किताबें केवल अंग्रेजी में लिखी गई थीं। यदि आप जानना चाहते कि कौन सी किताब सबसे अच्छी है, तो आप एक ऐसे लाइब्रेरियन से पूछेंगे जो केवल अंग्रेजी बोलता हो। यदि आप स्पेनिश, बास्क या कैटलन भाषा की किसी किताब के बारे में पूछते, तो वह लाइब्रेरियन शायद केवल अनुमान लगाता, या इससे भी बुरा, वह अंग्रेजी के सवालों का खराब अनुवाद करता, जिससे स्थानीय चुटकुले, सांस्कृतिक संदर्भ और बोलने के अनूठे तरीके छूट जाते।
"ला लीडरबोर्ड" (La Leaderboard) एक नया, समुदाय-निर्मित लाइब्रेरी गाइड है जिसे इस समस्या को ठीक करने के लिए डिज़ाइन किया गया है। यह यह परीक्षण करने के लिए पहला ओपन-सोर्स "स्कोरबोर्ड" है कि आर्टिफिशियल इंटेलिजेंस (AI) स्पेनिश की विभिन्न विविधताओं और स्पेन की अन्य भाषाओं (जैसे बास्क, कैटलन और गैलिशियन) को कितनी अच्छी तरह समझता और बोलता है।
यहाँ बताया गया है कि यह कैसे काम करता है, कुछ रोजमर्रा के उपमाओं (analogies) का उपयोग करते हुए:
1. समस्या: "एक ही आकार सबके लिए" (One-Size-Fits-All) वाला जाल
वर्तमान AI मॉडल्स को एक ऐसे यूनिवर्सल ट्रांसलेटर की तरह समझें जिसने अंग्रेजी में कड़ी मेहनत की है लेकिन अन्य भाषाओं को केवल ऊपर से सरसरी तौरकी देखा है।
- समस्या: अधिकांश AI परीक्षण एक ऐसे ड्राइविंग टेस्ट की तरह हैं जो अंग्रेजी में लिखा गया है और फिर स्पेनिश में खराब तरीके से अनुवादित किया गया है। प्रश्न व्याकरण की दृष्टि से सही हो सकते हैं, लेकिन वे स्थानीय सड़क संकेतों, स्लैंग (बोलचाल की भाषा) और सांस्कृतिक संदर्भों को मिस कर देते हैं।
- परिणाम: एक AI अनुवादित टेस्ट पर तो बेहतरीन स्कोर कर सकता है, लेकिन जब मेक्सिको सिटी या ब्यूनस आयर्स का कोई वास्तविक व्यक्ति उससे स्थानीय कानूनों या हास्य के बारे में सवाल पूछेगा, तो वह बुरी तरह विफल हो सकता है।
2. समाधान: AI के लिए एक "टेस्ट ऑफ टेस्ट" (Taste-Test)
ला लीडरबोर्ड के रचनाकारों ने अनुवादित परीक्षणों का उपयोग करना बंद करने का निर्णय लिया। इसके बजाय, उन्होंने एक विशाल "टेस्ट ऑफ टेस्ट" आयोजित किया।
- सामग्री (Ingredients): उन्होंने 66 अलग-अलग "रेसिपी" (डेटासेट्स) एकत्र किए। कुछ शोधकर्ताओं द्वारा दान किए गए थे, और कुछ विशेष रूप से इस कार्यक्रम के लिए तैयार किए गए थे।
- मेन्यू: यह मेन्यू मेडिकल सलाह (जैसे एक डॉक्टर द्वारा मरीज का निदान करना) से लेकर कानूनी सवालों (जैसे एक वकील की दलील) से लेकर हास्य (क्या AI एक चुटकुले को समझ सकता है?) और पठन बोध (reading comprehension) तक फैला हुआ है।
- भाषाएँ: यह परीक्षण केवल "स्पेनिश" में नहीं है। यह स्पेन, मेक्सिको, अर्जेंटीना, चिली और उरुग्वे के विशिष्ट बोलियों के साथ-साथ बास्क, कैटलन और गैलिशियन में भी है। यह एक शेफ का परीक्षण करने जैसा है कि वह न केवल "इतालवी भोजन" जानता है, बल्कि विशेष रूप से नेपोलिटन पिज्जा बनाम रोमन पास्ता में भी माहिर है।
3. प्रतियोगी: AI मॉडल्स
उन्होंने परीक्षण देने के लिए 50 अलग-अलग AI मॉडल्स को आमंत्रित किया।
- बड़े दिग्गज (The Big Giants): कुछ बड़ी टेक कंपनियों (जैसे मेटा का लामा या गूगल का जेम्मा) के प्रसिद्ध, भारी-भरक मॉडल्स हैं। ये उन पेशेवर एथलीटों की तरह हैं जिन्होंने दुनिया के हर खेल में प्रशिक्षण लिया है।
- स्थानीय नायक (The Local Heroes): अन्य छोटे, विशिष्ट मॉडल्स हैं जो यूरोपीय और स्पेनिश शोधकर्ताओं द्वारा बनाए गए हैं (जैसे सालामैंड्रा या यूरोएलएलएम)। ये स्थानीय चैंपियनों की तरह हैं जो मोहल्ले की गलियों को किसी से भी बेहतर जानते हैं।
- परिणाम: स्कोरबोर्ड दिखाता है कि कौन जीतता है। आश्चर्यजनक रूप से, बड़े दिग्गज अक्सर अच्छा प्रदर्शन करते हैं, लेकिन स्थानीय नायक विशिष्ट क्षेत्रों में उन्हें मात दे देते हैं, जो यह साबित करता है कि स्थानीय दौड़ जीतने के लिए आपको हमेशा एक विशाल इंजन की आवश्यकता नहीं होती।
4. "इको-फ्रेंडली" ट्विस्ट
आमतौर पर, AI का परीक्षण करना एक अकेली मोमबत्ती जलाने के लिए ढेर सारा कोयला जलाने जैसा है। इसमें बहुत अधिक बिजली और समय लगता है।
- नवाचार: टीम ने अधिक स्मार्ट होने का फैसला किया। AI को जवाब देने से पहले उदाहरणों की एक लंबी सूची पढ़ने के लिए कहने के बजाय (जैसे कोई छात्र परीक्षा के लिए रट्टा मारता है), उन्होंने अक्सर उन्हें बिना किसी उदाहरण के (जीरो-शॉट) या बहुत कम उदाहरणों के साथ उत्तर देने के लिए कहा।
- लाभ: यह बहुत अधिक ऊर्जा बचाता है (जैसे कमरे से बाहर निकलते समय लाइट बंद कर देना) और छोटे शोधकर्ताओं के लिए अपने स्वयं के परीक्षण चलाने में आसान बनाता है जिसके लिए सुपरकंप्यूटर की आवश्यकता नहीं होती।
5. यह क्यों महत्वपूर्ण है
AI को एक वैश्विक कंपनी में शामिल होने वाले एक नए कर्मचारी के रूप में सोचें।
- यदि आप केवल अंग्रेजी में उनका परीक्षण करते हैं, तो वे बुद्धिमान लग सकते हैं, लेकिन जब वे मैड्रिड, मेक्सिको सिटी या सैन साल्वाडोर की टीम से बात करेंगे, तो वे विफल हो जाएंगे।
- ला लीडरबोर्ड यह सुनिश्चित करता है कि AI सांस्कृतिक रूप से जागरूक हो। यह जांचता है कि क्या AI समझता है कि अर्जेंटीना में एक "चुटकुला" स्पेन के चुटकुले से अलग हो सकता है, या मेक्सिको में एक कानूनी शब्द का एक विशिष्ट अर्थ होता है।
निष्कर्ष
ला लीडरबोर्ड एक समुदाय-संचालित परियोजना है जो कहती है: "हम ऐसा AI चाहते हैं जो हमारी भाषा बोलता हो, हमारी संस्कृति को समझता हो और हमारी विविधता का सम्मान करता हो।"
यह केवल इस बारे में नहीं है कि दुनिया का "सबसे स्मार्ट" AI कौन सा है; यह इस बारे में है कि स्पेनिश और इबेरियन प्रायद्वीप की अन्य भाषाओं को बोलने वाले 60 करोड़ लोगों के लिए सबसे सहायक और सम्मानजनक AI कौन सा है। इस स्कोरबोर्ड को सभी के लिए खुला बनाकर, वे अन्य समुदायों (जैसे फ्रेंच, अरबी या स्वदेशी भाषाओं के बोलने वालों) को अपने स्वयं के स्कोरबोर्ड बनाने के लिए प्रेरित करने की आशा करते हैं, ताकि यह सुनिश्चित हो सके कि AI क्रांति में कोई पीछे न छूटे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।