KyrgyzLLM-Bench: Benchmarking Kyrgyz Language Understanding
यह शोध पत्र KyrgyzLLM-Bench को प्रस्तुत करता है, जो कि पहली बड़े पैमाने की बेंचमार्क सुइट है जिसमें मूल रूप से रचित और सावधानीपूर्वक अनुवादित डेटासेट शामिल हैं, ताकि किलीज़ (Kyrgyz) भाषा की समझ पर 26 बड़े भाषा मॉडलों का व्यवस्थित रूप से मूल्यांकन किया जा सके, जो क्रॉस-लिंगुअल प्रदर्शन हस्तांतरण और अनुवाद संबंधी आर्टिफैक्ट्स के प्रभाव में महत्वपूर्ण अंतर्दृष्टि को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को दुनिया को समझना सिखाने की कोशिश कर रहे हैं। लंबे समय से, वैज्ञानिक इन रोबोट्स का परीक्षण अंग्रेजी में लिखे गए प्रश्नों के एक विशाल पुस्तकालय का उपयोग करके कर रहे हैं। यह एक छात्र को गणित का टेस्ट देने जैसा है, लेकिन निर्देश उस भाषा में हैं जिसे वह मुश्किल से बोल पाता है। रोबोट गणित तो सही कर सकता है, लेकिन वह मुख्य बात को समझने से चूक सकता है क्योंकि वह शब्दों के साथ संघर्ष कर रहा है। यह लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया है: शक्तिशाली AI सिस्टम जो टेक्स्ट पढ़ते और लिखते हैं। वैज्ञानिक बेंचमार्क (मानकीकृत परीक्षणों की तरह) का उपयोग यह देखने के लिए करते हैं कि ये रोबोट कितने स्मार्ट हैं। लेकिन यहाँ एक पेंच है: इनमें से अधिकांश परीक्षण अंग्रेजी में हैं। यदि हम केवल अंग्रेजी पर रोबोटों का परीक्षण करते हैं, तो हमें यह नहीं पता चलेगा कि वे वास्तव में बुद्धिमान हैं, या वे केवल अंग्रेजी में बहुत अच्छे हैं। यह महत्वपूर्ण है क्योंकि दुनिया विभिन्न भाषाओं से भरी हुई है, और हम चाहते हैं कि हमारा AI हर किसी को समझे, न कि केवल अंग्रेजी बोलने वालों को।
अब, एक भाषा की कल्पना करें जिसे किर्गिज़ (Kyrgyz) कहा जाता है, जो मध्य एशिया में लाखों लोगों द्वारा बोली जाती है। यह एक भाषाई पहेली की तरह है: शब्द कई छोटे टुकड़ों (प्रत्ययों/suffixes) को आपस में जोड़कर बनाए जाते हैं, जैसे कि लेगो (LEGO) ईंटों की एक लंबी चेन, और यह अद्वितीय अक्षरों वाली एक विशेष वर्णमाला का उपयोग करता है। अब तक, AI रोबोट किर्गिज़ समझ सकते हैं या नहीं, इसे जांचने का लगभग कोई तरीका नहीं था। आप बस एक अंग्रेजी टेस्ट को अनुवादित नहीं कर सकते थे, क्योंकि रोबोट खुद अनुवाद में भ्रमित हो सकता है, या टेस्ट एक मूल वक्ता के लिए अजीब या अप्राकृतिक लग सकता है।
यहीं पर पेपर KyrgyzLLM-Bench काम आता है। लेखकों ने विशेष रूप से किर्गिज़ के लिए एक बिल्कुल नया, कस्टम-मेड टेस्ट सूट बनाया है। पुराने अंग्रेजी परीक्षणों का अनुवाद करने के बजाय, उन्होंने वास्तविक किर्गिज़ स्कूली परीक्षाओं और कहानियों का उपयोग करके शुरू से दो नए परीक्षण बनाए, और चार अनुवादित परीक्षणों को सावधानीपूर्वक पॉलिश किया ताकि वे स्वाभाविक लगें। इसके बाद उन्होंने 26 अलग-अलग AI मॉडल्स (दोनों मुफ्त, ओपन-सोर्स और महंगे, क्लोज्ड-सोर्स) की कड़ी परीक्षा ली। उन्होंने रोबोटों से किर्गिज़ में गणित की समस्याओं को हल करने, इतिहास और साहित्य के बारे में सवालों के जवाब देने और वाक्यों को पूरा करने के लिए कहा। उन्होंने यह दो तरीकों से किया: पहले, केवल प्रश्न पूछकर (जीरो-शॉट), और दूसरे, पहले रोबोट को कुछ उदाहरण देकर (फ्यू-शॉट), जैसे कि असली टेस्ट से पहले एक छात्र को अभ्यास समस्या दिखाना।
परिणाम अच्छी खबरों और कुछ आश्चर्यजनक गड़बड़ियों का मिश्रण थे। सबसे बड़े रोबोट (जिनके पास सबसे अधिक "मस्तिष्क शक्ति" है) आम तौर पर सबसे अच्छा प्रदर्शन करते थे, जैसा कि आप उम्मीद करते हैं। जब रोबोटों को सीखने के लिए कुछ उदाहरण दिए गए, तो वे पठन बोध (रीडिंग कॉम्प्रिहेन्शन) और किसी पाठ के आधार पर उत्तर देने में बहुत बेहतर हो गए। हालाँकि, अध्ययन में एक पेचीदा बात सामने आई: जब रोबोटों ने एक वाक्य को पूरा करने या कहानी में आगे क्या होगा इसका अनुमान लगाने की कोशिश की (एक कार्य जिसे "इवेंट कंटीन्यूएशन" कहा जाता है), तो वे अनुवादित परीक्षणों पर बुरी तरह लड़खड़ा गए। लेखक सुझाव देते हैं कि ऐसा इसलिए है क्योंकि इन विशिष्ट प्रकार के वाक्यों का अनुवाद करने से भाषा का स्वाभाविक प्रवाह टूट जाता है, जिससे कार्य "अजीब" लगने लगता है। यह किसी भाषा में चुटकुला सुनाने की कोशिश करने जैसा है जिसे आप पूरी तरह से नहीं जानते; पंचलाइन अंग्रेजी में समझ में आ सकती है, लेकिन अनुवाद में, वह अजीब लग सकती है।
पेपर इस निष्कर्ष पर पहुँचता है कि हालांकि AI किर्गिज़ को समझने में बेहतर हो रहा है, लेकिन अंग्रेजी की तुलना में उसे अभी भी एक लंबा रास्ता तय करना है। रोबोट स्पष्ट रूप से अधिक डेटा और बड़े मस्तिष्क होने पर अधिक स्मार्ट होते हैं, लेकिन वे किर्गिज़ भाषा के अनूठे "स्वाद" के साथ संघर्ष करते हैं, विशेष रूप से तब जब परीक्षण अनुवादित होते हैं न कि मूल रूप से लिखे गए होते हैं। लेखक चेतावनी देते हैं कि केवल अंग्रेजी परीक्षणों का अनुवाद करना पर्याप्त नहीं है; यदि हम वास्तव में जानना चाहते हैं कि क्या कोई AI किर्गिज़ जैसी भाषा को समझता है, तो हमें ऐसे परीक्षणों की आवश्यकता है जो मूल वक्ताओं द्वारा ज़मीन से तैयार किए गए हों। उन्होंने अपने सभी नए परीक्षण और परिणाम सार्वजनिक रूप से जारी कर दिए हैं, इस उम्मीद में कि यह केवल अंग्रेजी बोलने वालों के लिए ही नहीं, बल्कि सभी के लिए बेहतर, निष्पक्ष AI बनाने में मदद करेगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।