DialectalArabicMMLU: Benchmarking Dialectal Capabilities in Arabic and Multilingual Language Models
यह शोध पत्र DialectalArabicMMLU को प्रस्तुत करता है, जो पाँच प्रमुख अरबी बोलियों और 32 डोमेन में 15,000 हस्तनिर्मित बहुविकल्पीय प्रश्नों से युक्त एक व्यापक बेंचमार्क है, जिसे वर्तमान बड़े भाषा मॉडलों की बोली संबंधी तर्क क्षमताओं में महत्वपूर्ण प्रदर्शन अंतराल का मूल्यांकन करने और उन्हें प्रकट करने के लिए डिज़ाइन किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक प्रतिभाशाली छात्र है जिसने वर्षों तक एक बहुत ही औपचारिक, पाठ्यपुस्तक संस्करण वाले भाषा का अध्ययन किया है—जिसे आप "मानक अरबी" (Standard Arabic) कह सकते हैं। यह छात्र किसी भी परीक्षा में उत्कृष्ट प्रदर्शन कर सकता है जो उस औपचारिक शैली में लिखी गई हो। वे जटिल गणितीय समस्याओं को हल कर सकते हैं, इतिहास समझा सकते हैं और दर्शन पर बहस कर सकते हैं, लेकिन केवल तभी जब प्रश्न उस सटीक, पॉलिश की हुई पाठ्यपुस्तक भाषा में लिखे गए हों।
अब, कल्पना कीजिए कि आप उस छात्र से एक सरल प्रश्न पूछते हैं: "हे, क्या चल रहा है?" लेकिन आपने इसे काहिरा में उपयोग की जाने वाली सामान्य, सड़क-स्मार्ट बोलचाल की भाषा में कहा, या शायद दुबई में उपयोग की जाने वाली किसी अलग बोली में। अचानक, छात्र जम जाता है। वे शब्दों को समझ सकते हैं, लेकिन वे 'वाइब' (vibe), सूक्ष्मता और विशिष्ट सांस्कृतिक संदर्भ को चूक जाते हैं। वे या तो रोबोटिक उत्तर दे सकते हैं या उनका उत्तर पूरी तरह से गलत हो सकता है।
यही वह समस्या है जिसे "DIALECTALARABICMMLU" नामक शोध पत्र हल करने की कोशिश कर रहा है।
बड़ी समस्या: "पाठ्यपुस्तक" बनाम "सड़क"
अरबी अद्वितीय है क्योंकि इसमें डिग्लोसिया (diglossia) नामक कुछ है। यह एक फैंसी शब्द है जो ऐसी स्थिति के लिए उपयोग किया जाता है जहाँ एक भाषा के दो बहुत अलग रूप साथ-साथ मौजूद होते हैं:
- आधुनिक मानक अरबी (MSA): औपचारिक, लिखित भाषा जिसका उपयोग समाचारों, स्कूलों और आधिकारिक दस्तावेजों में किया जाता है।
- बोलियाँ (Dialects): वे बोलियाँ जो लोग वास्तव में घर पर, सड़क पर और सोशल मीडिया पर (जैसे मिस्र, सीरिया, सऊदी अरब, मोरक्को आदि) उपयोग करते हैं।
अधिकांश AI मॉडल (लार्ज लैंग्वेज मॉडल्स या LLMs) मुख्य रूप से "पाठ्यपुस्तक" संस्करण (MSA) पर प्रशिक्षित होते हैं। वे औपचारिक कार्यों में बहुत अच्छे हैं लेकिन जब लोग स्वाभाविक रूप से बोलते हैं, तो अक्सर लड़खड़ा जाते हैं। यह वैसा ही है जैसे किसी को केवल रेस ट्रैक पर गाड़ी चलाना सिखाना, और फिर उनसे उम्मीद करना कि वे बिना दुर्घटनाग्रस्त हुए एक व्यस्त, अराजक शहर के बाजार में रास्ता निकाल लें।
समाधान: एक नया "ड्राइवर का टेस्ट"
लेखकों ने एक नया बेंचमार्क (एक परीक्षण) बनाया है जिसे DIALECTALARABICMMLU कहा जाता है। इसे एक बड़े, बहु-शहर ड्राइविंग टेस्ट के रूप में सोचें जिसे विशेष रूप से यह देखने के लिए डिज़ाइन किया गया है कि AI वास्तविक दुनिया की अरबी को कितनी अच्छी तरह संभाल सकता है।
उन्होंने इसे इस प्रकार बनाया है:
- स्रोत: उन्होंने एक प्रसिद्ध अंग्रेजी परीक्षण MMLU लिया, जिसमें इतिहास, विज्ञान, कानून और गणित जैसे विषयों पर हजारों प्रश्न हैं।
- अनुवाद: केवल कंप्यूटर का उपयोग करके इन प्रश्नों का अनुवाद करने के बजाय (जो अक्सर रोबोटिक लगता है), उन्होंने पांच प्रमुख क्षेत्रों (सीरिया, मिस्र, यूएई, सऊदी अरब और मोरक्को) के नेटिव स्पीकर्स (मूल भाषियों) को नियुक्त किया ताकि वे प्रश्नों को उनकी स्थानीय बोलियों में अनुवाद कर सकें।
- परिणाम: उन्होंने 15,000 से अधिक प्रश्नों का एक विशाल डेटासेट बनाया (मूल अंग्रेजी और MSA संस्करणों के साथ)। यह एक ही परीक्षा के 15,000 विभिन्न संस्करणों के होने जैसा है, जिनमें से प्रत्येक एक अलग स्थानीय लहजे में लिखा गया है।
उन्होंने क्या पाया: "रियलिटी चेक"
शोधकर्ताओं ने 19 अलग-अलग AI मॉडलों (छोटे से मध्यम आकार के) का इस नए परीक्षण पर परीक्षण किया। परिणाम आंखें खोलने वाले थे:
- "पाठ्यपुस्तक" का अंतर: लगभग हर AI मॉडल औपचारिक MSA या अंग्रेजी की तुलना में बोलियों पर काफी खराब प्रदर्शन करता है। सबसे स्मार्ट मॉडल भी भाषा के "सड़क" वाले संस्करण को समझने में संघर्ष करते हैं।
- "पहचान का संकट": उन्होंने AI से पूछा: "क्या आप जानते हैं कि आप कौन सी बोली पढ़ रहे हैं?" आश्चर्यजनक रूप से, अधिकांश मॉडल इसमें बहुत खराब थे। वे अक्सर मिस्र और सऊदी अरबी के बीच अंतर नहीं कर सके, भले ही वे उन बोलियों में प्रश्नों को समझने में विफल रहे थे।
- "संकेत" ने मदद नहीं की: उन्होंने एक चाल आजमाई: उन्होंने AI को बताया, "यह प्रश्न मिस्र की अरबी में है, इसलिए कृपया मिस्र की शैली में उत्तर दें।" उन्हें उम्मीद थी कि इससे AI को ध्यान केंद्रित करने में मदद मिलेगी। इसके विपरीत, इसने अक्सर AI के प्रदर्शन को और भी खराब कर दिया। यह एक घबराए हुए ड्राइवर को, "याद रखो, तुम एक शहर में हो!" कहने जैसा है और वे और भी भ्रमित हो जाते हैं।
- अनुवाद कोई जादू की छड़ी नहीं है: उन्होंने पहले बोली वाले प्रश्नों का अंग्रेजी में अनुवाद करने, और फिर AI को उत्तर देने का प्रयास किया। इससे कुछ मॉडलों को मदद मिली, लेकिन पहले बोली को औपचारिक अरबी (MSA) में अनुवाद करने से ज्यादा मदद नहीं मिली। ऐसा लगता है कि जब AI औपचारिक संस्करण में बदलने की कोशिश करता है, तो वह बोली की "आत्मा" खो देता है।
यह क्यों मायने रखता है
यह शोध पत्र AI की दुनिया के लिए एक चेतावनी है।
- समावेशिता (Inclusivity): यदि हम केवल औपचारिक अरबी पर AI का परीक्षण करते हैं, तो हम उस वास्तविकता को अनदेखा कर रहे हैं कि लाखों लोग वास्तव में कैसे बोलते हैं। हम ऐसे उपकरण बना रहे हैं जो "पाठ्यपुस्तक" के लिए तो काम करते हैं लेकिन "इंसान" के लिए विफल हो जाते हैं।
- भविष्य का प्रशिक्षण: लेखक तर्क देते हैं कि हमें बोलियों को एक माध्यमिक विचार (afterthought) के रूप में मानना बंद करना होगा। अरब जगत के लिए वास्तव में सहायक AI बनाने के लिए, हमें इन मॉडलों को उस बिखरी हुई, सुंदर और विविध वास्तविकता पर प्रशिक्षित करने की आवश्यकता है कि लोग वास्तव में कैसे बात करते हैं।
निष्कर्ष
इस शोध पत्र को AI के लिए एक रिपोर्ट कार्ड के रूप में देखें। यह कहता है: "आप कक्षा में ए+ (A+) छात्र हैं (MSA), लेकिन आप वास्तविक दुनिया (बोलियों) में फेल हो रहे हैं।"
लेखकों ने AI समुदाय को एक नया, अधिक निष्पक्ष परीक्षण सौंपा है जो अरबी जीवन के पूरे स्पेक्ट्रम को कवर करता है। उनका लक्ष्य डेवलपर्स को ऐसे मॉडल बनाने के लिए प्रेरित करना है जो न केवल सरकार की भाषा, बल्कि लोगों की भाषा भी बोल सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।