How Robust Are LLMs to Vietnamese Dialects?
यह शोध पत्र VialectBench प्रस्तुत करता है, जो वियतनामी बोलियों पर बड़े भाषा मॉडलों (Large Language Models) का मूल्यांकन करने वाला पहला व्यवस्थित बेंचमार्क है, जो यह प्रकट करता है कि बोलियों की विविधता कई कार्यों में मापने योग्य प्रदर्शन गिरावट का कारण बनती है और यह प्रदर्शित करता है कि मानक वियतनामी में उच्च दक्षता अर्थ-संरक्षण करने वाले क्षेत्रीय अंतरों के प्रति मजबूती की गारंटी नहीं देती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को मानवीय भाषा समझने के लिए सिखा रहे हैं। आप उसे लाखों किताबें, समाचार लेख और वेबसाइटें दिखाते हैं, जो एक बहुत ही परिष्कृत, "पाठ्यपुस्तक" वाले संस्करण में लिखी गई हैं। रोबोट इसमें बहुत माहिर हो जाता है और आपके द्वारा दी जाने वाली हर परीक्षा में अव्वल आता है। लेकिन यहाँ एक पेंच है: वास्तविक जीवन कोई पाठ्यपुस्तक नहीं है। लोग हमेशा "परफेक्ट" संस्करण नहीं बोलते। उनके बोलने का लहजा (accent) अलग होता है, वे स्लैंग (slang) का उपयोग करते हैं, और वे इस आधार पर अलग तरह से बात करते हैं कि वे देश के उत्तर से हैं, दक्षिण से, या मध्य से। इसे बोली (dialect) कहा जाता है। यह एक ही गाने को अलग-अलग वाद्ययंत्रों पर बजाने जैसा है; धुन (अर्थ) वही है, लेकिन ध्वनि (शब्द और व्याकरण) बदल जाती है।
वैज्ञानिक इन विशाल भाषा रोबोटों का निर्माण कर रहे हैं, जिन्हें लार्ज लैंग्वेज मॉडल्स (LLMs) के रूप में जाना जाता है, ताकि वे हमें लिखने, उत्तर देने और समस्याओं को हल करने में मदद कर सकें। लेकिन एक बड़ा सवाल बना हुआ है: क्या वे वास्तव में सभी को समझने के लिए पर्याप्त स्मार्ट हैं, या वे केवल भाषा के "मानक" संस्करण को समझने में बहुत अच्छे हैं? यदि आप एक स्थानीय बोली का उपयोग करके रोबोट से कोई प्रश्न पूछते हैं, तो क्या वह सही उत्तर देता है, या वह भ्रमित होकर कुछ भी बनाना शुरू कर देता है? यह महत्वपूर्ण है क्योंकि यदि एक रोबोट केवल "परफेक्ट" संस्करण को समझता है, तो वह वास्तविक लोगों द्वारा उपयोग किए जाने पर विफल हो सकता है, जिससे निराशा या यहाँ तक कि खतरनाक गलतफहमियां भी पैदा हो सकती हैं।
द ग्रेट वियतनामी डायलेक्ट टेस्ट (वियतनामी बोलियों की महान परीक्षा)
शोधकर्ताओं की एक टीम ने इन भाषा रोबलों को अंतिम परीक्षा में डालने का निर्णय लिया। वे देखना चाहते थे कि क्या ये मॉडल वियतनामी बोलियों की अव्यवस्थित, सुंदर वास्तविकता को संभाल सकते हैं। वियतनाम में, लोग कई अलग-अलग क्षेत्रीय स्वादों में बोलते हैं। राजधानी में जिस शब्द का अर्थ "क्या" होता है, वह मध्य प्रांतों में पूरी तरह से अलग शब्द हो सकता है, भले ही हर कोई समझता हो कि क्या पूछा जा रहा है।
शोधकर्ताओं ने VialectBench नामक एक विशेष खेल का मैदान बनाया। इसे एक बड़े बाधा दौड़ (obstacle course) के रूप में सोचें जिसे विशेष रूप से उन रोबोटों को उलझाने के लिए डिज़ाइन किया गया है जो इस बात को लेकर बहुत अधिक सख्त हैं कि चीजें कैसे कही जाती हैं। उन्होंने 400 मानक प्रश्न और कार्य शुरू किए—जैसे किसी के मूड का अनुमान लगाना, तर्क पहेली हल करना, या किसी कहानी के आधार पर प्रश्न का उत्तर देना। फिर, उन्होंने उन सटीक कार्यों को उनके स्थानीय बोलियों में फिर से लिखने के लिए छह अलग-अलग क्षेत्रों के मानव विशेषज्ञों को काम पर रखा।
लक्ष्य सरल था: अर्थ को बिल्कुल समान रखें, लेकिन शब्दों को ऐसा बदलें कि वे स्थानीय लगें। उदाहरण के लिए, मानक तरीके में "डॉक्टर ने मुझे क्या खाने के लिए कहा?" पूछने के बजाय, मध्य क्षेत्र का व्यक्ति पूछ सकता है, "Bác sĩ dặn ăn chi?" (डॉक्टर ने क्या खाने को कहा?), जिसमें "क्या" के लिए एक स्थानीय शब्द का उपयोग किया गया है। रोबोट को दोनों संस्करणों का उत्तर देना था। यदि रोबोट मानक संस्करण को सही बताता है लेकिन बोली वाले संस्करण में विफल रहता है, तो इसका मतलब था कि रोबोट 'ब्रिटल' (brittle) था—यानी लहजे में बदलाव से वह आसानी से भ्रमित हो जाता था।
परिणाम: रोबोट बीच में खो जाते हैं
जब शोधकर्ताओं ने दस अलग-अलग भाषा मॉडलों (छोटे, ओपन-सोर्स से लेकर विशाल, शक्तिशाली GPT-4o तक) पर परीक्षण चलाया, तो परिणाम एक चेतावनी की तरह थे। कोई भी रोबोट परफेक्ट नहीं था। मानक वियतनामी के बजाय बोलियों के साथ निपटने पर हर एक मॉडल लड़खड़ा गया।
औसतन, रोबोट का प्रदर्शन बोलियों के साथ निपटने पर 2.82% गिर गया। लेकिन यह गिरावट हर जगह एक जैसी नहीं थी। ऐसा लग रहा था जैसे रोबलों की एक विशिष्ट अंध बिंदु (blind spot) थी।
- "सेंट्रल" (मध्य) समस्या: सबसे बड़ी समस्या मध्य की बोलियों (विशेष रूप से PNT2 और PNT3 लेबल वाले समूहों) से आई। जब रोबोटों का सामना इन बोलियों से हुआ, तो उनका प्रदर्शन तेजी से गिरा। PNT3 बोली ने सबसे बड़ी औसत गिरावट दर्ज की, जिससे रोबोट का प्रदर्शन 6.17% गिर गया, जबकि PNT2 ने उन्हें 4.73% नीचे गिरा दिया।
- "नदर्न" (उत्तरी) सरप्राइज: दिलचस्प बात यह है कि उत्तरी बोली (PNB) रोबोटों के लिए सबसे आसान थी। वास्तव में, कुछ मॉडलों के लिए, उत्तरी बोली सुनना उनके प्रदर्शन को थोड़ा बेहतर ( 0.42% से) बना देता था, संभवतः इसलिए क्योंकि जिन मानक वियतनामी पर रोबोटों को प्रशिक्षित किया गया है, वह पहले से ही उत्तरी बोलने के तरीके के बहुत करीब है।
- दक्षिणी मिश्रण: दक्षिणी बोली (PNN) के कारण औसतन लगभग 1.81% की मध्यम गिरावट आई।
वे कहाँ विफल हुए?
शोधकर्ताओं ने यह भी देखा कि रोबोट किस प्रकार के कार्यों में विफल रहे। यह पाया गया कि प्रश्न उत्तर (Question Answering - QA) सबसे संवेदनशील था। जब रोबलों को एक कहानी पढ़नी होती थी और बोली में प्रश्न का उत्तर देना होता था, तो वे सबसे अधिक संघर्ष करते थे, जहाँ औसत प्रदर्शन में 5% से अधिक की गिरावट देखी गई। यह सुझाव देता है कि जब प्रश्न स्वयं स्थानीय बोली में पूछा जाता है, तो रोबोट को पाठ में उत्तर खोजने के लिए कड़ियों को जोड़ने में कठिनाई होती है।
एक और डरावना निष्कर्ष "हार्मफुल फ्लिप" (harmful flip) था। यह तब होता है जब एक रोबोट मानक वियतनामी में उत्तर सही देता है लेकिन बोली में पूरी तरह से गलत हो जाता है। मध्य बोलियों ने सबसे अधिक ये 'फ्लिप' उत्पन्न किए, सभी मॉडलों में 6.54% की दर से। यह ऐसा है जैसे रोबोट एक आवाज में आत्मविश्वास से कहता है, "मुझे उत्तर पता है!", और फिर दूसरी आवाज में आत्मविश्वास से कहता है, "उत्तर यह है!", जबकि दोनों उत्तर वास्तव में एक-दूसरे के विपरीत होते हैं।
इसका क्या अर्थ है
अध्ययन ने दिखाया कि सिर्फ इसलिए कि एक रोबोट मानक वियतनामी में जीनियस है, इसका मतलब यह नहीं है कि वह सभी वियतनामी में जीनियस है। शोधकर्ताओं ने पाया कि मानक भाषा पर मजबूत प्रदर्शन, क्षेत्रीय भिन्नता के तहत विश्वसनीय व्यवहार की गारंटी नहीं देता है।
उन्होंने इस विचार को भी खारिज कर दिया कि ये रोबोट स्वाभाविक रूप से 'डायलेक्ट-प्रूफ' (बोलियों से सुरक्षित) हैं। यहाँ तक कि सबसे स्मार्ट मॉडल, जैसे GPT-4o, जो समग्र रूप से सर्वश्रेष्ठ प्रदर्शन करता है, उसमें भी बोलियों के आने पर सटीकता में थोड़ी गिरावट देखी गई। अध्ययन सुझाव देता है कि हम केवल यह मानकर नहीं चल सकते कि ये उपकरण सभी के लिए काम करते हैं; उन्हें विशेष रूप से उन विविध तरीकों के लिए परीक्षण और सुधार की आवश्यकता है जिनसे लोग वास्तव में बोलते हैं।
संक्षेप में, रोबोट उन पर्यटकों की तरह हैं जिन्होंने गाइडबुक को पूरी तरह से पढ़ा है लेकिन जैसे ही कोई स्थानीय व्यक्ति उन्हें भारी लहजे में निर्देश देता है, वे खो जाते हैं। जब तक हम उन्हें सभी अलग-अलग आवाजों को सुनना नहीं सिखाते, वे वास्तविक दुनिया में लक्ष्य चूकते रहेंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।