\textit{Versteasch du mi?} Computational and Socio-Linguistic Perspectives on GenAI, LLMs, and Non-Standard Language
यह अंतर्विषयी शोधपत्र महत्वपूर्ण समाजभाषाविज्ञान और संगणकीय भाषाविज्ञान को संयोजित करता है ताकि यह परीक्षण किया जा सके कि दक्षिण टायरियोल (South Tyrolean) बोलियों और कुर्दिश जैसी गैर-मानक भाषाई विविधताओं को संभालने के लिए लार्ज लैंग्वेज मॉडल्स को तकनीकी रूप से कैसे अनुकूलित किया जा सकता है, जिसका लक्ष्य डिजिटल भाषाई अंतराल को दूर करना और वि-औपनिवेशिक (decolonial) एआई रणनीतियों को आगे बढ़ाना है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि इंटरनेट और आर्टिफिशियल इंटेलिजेंस (AI) एक विशाल, हलचल भरी भव्य लाइब्रेरी (Grand Library) है। लंबे समय तक, इस लाइब्रेरी में केवल कुछ विशिष्ट, "परफेक्ट" भाषाओं (जैसे मानक अंग्रेजी, जर्मन या मंदारिन) में लिखी गई किताबें ही रखी जाती थीं। लाइब्रेरियन (AI डेवलपर्स) ने तय किया कि केवल ये "परफेक्ट" किताबें ही पढ़ने, व्यवस्थित करने और समझने के योग्य हैं।
शोधकर्ताओं वेरेना प्लात्ज़गुमर, जॉन मैकक्रे और सिना अह्मादी द्वारा लिखा गया यह शोध पत्र तर्क देता है कि यह लाइब्रेरी लाखों लोगों को बाहर छोड़ रही है। यह दो विशिष्ट समूहों पर ध्यान केंद्रित करता है जिन्हें नजरअंदाज किया जा रहा है: साउथ टायरोलियन बोलियों (इटली में बोली जाने वाली जर्मन का एक स्थानीय, अनौपचारिक संस्करण) के बोलने वाले और विभिन्न कुर्दिश भाषाओं (जो मध्य पूर्व में बोली जाती हैं) के बोलने वाले।
यहाँ सरल उपमाओं (analogies) का उपयोग करके पेपर का विवरण दिया गया है:
1. समस्या: "परफेक्ट" लाइब्रेरी बनाम वास्तविक जीवन
वास्तविक दुनिया में, लोग हमेशा "परफेक्ट," पाठ्यपुस्तक वाली व्याकरण में बात नहीं करते हैं। वे बोलियों, स्लैंग (slang) और अनौपचारिक तरीकों में बात करते हैं।
- उपमा: कल्पना कीजिए कि आप एक शानदार रेस्टोरेंट में जाते हैं जो केवल एक विशिष्ट, औपचारिक कोड में की गई बुकिंग स्वीकार करता है। यदि आप अपने स्थानीय लहजे या स्लैंग में ऑर्डर देने की कोशिश करते हैं, तो वेटर (AI) न केवल आपको अनदेखा कर सकता है; उसे शायद पता भी नहीं चलेगा कि आपका अस्तित्व है।
- वास्तविकता: AI मॉडल (LLMs) को टेक्स्टबुक और आधिकारिक दस्तावेजों में पाए जाने वाले "मानक" भाषा डेटा पर प्रशिक्षित किया जाता है। वे अनौपचारिक बोलियों को वैध बोलने के तरीके के बजाय "शोर" या त्रुटि के रूप में देखते हैं। यह एक डिजिटल भाषाई विभाजन (digital language divide) पैदा करता है: यदि आप "मानक" संस्करण नहीं बोलते हैं, तो आप डिजिटल दुनिया में पूरी तरह से भाग नहीं ले सकते।
2. छिपा हुआ टैक्स: "टोकन" टोल बूथ
पेपर का सबसे तकनीकी हिस्सा यह समझाता है कि AI बोलियों के साथ संघर्ष क्यों करता है, जिसमें टोकेनाइजेशन (Tokenization) नामक अवधारणा का उपयोग किया गया है।
- उपमा: AI को एक डिलीवरी सेवा के रूप में सोचें जो आपसे आपके संदेश को पैक करने के लिए आवश्यक "बक्सों" (tokens) की संख्या के आधार पर शुल्क लेती है।
- यदि आप मानक अंग्रेजी बोलते हैं, तो AI आपके वाक्य को एक या दो साफ, बड़े बक्सों में पैक करता है। यह सस्ता और तेज़ है।
- यदि आप एक बोली (जैसे साउथ टायरोलियन या कुर्दिश विविधता) बोलते हैं, तो AI के पास उन विशिष्ट शब्दों के लिए कोई "बक्सा" नहीं होता है। उसे अपने सिस्टम में फिट होने के लिए आपके वाक्य को छोटे, अर्थहीन टुकड़ों में तोड़ना पड़ता है (जैसे किसी शब्द को व्यक्तिगत अक्षरों में तोड़ना)।
- परिणाम: आप अपने मूल रूप में संदेश भेजने के लिए अंग्रेजी की तुलना में 3 से 15 गुना अधिक (कंप्यूटिंग पावर और पैसे के रूप में) भुगतान करते हैं। पेपर इसे "टोकेनाइजेशन टैक्स" कहता है। यह ऐसा है जैसे अपनी मातृभाषा बोलने के लिए अतिरिक्त शुल्क लिया जा रहा हो।
3. दो केस स्टडीज: किसे बाहर छोड़ा जा रहा है?
लेखक यह दिखाने के लिए कि समस्या कितनी गहरी है, दो विशिष्ट उदाहरण देखते हैं:
- साउथ टायरोलियन बोलियाँ (इटली):
- इस क्षेत्र के लोग अपने दैनिक जीवन में (WhatsApp, घर पर, बाजार में) जर्मन बोलियों के मिश्रण का उपयोग करते हैं।
- मुद्दा: क्योंकि इस बोली का कंप्यूटर की दुनिया में कोई आधिकारिक "ID कोड" (ISO कोड) नहीं है, AI सिस्टम वास्तव में नहीं जानते कि इसका अस्तित्व है। यह एक ऐसे शहर की तरह है जो GPS मैप पर दिखाई नहीं देता। भले ही लोग इसका रोज़ाना उपयोग करते हैं, AI इसे अदृश्य मानता है।
- कुर्दिश विविधताएँ:
- कुर्दिश केवल एक भाषा नहीं है; यह कई बोलियों का एक परिवार है जो 4 करोड़ लोग बोलते हैं। कुछ को अच्छी तरह से समर्थित किया गया है (जैसे उत्तरी और मध्य कुर्दिश), लेकिन अन्य (जैसे दक्षिणी कुर्दिश या ह्वामी) लगभग पूरी तरह से अनदेखी की गई हैं।
- मुद्दा: इन भाषाओं को दशकों तक सरकारों द्वारा दबाया गया है, जिसका अर्थ है कि AI को प्रशिक्षित करने के लिए बहुत कम लिखित टेक्स्ट उपलब्ध है। AI इन्हें "निम्न गुणवत्ता" के रूप में देखता है क्योंकि इसे पर्याप्त डेटा नहीं दिया गया है, जिससे एक दुष्चक्र पैदा होता है जहाँ डेटा की कमी खराब AI की ओर ले जाती है, जिससे और भी कम डेटा मिलता है।
4. "टेस्ट" पक्षपाती है
पेपर यह भी बताता है कि AI का परीक्षण करने का तरीका अनुचित है।
- उपमा: एक ड्राइविंग टेस्ट की कल्पना करें जहाँ सभी का परीक्षण हाईवे पर फेरारी चलाने के लिए किया जाता है। यदि आप कच्ची सड़क पर ट्रैक्टर चलाते हैं, तो आप टेस्ट में फेल हो जाते हैं, भले ही आप अपने वातावरण में एक कुशल ड्राइवर हों।
- वास्तविकता: AI बेंचमार्क (परीक्षण) मुख्य रूप से पश्चिमी, अंग्रेजी बोलने वाली संस्कृति और मानक व्याकरण पर आधारित हैं। वे यह परीक्षण नहीं करते हैं कि क्या AI स्थानीय कहावतों, सांस्कृतिक चुटकुलों या अनौपचारिक भाषण को समझता है। इसलिए, एक AI टेस्ट में "परफेक्ट स्कोर" प्राप्त कर सकता है लेकिन एक वास्तविक मानवीय बातचीत (बोली में) को समझने में विफल हो सकता है।
5. क्या होना चाहिए? (समाधान)
लेखक तर्क देते हैं कि इसे ठीक करना केवल तकनीकी समस्या नहीं है; यह एक राजनीतिक और सामाजिक समस्या है। हम केवल "कोड को ट्यून" नहीं कर सकते। हमें एक नए दृष्टिकोण की आवश्यकता है:
- "एक्सट्रैक्शन" (निष्कर्षण) को रोकें: बड़ी टेक कंपनियों को बिना अनुमति के इंटरनेट से डेटा नहीं निकालना चाहिए। उन्हें समुदायों के साथ काम करने की आवश्यकता है।
- "हमारे बिना हमारे बारे में कुछ नहीं" (Nothing About Us Without Us): यह स्वर्ण नियम है। इन बोलियों को बोलने वाले समुदायों के पास अपना डेटा होना चाहिए और उन्हें AI उपकरण बनाने में मदद करनी चाहिए। उन्हें आर्किटेक्ट (निर्माता) होना चाहिए, न कि केवल विषय।
- कंपनियों के लिए नए नियम: बड़ी टेक कंपनियों को यह रिपोर्ट करने की आवश्यकता होनी चाहिए कि उनका AI विभिन्न बोलियों के लिए कितना अच्छा काम करता है (एक "डायलैक्ट गैप रिपोर्ट") और इन भाषाओं के विकास को समर्थन देने के लिए एक "टैक्स" या शुल्क देना चाहिए।
- सरकारी सहायता: सरकारों को इन भाषाओं के लिए डेटा बनाने के लिए धन उपलब्ध कराना चाहिए, उन्हें एक विशिष्ट शौक के बजाय एक सार्वजनिक संपत्ति के रूप में देखना चाहिए।
निचोड़ (The Bottom Line)
पेपर निष्कर्ष निकालता है कि यदि हम इसे ठीक नहीं करते हैं, तो डिजिटल दुनिया एक ऐसी जगह बन जाएगी जहाँ केवल "मानक" बोलने वालों की आवाज़ होगी, और बाकी सब चुप कर दिए जाएंगे। एक वास्तव में लोकतांत्रिक इंटरनेट के लिए, AI को यह सीखने की आवश्यकता है कि मनुष्य वास्तव में कैसे बोलते हैं—जो कि बिखरा हुआ, सुंदर और विविध है—न कि केवल वे साफ, मानकीकृत संस्करण जो टेक्स्टबुक में मिलते हैं।
संक्षेप में: AI वर्तमान में एक अहंकारी (snob) है जो केवल उन्हीं लोगों से बात करता है जो उसकी तरह कपड़े पहनते हैं और बोलते हैं। यह पेपर AI से अपना अहंकार त्यागने, स्थानीय स्लैंग सीखने और हर मानवीय आवाज़ के साथ सम्मानपूर्वक व्यवहार करने के लिए कहता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।