Which English Do LLMs Prefer? Triangulating Structural Bias Towards American English in Foundation Models
यह शोध पत्र प्रीट्रेनिंग कॉर्पोरा (pretraining corpora), टोकनाइज़र और जनरेटिव आउटपुट के बहु-चरणीय विश्लेषण के माध्यम से यह जांच करता है और प्रदर्शित करता है कि लार्ज लैंग्वेज मॉडल्स ब्रिटिश अंग्रेजी की तुलना में अमेरिकी अंग्रेजी के पक्ष में एक व्यवस्थित संरचनात्मक पूर्वाग्रह प्रदर्शित करते हैं, जिससे वैश्विक एआई परिनियोजन में भाषाई समरूपीकरण और ज्ञानमीमांसीय अन्याय (epistemic injustice) को सुदृढ़ता मिलती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Which English Do LLMs Prefer?" शोध पत्र का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।
मुख्य चित्र: "अमेरिकन डिफॉल्ट" की समस्या
कल्पना कीजिए कि आप एक वैश्विक पुस्तकालय में जाते हैं जो दावा करता है कि वह हर भाषा बोल सकता है। आप लाइब्रेरियन से पूछते हैं, "क्या आप ब्रिटिश इंग्लिश बोल सकते हैं?" लाइब्रेरियन मुस्कुराता है, सिर हिलाता है और कहता है, "बिल्कुल!" लेकिन फिर, वे आपको एक ऐसी किताब थमा देते हैं जो पूरी तरह से अमेरिकन इंग्लिश में लिखी गई है, जिसमें अमेरिकी वर्तनी (spellings), अमेरिकी मुहावरे और अमेरिकी सांस्कृतिक संदर्भ हैं। वे जोर देकर कहते हैं, "यही तो इंग्लिश है।"
यह शोध पत्र ठीक यही तर्क दे रहा है जो ChatGPT, Claude और Llama जैसे लार्ज लैंग्वेज मॉडल्स (LLMs) के साथ हो रहा है। भले ही ये मॉडल वैश्विक होने चाहिए, लेकिन इनमें एक छिपा हुआ, संरचनात्मक पूर्वाग्रह (structural bias) है जो अमेरिकन इंग्लिश (AmE) को "मानक" मानता है और ब्रिटिश इंग्लिश (BrE) को इसके एक थोड़े खराब या महंगे संस्करण के रूप में देखता है।
लेखक, मीर तफ़सीर नायम और दावूद रफ़ीई, यह जांचने के लिए कि ऐसा क्यों होता है, उन मॉडल्स के निर्माण करने वाली पूरी "फैक्ट्री" का अध्ययन करने का निर्णय लेते हैं। वे इसे स्ट्रक्चरल बायस (संरचनात्मक पूर्वाग्रह) कहते हैं।
जांच: एक तीन-चरणीय फैक्ट्री टूर
मूल कारण का पता लगाने के लिए, शोधकर्ताओं ने केवल अंतिम उत्पाद (चैटबॉट के उत्तर) को नहीं देखा। उन्होंने पूरी फैक्ट्री का दौरा किया, जहाँ तीन विशिष्ट चरणों को देखा जहाँ यह पूर्वाग्रह रचा जाता है।
चरण 1: कच्चे माल (प्रीट्रेनिंग कॉर्पोरा)
उपमा: कल्पना कीजिए कि आप एक केक बना रहे हैं। यदि आप आटे की ऐसी बोरी खरीदते हैं जो 80% सफेद आटा है और केवल 20% होल व्हीट है, तो आपका केक स्वाभाविक रूप से सफेद आटे जैसा स्वाद देगा, चाहे बेकर कितना भी अच्छा क्यों न हो।
निष्कर्ष: शोधकर्ताओं ने छह विशाल डेटासेट्स (जो "आटे की बोरियाँ" हैं) का ऑडिट किया जिनका उपयोग AI को प्रशिक्षित करने के लिए किया जाता है। उन्होंने पाया कि ये डेटासेट अमेरिकी सामग्री की ओर अत्यधिक झुके हुए हैं।
- परिणाम: इन डेटा के महासागरों में, अमेरिकी वर्तनी (जैसे color और organize) ब्रिटिश वर्तनी (colour और organise) की तुलना में बहुत अधिक बार दिखाई देती है।
- रूपक: AI को अमेरिकी मीडिया, वेबसाइटों और किताबों का आहार दिया जा रहा है। यह वैसा ही है जैसे किसी ऐसे घर में बड़े होना जहाँ केवल अमेरिकी टीवी चलता हो; स्वाभाविक रूप से, आप उसी तरह बोलना शुरू कर देते हैं।
चरण 2: चॉपिंग ब्लॉक (टोकनाइज़र)
उपमा: कल्पना कीजिए कि आप सब्जियां काट रहे हैं। यदि आपका चाकू गाजर को आसानी से काटने के लिए बनाया गया है लेकिन पार्सनिप (parsnips) के साथ संघर्ष करता है, तो आप अंततः पार्सनिप को छोटे, अक्षम टुकड़ों में काट देंगे, जबकि गाजर सुंदर टुकड़ों में आएगी। इससे पार्सनिप को पकाना कठिन हो जाता है और यह आपके पैन में अधिक जगह घेरता है।
निष्कर्ष: इससे पहले कि कोई AI किसी शब्द को समझ सके, वह उसे "टोकन" नामक छोटे टुकड़ों में तोड़ देता है। शोधकर्ताओं ने पाया कि इन मॉडल्स द्वारा उपयोग किए जाने वाले "चाकू" (टोकनाइज़र) ब्रिटिश शब्दों को अमेरिकी शब्दों की तुलना में अधिक टुकड़ों में काट देते हैं।
- उदाहरण: शब्द colour को तीन टोकन में तोड़ा जा सकता है, जबकि color केवल एक या दो में।
- परिणाम: क्योंकि ब्रिटिश शब्दों को अधिक "काटा" जाता है, इसलिए उन्हें प्रोसेस करने के लिए AI को अधिक "दिमागी शक्ति" (कंप्यूटेशनल टोकन) खर्च करनी पड़ती है। यह AI के लिए ब्रिटिश इंग्लिश का उपयोग करना थोड़ा धीमा और कम कुशल बना देता है, जिससे सूक्ष्म रूप से ब्रिटिश रूपों का उपयोग करने के प्रति अरुचि पैदा होती है।
चरण 3: अंतिम व्यंजन (जेनरेटिव आउटपुट)
उपमा: अंत में आप केक खाने बैठते हैं। भले ही आपने शेफ से "ब्रिटिश-स्टाइल" केक बनाने के लिए कहा हो, परिणाम अभी भी अमेरिकी स्वाद वाला ही होगा क्योंकि सामग्री अमेरिकी थी और चाकू ब्रिटिश मसालों के साथ संघर्ष कर रहा था।
निष्कर्ष: जब शोधकर्ताओं ने AI को ब्रिटिश इंग्लिश में लिखने के लिए कहा, तो मॉडल्स अक्सर वापस अमेरिकन इंग्लिश पर आ गए।
- आंकड़े: भले ही स्पष्ट रूप से ब्रिटिश इंग्लिश का उपयोग करने के लिए कहा गया हो, GPT-4 और Llama जैसे मॉडल्स अभी भी लगभग 40% से 70% समय अमेरिकी वर्तनी और शब्दावली का उत्पादन करते हैं।
- रूपक: यह उस व्यक्ति की तरह है जिसे टेक्सास में बड़ा किया गया हो और उससे स्कॉटिश लहजे में बोलने को कहा जाए। वह कोशिश तो करेगा, लेकिन वह अनिवार्य रूप से अपने मूल टेक्सस के लहजे पर वापस आ जाएगा क्योंकि उसका दिमाग उसी के लिए बना है।
यह क्यों मायने रखता है? ("उत्तर-औपनिवेशिक" लेंस)
यह पेपर इस पूर्वाग्रह को समझाने के लिए उत्तर-औपनिवेशिकवाद (Postcolonialism) नामक एक ऐतिहासिक परिप्रेक्ष्य का उपयोग करता है।
- इतिहास: ब्रिटिश इंग्लिश को ब्रिटिश साम्राज्य (उपनिवेशवाद) द्वारा फैलाया गया था, जिससे यह भारत, नाइजीरिया और सिंगापुर जैसे स्थानों में मानक बन गया।
- बदलाव: 20वीं शताब्दी में, अमेरिकी संस्कृति (हॉलीवुड, इंटरनेट, टेक दिग्गज) ने वैश्विक मंच पर कब्जा कर लिया।
- समस्या: AI मॉडल इंटरनेट पर बने हैं, जो वर्तमान में अमेरिकी संस्कृति द्वारा हावी है। अमेरिकन इंग्लिश को "डिफ़ॉल्ट" मानकर, AI वास्तव में यह कह रहा है, "बोलने का आपका तरीका 'असली' इंग्लिश है, और आपका तरीका केवल एक भिन्नता है।"
यह एपिस्टेमिक इनजस्टिस (ज्ञान संबंधी अन्याय) पैदा करता है। इसका अर्थ है कि लाखों लोग जो ब्रिटिश इंग्लिश (या इससे प्रभावित इंग्लिश, जैसे ऑस्ट्रेलियाई या भारतीय इंग्लिश) बोलते हैं, उन्हें यह महसूस कराया जा रहा है कि उनकी भाषा उन मशीनों द्वारा "कम कुशल" या "कम सही" है जिन पर वे काम, स्कूल और कानून के लिए निर्भर हैं।
समाधान: हम क्या कर सकते हैं?
लेखक AI को अधिक निष्पक्ष बनाने के लिए तीन व्यावहारिक सुधार सुझाते हैं:
- बेहतर सामग्री: प्रशिक्षण डेटा बनाते समय, हमें सक्रिय रूप से अधिक ब्रिटिश और राष्ट्रमंडल (Commonwealth) सामग्री खोजने और शामिल करने की आवश्यकता है, न कि केवल अमेरिकी वेबसाइटों की।
- तेज़ चाकू: हमें "टोकनाइज़र" (काटने वाले उपकरण) को फिर से डिजाइन करने की आवश्यकता है ताकि वे ब्रिटिश शब्दों को दंडित न करें। हमें ब्रिटिश शब्दों को अमेरिकी शब्दों के समान "चंक साइज" देना चाहिए।
- नए उपकरण: लेखकों ने DIALIGN नामक एक टूल बनाया है। इसे एक "डायलेक्ट डिटेक्टर" (बोली पहचानकर्ता) के रूप में समझें। यह डेवलपर्स को यह जांचने में मदद करता है कि क्या उनका AI अनजाने में अमेरिकन इंग्लिश का पक्ष ले रहा है ताकि वे मॉडल जारी करने से पहले इसे ठीक कर सकें।
निष्कर्ष (टेकअवे)
यह शोध पत्र केवल color बनाम colour जैसी वर्तनी के अंतर के बारे में नहीं है। यह शक्ति (Power) के बारे में है। यह दिखाता है कि जिस तकनीक का हम हर दिन उपयोग करते हैं, वह चुपचाप एक विशिष्ट सांस्कृतिक दृष्टिकोण (अमेरिकी) को "सामान्य" के रूप में सुदृढ़ कर रही है, जबकि बोलने के अन्य वैध तरीकों को त्रुटियों की तरह महसूस करा रही है। डेटा, उपकरणों और डिज़ाइन को ठीक करके, हम ऐसा AI बना सकते हैं जो वास्तव में अंग्रेजी बोलने वाली दुनिया की विविधता का सम्मान करे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।