Language Models Entangle Language and Culture
यह शोध पत्र प्रदर्शित करता है कि बड़े भाषा मॉडल (लार्ज लैंग्वेज मॉडल्स) उन उपयोगकर्ताओं के लिए जो कम-संसाधन वाली भाषाओं में प्रश्न पूछते हैं, व्यवस्थित रूप से निम्न-गुणवत्ता वाले उत्तर प्रदान करते हैं और परिवर्तित सांस्कृतिक संदर्भ प्रदर्शित करते हैं, जिससे भाषा के चयन के आधार पर प्रणालीगत नुकसान उत्पन्न होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, जादुई पुस्तकालय में कदम रखते हैं जहाँ एक सुपर-स्मार्ट रोबोट लाइब्रेरियन (लार्ज लैंग्वेज मॉडल) आपकी किसी भी प्रश्न में मदद करता है। आप उससे पूछ सकते हैं कि अपनी नींद कैसे ठीक करें, कोई व्यवसाय कैसे शुरू करें, या अपनी बचत में निवेश कैसे करें।
यह शोध पत्र उस रोबोट लाइब्रेरियन के लिए एक रिपोर्ट कार्ड की तरह है, लेकिन इसमें एक मोड़ है: शोधकर्ताओं ने यह देखना चाहा कि क्या लाइब्रेरियन आपके साथ इस आधार पर अलग व्यवहार करता है कि आप कौन सी भाषा बोलते हैं।
यहाँ उन्होंने जो पाया, उसकी कहानी सरल रूप में दी गई है:
1. "जादुई दर्पण" परीक्षण
शोधकर्ताओं ने 20 रोजमर्रा के प्रश्नों की एक सूची बनाई, जैसे "मैं अपनी नींद में सुधार कैसे करूँ?" या "शर्ट बेचने के लिए एक अच्छा बिजनेस प्लान क्या है?" उन्होंने ये प्रश्न केवल अंग्रेजी में नहीं पूछे। उन्होंने इन्हें हिंदी, चीनी, स्वाहिली, हिब्रू और ब्राजीलियाई पुर्तगाली में अनुवादित किया।
इसके बाद उन्होंने इन सभी भाषाओं में रोबोट लाइब्रेरियन से यही प्रश्न पूछे।
परिणाम: लाइब्रेरियन निष्पक्ष नहीं था। जब लोगों ने अंग्रेजी, चीनी या पुर्तगाली में पूछा, तो उत्तर उच्च गुणवत्ता वाले, विस्तृत और सहायक थे। लेकिन जब लोगों ने हिंदी, स्वाहिली या हिब्रू जैसी भाषाओं में पूछा, तो उत्तर अक्सर छोटे, कम विस्तृत और सीधे तौर पर खराब थे। ऐसा लगता है जैसे लाइब्रेरियन की कोई "पसंदीदा भाषा" है और वह दूसरों पर कम मेहनत करता है।
2. "सांस्कृतिक वेशभूषा" का बदलाव
यहाँ मामला और भी दिलचस्प हो जाता है। शोधकर्ताओं ने पाया कि आप जो भाषा बोलते हैं वह न केवल यह बदलती है कि रोबोट कितनी अच्छी तरह उत्तर देता है; बल्कि यह भी बदलती है कि रोबोट किस तरह की दुनिया की कल्पना करता है।
एक रोबोट को एक अभिनेता के रूप में सोचें।
- यदि आप अंग्रेजी में प्रश्न पूछते हैं, तो अभिनेता एक "पश्चिमी" वेशभूषा पहन लेता है। वे अमेरिकी या यूरोपीय आदतों, मूल्यों और उदाहरणों पर आधारित सलाह दे सकते हैं।
- यदि आप बिल्कुल वही प्रश्न हिंदी में पूछते हैं, तो अभिनेता अपनी वेशभूषा बदलकर "भारतीय" कर लेता है। वे अचानक भारतीय पारिवारिक संरचनाओं, स्थानीय भोजन या विभिन्न सामाजिक मानदंडों के बारे में सोचने लगते हैं।
- यदि आप स्वाहिली में पूछते हैं, तो वे "अफ्रीकी" वेशभूषा पहन लेते हैं।
शोधकर्ताओं ने इसे सिद्ध किया कि उन्होंने हिंदी में दिए गए उत्तरों को लिया, उन्हें वापस अंग्रेजी में अनुवादित किया, और एक दूसरे रोबोट (एक "जज") से संस्कृति का अनुमान लगाने के लिए कहा। जज अभी भी बता सकता था, "यह उत्तर मूल रूप से हिंदी में लिखा गया था," क्योंकि सलाह का स्वाद अलग था। भाषा ने केवल शब्दों को नहीं बदला; इसने उस सांस्कृतिक लेंस को बदल दिया जिसका उपयोग रोबोट ने सोचने के लिए किया।
3. "तथ्यात्मक मानचित्र" परीक्षण
इसकी पुष्टि करने के लिए, उन्होंने सांस्कृतिक तथ्यों के एक मानचित्र (एक बेंचमार्क जिसे CulturalBench कहा जाता है) का उपयोग किया। उन्होंने रोबोट से प्रश्न पूछे जैसे "ब्राजील में एक प्रसिद्ध व्यंजन क्या है?" या "नाइजीरिया में एक ऐतिहासिक व्यक्ति कौन है?"
उन्होंने पाया कि रोबोट की सटीकता पूरी तरह से उपयोग की गई भाषा पर निर्भर थी। रोबोट किसी देश के बारे में अधिक तथ्य जानता था जब उसे उस देश की भाषा (या उससे जुड़ी एक प्रमुख भाषा) में पूछा जाता था, तुलनात्मक रूप से तब जब उसे किसी अन्य भाषा में पूछा जाता था। यह ऐसा है जैसे रोबोट के पास अलग-अलग भाषाओं के लिए अलग-अलग "तथ्य पुस्तकें" हैं, और उनमें से कुछ पुस्तकें अन्य की तुलना में बहुत अधिक पूर्ण हैं।
4. ऐसा क्यों होता है?
यह शोध पत्र सुझाव देता है कि इन AI मॉडलों के लिए, भाषा और संस्कृति आपस में उलझी हुई हैं, जैसे एक ही पेड़ के चारों ओर बढ़ती दो बेलें। आप उन्हें आसानी से अलग नहीं कर सकते।
चूंकि AI को इंटरनेट पर मौजूद विशाल मात्रा में टेक्स्ट पर प्रशिक्षित किया गया था, इसलिए इसने सीखा कि "अंग्रेजी" अक्सर "पश्चिमी संस्कृति" से जुड़ी होती है, और "हिंदी" "भारतीय संस्कृति" से जुड़ी होती है। जब आप भाषा बदलते हैं, तो AI स्वचालित रूप से उस सांस्कृतिक संदर्भ को बदल देता है जिसे वह अपनी स्मृति से निकालता है।
मुख्य निष्कर्ष
मुख्य संदेश सरल है: यदि आप किसी "लो-रिसोर्स" भाषा (ऐसी भाषा जिसके बारे में इंटरनेट पर कम डेटा उपलब्ध है) में AI से प्रश्न पूछते हैं, तो आपको अंग्रेजी की तुलना में खराब उत्तर मिल सकता है।
इससे भी बुरा यह है कि जो उत्तर आपको मिलता है, वह न केवल गुणवत्ता में, बल्कि उन धारणाओं में भी सांस्कृतिक रूप से भिन्न हो सकता है जो वह आपके जीवन के बारे में बनाता है। शोधकर्ता तर्क देते हैं कि यह अनुचित है। जिस तरह एक इंसान को अपनी मातृभाषा में सलाह मांगने और अंग्रेजी बोलने वाले व्यक्ति की तरह ही उतनी ही अच्छी मदद पाने का अधिकार होना चाहिए, इन AI मॉडलों को बेहतर तरीके से प्रशिक्षित करने की आवश्यकता है ताकि वे भाषा के आधार पर उपयोगकर्ताओं को पीछे न छोड़ दें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।