Computational Orientalism: Measuring Structural Discourse Bias in Large Language Models Using the Middle East Cultural Sensitivity Score (MECSS)
यह शोध पत्र मिडिल ईस्ट कल्चरल सेंसिटिविटी स्कोर (MECSS) को प्रस्तुत करता है ताकि यह प्रदर्शित किया जा सके कि बड़े भाषा मॉडल (LLMs), जिनमें मध्य पूर्व में विकसित मॉडल भी शामिल हैं, "सैड-वॉशिंग" (Said-washing) और पश्चिमी ज्ञान को सार्वभौमिक रूप से प्रस्तुत करने के माध्यम से व्यवस्थित रूप से संरचनात्मक ओरिएंटलिस्ट पूर्वाग्रहों को दोहराते हैं, जो यह प्रकट करता है कि मानक निष्पक्षता मेट्रिक्स इन गहरे स्तर के ज्ञान संबंधी विकृतियों का पता लगाने में विफल रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
जब हम किसी कंप्यूटर से किसी संस्कृति को समझाने के लिए कहते हैं, तो हम अक्सर यह मान लेते हैं कि हमें तथ्यों का एक तटस्थ सारांश मिल रहा है। लेकिन जो प्रणालियाँ इन प्रश्नों के उत्तर देती हैं, वे खाली स्लेट नहीं हैं। वे पश्चिमी देशों के लोगों द्वारा लिखे गए विशाल ग्रंथों पर आधारित हैं, जो मुख्य रूप से अंग्रेजी में हैं, और वे उन पुस्तकालयों में पाए जाने वाले पैटर्न की नकल करके बोलना सीखते हैं। इसका मतलब यह है कि जब कोई उपयोगकर्ता मध्य पूर्व के बारे में पूछता है, तो कंप्यूटर केवल जानकारी प्राप्त नहीं करता; बल्कि वह उन धारणाओं के आधार पर एक कहानी बुनता है जो उसके प्रशिक्षण में अंतर्निहित हैं। दशकों से, विद्वानों ने पूर्व (East) के बारे में कहानियाँ बताने के एक विशिष्ट तरीके का वर्णन किया है, जिसे 'ओरिएंटलिज्म' (Orientalism) के रूप में जाना जाता है। यह केवल अभद्र होने या रूढ़ियों (stereotypes) का उपयोग करने के बारे में नहीं है। यह लिखने की एक गहरी, संरचनात्मक आदत है जो पश्चिम को एक सामान्य, सक्रिय पर्यवेक्षक के रूप में और पूर्व को एक निष्क्रिय, रहस्यमय वस्तु के रूप में देखती है जिसे पश्चिमी नियमों द्वारा समझाने की आवश्यकता है। यह मानती है कि पश्चिमी विचार सार्वभौमिक सत्य हैं, जबकि स्थानीय विचार केवल "सांस्कृतिक विचित्रताएँ" हैं। शोधकर्ता अब यह सवाल पूछ रहे हैं कि क्या आधुनिक आर्टिफिशियल इंटेलिजेंस, जो करोड़ों लोगों के लिए सूचना का प्राथमिक स्रोत बन गया है, विनम्र दिखने के बावजूद चुपचाप इन पुराने पैटर्न को दोहरा रहा है।
एक शोधकर्ता ने दो अलग-अलग लार्ज लैंग्वेज मॉडल्स में इस अदृश्य पूर्वाग्रह को मापने का प्रयास किया। एक शक्तिशाली प्रणाली थी जिसे संयुक्त राज्य अमेरिका में विकसित किया गया था, और दूसरा एक मॉडल था जिसे संयुक्त अरब अमीरात (UAE) में बनाया गया था, जिसे बड़ी मात्रा में अरबी सामग्री के साथ प्रशिक्षित किया गया था। शोधकर्ता एक आशावादी विचार का परीक्षण करना चाहता था: कि क्या मध्य पूर्व में, स्थानीय भाषाओं और क्षेत्रीय डेटा का उपयोग करके एक आर्टिफिशियल इंटेलिजेंस बनाने से स्वाभाविक रूप से क्षेत्र के प्रति एक अधिक निष्पक्ष और कम पक्षपाती दृष्टिकोण उत्पन्न होगा। उत्तर खोजने के लिए, उन्होंने एक नया मापने वाला उपकरण बनाया जिसे 'मिडल ईस्ट कल्चरल सेंसिटिविटी स्कोर' कहा गया। केवल स्पष्ट अपशब्दों या बुरे शब्दों को खोजने के बजाय, इस उपकरण ने मॉडल्स द्वारा उत्पन्न वाक्यों की बहुत सूक्ष्म संरचना की जांच की। इसने सात विशिष्ट आदतों की जांच की, जैसे कि क्या मॉडल पूरे मध्य पूर्व को एक ही, अविभाज्य खंड के रूप में मानता है, क्या वह स्थानीय लोगों को सक्रिय निर्णय लेने वालों के बजाय निष्क्रिय पीड़ितों के रूप में वर्णित करता है, और क्या वह घटनाओं को समझाने के लिए पश्चिमी राजनीतिक सिद्धांतों को डिफ़ॉल्ट तरीका मानता है जबकि स्थानीय ज्ञान को कुछ ऐसा मानता है जिसे विशेष औचित्य की आवश्यकता है।
शोधकर्ता ने 280 संवाद चलाए, जिसमें मॉडल्स से राजनीति, संस्कृति और इतिहास के बारे में व्यापक प्रश्न पूछे गए। फिर उन्होंने प्रतिक्रियाओं का विश्लेषण किया ताकि यह देखा जा सके कि मॉडल्स कितनी बार इन संरचनात्मक जाल में फंसते हैं। परिणामों ने दिखाया कि दोनों मॉडल्स, चाहे वे कहीं भी बनाए गए हों, व्यवस्थित रूप से इन पक्षपाती पैटर्न को दोहराते हैं। अमेरिकी मॉडल में कुछ पूर्वाग्रह दिखा, लेकिन यूएई (UAE) में बने मॉडल का स्कोर वास्तव में पूर्वाग्रह पैमाने पर अधिक था, जिसका अर्थ है कि वह समस्याग्रस्त पैटर्न को अधिक बार और अधिक तीव्रता से दोहराता है। यह निष्कर्ष इस धारणा को चुनौती देता है कि केवल डेवलपर्स के स्थान को बदलने या प्रशिक्षण डेटा में स्थानीय भाषाओं को जोड़ने से समस्या को ठीक किया जा सकता है। शोधकर्ता ने पाया कि यूएई मॉडल, अपने क्षेत्रीय मूल के बावजूद, दुनिया को समझाने के लिए पश्चिमी ढांचों पर बहुत अधिक निर्भर था, और उन्हें वह मानक लेंस मानता था जिसके माध्यम से सब कुछ देखा जाना चाहिए।
एक सबसे चौंकाने वाली खोज थी जिसे शोधकर्ता ने "सैड-वॉशिंग" (Said-washing) कहा। यह तब होता है जब एक मॉडल अपनी प्रतिक्रिया की शुरुआत यह स्पष्ट रूप से कहते हुए करता है कि क्षेत्र विविध और जटिल है, लेकिन तुरंत उस बयान के बाद एक सामान्यीकरण (generalization) कर देता है जो उसी जटिलता को अनदेखा करता है। उदाहरण के लिए, एक मॉडल कह सकता है, "बेशक, मध्य पूर्व में कई अलग-अलग संस्कृतियाँ और इतिहास हैं," और फिर तुरंत "मध्य पूर्वी समाज" को एक एकल, एकीकृत इकाई और एक ही प्रकार की प्रेरणाओं के साथ वर्णित करना शुरू कर देता है। यह पैटर्न अमेरिकी मॉडल के साथ लगभग 88 प्रतिशत संवादों में और यूएई मॉडल के साथ लगभग 63 प्रतिशत संवादों में दिखाई दिया। यह सुझाव देता है कि मॉडल्स ने वास्तविक संवेदनशीलता दिखाने का प्रदर्शन करना सीख लिया है, बिना अपनी सोच की अंतर्निहित संरचना को बदले। वे निष्पक्ष दिखने के लिए सही शब्द बोल सकते हैं, लेकिन जिस तरह से वे जानकारी को व्यवस्थित करते हैं, वह दुनिया को देखने के पुराने, औपनिवेशिक तरीकों में गहराई से निहित रहता है।
अध्ययन ने यह भी खुलासा किया कि पूर्वाग्रह केवल इस बारे में नहीं था कि मॉडल क्या कहते हैं, बल्कि इस बारे में था कि वे दुनिया को कैसे व्यवस्थित करते हैं। दोनों मॉडल्स ने लगातार पश्चिमी विश्लेषणात्मक ढांचों को वास्तविकता को समझने के डिफ़ॉल्ट, unmarked तरीके के रूप में माना, जबकि गैर-पश्चिमी ज्ञान को कुछ विशिष्ट और विशेष स्पष्टीकरण की आवश्यकता वाली चीज़ के रूप में माना। यह सबसे सुसंगत निष्कर्ष था जो दोनों प्रणालियों में देखा गया, जो लगभग हर बातचीत में दिखाई दिया। शोधकर्ता ने उल्लेख किया कि मॉडल्स के प्रदर्शन में अंतर आंशिक रूप से उनके आकार के कारण हो सकता है, क्योंकि अमेरिकी मॉडल यूएई मॉडल की तुलना में काफी बड़ा और अधिक उन्नत था। छोटे मॉडल्स सरल, कम सूक्ष्म टेक्स्ट उत्पन्न करते हैं, जो शोधकर्ता द्वारा मापे जा रहे व्यापक सामान्यीकरण जैसा दिख सकता है। हालांकि, तथ्य यह है कि दोनों मॉडल पश्चिमी ढांचों के उपयोग के संबंध में एक ही उच्च स्तर के पूर्वाग्रह पर केंद्रित थे, यह सुझाव देता है कि समस्या कंप्यूटर के आकार या डेवलपर्स के स्थान से कहीं अधिक गहरी है।
अंततः, पेपर यह निष्कर्ष निकालता है कि पूर्वाग्रह एक साधारण त्रुटि नहीं है जिसे अधिक भाषाएं जोड़कर या सर्वर को दूसरे देश में स्थानांतरित करके ठीक किया जा सकता है। समस्या 'एपिस्टेमोलॉजिकल' (epistemological) है, जिसका अर्थ है कि यह उस ज्ञान की प्रकृति के बारे में है जिसे मॉडल्स ने सीखा है। प्रशिक्षण डेटा स्वयं उन पश्चिमी दृष्टिकोणों से भरा है जो मध्य पूर्व को एक ऐसे विषय के रूप में देखते हैं जिसका अध्ययन किया जाना चाहिए, न कि एक ऐसे विषय के रूप में जिसके पास अपनी एजेंसी (स्वयं निर्णय लेने की शक्ति) है। इसे वास्तव में बदलने के लिए, शोधकर्ता का तर्क है कि प्रशिक्षण डेटा को रूपांतरित किया जाना चाहिए ताकि इसमें क्षेत्र के विद्वानों द्वारा, उनकी अपनी भाषाओं में और उनकी अपनी बौद्धिक परंपराओं का उपयोग करते हुए लिखे गए शोध का एक बहुत बड़ा हिस्सा शामिल हो सके। जब तक डेटा नहीं बदलता, ये प्रणालियाँ ऐसे उत्तर उत्पन्न करती रहेंगी जो आत्मविश्वासी और आधिकारिक लगते हैं, लेकिन जो चुपचाप एक ऐसे विश्वदृष्टि को सुदृढ़ करते हैं जहाँ पश्चिम कथावाचक है और शेष विश्व केवल एक कहानी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।