Gender Bias in MT for a Genderless Language: New Benchmarks for Basque
यह शोध पत्र बास्क भाषा से संबंधित मशीन अनुवाद में लिंग पूर्वाग्रह का मूल्यांकन करने के लिए दो नए बेंचमार्क, WinoMTeus और FLORES+Gender पेश करता है, जो यह प्रकट करते हैं कि वर्तमान बड़े भाषा मॉडल (LLMs) और मशीन अनुवाद (MT) प्रणालियाँ लिंगहीन और लिंग-युक्त भाषाओं के बीच अनुवाद करते समय पुल्लिंग रूपों के प्रति एक व्यवस्थित प्राथमिकता प्रदर्शित करती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास बहुत बुद्धिमान, लेकिन थोड़े पक्षपाती रोबोटों का एक समूह है। इन रोबोटों को इंटरनेट पर लिखी गई लगभग हर चीज़ को पढ़कर प्रशिक्षित किया गया है। क्योंकि इंटरनेट पर पुरुषों और महिलाओं के बारे में कई पुराने विचारों वाली बातें मौजूद हैं, इसलिए ये रोबोट अक्सर अनजाने में उन रूढ़ियों को भी सीख लेते हैं।
उदाहरण के लिए, यदि आप किसी रोबोट को एक ऐसे भाषा (जैसे बास्क) से किसी अन्य भाषा (जैसे स्पेनिश या फ्रेंच) में एक वाक्य का अनुवाद करने के लिए कहते हैं जो लिंग (जेंडर) की परवाह नहीं करती, तो रोबोट अनुमान लगा सकता है, "ओह, नर्स आमतौर पर महिलाएँ होती हैं, इसलिए मैं स्त्रीलिंग शब्द का उपयोग करूँगा।" लेकिन यदि आप एक "मैकेनिक" के बारे में पूछते हैं, तो वह अनुमान लगा सकता है, "मैकेनिक आमतौर पर पुरुष होते हैं, इसलिए मैं पुल्लिंग शब्द का उपयोग करूँगा।"
समस्या यह है कि रोबोट अक्सर वास्तविकता के आधार पर यह गलती करते हैं। वास्तविक दुनिया में, पुरुष नर्सों और महिला मैकेनिकों की भी भरमार है, लेकिन रोबोट अपनी पुरानी रूढ़ियों पर ही टिके रहते हैं।
यह शोध पत्र बास्क देश के शोधकर्ताओं की एक टीम की एक जांच रिपोर्ट (डिटेक्टिव रिपोर्ट) की तरह है। वे यह देखना चाहते थे कि क्या ये रोबट बास्क भाषा के साथ निष्पक्ष व्यवहार कर रहे हैं, जो कि एक अनूठी भाषा है क्योंकि इसमें नौकरियों या लोगों के लिए "पुरुष" या "महिला" वाले शब्द नहीं होते।
उन्होंने इसे दो रचनात्मक "परीक्षणों" का उपयोग करके जांचा:
परीक्षण 1: "जॉब स्वैप" (WinoMTeus)
सेटअप: कल्पना कीजिए कि आपके पास बास्क भाषा में नौकरियों की एक सूची है जहाँ शब्द तटस्थ (neutral) है (यह नहीं बताता कि "पुरुष नर्स" या "महिला नर्स")। यह सिर्फ "नर्स" कहता है।
प्रयोग: शोधकर्ताओं ने इन तटस्थ नौकरियों को स्पेनिश और फ्रेंच में अनुवाद करने के लिए रोबोटों से कहा।
जाल: चूंकि स्पेनिश और फ्रेंच में लिंग चुनना अनिवार्य है (आप बिना यह बताए कि "वह पुरुष नर्स है" या "वह महिला नर्स है" केवल "नर्स" नहीं कह सकते), इसलिए रोबोट को एक अनुमान लगाना पड़ता है।
वास्तविकता की जाँच: शोधकर्ताओं ने रोबोट के अनुमानों की तुलना वास्तविक जीवन के आंकड़ों से की जो बास्क देश से लिए गए थे। उन्होंने पूछा: "क्या रोबोट ने यह अनुमान लगाया कि 90% नर्स पुरुष हैं, जबकि वास्तव में 96% महिलाएँ हैं?"
फैसला: रोबोट दोषी पाए गए! उनमें "पुल्लिंग" संस्करण की ओर झुकने की एक मजबूत आदत थी, यहाँ तक कि उन नौकरियों के लिए भी जो वास्तविक जीवन में महिलाओं द्वारा अधिक की जाती हैं। यह एक ऐसे रोबोट की तरह है जो सोचता है कि हर डॉक्टर एक पुरुष है और हर सेक्रेटरी एक महिला है, सिर्फ इसलिए क्योंकि उसने बहुत सारी पुरानी किताबें पढ़ी हैं।
परीक्षण 2: "मिरर टेस्ट" (FLORES+Gender)
सेटअप: इस बार, उन्होंने इसके ठीक विपरीत किया। उन्होंने अंग्रेजी और स्पेनिश से कुछ वाक्य लिए जहाँ लिंग स्पष्ट रूप से अंकित था (जैसे, "द मेल ड्राइवर" बनाम "द फीमेल ड्राइवर")।
प्रयोग: उन्होंने इन वाक्यों को तटस्थ बास्क भाषा में अनुवाद करने के लिए रोबोटों से कहा।
प्रश्न: क्या रोबोट बेहतर तरीके से अनुवाद करता है यदि कहानी में व्यक्ति एक पुरुष है? क्या वह तब अधिक लड़खड़ाता है जब व्यक्ति एक महिला होती है?
उपमा: एक अनुवादक की कल्पना करें जो पुरुषों के बारे में बात करते समय थोड़ा अधिक आत्मविश्वासी और धाराप्रवाह होता है, लेकिन महिलाओं के बारे में बात करते समय थोड़ा घबरा जाता है और अधिक गलतियाँ करता है।
फैसला: परिणाम थोड़े मिले-जुले थे, लेकिन पक्षपात का एक संकेत मिला। कुछ मामलों में, रोबोटों ने पुरुषों के बारे में वाक्यों का अनुवाद महिलाओं के बारे में वाक्यों की तुलना में थोड़ा बेहतर किया। ऐसा लगता है जैसे रोबोट की "मसल्स मेमोरी" पुरुषों की कहानियों के लिए अधिक मजबूत है क्योंकि उसने अपने प्रशिक्षण डेटा में उन्हें अधिक बार देखा है।
बड़ी तस्वीर
शोधकर्ताओं ने पाया कि भले ही बास्क एक ऐसी भाषा है जो स्वाभाविक रूप से पुरुषों और महिलाओं के साथ समान व्यवहार करती है, लेकिन बास्क में अनुवाद करने वाले (या बास्क से बाहर जाने वाले) रोबोट अपने साथ अपना पुराना बोझ लेकर आते हैं। वे एक टूटे हुए दर्पण की तरह काम कर रहे हैं जो पुराने रूढ़िवादी विचारों के अनुरूप वास्तविकता को विकृत कर देता है।
यह क्यों मायने रखता है?
यदि हम इन रोबरों का उपयोग नौकरी के विज्ञापनों, समाचारों या चिकित्सा सलाह के लिए अनुवाद करने के लिए करते हैं, तो वे अनजाने में एक महिला को यह बता सकते हैं कि वह मैकेनिक नहीं बन सकती या एक पुरुष को यह बता सकते हैं कि वह नर्स नहीं बन सकता। यह शोध पत्र एक चेतावनी है: हमें इन रोबोटों के लिए बेहतर "चश्मे" बनाने की आवश्यकता है ताकि वे केवल उस पक्षपाती दुनिया को नहीं, बल्कि वास्तविक दुनिया को देख सकें जिस पर उन्हें प्रशिक्षित किया गया है।
संक्षेप में: रोबोट बुद्धिमान हैं, लेकिन वे थोड़े लैंगिक भेदभाव वाले भी हैं। शोधकर्ताओं ने उन्हें रंगे हाथों पकड़ने के लिए नए उपकरण बनाए, जिससे यह सिद्ध हुआ कि हमें उन्हें निष्पक्ष होना सिखाने की आवश्यकता है, विशेष रूप से बास्क जैसी भाषाओं के लिए जो सम्मान के साथ व्यवहार किए जाने की हकदार हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।