Is She Even Relevant? When BERT Ignores Explicit Gender Cues

तकनीकी सारांश: "क्या वह वास्तव में प्रासंगिक है? जब BERT स्पष्ट लिंग संकेतों (Gender Cues) को अनदेखा कर देता है"

समस्या विवरण
जबकि अंग्रेजी के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) में लिंग संबंधी पूर्वाग्रह (gender bias) की व्यापक रूप से जांच की गई है, व्याकरणिक या रूपात्मक लिंग (grammatical or morphological gender) वाले भाषाओं का अध्ययन तुलनात्मक रूप से कम हुआ है। यह अंतराल महत्वपूर्ण है क्योंकि व्याकरणिक संरचनाएं सामाजिक रूढ़ियों के मापन को धुंधला या विकृत कर सकती हैं। यह शोध पत्र डच भाषा पर केंद्रित है, जो पूरी तरह से लिंग-आधारित प्रणालियों (जैसे जर्मन) और काफी हद तक लिंगहीन प्रणालियों (जैसे अंग्रेजी) के बीच एक मध्यवर्ती स्थिति रखती है। डच में "न्यूट्रलाइजेशन" (जहाँ ऐतिहासिक रूप से पुरुष प्रधान, रूपात्मक रूप से unmarked रूप सामान्य शब्दों के रूप में कार्य करते हैं) और "फेमिनइजेशन" (जहाँ प्रत्ययों के माध्यम से स्पष्ट रूप से महिला रूपों को व्युत्पन्न किया जाता है) के बीच एक तनाव दिखाई देता है। लेखक जांच करते हैं कि एक डच BERT मॉडल, जिसे शून्य से प्रशिक्षित किया गया है, लिंग संबंधी जानकारी को कैसे एनकोड करता है और क्या स्पष्ट प्रासंगिक संकेत (जैसे कि zij सर्वनाम जिसका अर्थ "वह" [स्त्री] है) मॉडल के आंतरिक प्रतिनिधित्व में सीखी गई सांख्यिकीय संबद्धताओं (जैसे, plumber $\rightarrow$ पुरुष) को ओवरराइड कर सकते हैं।

कार्यप्रणाली
यह अध्ययन SoNaR-500 कॉर्पस (पुस्तकों का उपसमुच्चय, $\approx$26M शब्द) पर पूरी तरह से शून्य से प्रशिक्षित एक डच BERT मॉडल के चेकपॉइंट-स्तरीय विश्लेषण का उपयोग करता है। कार्यप्रणाली में प्रशिक्षण के दौरान पूर्वाग्रह के विकास को ट्रैक करने के लिए नियंत्रित वाक्य टेम्पलेट्स के साथ स्टेटिक सबस्पेस प्रोजेक्शन तकनीकों को एकीकृत किया गया है।

1. मॉडल प्रशिक्षण: एक BERT मॉडल को 100 इपोक (epochs) के लिए शून्य से प्रशिक्षित किया जाता है। प्रशिक्षण के दौरान उभरते हुए लिंग प्रतिनिधित्वों को ट्रैक करने के लिए मध्यवर्ती चेकपॉइंट्स को सहेजा जाता है।
2. जेंडर सबस्पेस निर्माण: प्रत्येक चेकपॉइंट पर, एक गतिशील लिंग अक्ष (dynamic gender axis) प्राप्त करने के लिए 60 स्पष्ट लिंग-युक्त शब्द युग्मों (जैसे, man बनाम vrouw) के प्रासंगिक एम्बेडिंग्स पर एक लीनियर सपोर्ट वेक्टर मशीन (SVM) प्रशिक्षित किया जाता है। लेखक अस्पष्ट सर्वनामों (जैसे, zij, जिसका अर्थ "वह" [स्त्री] या "वे" [बहुवचन] हो सकता है) से बचते हैं ताकि यह सुनिश्चित हो सके कि सबस्पेस स्पष्ट लिंग भेदों को प्रतिबिंबित करे।
3. पूर्वाग्रह मूल्यांकन: लेखक नियंत्रित वाक्य टेम्पलेट्स से प्राप्त पेशे के शब्द एम्बेडिंग्स को सीखे गए जेंडर सबस्पेस पर प्रोजेक्ट करते हैं। टेम्पलेट संरचना [TARGET] is een [ATTRIBUTE] (जैसे, "She is a plumber") है।
   • चर (Variables): अध्ययन व्यवस्थित रूप से लक्ष्य लिंग (पुरुष/महिला), विशेषता की रूपात्मक मार्किंग (न्यूट्रल/अनमार्क्ड बनाम महिला-प्रत्यय), और रूढ़िवादी संरेखण (श्रम बल के आंकड़ों के आधार पर प्रो-स्टीरियोटाइपिकल बनाम एंटी-स्टीरियोटाइपिकल) को बदलता है।
   • मीट्रिक: सटीकता इस बात की जांच करके मापी जाती है कि क्या प्रोजेक्ट किया गया पेशे का एम्बेडिंग वाक्य के संदर्भ द्वारा निर्दिष्ट लिंग (लक्ष्य) के साथ संरेखित है, न कि मॉडल के डिफ़ॉल्ट सांख्यिकीय जुड़ाव के साथ।

मुख्य परिणाम
विश्लेषण लिंग प्रतिनिधित्वों के निर्माण और व्यवहार के संबंध में चार प्राथमिक निष्कर्ष प्रदान करता है:

1. रैखिक पृथकरणीयता का उद्भव (Emergence of Linear Separability): लिंग संबंधी जानकारी प्रशिक्षण के लगभग 20वें इपोक के आसपास एम्बेडिंग स्पेस में स्पष्ट रूप से रैखिक रूप से पृथकरणीय हो जाती है। जबकि सटीकता लगातार बढ़ती है, यह 0.92 से थोड़ा ऊपर स्थिर हो जाती है, जो इंगित करता है कि लिंग प्रशिक्षण प्रक्रिया के शुरुआती चरणों में ही सीखे गए प्रतिनिधित्वों की एक स्थिर विशेषता है।
2. लिंग सूचना का वितरण: इस विचार के विपरीत कि एक एकल "जेंडर यूनिट" होती है, लिंग की जानकारी कई एम्बेडिंग आयामों में वितरित है। हालांकि, वितरण असममित है:
   • पुरुष प्रतिनिधित्व कई आयामों में विसरित (diffusely) रूप से एनकोड किए गए हैं, जो एक मजबूत, unmarked डिफ़ॉल्ट के रूप में कार्य करते हैं।
   • महिला प्रतिनिधित्व आयामों के एक छोटे, अधिक विशिष्ट उपसमुच्चय में केंद्रित हैं।
3. प्रासंगिक ओवरराइड की विफलता (Failure of Contextual Override): स्पष्ट प्रासंगिक संकेत अक्सर सीखे गए पूर्वग्रहों (priors) को ओवरराइड करने में विफल रहते हैं। एंटी-स्टीरियोटाइपिकल संदर्भों में (जैसे, "She is a plumber"), पेशे का मॉडल का आंतरिक प्रतिनिधित्व रूढ़िवादी पुरुष लिंग के साथ काफी अधिक बार संरेखित रहता है, बजाय कि प्रासंगिक महिला संकेत के। स्टीरियोटाइपिकल जोड़ियों की भविष्यवाणी 82.5% सटीकता के साथ की जाती है, जबकि एंटी-स्टीरियोटाइपिकल जोड़ियाँ 43.7% तक गिर जाती हैं।
4. रूपात्मक मार्करों का प्रभुत्व (Dominance of Morphological Markers): मॉडल प्रासंगिक जानकारी को एकीकृत करने के बजाय सतही स्तर के रूपात्मक संकेतों पर बहुत अधिक निर्भर करता है। जब किसी पेशे में स्पष्ट महिला प्रत्यय (जैसे, verpleegster) होता है, तो प्रतिनिधित्व उच्च सटीकता के साथ (एंटी-स्टीरियोटाइपिकल संदर्भों में 83%) महिला सबस्पेस के साथ संरेखित होता है। हालांकि, जब विशेषता रूपात्मक रूप से न्यूट्रल (जैसे, verpleger) होती है, तो मॉडल पुरुष व्याख्या पर डिफ़ॉल्ट हो जाता है, भले ही विषय स्पष्ट रूप से महिला हो।

मुख्य योगदान

• चेकपॉइंट-स्तरीय विश्लेषण: यह कार्य एक ट्रांसफार्मर-आधारित आर्किटेक्चर में लिंग संबंधी जानकारी कैसे उभरती है, इसके पहले नियंत्रित, चेकपॉइंट-स्तरीय अन्वेषणों में से एक है, जो आधुनिक BERT मॉडलों पर पूर्ववर्ती रिकरेंट मॉडल्स (LSTMs) के कार्य का विस्तार करता है।
• प्रासंगिक सबस्पेस प्रोजेक्शन: लेखक प्रत्यक्ष रूप से स्पष्ट लिंग संकेतों और सीखी गई लिंग धारणाओं के बीच अंतःक्रिया को मापने के लिए नियंत्रित वाक्य टेम्पलेट्स के साथ संयोजित करके प्रोजेक्शन-आधारित सबस्पेस विश्लेषण को एक प्रासंगिक सेटिंग में अनुकूलित करते हैं।
• रूपात्मक लिंग की अंतर्दृष्टि: डच का उपयोग करके, यह अध्ययन प्रदर्शित करता है कि भले ही मजबूत, स्पष्ट महिला संकेत (सर्वनाम) हों, वे तब ओवरराइड किए जा सकते हैं जब पेशे का शब्द रूपात्मक रूप से unmarked हो। यह उन भाषाओं में पूर्वाग्रह की विशिष्ट चुनौतियों को उजागर करता है जहाँ व्याकरणिक लिंग और सामाजिक रूढ़ियाँ जटिल रूप से परस्पर क्रिया करती हैं।
• मैकेनिस्टिक बेसलाइन: निष्कर्ष यह समझने के लिए एक बेसलाइन स्थापित करते हैं कि संरचनात्मक लिंग पूर्वाग्रह कैसे बनता है और स्थिर होता है, जो यह सुझाव देता है कि मॉडल्स में "कॉन्टेक्स्टुअलाइजेशन" (contextualization) स्पष्ट संकेतों को विश्वसनीय रूप से प्रतिबिंबित करने के लिए लिंग दिशा में पर्याप्त रूप से गतिशील नहीं है।

महत्व और दावे
पेपर का दावा है कि इसके परिणाम इस धारणा को चुनौती देते हैं कि प्रासंगिक एम्बेडिंग्स स्थानीय संकेतों को समायोजित करने के लिए शब्द प्रतिनिधित्वों को मजबूती से एकीकृत करते हैं। इसके बजाय, लेखक तर्क देते हैं कि डच BERT मॉडल के लिए, प्रासंगिक संकेत अक्सर आंतरिक पूर्वग्रहों और रूपात्मक मार्करों द्वारा दबा दिए जाते हैं। "मेल-डिफ़ॉल्ट" व्यवहार इसलिए बना रहता है क्योंकि बिना मार्क किए गए, ऐतिहासिक रूप से पुरुष प्रधान रूप प्रशिक्षण डेटा में जेनेरिक शब्दों के रूप में कार्य करते हैं, जिससे पुरुष-कोडित प्रतिनिधित्वों के लिए एक संरचनात्मक लाभ पैदा होता है।

लेखक निष्कर्ष निकालते हैं कि जबकि मॉडल लिंग को अलग करने के लिए सीखता है, वह इसे इस तरह से करता है जो मौजूदा विषमताओं को सुदृढ़ करता है: पुरुष एक विसरित डिफ़ॉल्ट है, जबकि महिला एक चिह्नित, केंद्रित संकेत है जिसे विश्वसनीय रूप से एनकोड होने के लिए स्पष्ट रूपात्मक प्रत्यय की आवश्यकता होती है। फलस्वरूप, इन प्रतिनिधित्वों पर निर्भर अनुप्रयोग (जैसे अनुवाद या कोरफरेन्स रेजोल्यूशन) उन मामलों में भी लिंग रूढ़ियों को दोहरा सकते हैं जब इनपुट स्पष्ट रूप से उनका खंडन करता है। पेपर विनम्रतापूर्वक नोट करता है कि इसके निष्कर्ष प्रोब द्वारा कैप्चर किए गए प्रतिनिधि स्तर तक सीमित हैं और सीधे डाउनस्ट्रीम टास्क प्रदर्शन को नहीं मापते हैं, लेकिन वे बहुभाषी NLP में पूर्वाग्रह निर्माण के तंत्र के बारे में महत्वपूर्ण अंतर्दृष्टि प्रदान करते हैं।