How do datasets, developers, and models affect biases in a low-resourced language?: The Case of the Bengali Language
यह शोध पत्र अनुभवजन्य रूप से प्रदर्शित करता है कि कम संसाधन वाली बंगाली भाषा के लिए सेंटीमेंट एनालिसिस मॉडल लिंग, धर्म और राष्ट्रीयता आधारित पूर्वाग्रह प्रदर्शित करते हैं, चाहे वे बहुभाषी या एकलभाषी आर्किटेक्चर पर आधारित हों, जो यह रेखांकित करता है कि विविध डेटासेट और प्री-ट्रेंड मॉडल्स का संयोजन किस प्रकार ऐसी विसंगतियों को जन्म दे सकता है जो सामाजिक-तकनीकी प्रणालियों में एपिस्टेमिक इनजस्टिस (ज्ञान संबंधी अन्याय) को बढ़ा देती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को मानवीय भावनाओं (जैसे खुशी, दुख या क्रोध) को समझना सिखाने की कोशिश कर रहे हैं, जिसके लिए आप उसे बंगाली में लिखे गए हजारों वाक्य दिखा रहे हैं। आप चाहते हैं कि आपका रोबोट सबके प्रति निष्पक्ष हो, चाहे वह पुरुष हो या महिला, हिंदू हो या मुस्लिम, या बांग्लादेश से हो या भारत से।
यह शोध पत्र उस रोबोट के 38 अलग-अलग संस्करणों के लिए एक "रिपोर्ट कार्ड" की तरह है। शोधकर्ताओं ने पूछा: रोबोट की पक्षपातपूर्ण प्रकृति (unfairness) कहाँ से आती है? क्या यह उन किताबों से आती है जो उसने पढ़ीं (डेटासेट), उस शिक्षक से जिसने उसे सिखाया (डेवलपर्स), या उस मस्तिष्क से जिससे उसे बनाया गया है (प्री-ट्रेन्ड मॉडल)?
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) के साथ विवरण दिया गया है:
1. सेटअप: रोबोट, पुस्तकालय और शिक्षक
- रोबोट्स (मॉडल्स): शोधकर्ताओं ने दो "आधार मस्तिष्क" (base brains) से शुरुआत की। एक सामान्यवादी (generalist) (mBERT) था जो 104 भाषाएं जानता है लेकिन किसी में भी विशेषज्ञ नहीं है। दूसरा एक विशेषज्ञ (specialist) (BanglaBERT) था जो केवल बंगाली जानता है और इसे विशेष रूप से बंगाली किताबों पर प्रशिक्षित किया गया था।
- पुस्तकालय (डेटासेट्स): उन्हें इंटरनेट से मिले बंगाली वाक्यों के 19 अलग-अलग संग्रह (डेटासेट्स) मिले। इन्हें अलग-अलग पुस्तकालयों के रूप में सोचें। कुछ पुस्तकालय समाचारों से भरे थे, कुछ सोशल मीडिया पोस्ट से, और कुछ उपन्यासों से।
- शिक्षक (डेवलपर्स): इन पुस्तकालयों को विभिन्न लोगों द्वारा व्यवस्थित किया गया था। शोधकर्ताओं ने यह पता लगाने की कोशिश की कि ये शिक्षक कौन थे (उनका लिंग, धर्म और राष्ट्रीयता) ताकि यह देखा जा सके कि क्या शिक्षकों के व्यक्तिगत पूर्वाग्रह रोबोट तक पहुँच रहे हैं।
2. प्रयोग: "स्वाद परीक्षण" (The Taste Test)
शोधकर्ताओं ने रोबोट को एक विशेष "स्वाद परीक्षण" दिया। उन्होंने उन्हें वाक्यों के ऐसे जोड़े दिए जिनका अर्थ बिल्कुल समान था, लेकिन उन्होंने पहचान दर्शाने के लिए अलग-अलग शब्दों का उपयोग किया था।
- उदाहरण: एक वाक्य में "पानी" के लिए एक शब्द का उपयोग किया गया जो भारत में प्रचलित है, और दूसरे में "पानी" के लिए एक शब्द का उपयोग किया गया जो बांग्लादेश में प्रचलित है।
- लक्ष्य: यदि रोबोट निष्पक्ष है, तो उसे दोनों वाक्यों को एक ही "भावना स्कोर" (feeling score) देना चाहिए। यदि वह एक को उच्च स्कोर (सकारात्मक) और दूसरे को निम्न स्कोर (नकारात्मक) देता है, तो वह पक्षपाती है।
3. परिणाम: उन्हें क्या मिला?
क. रोबोट पक्षपाती हैं (द "इको चैंबर" प्रभाव)
अध्ययन में पाया गया कि अधिकांश रोबोट अनुचित थे।
- लिंग (Gender): 61% रोबोटों ने महिलाओं की तुलना में पुरुषों के बारे में वाक्यों को अधिक पसंद किया। केवल 24% ने महिलाओं को अधिक पसंद किया।
- धर्म (Religion): 61% रोबोटों ने मुस्लिम पहचानों का पक्ष लिया, जबकि 24% ने हिंदू पहचानों का पक्ष लिया।
- राष्ट्रीयता (Nationality): 50% रोबोटों ने बांग्लादेशी पहचानों को अधिक पसंद किया, जबकि 26% ने भारतीय पहचानों को प्राथमिकता दी।
ख. शिक्षक मायने नहीं रखते (द "घोस्ट इन द मशीन")
आप सोच सकते हैं, "यदि शिक्षक एक पुरुष है, तो क्या रोबोट भेदभावपूर्ण होगा?" शोधकर्ताओं ने इसकी जाँच की, लेकिन उन्हें कोई स्पष्ट संबंध नहीं मिला।
- भले ही अधिकांश डेटासेट निर्माता पुरुष, मुस्लिम और बांग्लादेश से थे, लेकिन रोबोट ने केवल उनके विशिष्ट पूर्वाग्रहों की नकल नहीं की।
- निष्कर्ष: पूर्वाग्रह डेटा टाइप करने वाले विशिष्ट व्यक्ति से नहीं आया। यह डेटा और रोबोट के मस्तिष्क के बीच की अंतःक्रिया (interaction) से आया था।
ग. मस्तिष्क पुस्तकालय से अधिक महत्वपूर्ण है (विशेषज्ञ बनाम सामान्यवादी)
यह सबसे आश्चर्यजनक खोज थी।
- विशेषज्ञ रोबोट (BanglaBERT) सामान्यवादी रोबोट (mBERT) की तुलना में आम तौर पर अधिक निष्पक्ष और कम पक्षपाती था।
- उपमा: कल्पना कीजिए कि एक सामान्यवादी रोबोट एक पर्यटक की तरह है जो कई भाषाओं में कई यात्रा ब्रोशर पढ़कर एक संस्कृति को समझने की कोशिश करता है। वे बुनियादी बातें समझ जाते हैं लेकिन बारीकियों को चूक जाते हैं। विशेषज्ञ रोबोग्राम एक स्थानीय निवासी की तरह है जो भाषा बोलकर बड़ा हुआ है; वे सांस्कृतिक अंतरों को बेहतर समझते हैं।
- हालाँकि, कोई भी पुस्तकालय पूर्ण नहीं था। यहाँ तक कि सर्वश्रेष्ठ डेटासेट भी कुछ क्षेत्रों में पक्षपाती थे। यदि कोई डेटासेट लिंग के मामले में निष्पक्ष था, तो वह धर्म के मामले में पक्षपाती हो सकता था।
4. बड़ी तस्वीर: यह एक श्रृंखला प्रतिक्रिया है (Chain Reaction)
यह शोध पत्र तर्क देता है कि पूर्वाग्रह केवल कोड के एक हिस्से में मौजूद "बग" नहीं है। यह एक श्रृंखला प्रतिक्रिया है।
- इसे एक रिले रेस की तरह सोचें।
- पहला धावक (प्री-ट्रेन्ड मॉडल) अपने साथ कुछ अंतर्निहित पूर्वाग्रह लेकर शुरू करता है।
- दूसरा धावक (डेटासेट) अपना स्वयं का स्वाद जोड़ता है।
- जब वे बैटन पास करते हैं (फाइन-ट्यूनिंग), तो अंतिम परिणाम दोनों का मिश्रण होता है।
- कभी-कभी, एक "अच्छा" डेटासेट एक "बुरे" मॉडल को ठीक कर सकता है। कभी-कभी, एक "बुरा" डेटासेट एक "अच्छे" मॉडल को खराब कर सकता है।
5. यह क्यों महत्वपूर्ण है (एपिस्टेमिक इनजस्टिस - Epistemic Injustice)
लेखक एक भारी शब्द का उपयोग करते हैं: एपिस्टेमिक इनजस्टिस (Epistemic Injustice)। सरल शब्दों में, इसका अर्थ है कि रोबोट कुछ लोगों की आवाजों को गलत तरीके से खारिज कर रहा है।
- यदि एक रोबोट सोचता है कि एक बांग्लादेशी व्यक्ति द्वारा लिखा गया वाक्य "नकारात्मक" है क्योंकि उन्होंने पानी के लिए एक विशिष्ट स्थानीय शब्द का उपयोग किया है, तो रोबोट कह रहा है, "आपका बोलने का तरीका गलत या बुरा है।"
- यह अनुचित है क्योंकि यह एक समूह की भाषा को "मानक" और दूसरे को "अशुद्ध" मानता है, जिससे पुराने सामाजिक विभाजन मजबूत होते हैं।
सारांश
शोध पत्र निष्कर्ष निकालता है कि बंगाली जैसी कम संसाधन वाली भाषाओं में पूर्वाग्रह को ठीक करने के लिए, हम केवल डेटा बनाने वाले लोगों को दोष नहीं दे सकते। हमें संपूर्ण प्रणाली को देखना होगा:
- केवल 'वन-साइज-फिट्स-ऑल' मॉडल का उपयोग न करें: विशेषज्ञ मॉडल (जैसे BanglaBERT) सामान्य मॉडलों की तुलना में स्थानीय संस्कृति को बेहतर ढंग से संभालते हैं।
- कोई भी डेटासेट पूर्ण नहीं है: हर पुस्तकालय में कुछ पूर्वाग्रह होते हैं, इसलिए हमें सावधानी से चुनना होगा कि हम किसे चुनते हैं।
- संयोजन ही कुंजी है: पूर्वाग्रह इस बात से आता है कि मॉडल और डेटा आपस में कैसे मिलते हैं, न कि केवल एक या दूसरे से।
शोधकर्ता अधिक "ऑडिट" (जाँच और संतुलन) का आह्वान कर रहे हैं ताकि यह सुनिश्चित किया जा सके कि ये डिजिटल उपकरण अनजाने में उन समुदायों को नुकसान न पहुँचाएँ जिनकी वे सेवा करने के लिए बनाए गए हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।