It's How You Ask: Gender-Associated Linguistic Bias in LLMs
यह शोध पत्र यह प्रदर्शित करता है कि बड़े भाषा मॉडल (large language models) उन प्रॉम्प्ट्स के प्रति जो महिलाओं से जुड़े सामान्य भाषाई लक्षणों वाले होते हैं, व्यवस्थित रूप से छोटे, कम परिष्कृत और कम औपचारिक उत्तर उत्पन्न करते हैं, जो शुरुआती ट्रांसफार्मर परतों (early transformer layers) में निहित एक गहरे पूर्वाग्रह को प्रकट करता है जिसे उपयोगकर्ता की आत्म-प्रस्तुति के माध्यम से कम करना कठिन है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, अदृश्य पुस्तकालय में प्रवेश कर रहे हैं जहाँ किताबें एक सुपर-स्मार्ट रोबोट द्वारा लिखी गई हैं जिसने इंटरनेट पर टाइप की गई लगभग हर चीज़ को पढ़ लिया है। यह रोबोट एक लार्ज लैंग्वेज मॉडल (LLM) है, और यह ईमेल, नौकरी के आवेदनों और अन्य महत्वपूर्ण नोट्स लिखने के लिए हमारा नया सबसे अच्छा दोस्त बनता जा रहा है। लेकिन इसमें एक पेच है: एक इंसान की तरह, इस रोबट ने मानव भाषा की अव्यवस्थित और जटिल दुनिया से सीखा है, जो सूक्ष्म आदतों और अनकहे नियमों से भरी हुई है। उन नियमों में से एक यह है कि पुरुष और महिलाएँ अक्सर अलग-अलग तरीकों से बोलते और लिखते हैं, इसलिए नहीं कि वे अलग होने की कोशिश कर रहे हैं, बल्कि इसलिए कि उन्हें कैसे पाला गया और वे किस संस्कृति में रहते हैं। उदाहरण के लिए, महिलाएँ "शायद" या "मुझे लगता है" जैसे अधिक "कोमल" (softening) शब्दों का उपयोग कर सकती हैं, वाक्यों के अंत में "है न?" जैसे अधिक प्रश्न पूछ सकती हैं, या "मैं" के बजाय "हम" कह सकती हैं। बड़ा सवाल यह है कि क्या यह रोबोट हमारे इन सूक्ष्म, अचेतन व्यवहारों के आधार पर हमारे साथ अलग व्यवहार करता है? यदि रोबोट को लगता है कि एक महिला की लेखन शैली "कम गंभीर" लगती है, तो वह उसके लिए एक कमजोर ईमेल लिख सकता है, जो काम के मामले में उसके अवसरों को नुकसान पहुँचा सकता है। यह रोबोट के बुरा होने के बारे में नहीं है; यह इस बारे में है कि क्या रोबोट ने बिना हमें पता चले रूढ़ियों (stereotypes) की नकल करना सीख लिया है।
इस अध्ययन के पीछे के शोधकर्ताओं ने इस सुपर-स्मार्ट रोबोट के साथ "अंतर पहचानो" का खेल खेलने का निर्णय लिया। उन्होंने लोगों द्वारा रोबोट को दिए गए वास्तविक अनुरोधों को लिया—जैसे "मेरे बॉस को एक ईमेल लिखें"—और उन्हें गुप्त रूप से बदल दिया। कुछ अनुरोधों के लिए, उन्होंने महिलाओं से जुड़ी "कोमल" आदतों को जोड़ा (जैसे "शायद" या "आइए यह मिलकर करते हैं" जोड़ना)। अन्य के लिए, उन्होंने अनुरोधों को अधिक प्रत्यक्ष और स्पष्ट बनाया, जो पुरुषों से जुड़ी आदतें हैं। फिर उन्होंने चार अलग-अलग रोबोट मॉडलों को ईमेल वापस लिखने के लिए कहा।
परिणाम आश्चर्यजनक और थोड़े चिंताजनक थे। जब रोबोटों को "कोमल," अधिक सहयोगात्मक अनुरोध प्राप्त हुए, तो उन्होंने बदले में छोटे, सरल और कम औपचारिक जवाब लिखे। ऐसा लग रहा था जैसे रोबोट ने "शायद" सुना और सोचा, "ओह, यह व्यक्ति सुनिश्चित नहीं है, इसलिए मैं बस एक त्वरित, आसान उत्तर दे दूँगा।" लेकिन जब अनुरोध सीधे और मुखर थे, तो रोबोटों ने लंबे, अधिक परिष्कृत और अधिक पेशेवर दिखने वाले ईमेल लिखे। शोधकर्ताओं ने यह सुनिश्चित करने के लिए जाँच की कि रोबोट केवल अनुरोध की शैली की नकल तो नहीं कर रहा है (जैसे शब्दों को दोहराने वाला तोता), और उन्होंने पाया कि रोबोट वास्तव में इन सूक्ष्म भाषाई संकेतों के आधार पर अपने उत्तरों की गुणवत्ता को बदल रहा था।
यहाँ वास्तव में पेचीदा हिस्सा है: शोधकर्ताओं ने यह भी परीक्षण किया कि क्या रोबोट स्पष्ट लैंगिक संकेतों (explicit gender clues) की परवाह करता है, जैसे अनुरोध के अंत में किसी पुरुष का नाम या महिला का नाम रखना। उन्होंने पाया कि नामों से बहुत अधिक फर्क नहीं पड़ा। रोबोट को इससे कोई फर्क नहीं पड़ा कि ईमेल "जॉन" या "जेन" के नाम से हस्ताक्षरित है। उसे केवल शब्दों के जुड़ने के तरीके से फर्क पड़ा। यह ऐसा है जैसे रोबोट के पास एक छिपा हुआ स्विच है जो नाम के टैग के बजाय भाषा के "वाइब" (vibe) के आधार पर चालू हो जाता है।
यह पता लगाने के लिए कि रोबोट यह कैसे कर रहा है, वैज्ञानिकों ने रोबोट के मस्तिष्क (इसके कंप्यूटर कोड) के अंदर झाँका। उन्होंने पाया कि रोबोट इन "कोमल" भाषा की आदतों को अपने प्रसंस्करण (processing) के शुरुआती कुछ स्तरों में, लगभग तुरंत ही पहचान लेता है। हालाँकि, रोबोट निर्णय लेने के लिए नाम का उपयोग नहीं कर रहा था। यह सुझाव देता है कि रोबोट ने लिंग का अनुमान लगाने के लिए भाषा की शैली को एक शॉर्टकट के रूप में उपयोग करना सीख लिया है, और फिर वह दिए गए उत्तर पर एक रूढ़ि लागू करता है।
अध्ययन बताता है कि इसे ठीक करना एक कठिन समस्या है। क्योंकि ये भाषा की आदतें अक्सर अचेतन होती हैं—लोग यह महसूस नहीं करते हैं कि वे हर समय "शायद" या "हम" का उपयोग कर रहे हैं—इसलिए उपयोगकर्ता बेहतर उत्तर पाने के लिए अधिक प्रत्यक्ष दिखने की "अधिक कोशिश" नहीं कर सकते। यह लोगों को एक बेहतर उत्तर पाने के लिए स्वाभाविक रूप से बोलने के तरीके को बदलने के लिए कहना अनुचित होगा। शोधकर्ता निष्कर्ष निकालते हैं कि हमें सावधानी बरतने की आवश्यकता है कि इन उपकरणों को कैसे बनाया जाता है, क्योंकि अभी, वे अनजाने में उन लोगों के लिए कार्यस्थल संचार को कठिन बना सकते हैं जो अधिक सहयोगात्मक या "कोमल" शैली का उपयोग करते हैं, भले ही वह शैली पूरी तरह से सामान्य और पेशेवर हो। रोबोट जानबूझकर बुरा नहीं बन रहा है, लेकिन वह उस तरह से पक्षपाती है जिस तरह से उसने सुनना सीखा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।