Vision-Language Models Suppress Female Representations Under Ambiguous Input
यह शोध पत्र यह प्रकट करता है कि जहाँ विजन-लैंग्वेज मॉडल अक्सर अस्पष्ट छवियों के लिए आंतरिक रूप से महिला संघों को एनकोड करते हैं, वहीं उनके आउटपुट व्यवस्थित रूप से पुरुष निरूपणों की ओर डिफ़ॉल्ट होते हैं क्योंकि एक विषम फ़िल्टरिंग तंत्र जनरेशन के दौरान पुरुष संकेतों को बढ़ाता है और महिला संकेतों को दबा देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: "विनम्र" रोबोट बनाम "पक्षपाती" मस्तिष्क
कल्पना कीजिए कि आपके पास एक बहुत ही विनम्र रोबोट सहायक है जिसे निष्पक्ष रहने और लोगों के बारे में धारणा न बनाने के लिए प्रशिक्षित किया गया है। यदि आप उसे किसी ऐसे व्यक्ति की तस्वीर दिखाते हैं जिसने स्पष्ट रूप से ड्रेस पहनी है, तो वह कहता है, "यह एक महिला है।" यदि व्यक्ति ने स्पष्ट रूप से सूट पहना है, तो वह कहता है, "यह एक पुरुष है।" वह "विनम्रता परीक्षण" को पूरी तरह से पास कर लेता है।
लेकिन यह शोध एक पेचीदा सवाल पूछता है: क्या होता है जब रोबोट व्यक्ति का चेहरा या लिंग स्पष्ट रूप से नहीं देख पाता? (उदाहरण के लिए, पीछे से दिखता हुआ हेलमेट पहने एक निर्माण श्रमिक, या पीछे से दिखती हुई एक नर्स)।
शोधकर्ताओं ने पाया कि जबकि रोबोट का मुँह (उसका अंतिम उत्तर) विनम्र और तटस्थ रहता है, उसका मस्तिष्क (उसकी आंतरिक सोचने की प्रक्रिया) वास्तव में एक बहुत ही विशिष्ट, पक्षपाती अनुमान लगा रहा है: वह मान लेता है कि व्यक्ति एक पुरुष है।
यहाँ तक कि उन नौकरियों के लिए भी जो सांख्यिकीय रूप से ज्यादातर महिलाओं द्वारा की जाती हैं (जैसे बेबीसिटर या फ्लोरिस्ट), यदि रोबोट को अनुमान लगाना पड़ता है, तो वह "पुरुष" का अनुमान लगाता है। डरावनी बात क्या है? रोबोट जानता है कि वह काम आमतौर पर महिलाओं का है, लेकिन वह उस ज्ञान को दरकिनार कर देता है और जबरदस्ती "पुरुष" का उत्तर देता है।
उपकरण: "LALS" (विचारों का एक्स-रे)
हमें पता कैसे चलता है कि रोबोट क्या सोच रहा है यदि वह इसे बोल नहीं रहा है? लेखकों ने LALS (लेटेंट एसोसिएशन लीनिंग स्कोर) नामक एक उपकरण बनाया।
LALS को रोबोट के मस्तिष्क के लिए एक एक्स-रे के रूप में समझें।
- सामान्यतः, हम केवल रोबोट का अंतिम वाक्य (आउटपुट) देखते हैं।
- LALS हमें रोबोट की सोचने की प्रक्रिया के हर चरण में उसके "न्यूरॉन्स" के अंदर झाँकने की अनुमति देता है।
- यह रोबोट के आंतरिक विद्युत संकेतों को शब्दों में अनुवाद करता है, जिससे हमें यह देखने में मदद मिलती है कि क्या किसी विशिष्ट क्षण में, रोबोट "महिला," "पुरुष," या "तटस्थ" के बारे में सोच रहा है।
नौकरियों के तीन प्रकार
जब शोधकर्ताओं ने "चेहरा रहित" छवियों के साथ 15 अलग-अलग नौकरियों का परीक्षण किया, तो उन्हें तीन अलग-अलग पैटर्न मिले:
"सहमत" पुरुष (जैसे अग्निशमन कर्मी):
- मस्तिष्क के अंदर: रोबोट सोचता है "पुरुष।"
- उत्तर: वह कहता है "पुरुष।"
- निष्कर्ष: यहाँ कोई आश्चर्य नहीं है। पक्षपात सुसंगत है।
"सहमत" महिलाएँ (जैसे मेकअप आर्टिस्ट):
- मस्तिष्क के अंदर: रोबोट सोचता है "महिला।"
- उत्तर: वह कहता है "महिला।"
- निष्कर्ष: यह भी सुसंगत है।
"विचलन" क्षेत्र (जैसे फ्लोरिस्ट, नर्स, बेबीसिटर):
- मस्तिष्क के अंदर: रोबोट वास्तव में "महिला" सोचता है। (वह सही ढंग से काम को महिलाओं के साथ जोड़ता है)।
- उत्तर: वह "पुरुष" कहता है।
- निष्कर्ष: यही छिपा हुआ पक्षपात है। रोबोट का आंतरिक विचार "महिला" कहता है, लेकिन उसके अंतिम चरण में कुछ ऐसा है जो स्विच को बदलकर "पुरुष" करने के लिए मजबूर करता है।
"एसिमेट्रिक फ़िल्टर": एक एकतरफा रास्ता
शोधकर्ताओं ने पता लगाया कि यह बदलाव क्यों होता है। उन्होंने रोबोट के विचारों को परत दर परत (एक गगनचुंबी इमारत के फर्श की जाँच करने की तरह) ट्रैक किया।
- पुरुष संकेत: कल्पना कीजिए कि एक ज़ोरदार, ऊँची आवाज़ "पुरुष!" चिल्ला रही है। यह आवाज़ नीचे के तल से शुरू होती है और जैसे-जैसे ऊपर जाती है, यह तेज़ होती जाती है। जब तक यह ऊपर के तल (जहाँ उत्तर बोला जाता है) तक पहुँचती है, यह बहुत शक्तिशाली होती है।
- महिला संकेत: कल्पना कीजिए कि एक अलग आवाज़ "महिला!" चिल्ला रही है। यह आवाज़ मज़बूत शुरू होती है, इमारत के बीच में और भी तेज़ होती है, लेकिन फिर ऊपर के फर्श पर एक ध्वनिरोधी दीवार से टकराती है। जब तक यह ऊपर पहुँचती है, इस आवाज़ को शांत कर दिया जाता है या फुसफुसाहट में बदल दिया जाता है।
रोबोट के पास एक एसिमेट्रिक फ़िल्टर है। यह "पुरुष" के विचार को पूरा गुजरने देता है, लेकिन बोलने से ठीक पहले "महिला" के विचार को सक्रिय रूप से दबा देता है।
"गुलाबी बनाम नीला" सुराग
यह साबित करने के लिए कि रोबोट वास्तव में तस्वीर को देख रहा है या केवल अंदाज़ा नहीं लगा रहा है, शोधकर्ताओं ने रंगों के साथ एक प्रयोग किया।
- उन्होंने नीले रंग के स्क्रब में एक नर्स की तस्वीर दिखाई। रोबोट का आंतरिक "पुरुष" संकेत मजबूत था।
- उन्होंने बिल्कुल वही तस्वीर दिखाई लेकिन स्क्रब को गुलाबी रंग में बदल दिया।
- परिणाम: रोबोट का आंतरिक "पुरुष" संकेत काफी कम हो गया, और "महिला" का संकेत मजबूत हो गया।
यह साबित करता है कि रोबोट केवल अंधाधुंध हर चीज़ के लिए "पुरुष" का अनुमान नहीं लगा रहा है। यह सांस्कृतिक संकेतों पर प्रतिक्रिया दे रहा है। इसने सीखा है कि हमारी दुनिया में, गुलाबी अक्सर "महिला" को दर्शाता है और नीला अक्सर "पुरुष" को दर्शाता है। जब दृश्य संकेत (गुलाबी) मजबूत होता है, तो रोबोट का आंतरिक पक्षपात बदल जाता है। लेकिन बिना इस मजबूत संकेत के, यह "पुरुष" पर ही लौट आता है।
मूल कारण: यह केवल "प्रशिक्षण" नहीं है
शोधकर्ताओं ने जाँच की कि क्या यह पक्षपात रोबोट को सुरक्षित (इसे 'अलाइनमेंट' कहा जाता है) होने के लिए सिखाया गया था। उन्होंने विनम्र होने के लिए सिखाए जाने से पहले और बाद के रोबोट की तुलना की।
- निष्कर्ष: पक्षपात विनम्र होने के प्रशिक्षण से पहले ही मौजूद था।
- निष्कर्ष: "विनम्र प्रशिक्षण" ने पक्षपात को ठीक नहीं किया; इसने केवल रोबोट को इसे छिपाना सिखा दिया। रोबोट ने सुरक्षित रहने के लिए "मुझे नहीं पता" या "पुरुष" कहना सीख लिया, लेकिन उसका आंतरिक मस्तिष्क अभी भी पुराने, पक्षपाती जुड़ावों को रखता है।
सारांश
यह शोध प्रकट करता है कि विज़न-लैंग्वेज मॉडल्स का एक छिपा हुआ दोहरा जीवन होता है।
- सार्वजनिक रूप से: वे तटस्थ और सावधान होते हैं।
- निजी तौर पर: जब वे स्पष्ट रूप से नहीं देख पाते, तो वे यह मान लेते हैं कि लोग पुरुष हैं, भले ही उनका अपना आंतरिक तर्क यह सुझाव दे कि व्यक्ति एक महिला है।
"पुरुष डिफ़ॉल्ट" कोई तकनीकी खराबी नहीं है; यह रोबोट के मस्तिष्क में गहराई से बसी एक आदत है जो तब भी बनी रहती है जब रोबोट को निष्पक्ष होने के लिए कहा जाता है। रोबोट सच जानता है (कि व्यक्ति एक महिला हो सकती है), लेकिन वह बोलने से पहले उस सच को फ़िल्टर कर देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।