Measuring Social Bias in Vision-Language Models with Face-Only Counterfactuals from Real Photos
यह शोध पत्र एक फेस-ओनली काउंटरफैक्चुअल इवैल्यूएशन पैराडाइम और उसके अनुरूप FOCUS डेटासेट और REFLECT बेंचमार्क प्रस्तुत करता है ताकि वास्तविक दुनिया की छवियों में विजुअल कन्फाउंडर्स से जनसांख्यिकीय प्रभावों को अलग करके विजन-लैंग्वेज मॉडल्स में सामाजिक पूर्वाग्रह को कड़ाई से मापा जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप अपनी कंपनी के लिए एक नया मैनेजर रख रहे हैं। आपके पास दो उम्मीदवार हैं, एलिस (Alice) और बॉब (Bob)। दोनों का बायोडाटा बिल्कुल एक जैसा है, उनका कार्य इतिहास भी बिल्कुल समान है, और उन्होंने बिल्कुल एक जैसी ही सूट पहनी हुई है। एकमात्र अंतर यह है कि एलिस का चेहरा एक विशिष्ट एशियाई महिला जैसा दिखता है, और बॉब का चेहरा एक विशिष्ट अश्वेत पुरुष जैसा दिखता है।
यदि आप एक AI से अनुमान लगाने को कहें कि कौन अधिक पैसा कमाता है, किसकी शिक्षा उच्च है, या आप किससे रास्ता पूछने में अधिक सुरक्षित महसूस करेंगे, तो वह क्या कहेगा?
यह एक नए शोध पत्र का मूल प्रश्न है जिसे REFLECT कहा जाता है। शोधकर्ता यह पता लगाना चाहते थे कि क्या आधुनिक AI की "आंखें और दिमाग" (विज़न-लैंग्वेज मॉडल्स) केवल चेहरे की विशेषताओं के आधार पर कुछ लोगों के प्रति गुप्त रूप से पक्षपाती हैं, भले ही बाकी सब कुछ बिल्कुल समान हो।
यहाँ बताया गया है कि उन्होंने यह कैसे किया, सरल भाषा में।
समस्या: वास्तविक तस्वीरों का "अव्यवस्थित कमरा"
पहले, शोधकर्ता इंटरनेट से ली गई वास्तविक तस्वीरों को दिखाकर AI के पक्षपात का परीक्षण करने की कोशिश करते थे। लेकिन वास्तविक जीवन अव्यवसा है।
- उपमा: कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि क्या एक पौधा धूप में बेहतर बढ़ता है या छाया में। लेकिन आपके प्रयोग में, "धूप" वाला पौधा उपजाऊ मिट्टी वाले गमले में है, जबकि "छाया" वाला पौधा सूखी मिट्टी वाले गमले में है। आप यह नहीं बता सकते कि पौधा धूप के कारण बढ़ा या मिट्टी के कारण।
- वास्तविकता: वास्तविक तस्वीरों में, किसी व्यक्ति की जाति या लिंग अक्सर उनके बैकग्राउंड, कपड़ों, उनकी नौकरी के पद और लाइटिंग (प्रकाश व्यवस्था) के साथ मिला हुआ होता है। यदि कोई AI कहता है, "यह अश्वेत व्यक्ति एक CEO जैसा दिखता है," तो क्या यह उसके चेहरे के कारण है, या इसलिए क्योंकि उसने एक आलीशान कार्यालय में सूट पहना हुआ है? यह बताना कठिन है। इसे विजुअल कॉन्फाउंडिंग (Visual Confounding) कहा जाता है।
समाधान: "जादुई दर्पण" (FOCUS)
इसे ठीक करने के लिए, शोधकर्ताओं ने FOCUS नामक एक विशेष डेटासेट बनाया।
- उपमा: एक जादुability दर्पण की कल्पना करें। आप उस दर्पण के सामने एक व्यक्ति की फोटो रखते हैं। दर्पण बैकग्राउंड, कपड़े, मुद्रा (pose) और लाइटिंग को बिल्कुल वैसा ही रखता है। लेकिन, जादू की एक छड़ी घुमाते ही, वह केवल व्यक्ति के चेहरे को बदलकर किसी दूसरी जाति या लिंग का बना देता है।
- उन्होंने यह कैसे किया: उन्होंने छह अलग-अलग पेशों (जैसे डॉक्टर, वकील और CEO) के लोगों की वास्तविक तस्वीरें लीं। फिर, उन्होंने AI एडिटिंग टूल्स का उपयोग करके प्रत्येक फोटो के 10 अलग-अलग संस्करण बनाए: श्वेत पुरुष, श्वेत महिला, अश्वेत पुरुष, अश्वेत महिला, एशियाई पुरुष, आदि।
- परिणाम: अब उनके पास 480 ऐसी तस्वीरें थीं जहाँ केवल चेहरा बदला गया था। "मिट्टी" (बैकग्राउंड/कपड़े) बिल्कुल समान था; केवल "पौधा" (चेहरा) बदला गया था।
परीक्षण: AI से पूछने के तीन तरीके
उन्होंने इन तस्वीरों को पाँच सबसे स्मार्ट उपलब्ध AI मॉडल्स (जैसे GPT-5, Gemini और Llama) के सामने रखा और उनसे एक गेम शो की तरह तीन प्रकार के सवाल पूछे:
- "कौन जीतता है?" का खेल (2AFC): उन्होंने दो तस्वीरें अगल-बगल दिखाईं (एक ही काम, अलग चेहरे) और पूछा, "कौन अधिक पैसा कमाता हुआ दिखता है?" या "किससे संपर्क करना अधिक सुरक्षित लगता है?"
- "बहुविकल्पीय" क्विज़ (MCQ): उन्होंने एक फोटो दिखाई और पूछा, "इस व्यक्ति की वेतन सीमा क्या है?" या "उनकी शिक्षा का स्तर क्या है?"
- "वेतन प्रस्ताव" (सिफारिश): उन्होंने AI को एक नकली बायोडाटा और एक फोटो दिया, और पूछा, "हमें इस व्यक्ति को वार्षिक वेतन कितना देना चाहिए?"
निष्कर्ष: AI में अभी भी पूर्वाग्रह हैं
भले ही बैकग्राउंड और कपड़े बिल्कुल समान थे, फिर भी AI ने मजबूत पक्षपात दिखाया।
- श्वेतत्व और पुरुषत्व का "हेलो इफेक्ट" (Halo Effect): लगभग हर टेस्ट में, AI अन्य सभी की तुलना में श्वेत पुरुषों को उच्च वेतन और उच्च शिक्षा स्तर देने की ओर झुका हुआ था।
- "सुरक्षा" का विरोधाभास: जब पूछा गया कि किससे संपर्क करना "सुरक्षित" महसूस होता है, तो AI अक्सर महिलाओं को प्राथमिकता देता था, लेकिन यह प्राथमिकता नस्ल के आधार पर बदल जाती थी।
- काम मायने रखता है: पक्षपात हर जगह एक जैसा नहीं था। उदाहरण के लिए, जब काम "CEO" का था, तो AI ब्लैक महिलाओं के प्रति बहुत कठोर था, लेकिन "नर्स" जैसे कामों के लिए यह पक्षपात कम था।
- AI प्रारूप (Format) से भ्रमित होता है: दिलचस्प बात यह है कि प्रश्न पूछने के तरीके के आधार पर पक्षपात की मात्रा बदल गई। यदि आपने पूछा "कौन अधिक कमाता है?" तो पक्षपात बहुत बड़ा था। यदि आपने पूछा "वेतन क्या है?" तो पक्षपात अलग दिखा। यह साबित करता है कि हम AI का परीक्षण कैसे करते हैं, यह AI के अपने स्वरूप जितना ही महत्वपूर्ण है।
यह क्यों मायने रखता है
शोधकर्ताओं ने पाया कि भले ही आपने सारा "शोर" (कपड़े, बैकग्राउंड, लाइटिंग) हटा दिया हो, फिर भी AI केवल एक चेहरे के आधार पर अनुचित निर्णय लेता है।
- मुख्य बात: यह एक ऐसे हायरिंग मैनेजर की तरह है जो दावा तो करता है कि वह निष्पक्ष है, लेकिन जब आप उसके सामने दो समान उम्मीदवार रखते हैं, तो भी वह उसी को चुनता है जिसका चेहरा "परिचित" हो।
- भविष्य: यह पेपर हमें AI का ऑडिट करने का एक नया, स्वच्छ तरीका देता है। यह अनुमान लगाने के बजाय कि AI पक्षपाती क्यों है, अब हम चेहरे को अलग कर सकते हैं और कह सकते हैं, "हाँ, पक्षपात चेहरे से आ रहा है, बैकग्राउंड से नहीं।" यह डेवलपर्स को भर्ती, ऋण देने और सुरक्षा जैसे कार्यों के लिए अधिक निष्पक्ष सिस्टम बनाने में मदद करता है।
संक्षेप में: शोधकर्ताओं ने यह साबित करने के लिए एक "चेहरा-मात्र" जादुई दर्पण बनाया कि सबसे स्मार्ट AI भी अभी भी पुराने ढर्रे के पूर्वाग्रहों को ढो रहे हैं, और उन्होंने हमें दिखाया कि उन्हें रंगे हाथों कैसे पकड़ा जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।