When Cars Have Stereotypes: Auditing Demographic Bias in Objects from Text-to-Image Models
यह शोध पत्र SODA को प्रस्तुत करता है, जो टेक्स्ट-टू-इमेज मॉडल्स के ऑब्जेक्ट जनरेशन में जनसांख्यिकीय पूर्वाग्रह (demographic bias) के ऑडिटिंग के लिए एक नया फ्रेमवर्क है, जो यह प्रकट करता है कि तटस्थ प्रॉम्प्ट (neutral prompts) स्पष्ट रूप से मध्यम आयु वर्ग के श्वेत जनसांख्यिकी का पक्ष लेते हैं जबकि जनसांख्यिकीय संकेत (demographic cues) अत्यधिक रूढ़िवादिता को ट्रिगर करते हैं और वर्तमान डिबायसिंग तकनीकें अक्सर केवल एक रूढ़िवादिता को दूसरी से बदल देती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक जादुई आर्ट मशीन है जो आपके द्वारा वर्णित किसी भी चीज़ को बना सकती है। यदि आप कहते हैं, "एक कार बनाओ," तो यह एक कार बना देती है। यदि आप कहते हैं, "एक महिला के लिए कार बनाओ," तो यह एक अलग कार बनाती है।
यह शोध पत्र, जिसका शीर्षक "जब कारों में रूढ़ियाँ होती हैं" (When Cars Have Stereotypes) है, इस बात की जांच करता है कि जब हम इन एआई आर्ट मशीनों से विशिष्ट समूहों के लोगों (आयु, लिंग या जातीयता के आधार पर) के लिए रोजमर्रा की वस्तुओं (जैसे कार, लैपटॉप या टेडी बियर) को चित्रित करने के लिए कहते हैं, तो क्या होता है। शोधकर्ताओं ने पाया कि ये मशीनें केवल वस्तुएं नहीं बना रही हैं; वे गुप्त रूप से गहरे-जड़ जमा चुके रूढ़िवादी विचारों (stereotypes) को चित्रित कर रही हैं।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. समस्या: "डिफ़ॉल्ट" सेटिंग पक्षपाती है
शोधकर्ताओं ने पाया कि यहाँ तक कि जब आप एक "तटस्थ" (neutral) वस्तु के लिए पूछते हैं (जैसे सिर्फ "एक कार"), तो एआई एक सामान्य कार नहीं बनाता है। इसके बजाय, यह एक ऐसी कार बनाने के लिए डिफ़ॉल्ट सेट हो जाता है जो एक मध्य आयु वर्ग के श्वेत पुरुष की लगती है।
- उपमा: कल्पना कीजिए कि एक रेस्टोरेंट दावा करता है कि वह "मानक सूप" परोसता है। लेकिन यदि आप इसे चखते हैं, तो इसका स्वाद हमेशा आपके पड़ोसी की पसंदीदा रेसिपी जैसा ही होता है। एआई सोचता है कि "मानक" मानव मध्य आयु वर्ग का और श्वेत है, इसलिए जब तक आप उसे अन्यथा न बताएं, वह सब कुछ उसी छवि के अनुरूप चित्रित करता है।
2. उपकरण: SODA (एक "बायस डिटेक्टर")
इसे मापने के लिए, लेखकों ने SODA (Stereotyped Object Diagnostic Audit) नामक एक नया टूल बनाया। SODA को एआई आर्ट के लिए एक "गुणवत्ता नियंत्रण निरीक्षक" (quality control inspector) के रूप में समझें।
चित्रों को केवल देखने के बजाय, SODA एक "स्मार्ट कैमरा" (एक विज़न-लैंग्वेज मॉडल) का उपयोग करता है जो हर एक विवरण पर नोट्स लेता है:
- कार का रंग क्या है?
- लैपटॉप रोज़ गोल्ड है या चारकोल ग्रे?
- क्या टेडी बियर ने बो टाई पहनी है?
इसके बाद SODA यह देखने के लिए तीन विशिष्ट परीक्षण (metrics) चलाता है कि क्या एआई निष्पक्ष है:
- "ड्रिफ्ट" टेस्ट (BDS): क्या जनसांख्यिकीय शब्द (जैसे "महिलाओं के लिए") जोड़ने पर चित्र 'न्यूट्रल' वाले चित्र की तुलना में बदल जाता है?
- "गैप" टेस्ट (CDS): समूह A और समूह B के लिए चित्र कितने अलग हैं? (उदाहरण के लिए: क्या पुरुषों को ब्लैक सेडान और महिलाओं को पिंक कॉम्पैक्ट कार मिलती है?)
- "रिपीटेशन" टेस्ट (VAC): क्या एआई एक लूप में फंस जाता है? (उदाहरण के लिए: यदि आप महिलाओं के लिए 20 लैपटॉप मांगते हैं, तो क्या यह 20 बार बिल्कुल एक ही रोज़ गोल्ड लैपटॉप बनाता है?)
3. निष्कर्ष: एआई एक "रूढ़िवादिता मशीन" (Stereotype Machine) है
जब उन्होंने 5 शीर्ष-स्तरीय एआई मॉडलों में 8,000 छवियों पर SODA चलाया, तो परिणाम चौंकाने वाले थे:
- "पिंक कार" प्रभाव: जब प्रॉम्प्ट "महिलाओं के लिए कार" दिया गया, तो एआई लगभग हमेशा गुलाबी या कॉम्पैक्ट कारें बनाता था। जब "पुरुषों के लिए कार" का प्रॉम्प्ट दिया गया, तो उसने ब्लैक सेडान बनाईं। यह केवल एक मामूली पसंद नहीं थी; यह एक कठोर नियम था।
- "20-फॉर-1" लूप: लगभग 26.6% मामलों में, एआई इतना रूढ़िवादी था कि यदि आप 20 चित्र मांगते थे, तो वह बिल्कुल एक ही चित्र 20 बार बनाता था।
- उदाहरण: महिलाओं के लिए बनाया गया हर एक लैपटॉप रोज़ गोल्ड था। ब्लैक लोगों के लिए बनाया गया हर एक टेडी बियर चॉकलेट ब्राउन था।
- "फेस-स्टैम्प" ग्लिच: कुछ मॉडल अजीब तरह से शाब्दिक हो गए।
- एक मॉडल (Qwen) एक कप पर बुजुर्ग व्यक्ति का चेहरा प्रिंट कर देता था।
- दूसरा मॉडल (GPT) एक कप पर "Black is Beautiful" या एक घड़ी पर "Latinx Time" लिख देता था।
- तीसरा मॉडल (Imagen/Flux) भ्रमित हो गया और उसने सोचा कि "महिलाओं के लिए कप" का अर्थ पीने वाला कप नहीं बल्कि मेन्स्ट्रुअल कप (menstrual cup) है।
4. विरोधाभास: इसे ठीक करने की कोशिश करना इसे और खराब कर देता है
शोधकर्ताओं ने एक सामान्य समाधान आज़माया: उन्होंने एआई को कहा, "कृपया रूढ़ियों से बचें और विभिन्न शैलियों की एक विस्तृत विविधता दिखाएं।"
- अच्छी खबर: एआई ने अलग-अलग समूहों के लिए इतने अलग चित्र बनाना बंद कर दिया। पुरुषों और महिलाओं के बीच का "गैप" कम हो गया।
- बुरी खबर (होमोजेनाइजेशन प्रभाव - Homogenization Effect): एआई विविध नहीं हुआ; वह बस उबाऊ रूप से एकसमान (uniform) हो गया।
- उपमा: कल्पना कीजिए कि एक डीजे है जो आमतौर पर पुरुषों के लिए हेवी मेटल और महिलाओं के लिए कंट्री संगीत बजाता है। आप डीजे को कहते हैं, "रूढ़ियाँ मत बजाओ।" पुरुषों और महिलाओं के लिए जैज़, रॉक और पॉप का मिश्रण बजाने के बजाय, डीजे सभी के लिए एक ही सुरक्षित, जेनेरिक पॉप गाना 20 बार बजाने का निर्णय लेता है।
- एआई ने समूहों के बीच के अंतर को कम कर दिया, लेकिन उसने समूह के भीतर की विविधता को खत्म कर दिया। उसने एक कठोर रूढ़ि को दूसरी "सुरक्षित" रूढ़ि से बदल दिया।
5. निष्कर्ष
यह शोध पत्र निष्कर्ष निकालता है कि वर्तमान एआई मॉडल ने वस्तुओं को विशिष्ट जनसांख्यिकी के साथ बहुत कठोर तरीके से जोड़ना सीख लिया है।
- न्यूट्रल प्रॉम्प्ट न्यूट्रल नहीं हैं; वे मध्य आयु वर्ग के श्वेत पुरुषों का पक्ष लेते हैं।
- विशिष्ट प्रॉम्प्ट अत्यधिक, दोहराव वाली रूढ़ियों को सक्रिय करते हैं।
- सरल टेक्स्ट फिक्स (जैसे एआई को "विविधता दिखाने" के लिए कहना) अक्सर वास्तविक विविधता बनाने के बजाय एक नई, समान रूप से उबाऊ 'डिफ़ॉल्ट' स्थिति पर केंद्रित हो जाते हैं।
लेखक तर्क देते हैं कि हमें इन छिपे हुए पूर्वाग्रहों को मापने के लिए SODA जैसे उपकरणों की आवश्यकता है ताकि हम ऐसा एआई बना सकें जो केवल एक रूढ़ि को दूसरी से बदलने के बजाय, वास्तव में विकल्पों की वास्तविक विविधता प्रदान करे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।