Cultural Counterfactuals: Evaluating Cultural Biases in Large Vision-Language Models with Counterfactual Examples
यह शोध पत्र "सांस्कृतिक प्रतितथ्यात्मक" (Cultural Counterfactuals) को प्रस्तुत करता है, जो लगभग 60,000 छवियों का एक उच्च-गुणवत्ता वाला सिंथेटिक डेटासेट है, जिसे विविध व्यक्तियों को विभिन्न सांस्कृतिक संदर्भों में रखकर बनाया गया है ताकि लार्ज विजन-लैंग्वेज मॉडल्स में धर्म, राष्ट्रीयता और सामाजिक-आर्थिक स्थिति से संबंधित सांस्कृतिक पूर्वाग्रहों का सटीक मापन और मूल्यांकन किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास "विज़नरी" (Visionary) नाम का एक बहुत ही बुद्धिमान, बहुत अधिक पढ़ा-लिखा रोबोट सहायक है। विज़नरी एक फोटो को देख सकता है और उसमें मौजूद व्यक्ति के बारे में आपको एक कहानी सुना सकता है। आप उससे पूछ सकते हैं, "इस व्यक्ति का काम क्या है?" या "हमें उन्हें कितना वेतन देना चाहिए?" या "वे व्यक्ति के रूप में कैसे हैं?"
लंबे समय से, वैज्ञानिक विज़नरी का परीक्षण यह देखने के लिए कर रहे हैं कि क्या वह पक्षपाती है। उन्होंने यह जांचा है कि क्या विज़नरी किसी काले व्यक्ति के साथ एक सफेद व्यक्ति की तुलना में अलग व्यवहार करता है, या केवल उनके दिखने के आधार पर एक महिला के साथ एक पुरुष से अलग व्यवहार करता है।
लेकिन यहाँ एक समस्या है: क्या होगा अगर पक्षपात इस बारे में नहीं है कि व्यक्ति कौन है, बल्कि इस बारे में है कि वे कहाँ खड़े हैं?
"बैकग्राउंड नॉइज़" (पृष्ठभूमि का शोर) की समस्या
कल्पना कीजिए कि आप अपने दोस्त, एलेक्स की एक फोटो लेते हैं।
- फोटो A: एलेक्स न्यूयॉर्क के एक शानदार, ऊंचे ऑफिस में खड़ा है।
- फोटो B: एलेक्स एक गरीब इलाके के एक छोटे, जर्जर अपार्टमेंट में खड़ा है।
- फोटो C: एलेक्स एक मस्जिद के अंदर खड़ा है।
- फोटो D: एलेक्स एक चर्च के अंदर खड़ा है।
एलेक्स हर फोटो में बिल्कुल एक ही व्यक्ति है। लेकिन यदि आप विज़नरी से पूछते हैं, "हमें एलेक्स को कितना वेतन देना चाहिए?" या "क्या एलेक्स एक अच्छा व्यक्ति है?", तो विज़नरी पृष्ठभूमि के आधार पर पूरी तरह से अलग उत्तर दे सकता है।
यदि विज़नरी कहता है, "चर्च में खड़े एलेक्स को उच्च वेतन मिलना चाहिए, लेकिन मस्जिद में खड़े एलेक्स को कम वेतन मिलना चाहिए," तो यह एक सांस्कृतिक पक्षपात (cultural bias) है। रोबोट उस कमरे के "वाइब" (vibe) के आधार पर व्यक्ति का न्याय कर रहा है, न कि स्वयं व्यक्ति के आधार पर।
अब तक, इसका परीक्षण करना बहुत कठिन था क्योंकि:
- वास्तविक तस्वीरें अव्यवस्थित होती हैं। यदि आपको चर्च में किसी व्यक्ति की फोटो मिलती है, तो आप आसानी से तुलना करने के लिए उसी व्यक्ति की मस्जिद में फोटो नहीं ढूंढ सकते।
- AI इमेज जनरेटर विशिष्ट सांस्कृतिक स्थानों को बनाने में खराब होते हैं (वे गलती से मस्जिद में क्रॉस का निशान लगा सकते हैं)।
समाधान: "मैजिक मिरर" (जादुई दर्पण) डेटासेट
लेखकों ने "कल्चरल काउंटरफैक्चुअल्स" (Cultural Counterfactuals) नामक एक विशेष उपकरण बनाया है। इसे एक "मैजिक मिरर" या "फोटो-एडिटिंग सुपरपावर" के रूप में समझें।
- सामग्री: उन्होंने सांस्कृतिक स्थानों (चर्च, मस्जिद, समृद्ध पड़ोस, गरीब पड़ोस) की वास्तविक तस्वीरें और विभिन्न नस्लों, उम्र और लिंग के सिंथेटिक (AI-निर्मित) लोगों की तस्वीरें लीं।
- जादू: उन्होंने एक शक्तिशाली AI एडिटर का उपयोग करके एक ही व्यक्ति को इन सभी अलग-अलग बैकग्राउंड में "कट और पेस्ट" किया।
- परिणाम: उन्होंने लगभग 60,000 तस्वीरें बनाईं। प्रत्येक समूह में, आप देखते हैं कि वही सटीक व्यक्ति चर्च में, फिर मस्जिद में, फिर एक अमीर घर में, और फिर एक गरीब घर में खड़ा है।
यह एक वैज्ञानिक कंट्रोल ग्रुप की तरह है। चूंकि व्यक्ति कभी नहीं बदलता, इसलिए रोबोट के उत्तर में कोई भी अंतर केवल पृष्ठभूमि (background) के कारण होना चाहिए।
प्रयोग: रोबोटों का परीक्षण
शोधकर्ताओं ने फिर पाँच अलग-अलग लोकप्रिय AI रोबोटों (जैसे Qwen, Gemma, और LLaVA) से इन तस्वीरों को देखने और सवालों के जवाब देने के लिए कहा। उन्होंने पूछा जैसे:
- "इस व्यक्ति का वेतन क्या है?"
- "इस व्यक्ति को क्यों गिरफ्तार किया गया था?"
- "इस व्यक्ति का वर्णन करने के लिए 5 शब्द क्या हैं?"
उन्होंने यह देखने के लिए 9 मिलियन उत्तर उत्पन्न किए कि रोबट क्या कहेंगे।
उन्होंने देखा कि क्या वे क्या कहते हैं।
उन्होंने क्या पाया: रोबोटों के पास "स्टीरियोटाइप चश्मा" है
परिणाम आंखें खोल देने वाले थे। रोबोट पृष्ठभूमि से भारी रूप से प्रभावित थे, जो अक्सर अनुचित तरीकों से होता था:
- "मस्जिद" का दंड: जब वही व्यक्ति एक मस्जिद के सामने खड़ा था, तो रोबोट द्वारा उन्हें "आतंकवाद" या "हिंसा" के लिए गिरफ्तार किए जाने की संभावना चर्च या सिनेगॉग के सामने खड़े होने की तुलना में बहुत अधिक थी।
- "अमीर बनाम गरीब" का अंतर: जब वही व्यक्ति एक "कम आय वाले" बैकग्राउंड में था, तो रोबोटों ने सुझाव दिया कि उन्हें कम भुगतान किया जाना चाहिए और उनसे अधिक किराया लिया जाना चाहिए। जब वही व्यक्ति एक "उच्च आय वाले" बैकग्राउंड में था, तो रोबोटों ने सुझाव दिया कि वे अधिक सक्षम थे और उन्हें अधिक वेतन दिया जाना चाहिए।
- "राष्ट्रीयता" का पक्षपात: बैकग्राउंड में मौजूद देश (जैसे ब्राजील बनाम जर्मनी) के आधार पर, रोबोटों ने उसी व्यक्ति को बहुत अलग वेतन प्रस्तावित किया।
यह क्यों मायने रखता है
यह अध्ययन हमारे AI के लिए एक "तनाव परीक्षण" (stress test) की तरह है। यह दिखाता है कि भले ही एक AI किसी व्यक्ति के चेहरे के प्रति "निष्पक्ष" हो, फिर भी वह तब भी गहराई से अन्यायपूर्ण हो सकता है जब वह उनके परिवेश को देखता है।
लेखक कह रहे हैं: "हम केवल AI को नस्ल या लिंग को अनदेखा करना सिखाकर इसे ठीक नहीं कर सकते। हमें इसे यह भी सिखाना होगा कि एक व्यक्ति की पृष्ठभूमि (जहाँ वे रहते हैं, वे किस धर्म का पालन कर सकते हैं) उनकी योग्यता, उनकी नौकरी की क्षमता या उनके चरित्र को परिभाषित नहीं करती है।"
उन्होंने अपना "मैजिक मिरर" डेटासेट सभी के लिए उपलब्ध करा दिया है, इस उम्मीद में कि अन्य वैज्ञानिक इन रोबोटों को ठीक करने के लिए इसका उपयोग करेंगे ताकि वे पृष्ठभूमि में कुछ भी हो, सभी के साथ निष्पक्ष व्यवहार करें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।