Exposing Blindspots: Cultural Bias Evaluation in Generative Image Models
यह शोध पत्र टेक्स्ट-टू-इमेज और अल्प-अध्ययन किए गए इमेज-टू-इमेज जनरेटिव मॉडल्स दोनों में सांस्कृतिक पूर्वाग्रह का मूल्यांकन करने के लिए एक एकीकृत, पुनरुत्पादक रूपरेखा प्रस्तुत करता है, जो यह प्रकट करता है कि वर्तमान प्रणालियाँ ग्लोबल-नॉर्थ के रूढ़िवादी चित्रणों को डिफ़ॉल्ट मानती हैं, पुनरावृत्ति संपादन के दौरान सांस्कृतिक निष्ठा को कम करती हैं, और संदर्भ-जागरूक परिवर्तनों के बजाय सतही संकेतों पर निर्भर करती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक जादुई फोटो बूथ है जो आपके द्वारा वर्णित किसी भी चीज़ की तस्वीर बना सकता है, या किसी मौजूदा फोटो को उसकी शैली बदल सकता है। आप सोच सकते हैं, "अगर मैं भारत में एक शादी की तस्वीर माँगता हूँ, तो यह एक भारतीय शादी जैसी दिखेगी।" लेकिन क्या होगा अगर मशीन, गहराई में, यह सोचती है कि सभी शादियाँ अमेरिकी शादियों जैसी होनी चाहिए, या बस एक जेनेरिक मूवी सेट जैसी दिखनी चाहिए?
यह शोध पत्र एक सांस्कृतिक जासूस की कहानी जैसा है। शोधकर्ताओं ने यह देखने के लिए एक परीक्षण बनाया कि क्या ये AI इमेज जनरेटर वास्तव में विभिन्न संस्कृतियों को समझने में अच्छे हैं, या वे केवल एक डिफ़ॉल्ट अमेरिकी शैली को हर किसी पर "कॉपी-पेस्ट" कर रहे हैं।
यहाँ उनके अन्वेषण का सरल उपमाओं का उपयोग करके विवरण दिया गया है:
1. सेटअप: "ग्लोबल मेनू" टेस्ट
शोधकर्ताओं ने केवल AI से एक तस्वीर बनाने के लिए नहीं कहा। उन्होंने एक विशाल, व्यवस्थित मेनू बनाया:
- 6 देश: चीन, भारत, केन्या, कोरिया, नाइजीरिया और अमेरिका।
- 8 श्रेणियाँ: जैसे भोजन, कपड़े, इमारतें, त्यौहार और वन्यजीव।
- 3 समय काल: पारंपरिक (पुराने स्कूल का), आधुनिक (वर्तमान समय), और "कालातीत" (कोई विशिष्ट समय नहीं)।
उन्होंने AI से हर संयोजन के लिए चित्र बनाने के लिए कहा। यह एक ऐसे मेनू से भोजन ऑर्डर करने जैसा है जो पूरी दुनिया को कवर करता है, लेकिन यह जाँचने के लिए कि क्या शेफ वास्तव में कोरियाई BBQ और नाइजीरियाई जोलोफ राइस के बीच अंतर जानता है, या वह बस सबको "अमेरिकी-शैली" का ही परोस रहा है।
2. खोज #1: "अमेरिकन डिफ़ॉल्ट" बटन
खोज: जब शोधकर्ताओं ने AI से बिना किसी देश का उल्लेख किए (सिर्फ "एक शादी" या "एक किसान") तस्वीर बनाने के लिए कहा, तो AI ने लगभग हमेशा इसे ऐसा बनाया जैसे कि यह USA में हो।
- उपमा: कल्पना कीजिए कि एक वैश्विक समाचार एंकर जो, "एक शहर" के बारे में रिपोर्ट करने के लिए पूछे जाने पर, हमेशा न्यूयॉर्क शहर का वर्णन करता है, भले ही आपने उससे टोक्यो या नैरोबी के बारे में पूछा हो। AI के पास एक "डिफ़ॉल्ट सेटिंग" है जो अमेरिकी संस्कृति और आधुनिक शैलियों की ओर भारी रूप से पक्षपाती है। यहाँ तक कि जब उन्होंने "पारंपरिक" चीजों के लिए भी पूछा, तो AI ने अक्सर उन्हें आधुनिक और अमेरिकी जैसा बनाया।
3. खोज #2: एडिटिंग लूप में "टूटा हुआ अनुवादक"
खोज: शोधकर्ताओं ने फिर तस्वीरों को "ठीक" करने की कोशिश की। उन्होंने एक जेनेरिक फोटो ली और AI को बताया, "इसे एक पारंपरिक नाइजीरियाई शादी जैसा दिखाओ।" फिर उन्होंने कहा, "इसे और अधिक पारंपरिक बनाओ," और ऐसा लगातार पाँच बार किया।
- समस्या: AI के "स्वचालित स्कोरकार्ड" (एक कंप्यूटर प्रोग्राम जो यह जाँचता है कि क्या तस्वीर शब्दों से मेल खाती है) ने कहा, "बहुत बढ़िया काम! तस्वीर आपके शब्दों से पूरी तरह मेल खाती है!"
- वास्तविकता: मानव विशेषज्ञों (उन विशिष्ट देशों के लोग) ने तस्वीरों को देखा और कहा, "नहीं, यह बहुत बुरा लग रहा है। यह अपनी संस्कृति खो रहा है।"
- उपमा: यह एक अनुवादक की तरह है जो एक कविता को अंग्रेजी में अनुवाद करने की कोशिश कर रहा है। हर प्रयास के साथ, अनुवादक कुछ शब्द बदल देता है ताकि व्याकरण "परफेक्ट" हो सके, लेकिन पाँचवें प्रयास तक, कविता ने अपनी आत्मा, अर्थ और सुंदरता खो दी है। कंप्यूटर कहता है कि व्याकरण 100% सही है, लेकिन इंसान जानते हैं कि कविता मर चुकी है।
4. खोज #3: "कॉस्मेटिक मेकओवर" बनाम वास्तविक बदलाव
खोज: जब AI ने एक देश से दूसरे देश की फोटो बदलने की कोशिश की, तो उसने अक्सर केवल एक "सतही" मेकओवर किया।
- उपमा: कल्पना कीजिए कि आपके पास एक व्यक्ति की फोटो है जो सूट में है। आप AI से कहते हैं कि उसे एक पारंपरिक केन्याई गाँव में रहने जैसा दिखाएं। उनके कपड़े, पृष्ठभूमि और माहौल को बदलने के बजाय, AI बस:
- पूरी छवि पर एक लाल फ़िल्टर लगा देता है (एक सस्ते इंस्टाग्राम फ़िल्टर की तरह)।
- शर्ट पर एक जेनेरिक "अफ्रीकी" पैटर्न जोड़ देता है।
- व्यक्ति के चेहरे और पृष्ठभूमि को बिल्कुल वैसा ही छोड़ देता है।
- परिणाम: यह एक वास्तविक सांस्कृतिक बदलाव के बजाय एक "कॉस्ट्यूम" जैसा दिखता है। साथ ही, गैर-अमेरिकी लोगों की तस्वीरें बदलते समय, AI अक्सर उनकी मूल त्वचा की रंगत या विशेषताओं को बरकरार रखता है, जिससे वह व्यक्ति को नई संस्कृति के अनुकूल बनाने में विफल रहता है।
5. "जादुई दर्पण" जो झूठ बोलता है
पेपर इस डरावनी समस्या पर प्रकाश डालता है: AI की गुणवत्ता को मापने वाले उपकरण हमें झूठ बोल रहे हैं।
- वर्तमान कंप्यूटर प्रोग्राम (मेट्रिक्स) सोचते हैं कि AI बेहतर हो रहा है क्योंकि छवि "साफ" दिखती है या टेक्स्ट से अधिक मेल खाती है।
- लेकिन मानव विशेषज्ञ जानते हैं कि AI वास्तव में संस्कृति के वास्तविक सार और विवरण को पकड़ने में बदतर होता जा रहा है।
- उपमा: यह एक कार मैकेनिक की तरह है जो आपसे कहता है, "आपका इंजन ठीक चल रहा है क्योंकि स्पीडोमीटर 60mph दिखा रहा है!" लेकिन कार वास्तव में एक खाई की ओर जा रही है। स्पीडोमीटर (कंप्यूटर मेट्रिक) काम कर रहा है, लेकिन वह गलत चीज़ को माप रहा है।
यह क्यों मायने रखता है?
लेखक कह रहे हैं: "हम केवल कंप्यूटर पर भरोसा नहीं कर सकते कि वह हमें बताएगा कि AI निष्पक्ष है या नहीं।"
यदि हम इन मॉडलों को ठीक किए बिना उपयोग करना जारी रखते हैं, तो हम एक ऐसी दुनिया बनाने का जोखिम उठाते हैं जहाँ AI दुनिया को केवल एक संकीर्ण, अमेरिकी लेंस के माध्यम से देखता है। यह हमारी समृद्ध, विविध संस्कृतियों को एक एकल, उबाऊ "डिफ़ॉल्ट" शैली में समेट देता है।
समाधान जो वे प्रस्तावित करते हैं:
- "स्पीडोमीटर" पर निर्भर रहना बंद करें: हमें AI को मापने के नए तरीकों की आवश्यकता है जो वास्तव में संस्कृति को समझते हों, न कि केवल गणित को।
- मानव जाँच: हमें कंप्यूटर के बजाय विभिन्न संस्कृतियों के वास्तविक लोगों को AI के काम की समीक्षा करने की आवश्यकता है।
- बेहतर प्रशिक्षण: AI को दुनिया के अधिक संतुलित "लाइब्रेरी" से सीखने की आवश्यकता है, न कि केवल इंटरनेट के उन हिस्सों से जो अंग्रेजी में हैं या अमेरिका से हैं।
संक्षेप में, यह पेपर एक चेतावनी है: AI वर्तमान में एक ऐसा पर्यटक है जो केवल खुद की तस्वीरें लेने के तरीके को जानता है, भले ही वह दूसरे देशों की यात्रा कर रहा हो। हमें इसे सिखाने की आवश्यकता है कि वह उन जगहों को वास्तव में कैसे देखे और उनका सम्मान करे जहाँ वह जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।