EmergencyBias: Bias in Text-to-Image Models under Emergency Scenarios

कल्पना कीजिए कि आपने अभी-अभी एक जादुई कैमरा उठाया है जो दुनिया को वैसा नहीं दिखाता जैसी वह है, बल्कि आपके शब्दों के आधार पर चित्र बनाता है। यदि आप कहते हैं "एक शेफ," तो यह एक पुरुष का चित्र बना सकता है; यदि आप कहते हैं "एक नर्स," तो यह एक महिला का चित्र बना सकता है। आधुनिक टेक्स्ट-टू-इमेज (T2I) मॉडल इसी तरह काम करते हैं: वे अविश्वसनीय रूप से स्मार्ट कलाकार हैं जो वाक्यों को शानदार दृश्यों में बदल देते हैं। लेकिन यहाँ एक पेंच है: इन कलाकारों को इंटरनेट से ली गई पुरानी तस्वीरों के एक विशाल ढेर पर प्रशिक्षित किया गया है, और वह ढेर रूढ़ियों (stereotypes) से भरा हुआ है। लंबे समय से, वैज्ञानिक यह जाँच रहे हैं कि क्या ये डिजिटल चित्रकार "कौन" के मामले में गलत होते हैं—जैसे केवल पुरुषों को डॉक्टर के रूप में या केवल महिलाओं को नर्स के रूप में दिखाना। वे चित्र में मौजूद पात्रों के स्थिर स्वरूप को देख रहे थे। लेकिन क्या होगा अगर असली समस्या यह नहीं है कि कमरे में "कौन" है, बल्कि यह है कि वे "क्या कर रहे हैं"? क्या होगा यदि कैमरा यह तय कर देता है कि जब चीजें गलत होती हैं, तो केवल कुछ खास लोग ही बचाने के लिए आगे आने के काबिल होते हैं, जबकि अन्य लोग बस देखते रह जाते हैं? यह पूर्वाग्रह की नई सीमा है: न केवल यह कि कौन दिखाई देता है, बल्कि यह भी कि कौन कार्य करता है, कौन प्रतिक्रिया देता है, और किसे नायक बनने का अवसर मिलता है।

यहाँ फुदान विश्वविद्यालय के शोधकर्ताओं की एक टीम आई जिन्होंने इन AI कलाकारों को अंतिम परीक्षा देने का निर्णय लिया: आपातकालीन कक्ष (emergency room)। उन्होंने एक नया शब्द गढ़ा, EmergencyBias, जो उस छिपे हुए पूर्वाग्रह का वर्णन करता है जो तब होता है जब AI से किसी संकट, जैसे कार दुर्घटना या आग लगने के दृश्य को चित्रित करने के लिए कहा जाता है। वे यह देखना चाहते थे कि क्या AI स्वचालित रूप से यह तय कर देगा कि पुरुष ही दिन बचाने के लिए दौड़ने वाले लोग हैं, जबकि महिलाएं, बुजुर्ग या गहरे रंग के लोग केवल बचाने की जरूरत वाले या केवल खड़े होकर देखने वाले लोग हैं।

यह जानने के लिए, उन्होंने केवल AI को कोई यादृच्छिक दृश्य बनाने के लिए नहीं कहा; बल्कि उन्होंने एक व्यापक, व्यवस्थित प्रयोग तैयार किया। उन्होंने छह अलग-अलग उच्च-जोखिम वाले परिदृश्य बनाए, जिनमें नदी में डूबता हुआ व्यक्ति से लेकर सबवे प्लेटफॉर्म पर हुई दुर्घटना तक शामिल थी। उन्होंने दुनिया के सात सबसे उन्नत AI मॉडलों से इन दृश्यों को चित्रित करने के लिए कहा। सबसे पहले, उन्होंने मॉडलों को "ब्लैंक" प्रॉम्प्ट दिए—जैसे केवल "एक व्यक्ति सबवे प्लेटफॉर्म पर गिरता है"—यह देखने के लिए कि AI डिफ़ॉल्ट रूप से किसे चुनता है। फिर, उन्होंने "नियंत्रित" प्रॉम्प्ट दिए, स्पष्ट रूप से AI को निर्देश दिया, "एक महिला दर्शक दिखाओ" या "संकट में एक बुजुर्ग व्यक्ति दिखाओ," यह देखने के लिए कि क्या AI अभी भी उनके कार्यों के प्रति अलग व्यवहार करेगा।

इसके परिणाम कुछ ऐसे थे जैसे कोई जादूगर अपनी चाल का रहस्य अनजाने में उजागर कर रहा हो: AI मॉडल वास्तव में पक्षपाती थे, और स्थिति जितनी डरावनी होती गई, पूर्वाग्रह उतना ही बढ़ता गया। जब प्रॉम्प्ट खाली थे, तो AI ने संकट में रहने वाले और मदद करने वाले लोगों के रूप में भारी बहुमत से पुरुषों को चुना, जबकि बुजुर्ग लगभग अदृश्य थे, जो "संकट में" भूमिकाओं में 8% से भी कम बार दिखाई दिए। लेकिन असली झटका तब लगा जब उन्होंने जनसांख्यिकी (demographics) को नियंत्रित किया। भले ही उन्होंने स्पष्ट रूप से AI को कहा, "एक महिला दर्शक दिखाओ," फिर भी मॉडल ने उसे एक पुरुष दर्शक की तुलना में मदद करने के लिए कम सक्षम दिखाया। AI के पास एक छिपा हुआ स्क्रिप्ट जैसा था जहाँ पुरुष सक्रिय रक्षक होते हैं और महिलाएं निष्क्रिय दर्शक होती हैं, चाहे प्रॉम्प्ट में कुछ भी कहा गया हो। यह केवल एक छोटी सी त्रुटि नहीं थी; लिंगों के बीच "मदद करने" के व्यवहार में अंतर सबसे प्रमुख पूर्वाग्रह था जो उन्होंने पाया।

शोधकर्ताओं ने एक नया, हल्का समाधान भी परीक्षण किया जिसे उन्होंने ActionAlign नाम दिया। इसे एक छोटे, अदृश्य कोच की तरह समझें जो AI कलाकार को पेंटिंग शुरू करने से ठीक पहले निर्देश फुसफुसाता है, जो उसे बिना उसकी कलात्मक प्रतिभा को मिटाए अपनी बुरी आदतों को सुधारने के लिए प्रेरित करता है। उन्होंने इसकी तुलना एक अधिक स्पष्ट विधि से की, जिसमें प्रॉम्प्ट में केवल "नैतिक" शब्द जोड़ दिए जाते हैं (जैसे "निष्पक्ष बनो" कहना)। परिणामों ने दिखाया कि ActionAlign व्यवहार को ठीक करने में बहुत बेहतर था। एक मॉडल पर, इसने छवि की गुणवत्ता को प्रभावित किए बिना, मदद करने के व्यवहार में पूर्वाग्रह को भारी 78.14% तक कम कर दिया। यह सुझाव देता है कि आप केवल कुछ शब्दों के साथ AI को "अच्छा बनने" के लिए नहीं कह सकते; कभी-कभी आपको संकट के दौरान विभिन्न लोगों के व्यवहार के प्रति उसकी आंतरिक समझ को फिर से प्रशिक्षित करने की आवश्यकता होती है।

संक्षेप में, यह शोध पत्र बताता है कि हमारे AI कलाकार केवल यह नहीं नकल कर रहे हैं कि कमरे में कौन है; वे यह भी नकल कर रहे हैं कि उनके अनुसार नायक को कौन होना चाहिए। यहाँ तक कि जब हम उन्हें एक विशिष्ट व्यक्ति को चित्रित करने के लिए मजबूर करते हैं, तब भी वे उस व्यक्ति को कार्य करते हुए कल्पना करने में संघर्ष करते हैं। अच्छी खबर यह है कि थोड़े स्मार्ट ट्यूनिंग के साथ, हम इन मॉडलों को सभी के लिए एक निष्पक्ष पटकथा लिखना सिखा सकते हैं, यह सुनिश्चित करते हुए कि भविष्य के डिजिटल आपातकालों में, नायक हम सभी की तरह दिखें।