Beyond wheelchairs and blindfolds: Investigating disability stereotypes in T2I models with INCLUDE-BENCH
यह शोध पत्र INCLUDE-BENCH प्रस्तुत करता है, जो टेक्स्ट-टू-इमेज मॉडलों में विकलांगता संबंधी पूर्वाग्रहों के मूल्यांकन के लिए पहला बड़े पैमाने का बेंचमार्क है, जो यह प्रकट करता है कि वर्तमान प्रणालियाँ व्यवस्थित रूप से व्हीलचेयर जैसे संकीर्ण रूढ़ियों पर निर्भर करती हैं और विकलांग लोगों को चित्रित करते समय वास्तविक दुनिया के पूर्वाग्रही जुड़ावों के साथ अधिक गहरा तालमेल प्रदर्शित करती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक जादुई आर्ट मशीन है जो आपके द्वारा वर्णित किसी भी चीज़ को बना सकती है। आप कहते हैं, "एक शेफ बनाओ," और वह सफेद टोपी पहने हुए खाना बनाते हुए एक व्यक्ति की तस्वीर निकाल देती है। आप कहते हैं, "विकलांगता वाले व्यक्ति का चित्र बनाओ," और... खैर, यहीं पर जादू थोड़ा गड़बड़ा जाता है।
यूट्रेक्ट यूनिवर्सिटी के शोधकर्ताओं ने इस गड़बड़ी का परीक्षण करने के लिए एक नए, विशाल परीक्षण INCLUDE-BENCH के साथ यह निर्णय लिया। वे केवल यह नहीं देखना चाहते थे कि मशीनें "पक्षपाती" हैं या नहीं; वे यह जानना चाहते थे कि वे कैसे पक्षपाती हैं, जिसके लिए उन्होंने 119,680 जनरेट की गई छवियों का एक विशाल डेटासेट का उपयोग किया। उन्होंने 17 अलग-अलग आर्ट इंजनों (दोनों ओपन-सोर्स जिन्हें कोई भी उपयोग कर सकता है और दो क्लोज्ड, गुप्त वाले) से विभिन्न स्थितियों में विकलांग लोगों के चित्र बनाने के लिए कहा।
यहाँ उन्हें क्या मिला, जिसे वास्तविकता के कड़वे सच के साथ पेश किया गया है।
द "व्हीलचेयर" शॉर्टकट
सबसे बड़ा आश्चर्य? मशीनें व्हीलचेयर के प्रति जुनूनी हैं। जब शोधकर्ताओं ने "गतिशीलता-बाधित" (mobility-impaired) व्यक्ति या बस एक सामान्य "विकलांग" व्यक्ति के बारे में पूछा, तो लगभग हर एक मॉडल ने तुरंत व्हीलचेयर का सहारा लिया। यह वैसा ही है जैसे यदि आप एक शेफ से "बेकर" का चित्र बनाने के लिए कहें, और वे केवल बेलन पकड़े हुए किसी व्यक्ति को ही बनाएं, ओवन, आटे या वास्तविक ब्रेड को पूरी तरह से अनदेखा कर दें।
पेपर दिखाता है कि इन विशिष्ट प्रॉम्प्ट्स के लिए, मशीनें व्हीलचेयर बनाने में अविश्वसनीय रूप से सुसंगत हैं, लेकिन वे किसी भी अन्य चीज़ को बनाने में बहुत खराब हैं। यह एक विजुअल शॉर्टकट है। मशीनें सोचती हैं, "ओह, विकलांगता? इसका मतलब व्हीलचेयर है," और वे वहीं रुक जाती हैं।
द "ओल्ड एंड सैड" फ़िल्टर
मशीनों में उम्र और मूड के लिए एक अजीब फिल्टर भी लगता है। जब उन्होंने गतिशीलता संबंधी समस्याओं वाले लोगों को चित्रित किया, तो वे अत्यधिक रूप से वृद्ध थे। यदि व्यक्ति महिला थी, तो उसे अक्सर घर में, खाना बनाते या सफाई करते हुए दिखाया गया था। यदि व्यक्ति पुरुष था, तो उसे अक्सर बाहर, पार्क या संग्रहालय में दिखाया गया था।
शोधकर्ताओं ने पाया कि मशीनें मूल रूप से "स्टीरियोटाइप बिंगो" का खेल खेल रही हैं। वे सबसे स्पष्ट, पहचानने योग्य संकेतों (जैसे व्हीलचेयर या आंखों पर पट्टी) को चुन रही हैं ताकि वे आपको यह सुनिश्चित कर सकें कि वह व्यक्ति कौन है, लेकिन ऐसा करते हुए वे अन्य सभी विवरणों को मिटा देती हैं। वे विविध लोगों के जीवन को नहीं दिखा रही हैं; वे एक बहुत ही संकीर्ण, बहुत पुराने और बहुत विशिष्ट पात्रों को दिखा रही हैं।
द "एलाइनमेंट बनाम डाइवर्सिटी" ट्रेड-ऑफ
इस जादू के पीछे के गणित को समझने का एक मजेदार तरीका यहाँ दिया गया है। शोधकर्ताओं ने दो चीजें मापीं:
- एलाइनमेंट (Alignment): चित्र आपके द्वारा लिखे गए शब्दों से कितनी अच्छी तरह मेल खाता है?
- डाइवर्सिटी (Diversity): चित्र एक-दूसरे से कितने अलग हैं?
उन्होंने एक दिलचस्प ट्रेड-ऑफ पाया। जिन चित्रों ने "गतिशीलता बाधित" या "विकलांग" शब्दों के साथ सबसे अच्छा (उच्च एलाइनमेंट) तालमेल बिठाया, वे सबसे कम विविध थे। वे लगभग एक जैसे दिखते थे: एक व्हीलचेयर में बैठा वृद्ध व्यक्ति।
लेकिन जब उन्होंने "अंधे" या "बधिर" लोगों के बारे में पूछा, तो चित्र थोड़े अधिक विविध थे। आप एक व्यक्ति को छड़ी के साथ, या किसी को चश्मा पहने हुए, या शायद बस विचारमग्न दिखते हुए देख सकते हैं। लेकिन फिर भी, मशीनें पुराने तरीकों, जैसे कि आंखों पर पट्टी या विशिष्ट हाथों के इशारों पर वापस लौट आती थीं।
द "वॉर्मथ एंड कॉम्पिटेंस" स्कोर
शोधकर्ताओं ने चित्रों को स्कोर करने का एक नया तरीका भी बनाया, जिसे SCM स्कोर कहा जाता है। एक ग्राफ की कल्पना करें जहाँ एक तरफ "यह व्यक्ति कितना अच्छा लगता है?" (वॉर्मथ/ऊष्मा) है और दूसरी तरफ "यह कितना सक्षम लगता है?" (कॉम्पिटेंस/क्षमता) है।
वास्तविक दुनिया में, लोग अक्सर विकलांग लोगों को "दयालु लेकिन बहुत सक्षम नहीं" के रूप में देखते हैं। पेपर में पाया गया कि आर्ट मशीनें इसी सटीक वाइब की नकल कर रही हैं। व्हीलचेयर में बैठे लोगों के चित्रों ने "क्षमता" (competence) पर कम स्कोर किया। वे बिना विकलांगता वाले लोगों के चित्रों की तुलना में कम सक्षम दिखे। भले ही शोधकर्ताओं ने मशीनों को सक्रिय कार्य (जैसे चलना या बातचीत करना) करते हुए दिखाने के लिए कहा, फिर भी मशीनें उन्हें सक्षम दिखाने में संघर्ष करती रहीं।
जो मशीनें गलत हुईं (और जो उन्होंने टेस्ट नहीं किया)
यह जानना महत्वपूर्ण है कि इस टेस्ट में क्या नहीं किया गया। शोधकर्ताओं ने स्पष्ट रूप से कहा कि उन्होंने संज्ञानात्मक या बौद्धिक विकलांगताओं के लिए परीक्षण नहीं किया। क्यों? क्योंकि वे हमेशा दृश्यमान नहीं होते हैं। आप एक सोचने की प्रक्रिया को उसी तरह से "ड्रॉ" नहीं कर सकते जैसे आप व्हीलचेयर को कर सकते हैं। इसलिए, हमारे पास जो परिणाम हैं वे पूरी तरह से उन चीजों के बारे में हैं जिन्हें "देखा" जा सकता है।
साथ ही, पेपर यह दावा नहीं करता है कि उसने समस्या को "ठीक" कर दिया है। उन्होंने समस्या को बंद करने वाला कोई जादुय स्विच नहीं खोजा। इसके बजाय, उन्होंने एक विशाल मापने वाला टेप (INCLUDE-BENCH) बनाया है ताकि हमें यह दिखा सके कि वर्तमान में वह मापने वाला टेप कितना टूटा हुआ है। उन्होंने पाया कि जब उन्होंने संदर्भ बदलने की कोशिश की (जैसे कैफे बनाम पार्क में व्यक्ति के लिए पूछना), तब भी मशीनें रूढ़ियों (stereotypes) की ओर भारी झुकाव रखती थीं।
द बॉटम लाइन
पेपर सुझाव देता है कि ये आर्ट मशीनें केवल गलती से गलतियाँ नहीं कर रही हैं; वे सक्रिय रूप से उन्हीं संकीर्ण, रूढ़िवादी कहानियों को दोहरा रही हैं जो हम वास्तविक दुनिया में देखते हैं। वे "डायग्नोस्टिक" संकेतों (व्हीलचेयर, छड़ी) को बहुत अधिक महत्व दे रही हैं और बाकी इंसान को अनदेखा कर रही हैं।
शोधकर्ता इस बारे में काफी आश्वस्त हैं क्योंकि उन्होंने लगभग 120,000 छवियां जनरेट कीं और उन्हें गणित और AI टूल्स के साथ जांचा। वे अनुमान नहीं लगा रहे हैं; उन्होंने इसे मापा है। और माप कहता है: यदि आप विकलांगता के साथ एक वास्तविक, विविध, सक्षम व्यक्ति देखना चाहते हैं, तो आप अभी मशीन से केवल पूछ नहीं सकते। मशीन अभी भी "व्हीलचेयर और बुढ़ापे" के लूप में फंसी हुई है।
इसलिए, जबकि तकनीक अद्भुत है, यह अभी भी सीख रही है कि एक व्यक्ति अपनी विकलांगता से कहीं अधिक है। तब तक, जादुई आर्ट मशीन ज्यादातर वही पुरानी कहानी, बार-बार बना रही है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।