Unmasking LAION-5B: Age, Gender, Race, and Emotion Biases in Large-Scale Image Datasets
यह अध्ययन प्रकट करता है कि व्यापक रूप से उपयोग किए जाने वाले LAION-5B डेटासेट में महत्वपूर्ण और सुसंगत जनसांख्यिकीय पूर्वाग्रह मौजूद हैं, जिसमें युवा श्वेत पुरुषों का अत्यधिक प्रतिनिधित्व और अल्पसंख्यक समूहों एवं वृद्ध महिलाओं का कम प्रतिनिधित्व शामिल है, साथ ही लिंग और भावनात्मक अभिव्यक्तियों के बीच रूढ़िवादी जुड़ाव भी हैं जो डाउनस्ट्रीम एआई प्रणालियों को नकारात्मक रूप से प्रभावित कर सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि इंटरनेट एक विशाल, अराजक पुस्तकालय है जिसमें अरबों किताबें (चित्र) और उनके शीर्षक (कैप्शन) हैं। LAION-5B डेटासेट उस विशाल, स्वचालित रोबोट की तरह है जो इस पुस्तकालय में गया, किताबों का एक बहुत बड़ा ढेर उठाया, और उन्हें AI कलाकारों को यह सिखाने के लिए थमा दिया कि कैसे चित्र बनाया जाता है।
यह शोध पत्र विशेष रूप से उस किताबों के ढेर पर एक "बुक रिपोर्ट" है। लेखकों ने यह देखना चाहा कि: इन चित्रों में वास्तव में कौन है, और वे क्या कर रहे हैं? उन्होंने पाया कि रोबोट ने मानवता का एक निष्पक्ष, यादृच्छिक (रैंडम) नमूना नहीं उठाया। इसके बजाय, उसने एक बहुत ही विशिष्ट, पक्षपाती भीड़ चुनी।
उन्होंने जो खोजा है, वह यहाँ सरल रूप में दिया गया है:
1. "कौन" की समस्या: एक पक्षपाती भीड़
लेखकों ने डेटासेट में लगभग 80,000 चेहरों का अध्ययन किया और उम्र, लिंग और नस्ल का अनुमान लगाने के लिए दो अलग-अलग "स्मार्ट कैमरों" (FairFace और DeepFace नामक AI मॉडल) का उपयोग किया।
- आयु का अंतर (The Age Gap): डेटासेट युवाओं के प्रति जुनूनी है। यह एक ऐसी पार्टी की तरह है जहाँ लगभग सभी 20 से 39 वर्ष के बीच के हैं। इसमें बच्चों, किशोरों या बुजुर्गों (विशेषकर 60 से ऊपर) की संख्या बहुत कम है।
- लिंग का असंतुलन (The Gender Imbalance): भीड़ में ज्यादातर पुरुष हैं। कुछ गणनाओं में, पुरुषों की संख्या 70% से अधिक है। महिलाएँ काफी कम प्रतिनिधित्व रखती हैं।
- नस्लीय मिश्रण (The Race Mix): डेटासेट में श्वेत (White) लोगों का दबदबा है (लगभग 50-60%)। अन्य नस्लीय समूह, जैसे कि अश्वेत (Black), भारतीय और लातीनी (Latino) व्यक्ति, वास्तविक दुनिया की तुलना में बहुत कम हैं।
उपमा: कल्पना कीजिए कि आपने एक स्कूल की पाठ्यपुस्तक के लिए "लोगों" की फोटो लेने के लिए एक रोबोट को कहा। एक विविध शहर की सड़क की तस्वीर लेने के बजाय, रोबट ने केवल एक विशिष्ट समूह के युवा, श्वेत पुरुषों की तस्वीरें लीं जो एक कॉफी शॉप में बैठे हैं। यदि आप इस आधार पर एक AI को "लोग" बनाना सिखाते हैं, तो वह यही सोचेगा कि बस इतना ही अस्तित्व है।
2. "क्या" की समस्या: रूढ़िवादी भावनाएं
लेखकों ने यह भी देखा कि ये लोग क्या भावनाएं (खुश, क्रोधित, उदास, आदि) दिखा रहे थे। उन्होंने पाया कि डेटासेट उन पुराने ढर्रों को पुख्ता करता है कि विभिन्न समूहों को कैसा "होना चाहिए"।
- पुरुष = क्रोधित: जब डेटासेट में पुरुष दिखाए जाते हैं, तो वे असमान रूप से क्रोधित या घृणा व्यक्त करते हुए दिखाई देते हैं।
- महिलाएं = खुश: जब डेटासेट में महिलाएं दिखाई जाती हैं, तो वे असमान रूप से खुश दिखाई देती हैं।
- "क्रोधित पुरुष, खुश महिला" का नियम: यह एक क्लासिक रूढ़ि (स्टीरियोटाइप) है, और डेटा दिखाता है कि यह प्रशिक्षण सामग्री में गहराई से समाया हुआ है।
उपमा: यह एक फिल्म की स्क्रिप्ट की तरह है जहाँ जब भी कोई पुरुष दिखाई देता है, वह चिल्ला रहा होता है, और जब भी कोई महिला दिखाई देती है, वह मुस्कुरा रही होती है। यदि कोई AI इस स्क्रिप्ट से सीखता है, तो वह यही सोचेगा कि दुनिया इसी तरह काम करती है।
3. "दोहरी मुसीबत" की समस्या: इंटरसेक्शनल बायस (Intersectional Bias)
लेखकों ने केवल उम्र या लिंग को अलग से नहीं देखा; उन्होंने देखा कि वे आपस में कैसे मिलते हैं (जैसे "वृद्ध महिलाएं" या "युवा अश्वेत पुरुष")।
- मध्य आयु की महिलाओं की कमी: यह समूह डेटा में लगभग अदृश्य है।
- अति-प्रतिनिधित्व वाली युवा महिला: युवा महिलाएं (30 वर्ष से कम) बहुत आम हैं, लेकिन जैसे-जैसे महिलाएं उम्र में बढ़ती हैं, वे डेटासेट से गायब होती जाती हैं।
- अति-प्रतिनिधित्व वाले श्वेत बच्चे: हालांकि अल्पसंख्यक बच्चों की संख्या कम है, लेकिन श्वेत बच्चों की संख्या डेटासेट में आश्चर्यजनक रूप से अधिक है।
उपमा: यदि आप मानवता का एक पहेली (puzzle) बना रहे होते, तो आपके पास "युवा श्वेत पुरुषों" और "युवा श्वेत महिलाओं" के टुकड़ों का एक बड़ा ढेर होता, लेकिन आपके पास लगभग सभी "वृद्ध महिलाओं" और "वृद्ध अल्पसंख्यक पुरुषों" के टुकड़े गायब होते। आप जो चित्र बनाएंगे वह अधूरा और विकृत होगा।
4. यह क्यों मायने रखता है?
यह शोध पत्र बताता है कि AI मॉडल (जैसे कि टेक्स्ट से चित्र बनाने वाले मॉडल) इस डेटासेट में मौजूद पैटर्न को याद करके सीखते हैं।
- दर्पण प्रभाव (The Mirror Effect): यदि डेटासेट एक विकृत दर्पण है, तो AI का आउटपुट भी एक विकृत प्रतिबिंब होगा।
- परिणाम: यदि आप AI से "CEO" बनाने के लिए कहते हैं, तो वह एक युवा श्वेत पुरुष बना सकता है क्योंकि उसने इसे सबसे अधिक बार देखा है। यदि आप उससे "एक खुश व्यक्ति" बनाने के लिए कहते हैं, तो वह एक महिला बना सकता है, और "एक क्रोधित व्यक्ति" के लिए, वह एक पुरुष बना सकता है।
शोध पत्र क्या नहीं कहता
यह महत्वपूर्ण है कि आप उन बातों पर ध्यान दें जो लेखकों ने वास्तव में खोजी हैं:
- उन्होंने स्वयं AI मॉडल (जैसे Stable Diffusion) का परीक्षण यह देखने के लिए नहीं किया कि क्या वे खराब चित्र बनाते हैं; उन्होंने केवल स्रोत सामग्री (डेटासेट) का विश्लेषण किया।
- उन्होंने यह दावा नहीं किया कि यह डेटासेट एकमात्र समस्या है, लेकिन उन्होंने कहा कि यह एक "मौलिक" (foundational) समस्या है, जिसका अर्थ है कि कई अन्य उपकरण इसी पर आधारित हैं।
- उन्होंने इस शोध पत्र में कोई समाधान नहीं दिया, सिवाय इसके कि भविष्य के डेटासेट को बेहतर क्यूरेशन (चयन) की आवश्यकता है और हमें विविधता को मापने के लिए बेहतर उपकरणों की आवश्यकता है।
निचोड़ (The Bottom Line)
LAION-5B डेटासेट, जो आधुनिक AI को शक्ति प्रदान करता है, एक पक्षपाती कैमरा लेंस की तरह है। यह अत्यधिक रूप से युवा, श्वेत पुरुषों पर ध्यान केंद्रित करता है और उन्हें क्रोध से जोड़ता है, जबकि महिलाओं और वृद्ध लोगों को पृष्ठभूमि में धकेल देता है या उन्हें खुशी से जोड़ देता है। चूंकि AI इस लेंस से सीखता है, इसलिए यह शोध पत्र चेतावनी देता है कि जो "विश्वदृष्टि" ये मशीनें विकसित करती हैं, वह मौलिक रूप से असंतुलित है, जो वास्तविक मानवीय विविधता के बजाय इंटरनेट के पूर्वाग्रहों को दर्शाती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।