BAFIS: Dataset + Framework to assess occupational Bias and Human Preference in modern Text-to-image Models
यह शोध पत्र BAFIS को प्रस्तुत करता है, जो 21,140 बहुभाषी छवियों और मानवीय प्राथमिकता फीडबैक से बना एक डेटासेट और ढांचा है, जो पांच प्रमुख टेक्स्ट-टू-इमेज मॉडलों में व्यवस्थित व्यावसायिक पूर्वाग्रहों का मूल्यांकन और प्रकटीकरण करता है, जो निष्पक्ष एआई सिस्टम विकसित करने के लिए स्थापित मेट्रिक्स के साथ मानवीय निर्णय को शामिल करने की महत्वपूर्ण आवश्यकता को प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक जादुई पेंटिंग मशीन है। आप "एक डॉक्टर" जैसा विवरण टाइप करते हैं और यह तुरंत एक चित्र बना देती है। लंबे समय तक, लोगों को लगा कि ये मशीनें केवल न्यूट्रल उपकरण (neutral tools) थीं, जैसे कि एक कैमरा। लेकिन यह पेपर तर्क देता है कि ये मशीनें पक्षपाती दर्पण (biased mirrors) की तरह हैं—ये केवल वास्तविकता को नहीं दिखातीं; बल्कि वे इसका एक विकृत संस्करण दिखाती हैं जो इंटरनेट से सीखी गई चीज़ों पर आधारित है।
इस पेपर के लेखक, थॉमस, एड्रियन और बिंगिंग ने पाँच सबसे लोकप्रिय "पेंटिंग मशीनों" (मिडजर्नी, स्टेबल डिफ्यूजन, डैली 3, प्लेग्राउंड और फ्लक्स) का परीक्षण किया ताकि यह देखा जा सके कि वे नौकरियों और लोगों को कैसे संभालते हैं। उन्होंने एक विशेष परीक्षण क्षेत्र बनाया जिसे BAFIS (बैटल-एरिना फॉर फेयर इमेज सिंथेसिस) कहा गया।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) के साथ विवरण दिया गया है:
1. अरीना: BAFIS
BAFIS को एक ब्लाइंड टेस्ट-टेस्ट प्रतियोगिता की तरह समझें।
- सेटअप: कंप्यूटर को चित्र ग्रेड करने देने के बजाय, उन्होंने दो अलग-अलग मशीनों को एक "बैटल" में डाला।
- प्रतियोगिता: एक उपयोगकर्ता को एक प्रॉम्प्ट (जैसे, "एक नर्स") और दो अलग-अलग मशीनों द्वारा बनाई गई दो गुमनाम छवियां दिखाई जाती हैं।
- वोट: एक उपयोगकर्ता तीन चीजों पर वोट करता है:
- बायस (पक्षपात): क्या तस्वीर लोगों का एक वास्तविक मिश्रण दिखती है, या यह केवल एक ही प्रकार के लोगों को दिखाती है?
- क्वालिटी (गुणवत्ता): क्या तस्वीर सुंदर और स्पष्ट है?
- अलाइनमेंट (तालमेल): क्या तस्वीर वास्तव में उन शब्दों से मेल खाती है जो आपने टाइप किए थे?
- स्कोर: उन्होंने यह देखने के लिए रैंकिंग सिस्टम (शतरंज की रेटिंग की तरह) का उपयोग किया कि किस मशीन ने सबसे अधिक वोट जीते।
2. डेटासेट: नौकरियों का एक विशाल पुस्तकालय
परीक्षण को निष्पक्ष बनाने के लिए, उन्होंने केवल "एक डॉक्टर" के लिए नहीं पूछा। उन्होंने 21,140 चित्रों का एक विशाल पुस्तकालय बनाया जो 1,057 विभिन्न नौकरी विवरणों पर आधारित था।
- उन्होंने दो भाषाओं का उपयोग किया: अंग्रेजी और जर्मन।
- उन्होंने पूछने के अलग-अलग तरीके आजमाए:
- प्रत्यक्ष (Direct): "एक पुरुष अकाउंटेंट की फोटो।"
- अप्रत्यक्ष (Indirect): "एक व्यक्ति की फोटो जो वित्त का प्रबंधन करता है।"
- समूह (Groups): "अकाउंटेंटों के एक समूह की फोटो।"
- उन्होंने परिणामों की तुलना जर्मन सरकार के वास्तविक दुनिया के आंकड़ों से की (जैसे किसी रेसिपी की जांच वास्तविक सामग्री की सूची से करना) ताकि यह देखा जा सके कि क्या मशीनें इस बारे में झूठ बोल रही हैं कि कौन इन नौकरियों को रखता है।
3. निष्कर्ष: जो मशीनें गलत हुईं
जेंडर (लिंग) की समस्या (द "कंस्ट्रक्शन बनाम नर्सिंग" विभाजन)
मशीनों में जेंडर के प्रति मजबूत रूढ़ियाँ (stereotypes) हैं।
- निर्माण और इंजीनियरिंग (Construction & Engineering): जब इन नौकरियों के लिए पूछा गया, तो मशीनों ने लगभग हमेशा पुरुषों को चित्रित किया। ऐसा लग रहा था जैसे उन्हें लगता था कि केवल पुरुष ही निर्माण कर सकते हैं।
- हेल्थकेयर और ऑफिस वर्क: जब नर्सों या ऑफिस वर्कर के चित्र बनाने के लिए कहा गया, तो मशीनें भारी रूप से महिलाओं की ओर झुकी हुई थीं।
- आश्चर्य: एक मशीन, डैली 3 (DALL-E 3), सबसे संतुलित थी। इसने पुरुषों और महिलाओं को लगभग समान रूप से चित्रित किया, जैसे कि एक निष्पक्ष सिक्का उछालना हो। दूसरी मशीन, फ्लक्स (FLUX), ने कुछ नौकरियों के लिए पुरुषों की तुलना में अधिक महिलाओं को चित्रित किया, जो एक नया प्रकार का बायस है।
एथनिसिटी (जातीयता) की समस्या (द "व्हाइट वॉल")
यह सबसे बड़ी समस्या थी। आप जो भी काम पूछें, मशीनों ने भारी रूप से श्वेत चेहरों (white faces) को चित्रित किया।
- ऐसा लग रहा था जैसे मशीनों में एक डिफ़ॉल्ट सेटिंग थी कि, "यदि आप कोई नस्ल निर्दिष्ट नहीं करते हैं, तो उन्हें श्वेत बनाएं।"
- यह बायस अंग्रेजी की तुलना में जर्मन में अधिक मजबूत था। जब प्रॉम्प्ट जर्मन में था, तो मशीनों ने गैर-श्वेत चेहरों को और भी कम दिखाया।
- डैली 3 एकमात्र ऐसी मशीन थी जो दोनों भाषाओं में श्वेत चेहरों के प्रतिशत को 50% से नीचे रखने में सफल रही, जिससे वह सबसे विविध बनी।
"ह्यूमन बनाम रोबोट" स्कोरकार्ड
यहीं पर मामला पेचीदा हो जाता है। पेपर में पाया गया कि कंप्यूटर मेट्रिक्स (गणितीय सूत्र जो इमेज क्वालिटी को ग्रेड करते हैं) अक्सर मानवीय भावनाओं से असहमत होते हैं।
- इमेज क्वालिटी: एक मशीन जिसे फ्लक्स (FLUX) कहा गया, उसे इंसानों द्वारा सबसे सुंदर और यथार्थवादी माना गया। हालांकि, कंप्यूटर गणित (FID स्कोर) ने डैली 3 को सर्वश्रेष्ठ बताया।
- टेकअवे: गणित के सूत्र एक रोबोट की तरह हैं जो पेंटिंग को जज करने की कोशिश कर रहा है; वे पिक्सेल को मापते हैं लेकिन उस "आत्मा" या भावना को मिस कर जाते हैं जो इंसान को चित्र देखते समय मिलती है। इंसान फ्लक्स को पसंद करते थे, भले ही गणित ने इसके विपरीत कहा हो।
भाषा का मोड़
- डैली 3 का एक गुप्त हथियार है: यह आपके प्रॉम्प्ट को फिर से लिखता है। यदि आप जर्मन प्रॉम्प्ट टाइप करते हैं, तो यह पेंटिंग करने से पहले गुप्त रूप से इसे अंग्रेजी में अनुवादित और संशोधित करता है। इससे इसे अनुरोध को बेहतर ढंग से समझने और जर्मन लड़ाइयों में "अलाइनमेंट" (शब्दों से मेल खाने) के लिए उच्च स्कोर प्राप्त करने में मदद मिली।
- स्टेबल डिफ्यूजन 3 अंग्रेजी प्रॉम्प्ट के लिए चैंपियन था, लेकिन जर्मन में संघर्ष करता रहा।
4. निष्कर्ष
पेपर निष्कर्ष निकालता है कि ये AI पेंटिंग मशीनें न्यूट्रल नहीं हैं। वे उस डेटा के पक्षपात को ढोती हैं जिस पर उन्हें प्रशिक्षित किया गया है।
- वे "कठिन" कामों में पुरुषों और "देखभाल" वाले कामों में महिलाओं का अधिक प्रतिनिधित्व करती हैं।
- वे लगभग हमेशा श्वेत चेहरों को डिफ़ॉल्ट बनाती हैं।
- कंप्यूटर परीक्षण पर्याप्त नहीं हैं। हमें वास्तविक मनुष्यों से पूछने की आवश्यकता है कि वे क्या सोचते हैं क्योंकि गणित हमेशा यह कैप्चर नहीं कर पाता कि क्या "निष्पक्ष" या "वास्तविक" महसूस होता है।
लेखक सुझाव देते हैं कि इसे ठीक करने के लिए, डेवलपर्स को अपने मशीनों को केवल कंप्यूटर सूत्रों के बजाय वास्तविक दुनिया के आंकड़ों के विरुद्ध जांचना चाहिए और मानवीय फीडबैक को अधिक बारीकी से सुनना चाहिए। उन्होंने BAFIS बनाया ताकि भविष्य में, हम इन मशीनों को एक "बैटल एरीना" में जवाबदेह बनाए रख सकें ताकि यह सुनिश्चित हो सके कि वे अधिक निष्पक्ष बनें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।