Bias at the End of the Score
यह शोध पत्र एक बड़े पैमाने पर किए गए ऑडिट को प्रस्तुत करता है जो यह प्रकट करता है कि टेक्स्ट-टू-इमेज जनरेशन में उपयोग किए जाने वाले रिवॉर्ड मॉडल स्वाभाविक रूप से जनसांख्यिकीय पूर्वाग्रहों को समाहित करते हैं, जिसके कारण रिवॉर्ड-निर्देशित अनुकूलन (रिवॉर्ड-गाइडेड ऑप्टिमाइज़ेशन) महिला विषयों को असमान रूप से यौनिक रूप से प्रस्तुत करता है, रूढ़ियों को पुख्ता करता है और जनसांख्यिकीय विविधता को कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप हजारों पेंटिंग्स का न्याय करने के लिए एक बहुत ही सख्त, बहुत तेज़ कला समीक्षक (art critic) को काम पर रख रहे हैं। आप इस समीक्षक से कहते हैं, "मुझे सबसे अच्छी संभव कला चाहिए।" समीक्षक पेंटिंग्स को देखता है और उन्हें 1 से 10 तक स्कोर देता है।
अब, कल्पना कीजिए कि आप इस समीक्षक के स्कोर का उपयोग एक AI कलाकार को पेंटिंग करना सिखाने के लिए करते हैं। हर बार जब AI कुछ ऐसा बनाता है जो समीक्षक को पसंद आता है, तो उसे एक 'गोल्ड स्टार' मिलता है। हर बार जब AI कुछ ऐसा बनाता है जिसे समीक्षक नापसंद करता है, तो उसे एक 'रेड X' मिलता है। अंततः, AI केवल वही पेंट करना सीख जाता है जिसे समीक्षक "अच्छा" मानता है।
यह शोध पत्र इस बात की एक बड़ी जांच है कि क्या होता है जब हम इन "AI समीक्षकों" (जिन्हें रिवॉर्ड मॉडल कहा जाता है) का उपयोग AI आर्ट जनरेटर को प्रशिक्षित करने और आंकने के लिए करते हैं। शोधकर्ताओं ने पाया कि ये समीक्षक वास्तव में गुणवत्ता के तटस्थ निर्णायक नहीं हैं। इसके बजाय, उनकी छिपी हुई, पक्षपाती प्राथमिकताएं होती हैं जो कला को खतरनाक और अनुचित तरीकों से बदल देती हैं।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. "गोल्ड स्टार" की समस्या: कैसे AI बिगड़ जाता है
शोधकर्ताओं ने परीक्षण किया कि क्या होता है जब वे AI को इन समीक्षकों से उच्चतम स्कोर प्राप्त करने के लिए अपनी पेंटिंग्स को अनुकूलित (optimize) करने देते हैं।
- "स्ट्रिप-टीज़" प्रभाव (The "Strip-Tease" Effect): जब AI ने उच्च स्कोर प्राप्त करने की कोशिश की, तो इसने छवियों में महिलाओं को तेजी से कामुक (sexualized) बनाना शुरू कर दिया। यह ऐसा था जैसे समीक्षक गुप्त रूप से फुसफुसा रहा हो, "अधिक त्वचा दिखाओ, और मैं तुम्हें बेहतर ग्रेड दूंगा।"
- परिणाम: AI ने छवियों में महिला पात्रों को "नग्न" करना शुरू कर दिया, उन्हें अत्यधिक कामुक संस्करणों में बदल दिया, भले ही उपयोगकर्ता ने केवल एक सामान्य फोटो मांगी हो। पुरुषों की छवियों के साथ ऐसा व्यवहार लगभग नहीं किया गया।
- "व्हाइट-वॉशिंग" प्रभाव (The "White-Washing" Effect): जब AI ने बेहतर स्कोर प्राप्त करने की कोशिश की, तो इसने चित्रों में लोगों की नस्ल बदलना शुरू कर दिया।
- परिणाम: यदि आपने किसी नस्ल का उल्लेख किए बिना "डॉक्टर" की फोटो मांगी, तो AI अक्सर एक अश्वेत या एशियाई व्यक्ति से शुरू करेगा और फिर, छवि को "सुधारने" के प्रयास में, धीरे-धीरे उन्हें श्वेत व्यक्ति में बदल देगा। यह ऐसा है जैसे समीक्षक मानता है कि एक "अच्छा" डॉक्टर होने के लिए श्वेत दिखना अनिवार्य है।
2. यह क्यों हो रहा है? ("इको चैंबर" की उपमा)
आप सोच सकते हैं, "लेकिन समीक्षक तो केवल चित्र की गुणवत्ता का न्याय कर रहा है, है ना? जैसे कि फोकस कितना शार्प है या रंग कितने सुंदर हैं।"
पत्र कहता है नहीं। समीक्षक रूढ़ियों (stereotypes) के आधार पर निर्णय ले रहे हैं जो उन्होंने अपने प्रशिक्षण डेटा से सीखी हैं।
- "लोकप्रियता प्रतियोगिता" की उपमा (The "Popularity Contest" Analogy): कल्पना कीजिए कि समीक्षक को 1,000 लोगों से यह पूछकर प्रशिक्षित किया गया था, "इन दो तस्वीरों में से कौन सी बेहतर दिखती है?"
- यदि उत्तर देने वाले लोग अवचेतन रूप से श्वेत चेहरों या कामुक महिलाओं को पसंद करते हैं, तो समीक्षक सीख जाता है कि "श्वेत" और "कामुक" = "उच्च स्कोर।"
- समीक्षक "कलात्मक गुणवत्ता" को नहीं माप रहा है; वह यह माप रहा है कि "यह छवि समाज की सामान्य अपेक्षाओं में कितनी अच्छी तरह फिट बैठती है।"
- "व्यवसाय" का जाल (The "Occupation" Trap): शोधकर्ताओं ने पाया कि जब उन्होंने "नर्स" के लिए पूछा, तो समीक्षक ने महिला चेहरों को उच्च स्कोर दिया। जब उन्होंने "CEO" के लिए पूछा, तो उसने पुरुष चेहरों को उच्च स्कोर दिया। समीक्षक फोटो की गुणवत्ता का न्याय नहीं कर रहा था; वह यह देख रहा था कि क्या फोटो उस नौकरी के वास्तविक दुनिया के रूढ़िवादी स्वरूप (stereotype) से मेल खाती है।
3. वह "फ़िल्टर" जो वास्तविकता को बिगाड़ देता है
यह शोध पत्र बताता है कि ये रिवॉर्ड मॉडल AI में हर जगह उपयोग किए जाते हैं:
- आपको दिखाने से पहले "बुरे" चित्रों को फ़िल्टर करने के लिए।
- AI को बेहतर तरीके से चित्र बनाना सिखाने के लिए।
- यह तय करने के लिए कि कौन सी छवियां "सुरक्षित" हैं।
क्योंकि ये मॉडल पक्षपाती हैं, वे एक फनहाउस मिरर (funhouse mirror) की तरह कार्य करते हैं जो केवल वास्तविकता के एक विशिष्ट, संकीत संस्करण को दर्शाता है।
- यदि आप छवियों को फ़िल्टर करने के लिए इनका उपयोग करते हैं, तो आप कभी भी एक अश्वेत CEO या एक कामुक पुरुष को नहीं देख पाएंगे, क्योंकि "फ़िल्टर" उन्हें आपके देखने से पहले ही हटा देता है।
- यदि आप AI को प्रशिक्षित करने के लिए इनका उपयोग करते हैं, तो AI विविध लोगों को बनाना भूल जाएगा और केवल "रूढ़िवादी" संस्करण बनाना ही जानेगा।
मुख्य निष्कर्ष (The Big Takeaway)
लेखक कह रहे हैं: "हमें लगा कि ये AI समीक्षक गुणवत्ता के तटस्थ निर्णायक हैं, लेकिन वे वास्तव में पक्षपाती द्वारपाल (gatekeepers) हैं।"
वे हानिकारक रूढ़ियों (जैसे महिलाओं का कामुक वस्तु होना या कुछ नस्लों का कम सक्षम होना) को मजबूत कर रहे हैं और AI जगत को कम विविध बना रहे हैं। यदि हम अपने AI को प्रशिक्षित करने के लिए इन पक्षपाती समीक्षकों का उपयोग करना जारी रखते हैं, तो हम एक स्मार्ट भविष्य का निर्माण नहीं कर रहे हैं; हम केवल एक ऐसा भविष्य बना रहे हैं जो हमारे सबसे बुरे रूढ़िों जैसा दिखता है।
समाधान? हमें नए समीक्षकों को बनाने की आवश्यकता है जो इन रूढ़ियों को अनदेखा करने के लिए प्रशिक्षित हों और छवियों का न्याय वास्तविक गुणवत्ता के आधार पर करें, न कि इस आधार पर कि चित्र में दिखने वाला व्यक्ति कौन है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।