Aligned but Stereotypical? How System Prompts Shape Demographic Bias in LLM-Based Text-to-Image Models
यह शोध पत्र प्रकट करता है कि LLM-आधारित टेक्स्ट-टू-इमेज सिस्टम अपने सिस्टम प्रॉम्प्ट्स के कारण गैर-LLM बेसलाइन्स की तुलना में अधिक मजबूत जनसांख्यिकीय पूर्वाग्रह (demographic biases) पेश करते हैं, और FairPro का प्रस्ताव करता है, जो एक ट्रेनिंग-फ्री फ्रेमवर्क है जो उपयोगकर्ता के इरादे को सुरक्षित रखते हुए अनुकूल रूप से निष्पक्षता-जागरूक निर्देश उत्पन्न करके इन पूर्वाग्रहों को कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ एक सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करके इस शोध पत्र (paper) की व्याख्या दी गई है।
मुख्य विचार: "अति-उत्साही अनुवादक" (The Over-Enthusiastic Translator)
कल्पive कि आप एक साधारण वाक्य के आधार पर एक चित्र बनाना चाहते हैं, जैसे "एक वनस्पति शास्त्री" (A botanist)।
पुराने ड्राइंग मशीनों में, आप वाक्य सीधे कलाकार को सौंप देते थे। कलाकार एक वनस्पति शास्त्री का चित्र बनाता था, लेकिन वह अपनी पुरानी आदतों या रूढ़ियों (stereotypes) पर निर्भर हो सकता था (जैसे, केवल श्वेत पुरुषों को चित्रित करना)।
नए, स्मार्ट ड्राइंग मशीनों में (जिनका यह पेपर अध्ययन करता है), एक अतिरिक्त चरण होता है। आपके वाक्य को देखने से पहले, एक स्मार्ट अनुवादक (एक AI भाषा मॉडल) इसे पढ़ता है। इस अनुवादक का काम विवरण जोड़कर चित्र को बेहतर बनाने में मदद करना है। उदाहरण के लिए, यह "एक वनस्पति शास्त्री" को "एक हरे भरे खेत में टोपी पहने, आवर्धक लेंस (magnifying glass) पकड़े हुए एक वनस्पति शास्त्री" में बदल सकता है।
समस्या: पेपर में पाया गया कि यह "स्मार्ट अनुवादक" मदद करने की कोशिश में अक्सर अनचाहे रूढ़िवादी विचार (unwanted stereotypes) जोड़ देता है। भले ही आपने किसी विशिष्ट लिंग, जाति या आयु के बारे में नहीं पूछा हो, अनुवादक मान सकता है, "ओह, वनस्पति शास्त्री आमतौर पर श्वेत पुरुष होते हैं," और चित्रकार द्वारा चित्र बनाने से पहले ही निर्देशों में वे विवरण जोड़ देता है।
जाँच: "COMPBIAS" टेस्ट
शोधकर्ताओं ने COMPBIAS नामक एक विशाल टेस्ट किट बनाई (इसे ड्राइंग मशीनों के लिए एक मानकीकृत परीक्षा की तरह समझें)। उन्होंने 1,024 अलग-अलग प्रॉम्प्ट्स का परीक्षण किया, जो बहुत सरल ("एक डॉक्टर") से लेकर बहुत जटिल ("एक व्यस्त अस्पताल में मरीज को बचाता हुआ एक डॉक्टर") तक थे।
उन्होंने दो प्रकार की मशीनों की तुलना की:
- पुराना तरीका (Old School): कलाकार को सीधे निर्देश।
- नया तरीका (New School): निर्देश पहले "स्मार्ट अनुवादक" के माध्यम से जाते हैं।
निष्कर्ष:
- "न्यू स्कूल" मशीनें अधिक पक्षपाती (biased) थीं। उन्होंने पुराने तरीकों की तुलना में बहुत अधिक मजबूत रूढ़िवादी चित्र बनाए (जैसे, "डॉक्टरों" के लिए ज्यादातर श्वेत पुरुष)।
- "एलाइनमेंट ट्रैप" (The Alignment Trap): नई मशीनें आपके निर्देशों का पालन करने और उच्च गुणवत्ता वाले चित्र बनाने में वास्तव में बेहतर थीं। लेकिन पेपर में एक ट्रेड-ऑफ (समझौता) पाया गया: वे आपके शब्दों को समझने में जितने बेहतर थे, आपके द्वारा विवरण न दिए जाने पर वे उतने ही अधिक रूढ़ियों की ओर झुके हुए थे।
- जटिलता इसे और खराब बनाती है: आपका प्रॉम्प्ट जितना जटिल होता, अनुवादक उतने ही अधिक रूढ़िवादी विवरण जोड़ता, जिससे पूर्वाग्रह (bias) और मजबूत हो जाता।
असली कारण: "सिस्टम प्रॉम्प्ट" (The System Prompt)
शोधकर्ताओं ने गहराई से जांच की कि यह क्यों होता है। उन्होंने पाया कि इसका असली कारण सिस्टम प्रॉम्प्ट है।
सिस्टम प्रॉम्प्ट को स्मार्ट अनुवादक को दिया गया नियमों का समूह (rulebook) या मैनेजर का मेमो समझें। यह अनुवादक को बताता है कि उसे कैसे व्यवहार करना है।
- पेपर में पाया गया कि इन डिफ़ॉल्ट नियमपुस्तिकाओं में अक्सर छिपे हुए अनुमान होते हैं।
- जब अनुवादक "एक न्यायाधीश" (A judge) जैसा तटस्थ प्रॉम्प्ट पढ़ता है, तो नियमपुस्तिका उसे एक विशिष्ट प्रकार के व्यक्ति (जैसे, एक वृद्ध श्वेत पुरुष) के बारे में सोचने के लिए प्रेरित करती है, इससे पहले कि वह कलाकार के लिए विवरण लिखे।
- शोधकर्ताओं ने यह साबित करने के लिए मशीन के "विचारों" (text embeddings) को देखा। उन्होंने देखा कि अनुवादक चित्र बनने से पहले ही गुप्त रूप से तटस्थ शब्दों को पक्षपाती शब्दों में बदल रहा था।
समाधान: "FAIRPRO" (द फेयरनेस कोच)
शोधकर्ता स्मार्ट अनुवादक को हटाना नहीं चाहते थे, क्योंकि यह चित्रों को शानदार बनाता है। इसके बजाय, उन्होंने FAIRPRO नामक एक समाधान बनाया।
यह कैसे काम करता है:
कल्पना कीजिए कि स्मार्ट अनुवादक के बगल में एक कोच खड़ा है।
- कोच प्रॉम्प्ट की जाँच करता है: जब आप कहते हैं "एक वनस्पति शास्त्री," तो कोच अनुवादक की नियमपुस्तिका को देखता है।
- कोच नियमों को फिर से लिखता है: अनुवादक को अंदाज़ा लगाने देने के बजाय, कोच उसे एक नया, अस्थायी निर्देश देता है: "यह व्यक्ति एक वनस्पति शास्त्री है। उनके लिंग, जाति या आयु के बारे में कोई धारणा न बनाएं। इसे विविध (diverse) रखें।"
- परिणाम: अनुवादक अभी भी सहायक विवरण (जैसे टोपी और आवर्धक लेंस) जोड़ता है, लेकिन वह यह मान लेना बंद कर देता है कि वनस्पति शास्त्री एक श्वेत पुरुष है। यह अधिक विविध मिश्रण वाले चित्र बनाता है।
यह क्यों खास है:
- कोई री-ट्रेनिंग नहीं: उन्हें पूरी मशीन को फिर से बनाने या उसे नई चीजें सिखाने की आवश्यकता नहीं पड़ी। उन्होंने बस उन निर्देशों को बदल दिया जो उसे काम करते समय मिलते हैं।
- आपका सम्मान करता है: यदि आप वास्तव में कहते हैं "एक महिला वनस्पति शास्त्री," तो कोच उसका सम्मान करता है और लिंग को महिला ही रखता है, लेकिन यह सुनिश्चित करता है कि जाति और आयु विविध रहे। यह केवल उन्हीं हिस्सों को ठीक करता है जिन्हें आपने निर्दिष्ट नहीं किया है।
निचोड़ (The Bottom Line)
यह पेपर दिखाता है कि आधुनिक AI इमेज जनरेटर के "स्मार्ट" हिस्से वास्तव में नए प्रकार के पूर्वाग्रह का स्रोत हैं। इन स्मार्ट अनुवादकों को दिए जाने वाले निर्देशों (सिस्टम प्रॉम्प्ट्स) में थोड़ा बदलाव करके, हम चित्रों की गुणवत्ता को खराब किए बिना उन्हें अनुचित धारणाएं बनाने से रोक सकते हैं। यह एक सहायक को यह सिखाने जैसा है कि आपकी पसंद का अंदाज़ा लगाने के बजाय, धारणा बनाने से पहले पूछना चाहिए, "मुझे किसका चित्र बनाना चाहिए?"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।