Beyond Categories of Caste: Examining Caste Bias and Morality in Text-to-Image AI Models

कल्पना कीजिए कि आपके पास एक जादुई, अत्यंत बुद्धिमान रोबोट कलाकार है। आप उसे कह सकते हैं, "एक व्यक्ति दोपहर का भोजन करते हुए चित्र बनाओ," या "दो लोग साथ मिलकर पढ़ाई कर रहे हैं," और वह तुरंत एक चित्र बना देगा। यह वही है जो टेक्स्ट-टू-इमेज एआई (Text-to-Image AI) करता है।

हालाँकि, यह शोध पत्र तर्क देता है कि यह रोबोट कलाकार केवल एक खाली कैनवास नहीं है। इसे इंटरनेट से लाखों चित्रों पर प्रशिक्षित किया गया है, और दुर्भाग्य से, इसने लोगों के साथ व्यवहार करने के कुछ बहुत पुराने, बहुत हानिकारक नियम सीख लिए हैं। विशेष रूप से, शोधकर्ताओं ने देखा कि यह एआई दक्षिण एशिया में जाति (caste) (भारत में सामाजिक पदानुक्रम की एक प्रणाली) को कैसे संभालता है।

यहाँ उनके निष्कर्षों का सरल शब्दों में विवरण दिया गया है:

1. समस्या को देखने का पुराना तरीका

पिछले शोधकर्ताओं ने जाति को एक चेकबॉक्स (checkbox) की तरह माना। उन्होंने सोचा कि एआई पक्षपाती है क्योंकि उसने "शर्मा" (अक्सर उच्च जाति का) जैसे नाम को देखा और एक अमीर व्यक्ति का चित्र बनाया, या "कुमार" (अक्सर निचली जाति का) जैसे नाम को देखा और एक गरीब व्यक्ति का चित्र बनाया। उन्हें लगा कि समस्या केवल लेबल (labels) की है।

शोध पत्र का नया विचार:
लेखकों का कहना है कि यह बहुत सरल है। जाति केवल नाम के टैग पर लगा एक लेबल नहीं है; यह एक संबंध (relationship) है। यह एक पटकथा (script) की तरह है जो बताती है कि अन्य लोगों के संबंध में लोग कौन हैं। एआई केवल लोगों को गलत लेबल नहीं दे रहा है; यह एक गहरे, अदृश्य नियम का पालन कर रहा है जो यह तय करता है कि किसे गरिमा का पात्र होना चाहिए और किसे सेवा करने के योग्य होना चाहिए।

2. "मैजिक मिरर" (जादुई दर्पण) प्रयोग

इसका परीक्षण करने के लिए, शोधकर्ताओं ने केवल "एक ब्राह्मण" या "एक दलित" बनाने के लिए एआई से नहीं कहा। इसके बजाय, उन्होंने एआई से ऐसे सामान्य दृश्य बनाने के लिए कहा जिनमें ऐसे नाम थे जो थे:

• स्पष्ट रूप से उच्च-जाति के।
• स्पष्ट रूप से निचली-जाति के।
• अस्पष्ट (Ambiguous) (ऐसे नाम जो कोई भी हो सकते थे)।
• बिना उपनाम के (केवल पहला नाम)।

उन्होंने एआई से इन लोगों को सामान्य काम करते हुए दिखाने के लिए कहा: खाना, पढ़ाई करना, प्रार्थना करना, या किसी पड़ोस में काम करना।

3. रोबोट कलाकार ने वास्तव में क्या बनाया

एआई ने केवल नामों को गलत नहीं किया। इसने एक पूरा नैतिक ब्रह्मांड (moral universe) बना दिया जहाँ कुछ लोग "शुद्ध" और "योग्य" थे, और अन्य "गंदे" और "केवल श्रम के लिए उपयोगी" थे।

शोधकर्ताओं ने पाया कि एआई ने मुख्य रूप से तीन तरीकों से इस पूर्वाग्रह को लागू किया:

• "शरीर की योग्यता" का फिल्टर (दैहिक नैतिकता - Bodily Morality):

  • उपमा: कल्पना कीजिए कि एक तराजू है जो आपकी आत्मा का वजन करता है।
  • क्या हुआ: जब एआई ने उच्च-जाति या अस्पष्ट नामों को चित्रित किया, तो उसने उन्हें साफ, विशाल कमरों में बैठे हुए, पुस्तकालयों में पढ़ते हुए, या बस गरिमा के साथ खड़े हुए दिखाया। वे कुछ "कर" नहीं रहे थे।
  • पूर्वाग्रह: जब एआई ने निचली-जाति या अस्पष्ट नामों को चित्रित किया, तो उसने लगभग हमेशा उन्हें काम करते हुए दिखाया। भले ही प्रॉम्प्ट (निर्देश) में किसी काम के बारे में नहीं पूछा गया था, एआई ने उन्हें झाड़ू, मछली की टोकरी, या सफाई का कोई उपकरण दे दिया। उसने तय कर लिया कि ये शरीर केवल दूसरों के लिए उपयोगी होने पर ही मूल्यवान हैं। एआई ने मान लिया कि उन्हें गरीब या श्रम करने वाला होना उचित है, जबकि अन्य लोग आरामदायक स्थिति में रहने के योग्य हैं।

• "सामाजिक घेरा" का फिल्टर (सामाजिक संबंध - Social Relation):

  • उपमा: एक पार्टी की कल्पना करें जहाँ कुछ मेहमानों को घर के अंदर जाने की अनुमति है, लेकिन दूसरों को बाहर कीचड़ में खड़ा रहना पड़ता है।
  • क्या हुआ: जब एआई ने लोगों को साथ में खाते हुए दिखाया, तो उसने अक्सर उन्हें अलग कर दिया। "उच्च" व्यक्ति को एक साफ, निजी घर में दिखाया गया जहाँ कोई दूसरा नहीं था (उनकी "शुद्धता" की रक्षा के लिए)। "निचले" व्यक्ति को सड़क पर, एक झोपड़ी में, या एक भीड़भाड़ वाले, गंदे क्षेत्र में खाते हुए दिखाया गया।
  • पूर्वाग्रह: एआई ने लोगों को स्वतंत्र रूप से मिलते-जुलते हुए दिखाने से इनकार कर दिया। इसने इस विचार को पुख्ता किया कि कुछ लोग दूसरों के करीब होने के लिए "बहुत शुद्ध" हैं, या अन्य लोग इतने "गंदे" हैं कि वे एक ही स्थान में नहीं रह सकते।

• "स्टेज सेट" का फिल्टर (भौतिक-स्थानिक संबंध - Material-Spatial Relation):

  • उपमा: एक फिल्म सेट की कल्पना करें जहाँ अमीर पात्रों को हवेली मिलती है, और गरीब पात्रों को कार्डबोर्ड का डिब्बा मिलता है, भले ही स्क्रिप्ट में ऐसा न कहा गया हो।
  • क्या हुआ: एआई ने निचली-जाति के पात्रों को विशिष्ट, प्रतिबंधित वातावरण में रखा। उदाहरण के लिए, इसने एक निचली-जाति के व्यक्ति को एक गाँव में दिखाया जहाँ "भंगी कॉलोनी" (स्वच्छता श्रमिकों के लिए एक अलग क्षेत्र) का साइन बोर्ड लगा था, या उन्हें एक अस्थायी घर में दिखाया।
  • पूर्वाग्रह: एआई ने केवल गरीबी नहीं दिखाई; इसने पृथक्करण (segregation) दिखाया। इसने एक ऐसी दुनिया बनाई जहाँ "गंदा" काम और "गंदी" जगहें कुछ लोगों के लिए ही एकमात्र विकल्प हैं, प्रभावी रूप से उन्हें वहीं फंसा दिया।

4. सबसे बड़ा आश्चर्य: यह बिना नामों के भी हुआ

अध्ययन का सबसे चौंकाने वाला हिस्सा यह था कि एआई ने यह तब भी किया जब नाम अस्पष्ट थे या उनमें कोई उपनाम नहीं था।

• यदि आपने एआई को ऐसा नाम दिया जो किसी का भी हो सकता था, तो भी उसने यह "अनुमान" लगाया कि उस व्यक्ति का सामाजिक स्तर क्या है, इस आधार पर कि वह क्या होना चाहिए।
• उसने उन लोगों को "गंदे" काम और "गंदे" पड़ोस सौंप दिए जिनका कोई स्पष्ट जाति लेबल नहीं था।
• सबक: एआई केवल नामों को नहीं देख रहा है; इसने एक नैतिक व्यवस्था (moral order) सीख ली है। इसने नियमों का एक सेट सीख लिया है जो कहता है कि "इस प्रकार का शरीर रसोई में शौचालय साफ करने के लिए है, और उस प्रकार का शरीर किताबें पढ़ने के लिए पुस्तकालय में है।"

5. यह क्यों महत्वपूर्ण है ( "क्या" के पीछे का "क्यों")

लेखकों का तर्क है कि समस्या यह नहीं है कि एआई केवल "पक्षपाती" है। समस्या यह है कि एआई ने ब्राह्मणिकल नॉर्मेटिविटी (Brahminical Normativity) को आत्मसात कर लिया है।

• सरल अनुवाद: यह एक फैंसी तरीका है यह कहने का कि एआई ने उस समाज के "डिफ़ॉल्ट सेटिंग्स" को सीख लिया है जहाँ एक समूह को श्रेष्ठ और शुद्ध माना जाता है, और बाकी सभी को निम्न और अशुद्ध माना जाता है।
• एआई केवल वास्तविकता को प्रतिबिंबित नहीं कर रहा है; यह इस विचार को पुनर्जीवित कर रहा है कि यह पदानुक्रम स्वाभाविक और नैतिक है। यह इसे ऐसा दिखाने के लिए बनाता है जैसे कि कुछ लोगों के लिए सफाईकर्मी और दूसरों के लिए बॉस होना "सही" है।

6. लेखक क्या चाहते हैं

शोध पत्र निष्कर्ष निकालता है कि हम इसे केवल अधिक "निष्पक्ष" डेटा जोड़कर या एआई को "अच्छा" बनने के लिए कहकर ठीक नहीं कर सकते।

• हमें जाति को केवल एक श्रेणी (जैसे एक चेकबॉक्स) के रूप में देखना बंद करना होगा।
• हमें इसे एक संबंध और एक नैतिक प्रणाली के रूप में समझने की आवश्यकता है।
• एआई को ठीक करने के लिए, हमें इस विचार को चुनौती देने की आवश्यकता है कि कुछ लोग स्वाभाविक रूप से आराम के "योग्य" हैं और अन्य केवल श्रम के "योग्य" हैं। हमें एआई को यह सिखाने की आवश्यकता है कि गरिमा वह नहीं है जिसे आप अपने काम या अपने नाम से अर्जित करते हैं; यह वह है जो हर किसी के पास होती है।

संक्षेप में: रोबोट कलाकार केवल गलतियाँ नहीं कर रहा है; यह एक सख्त, पुराने जमाने के नियम पुस्तिका की तरह काम कर रहा है जो कहता है कि कुछ लोग कुछ काम करने के लिए "बहुत अच्छे" हैं, और अन्य केवल "गंदे काम" के लिए ही "अच्छे" हैं। लेखक चाहते हैं कि हम इसे समझें और नियम पुस्तिका को फिर से लिखें।