Laissez-Faire Harms: Algorithmic Biases in Generative Language Models
यह अध्ययन दर्शाता है कि पाँच बड़े जनरेटिव भाषा मॉडल, जब बिना किसी स्पष्ट पहचान प्रॉम्प्ट के प्राकृतिक "लेसे-फेयर" (laissez-faire) वातावरण में तैनात किए जाते हैं, तो वे अल्पसंख्यक व्यक्तियों के प्रति हानिकारक लोप, अधीनता और रूढ़ियों को व्यवस्थित रूप से बनाए रखते हैं, ऐसे भेदभावपूर्ण आउटपुट उत्पन्न करते हैं जो सशक्त बनाने की तुलना में सैकड़ों से हजारों गुना अधिक नकारात्मक होने की संभावना रखते हैं, और महत्वपूर्ण मनोवैज्ञानिक जोखिम पैदा करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास पाँच बहुत लोकप्रिय, अत्यंत कुशल रोबोट लेखक (जैसे ChatGPT, Claude और अन्य) हैं। आप उनसे अमेरिकी जीवन के रोज़मर्रा के अनुभवों—जैसे स्कूल जाना, नौकरी करना या दोस्तों के साथ समय बिताना—पर लघु कथाएँ लिखने के लिए कहते हैं। आप उन्हें यह नहीं बताते कि पात्र कौन होने चाहिए; आप बस कहते हैं: "एक अमेरिकी छात्र के बारे में एक कहानी लिखें" या "एक अमेरिकी डॉक्टर के बारे में एक कहानी लिखें।"
यह लेख इस बात का एक विशाल परीक्षण है कि इन रोबोटों ने क्या लिखा। शोधकर्ताओं ने पाया कि भले ही आपने विशिष्ट पहचानों का अनुरोध न किया हो, फिर भी इन रोबोटों में एक छिपा हुआ "डिफ़ॉल्ट सेटिंग" है जो लोगों के साथ उनकी जाति, लिंग और उनके प्रेम के आधार पर अलग-अलग व्यवहार करता है। वे इन समस्याओं को "लेज़े-फ़ेयर हार्म्स" (Laissez-Faire Harms) कहते हैं—जिसका अर्थ है कि नुकसान इसलिए होता है क्योंकि रोबोटों को बिना किसी निर्देश के "स्वतंत्र रूप से चुनने" की अनुमति दी गई है।
इन रोबोटों द्वारा की गई तीन मुख्य गलतियाँ यहाँ सरल उपमाओं के साथ समझाई गई हैं:
1. "अदृश्य व्यक्ति" प्रभाव (विलोपन द्वारा हानि - Harms by Omission)
उपमा: कल्पना कीजिए कि एक स्कूल नाटक है जहाँ निर्देशक मुख्य भूमिका के लिए "एक छात्र" मांगता है। यदि निर्देशक केवल श्वेत कलाकारों को चुनता है और कभी यह विचार तक नहीं करता कि एक अश्वेत, एशियाई या स्वदेशी कलाकार को कास्ट किया जाए, तो वे समूह प्रभावी रूप से उस नाटक में मौजूद ही नहीं हैं।
लेख में क्या पाया गया:
जब रोबोटों ने "औसत" अमेरिकियों के बारे में कहानियाँ लिखीं, तो उन्होंने भारी बहुमत से श्वेत पात्रों को चुना।
- अंतर: अमेरिका में, श्वेत लोग लगभग 60% आबादी बनाते हैं। रोबोट की कहानियों में, वे 70% से 84% कहानियों में दिखाई दिए।
- मिटा देना (Erasure): अल्पसंख्यकों (जैसे मूल अमेरिकी, प्रशांत द्वीपवासी और मध्य पूर्व के लोग) को लगभग पूरी तरह से अदृश्य कर दिया गया। यदि आपने एक छात्र के बारे में कहानी मांगी, तो रोबोट द्वारा एक श्वेत छात्र को गढ़ने की संभावना एक मूल अमेरिकी छात्र की तुलना में सैकड़ों गुना अधिक थी।
- LGBTQ+ अंतराल: समलैंगिक जोड़ों या गैर-बाइनरी लोगों के बारे में कहानियाँ अत्यंत दुर्लभ थीं (3% से भी कम), भले ही वे वास्तविक जीवन में मौजूद हैं।
2. "असहाय पीड़ित बनाम नायक" प्रभाव (अधीनता द्वारा हानि - Harms by Subordination)
उपमा: एक ऐसी फिल्म की कल्पना करें जहाँ हर बार जब एक श्वेत पात्र दिखाई देता है, तो वह बॉस, शिक्षक या आदेश देने वाला होता है। लेकिन हर बार जब एक अश्वेत, लैटिन अमेरिकी या एशियाई पात्र दिखाई देता है, तो वह मदद माँगने वाला, मुसीबत में पड़ा हुआ, या बचाया जाने वाला व्यक्ति होता है।
लेख में क्या पाया गया:
जब शोधकर्ताओं ने प्रॉम्प्ट में एक "शक्ति गतिशीलता" (power dynamic) जोड़ी (जैसे, "एक स्टार छात्र के बारे में कहानी लिखें जो एक संघर्षरत छात्र की मदद कर रहा है"), तो रोबोटों ने एक चौंकाने वाला पैटर्न दिखाया:
- श्वेत पात्र = नायक: श्वेत छात्र आमतौर पर "स्टार छात्र" (मदद करने वाले) थे। श्वेत डॉक्टर जीवन बचाने वाले थे।
- अल्पसंख्यक पात्र = असहाय: ऐसे पात्र जिनके नाम अश्वेत, लैटिन अमेरिकी, एशियाई या मध्य पूर्वी सुनाई देते थे, वे लगभग हमेशा मदद की ज़रूरत वाले थे।
- आंकड़े: रोबोट किसी लैटिन अमेरिकी छात्र को "संघर्षरत" दिखाने के लिए हज़ारों गुना अधिक इच्छुक थे, बजाय एक "स्टार" के। उदाहरण के लिए, "मारिया" (लैटिन अमेरिकी) नामक पात्र को 13,000 से अधिक बार संघर्षरत छात्र के रूप में दिखाया गया, जबकि "सारा" (श्वेत) नामक पात्र को 10,000 से अधिक बार स्टार छात्र के रूप में दिखाया गया।
- परिणाम: यदि आप एक अल्पसंख्यक व्यक्ति हैं और ये कहानियाँ पढ़ रहे हैं, तो रोबोट आपको लगातार बताते हैं कि आप वह व्यक्ति हैं जिसे बचाया जाना है, न कि वह जो बचाता है।
3. "रूढ़िवादी पटकथा" प्रभाव (रूढ़िवादिता द्वारा हानि - Harms by Stereotyping)
उपमा: एक ऐसे लेखक की कल्पना करें जिसके पास विभिन्न लोगों के लिए सीमित "पटकथाएँ" (scripts) हैं।
- एक श्वेत व्यक्ति के लिए, पटकथा है: "सामान्य, सक्षम, नेता।"
- एक लैटिन अमेरिकी या मध्य पूर्वी व्यक्ति के लिए, पटकथा है: "विदेशी, भाषा के साथ संघर्ष करने वाला, युद्धग्रस्त देश से आया हुआ।"
- एक स्वदेशी व्यक्ति के लिए, पटकथा है: "पुराना, रहस्यमय, समय में जड़ा हुआ।"
लेख में क्या पाया गया:
रोबोटों ने न केवल भूमिकाएँ गलत कीं; उन्होंने विशिष्ट, हानिकारक रूढ़ियों (clichés) का उपयोग किया:
- "शाश्वत विदेशी" (The Perpetual Foreigner): भले ही प्रॉम्प्ट में "अमेरिकी" कहा गया था, रोबोटों ने लैटिन अमेरिकी, एशियाई और मध्य पूर्वी पात्रों को "अमेरिका में नया," "अंग्रेजी के साथ संघर्ष करने वाला," या "युद्धग्रस्त देश से आया हुआ" बताया। उन्हें अपने ही देश में बाहरी व्यक्ति माना गया।
- "श्वेत रक्षक" (The White Savior): कहानियाँ लगभग हमेशा एक श्वेत पात्र द्वारा अल्पसंख्यक पात्र को "बचाने" के साथ समाप्त होती थीं। अल्पसंख्यक पात्र की सफलता को उनकी अपनी क्षमता के बजाय श्वेत व्यक्ति की मदद का श्रेय दिया गया।
- "नेक जंगली" (The Noble Savage): स्वदेशी पात्रों को अक्सर दूरदराज के, आदिम गाँवों में रहने वाले, "प्राचीन" कौशल सिखाने वाले, या "समय में जड़े हुए" के रूप में वर्णित किया गया, जो इस तथ्य की अनदेखी करता है कि वे आज के आधुनिक अमेरिका में रहने वाले लोग हैं।
- क्वीर पात्र (Queer Characters): LGBTQ+ लोगों के बारे में कहानियों में लगभग हमेशा त्रासदियाँ शामिल थीं, जैसे कि उन्हें घर से निकाल दिया जाना या बेघर होना, बजाय खुशहाल, सामान्य रिश्तों को दिखाने के।
यह क्यों मायने रखता है?
लेख तर्क देता है कि यह केवल एक मज़ेदार गलती नहीं है; यह खतरनाक है।
- यह अवचेतन है: चूंकि प्रॉम्प्ट में जाति या लिंग के बारे में नहीं पूछा गया था, इसलिए रोबोटों ने ये निर्णय स्वयं लिए। इसका मतलब है कि पूर्वाग्रह सिस्टम के भीतर बना हुआ है और यह केवल खराब निर्देशों का परिणाम नहीं है।
- यह वास्तविक लोगों को चोट पहुँचाता है: लेख बताता है कि खुद को "संघर्षरत," "विदेशी," या "बचाव की ज़रूरत वाले" के रूप में देखना वास्तव में आपके मस्तिष्क को नुकसान पहुँचा सकता है। यह "रूढ़िवादी खतरे" (stereotype threat) को जन्म देता है, जो लोगों को कम आत्मविश्वासी महसूस करा सकता है और स्कूल या काम में उनके प्रदर्शन को कम कर सकता है।
- यह हर जगह है: इन रोबोटों का उपयोग बच्चों के ट्यूटर के रूप में, डॉक्टरों के लेखन सहायक के रूप में, और अकेलेपन से जूझ रहे लोगों के चैटबॉट के रूप में किया जा रहा है। यदि ये रोबोट बच्चों को सिखाते हैं कि कुछ समूह "संघर्षरत छात्र" या "विदेशी" हैं, तो वे वास्तविक दुनिया के पूर्वाग्रहों को सुदृढ़ करते हैं।
निष्कर्ष (The Bottom Line)
लेख निष्कर्ष निकालता है कि ये "स्वतंत्र रूप से चुनने वाले" रोबोट तटस्थ नहीं हैं। वे पुराने, हानिकारक रूढ़ियों को पुख्ता करते हैं और कई लोगों के अस्तित्व को मिटा देते हैं। शोधकर्ता कहते हैं कि हमें इन उपकरणों को हानिरहित मानना बंद करना चाहिए और वास्तविक दुनिया में और अधिक नुकसान होने से पहले पूर्वाग्रह को ठीक करना शुरू करना चाहिए। वे बेहतर शिक्षा के लिए भी आह्वान करते हैं ताकि लोग समझ सकें कि ये रोबोट वास्तविकता के निर्दोष दर्पण नहीं हैं, बल्कि पूर्वाग्रह से विकृत दर्पण हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।