Institutional Prestige as Geographic Bias in Large Language Models: Evidence from Three Factorial Experiments with Bootstrap Confidence Intervals
चार बड़े भाषा मॉडलों के माध्यम से 4,320 API कॉल्स वाले तीन फैक्टोरियल प्रयोगों के माध्यम से, यह अध्ययन प्रदर्शित करता है कि संस्थागत प्रतिष्ठा और प्रकाशन का माध्यम, आवेदक के नाम की जातीयता या भौगोलिक मूल की तुलना में उम्मीदवार के मूल्यांकन पर काफी अधिक भेदभावपूर्ण प्रभाव डालते हैं, जिसमें एक "रेस्क्यू इफेक्ट" (बचाव प्रभाव) यह दर्शाता है कि उच्च-प्रभाव वाले प्रकाशन कम संस्थागत प्रतिष्ठा की भरपाई करने में असमान रूप से सक्षम हो सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक दुनिया में, आर्टिफिशियल इंटेलिजेंस चुपचाप एक द्वारपाल बन गया है। ये कंप्यूटर प्रोग्राम, जिन्हें लार्ज लैंग्वेज मॉडल्स के रूप में जाना जाता है, उनसे तेजी से ऐसे निर्णय लेने के लिए कहा जा रहा है जो मानव जीवन को आकार देते हैं। वे यह तय करने में मदद करते हैं कि किसे नौकरी मिलेगी, किसे अनुसंधान अनुदान (रिसर्च ग्रांट) प्राप्त होगा, और कौन ऋण के लिए पात्र होगा। वे आवेदनों को पढ़कर और स्कोर असाइन करके ऐसा करते हैं, जिससे वे स्वचालित न्यायाधीश की भूमिका निभाते हैं। वर्षों से, वैज्ञानिक इस बात को लेकर चिंतित रहे हैं कि ये डिजिटल न्यायाधीश उन मनुष्यों के समान पूर्वाग्रह रख सकते हैं जिन्होंने उन्हें बनाया है। हम जानते हैं कि वे लोगों के नाम, उनकी लिंग या उनकी जाति के आधार पर पक्षपाती हो सकते हैं। लेकिन एक नया, अधिक सूक्ष्म प्रश्न उभरा है: क्या ये मॉडल केवल इसलिए उम्मीदवारों का पक्ष लेते हैं क्योंकि वे उस स्कूल में पढ़े जहाँ से उन्होंने शिक्षा प्राप्त की है? यह किसी व्यक्ति द्वारा किए गए कार्य की गुणवत्ता के बारे में नहीं है, बल्कि उनके बायोडाटा (रेज़्यूमे) पर मौजूद संस्थान की प्रतिष्ठा के बारे में है। यदि एक कंप्यूटर प्रोग्राम एक प्रसिद्ध विश्वविद्यालय के वैज्ञानिक को कम प्रसिद्ध विश्वविद्यालय के समान योग्य वैज्ञानिक की तुलना में उच्च स्कोर देता है, तो वह तटस्थ नहीं हो रहा है; वह मौजूदा पदानुक्रमों को मजबूत कर रहा है।
शोधकर्ताओं की एक टीम ने चार अलग-अलग आर्टिफिशियल इंटेलिजेंस मॉडल्स का उपयोग करके इस विशिष्ट प्रकार के पूर्वाग्रह का परीक्षण करने का निर्णय लिया। वे यह जानना चाहते थे कि मॉडल विश्वविद्यालय की प्रतिष्ठा के प्रति प्रतिक्रिया दे रहे हैं या केवल उस देश के प्रति जहाँ वह विश्वविद्यालय स्थित है। उत्तर खोजने के लिए, उन्होंने हजारों फर्जी नौकरी और अनुदान आवेदन बनाए। उन्होंने हर स्थिति में उम्मीदवार के कौशल और अनुभव को बिल्कुल समान रखा। उन्होंने केवल उन चीजों को बदला जो उम्मीदवार द्वारा जाने गए विश्वविद्यालय का नाम था और कुछ मामलों में, उस जर्नल का नाम जहाँ उम्मीदवार ने अपना शोध प्रकाशित किया था। उन्होंने शीर्ष स्तर के अमेरिकी विश्वविद्यालयों, चिली और कोलंबिया के प्रतिष्ठित संस्थानों, और इक्वाडोर के एक ऐसे विश्वविद्यालय के उम्मीदवारों का परीक्षण किया जो वैश्विक रैंकिंग सूची में दिखाई नहीं देता है। उन्होंने आवेदनों पर नामों को एंग्लो (Anglo), लातीनो (Latino) और अरबी (Arabic) मूल के शामिल करने के लिए भी बदला ताकि यह देखा जा सके कि क्या मॉडल अभी भी पुराने रूढ़िवादी विचारों को पकड़े हुए हैं।
परिणाम स्पष्ट और सांख्यिकीय रूप से सुदृढ़ थे। आर्टिफिशियल इंटेलिजेंस मॉडल लगातार प्रतिष्ठित विश्वविद्यालयों के उम्मीदवारों को उच्च स्कोर देते थे। यह अंतर कोई छोटा उतार-चढ़ाव नहीं था; यह एक निरंतर, मापने योग्य प्रवृत्ति थी। विभिन्न मॉडल्स और पेशेवर क्षेत्रों में, एक शीर्ष श्रेणी के विश्वविद्यालय के उम्मीदवार को एक गैर-रैंक वाले विश्वविद्यालय के उम्मीदवार की तुलना में लगभग तीन-दशांश अंक अधिक स्कोर प्राप्त हुआ। ऑटोमेटेड स्कोरिंग की दुनिया में, यह अंतर महत्वपूर्ण है। हालाँकि, जब शोधकर्ताओं ने आवेदनों पर नामों को देखा, तो कहानी बदल गई। मॉडल्स ने एंग्लो नामों वाले उम्मीदवारों को लातीनो या अरबी नामों वाले उम्मीदवारों की तुलना में कोई सांख्यिकीय रूप से महत्वपूर्ण प्राथमिकता नहीं दिखाई। विभिन्न नाम समूहों के लिए स्कोर इतने करीब थे कि अंतर को यादृच्छिक संयोग (random chance) माना जा सकता था। यह सुझाव देता है कि जबकि मॉडल्स को जातीय नामों को अनदेखा करने के लिए सफलतापूर्वक प्रशिक्षित किया गया है, उन्हें रेज़्यूमे पर स्कूल की स्थिति को अनदेखा करने के लिए प्रशिक्षित नहीं किया गया है।
यह समझने के लिए कि क्या यह पूर्वाग्रह स्कूल की प्रतिष्ठा से आया था या उसके देश से, शोधकर्ताओं ने प्रयोगों का एक दूसरा सेट चलाया। उन्होंने मैक्सिको के एक उच्च रैंक वाले विश्वविद्यालय की तुलना संयुक्त राज्य अमेरिका के एक निम्न-रैंक वाले, गैर-रैंक वाले विश्वविद्यालय से की। यदि मॉडल केवल विकासशील देशों के प्रति पक्षपाती होते, तो उन्हें अमेरिकी स्कूल को प्राथमिकता देनी चाहिए थी। इसके बजाय, मॉडल्स ने मैक्सिकन विश्वविद्यालय का पक्ष लेना शुरू किया, भले ही वह शीर्ष अमेरिकी स्कूलों की तुलना में कम प्रसिद्ध था लेकिन एक छोटे अमेरिकी स्कूल की तुलना में अधिक प्रसिद्ध था। इसने सिद्ध कर दिया कि मॉडल स्वयं संस्थान की प्रतिष्ठा के प्रति प्रतिक्रिया दे रहे थे, न कि केवल भूगोल के प्रति। पूर्वाग्रह विश्वविद्यालय के ब्रांड के बारे में था, न कि आवेदक के पासपोर्ट के बारे में।
सबसे आश्चर्यजनक खोज तब हुई जब शोधकर्ताओं ने एक तीसरा चर (variable) पेश किया: वह जर्नल जहाँ उम्मीदवार ने अपना शोध प्रकाशित किया था। उन्होंने दुनिया के सबसे प्रसिद्ध वैज्ञानिक जर्नल में प्रकाशित उम्मीदवारों की तुलना एक छोटे, ओपन-एक्सेस जर्नल में प्रकाशित उम्मीदवारों से की। स्कोर में अंतर बहुत बड़ा था। जर्नल की प्रतिष्ठा विश्वविद्यालय की प्रतिष्ठा से कहीं अधिक मायने रखती थी। एक कम प्रसिद्ध विश्वविद्यालय के उम्मीदवार ने, जिसने शीर्ष जर्नल में प्रकाशन किया था, उस उम्मीदवार से बहुत अधिक स्कोर प्राप्त किया जिसने शीर्ष विश्वविद्यालय में अध्ययन किया था लेकिन छोटे जर्नल में प्रकाशित किया था। वास्तव में, एक प्रसिद्ध जर्नल से मिलने वाला उछाल (boost) एक प्रसिद्ध विश्वविद्यालय से मिलने वाले उछाल से लगभग छह गुना अधिक शक्तिशाली था। इसने एक "बचाव प्रभाव" (rescue effect) पैदा किया, जहाँ शीर्ष जर्नल में प्रकाशन ने संस्थागत प्रतिष्ठा की कमी की पूरी तरह से भरपाई कर दी। मॉडल्स ने शीर्ष-स्तरीय प्रकाशन को गुणवत्ता के इतने मजबूत संकेत के रूप में देखा कि इसने स्कूल के प्रति पूर्वाग्रह को भी पीछे छोड़ दिया।
शोधकर्ताओं ने यह भी देखा कि मॉडल्स अपने स्कोरिंग में कितने सुसंगत थे। उन्होंने पाया कि कम प्रसिद्ध संस्थानों के उम्मीदवारों का मूल्यांकन करते समय, मॉडल्स अधिक असंगत थे। एक बार, मॉडल किसी छोटे विश्वविद्यालय के उम्मीदवार को कम स्कोर दे सकता है, और अगली बार, वह ठीक उसी प्रोफाइल के लिए थोड़ा उच्च स्कोर दे सकता है। यह विसंगति शीर्ष विश्वविद्यालयों के उम्मीदवारों के साथ उतनी बार नहीं हुई। यह सुझाव देता है कि मॉडल उन लोगों को कैसे आंकें जिनके बारे में वे कम जानते हैं, इसे लेकर कम निश्चित होते हैं, जिससे दोहरा नुकसान होता है: कम औसत स्कोर और अधिक अप्रत्याशित मूल्यांकन।
अंततः, यह अध्ययन प्रकट करता है कि जबकि आर्टिफिशियल इंटेलिजेंस ने भेदभाव के कुछ रूपों से बचने में प्रगति की है, इसने स्थिति (status) के प्रति एक गहरे बैठे पूर्वाग्रह को विरासत में प्राप्त किया है। मॉडल्स मौजूदा सामाजिक पदानुक्रमों के एम्पलीफायर (प्रवर्धक) के रूप में कार्य करते हैं, जो परिचित और प्रतिष्ठित को पुरस्कृत करते हैं और अज्ञात को दंडित करते हैं। वे आवेदक के देश की उत्पत्ति की तुलना में स्कूल के ब्रांड नाम की अधिक परवाह करते हैं। हालाँकि, अध्ययन आगे बढ़ने का एक मार्ग भी प्रदान करता है। यह दिखाता है कि उच्च-गुणवत्ता वाला कार्य, जब सही स्थानों पर प्रकाशित किया जाता है, तो इन बाधाओं को तोड़ सकता है। कम प्रसिद्ध संस्थानों के शोधकर्ताओं के लिए, इन डिजिटल न्यायाधीशों द्वारा निष्पक्ष मूल्यांकन का मार्ग अपने नाम या अपने देश को बदलने में नहीं, बल्कि उनके प्रकाशित कार्य के निर्विवाद वजन में निहित है। मशीनें काम को महत्व देना सीख रही हैं, लेकिन केवल तभी जब उसे सबसे प्रतिष्ठित मंच पर प्रस्तुत किया जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।