Who Do Language Models Think Is Competent? A Mechanistic Analysis of Occupational Bias
यह शोध पत्र प्रकट करता है कि भाषा मॉडल अक्सर लिंग और नस्ल जैसे जनसांख्यिकीय विवरणों के आधार पर उपयोगकर्ता की क्षमता के संबंध में आंतरिक निर्णयात्मक पूर्वाग्रह बनाए रखते हैं, भले ही उनके दृश्य आउटपुट निष्पक्ष प्रतीत हों, जो यह दर्शाता है कि इन अंतर्निहित विफलता मोड का पता लगाने के लिए केवल व्यवहार संबंधी मूल्यांकन अपर्याप्त हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मनुष्य दूसरों के बारे में अवचेतन धारणाएं रखने में सक्षम होते हैं, जो अक्सर उन्हें बिना पता चले होती हैं। एक व्यक्ति यह मान सकता है कि एक विशिष्ट जनसांख्यिकीय समूह किसी विशेष काम के लिए कम उपयुक्त है, भले ही वह सचेत रूप से ऐसे विचारों को खारिज करता हो। ये छिपे हुए जुड़ाव चुपचाप निर्णयों को आकार दे सकते हैं, जैसे कि किसे काम पर रखा जाए या किसे कितनी मदद मिले। आर्टिफिशियल इंटेलिजेंस की दुनिया में, लार्ज लैंग्वेज मॉडल्स ने विशाल मात्रा में टेक्स्ट का अध्ययन करके मानवीय भाषा की नकल करना सीखा है। क्योंकि वे मानवीय लेखन से सीखते हैं, इसलिए वे अक्सर इन समान छिपे हुए जुड़ावों को भी पकड़ लेते हैं। वर्षों से, शोधकर्ता यह मापने की कोशिश कर रहे हैं कि क्या ये कंप्यूटर प्रोग्राम पक्षपाती हैं, इसके लिए वे मॉडल से सीधे प्रश्न पूछते हैं या उनके उत्तरों का अवलोकन करते हैं। यदि कोई मॉडल पूर्वाग्रहपूर्ण बात कहने से मना कर देता है, तो इसे अक्सर सुरक्षित माना जाता है। हालांकि, एक नया अध्ययन बताता है कि एक मॉडल सतह पर पूरी तरह से विनम्र दिख सकता है, जबकि वह अपने भीतर के प्रसंस्करण (प्रोसेसिंग) में अभी भी इन पक्षपाती विचारों को थामे रख सकता है।
इस कार्य के पीछे के शोधकर्ताओं, केरेन फुएन्टेस और आरोन मुलर ने यह देखना चाहा कि क्या एक मॉडल के आंतरिक विचार उसके बाहरी व्यवहार से मेल खाते हैं। उन्होंने एक विशिष्ट प्रकार के पक्षपात पर ध्यान केंद्रित किया: यह धारणा कि वास्तविक कौशल के बजाय लिंग, जाति या सामाजिक-आर्थिक स्थिति के आधार पर कुछ लोग अधिक या कम सक्षम होते हैं। इसकी जांच करने के लिए, उन्होंने मॉडल को परखने के दो अलग-अलग तरीके देखे। पहला है "व्यवहार संबंधी" (behavioral) दृष्टिकोण, जो वह है जो मॉडल वास्तव में तब कहता है जब उससे कोई प्रश्न पूछा जाता है। दूसरा है "प्रतिनिधित्व संबंधी" (representational) दृष्टिकोण, जो उन गणितीय पैटर्न को देखता है जो मॉडल अपने मस्तिष्क के भीतर सोचते समय बनाता है। मॉडल की आंतरिक अवस्था को विचार की एक छिपी हुई परत की तरह समझें जो वाक्य बनाने से पहले अस्तित्व में होती है। शोधकर्ताओं ने इस छिपी हुई परत को मापने का एक तरीका विकसित किया ताकि यह देखा जा सके कि मॉडल उपयोगकर्ता को विशेषज्ञ मान रहा है या नौसिखिया, चाहे उपयोगकर्ता ने अपने अनुभव के बारे में वास्तव में कुछ भी कहा हो।
ऐसा करने के लिए, टीम ने बीस अलग-अलग नौकरियों को कवर करने वाले पेशेवर प्रश्नों का एक सेट बनाया, जिसमें नर्सिंग से लेकर सॉफ्टवेयर डेवलपमेंट तक शामिल थे। उन्होंने ये प्रश्न तीन अलग-अलग लार्ज लैंग्वेज मॉडल्स से पूछे, लेकिन हर बार संदर्भ को थोड़ा बदल दिया। कभी-कभी उन्होंने मॉडल को बताया कि उपयोगकर्ता उस क्षेत्र में एक पेशेवर है; अन्य समय में उन्होंने उपयोगकर्ता के लिंग, जाति या आय स्तर का उल्लेख किया, बिना उनके काम का उल्लेख किए। इसके बाद उन्होंने दो चीजें मापीं: मॉडल द्वारा उपयोग की जाने वाली भाषा की जटिलता, और उपयोगकर्ता की विशेषज्ञता के लिए दिया गया आंतरिक "स्कोर"। भाषा की जटिलता एक व्यवहार संबंधी मीट्रिक के रूप में कार्य करती थी, जबकि आंतरिक स्कोर विशेषज्ञता के प्रति मॉडल की छिपी हुई तर्क प्रक्रिया की एक खिड़की के रूप में कार्य करता था।
परिणामों ने एक चौंकाने वाला अंतर प्रकट किया। कई मामलों में, मॉडल्स ने ऐसे उत्तर दिए जो निष्पक्ष और निष्पक्षतापूर्ण दिखे। जब किसी उम्मीदवार को काम पर रखने या तकनीकी प्रश्न का उत्तर देने के लिए पूछा गया, तो मॉडल्स ने उपयोगकर्ता की जाति या लिंग के आधार पर लगातार अलग उत्तर नहीं दिए। यदि आप केवल अंतिम टेक्स्ट को देखते, तो मॉडल्स सभी के साथ समान व्यवहार करते प्रतीत होते थे। हालांकि, जब शोधकर्ताओं ने मॉडल के आंतरिक प्रसंस्करण के भीतर झांका, तो उन्हें एक अलग कहानी मिली। मॉडल उपयोगकर्ता के जनसांख्यिकीय विवरणों के आधार पर विशेषज्ञता के विभिन्न स्तरों को असाइन कर रहे थे, जो कि महत्वपूर्ण नहीं होने चाहिए थे। उदाहरण के लिए, एक मॉडल आंतरिक रूप रूप से एक श्वेत उपयोगकर्ता को हिस्पैनिक उपयोगकर्ता की तुलना में अधिक सक्षम मान सकता है, भले ही दोनों उपयोगकर्ताओं ने बिल्कुल एक ही प्रश्न पूछा हो और उनकी नौकरी का पद भी समान हो। यह आंतरिक पक्षपात तब भी मौजूद था जब मॉडल के अंतिम शब्द कोई पूर्वाग्रह नहीं दिखाते थे।
शोधकर्ताओं ने सिद्ध किया कि ये आंतरिक स्कोर केवल रैंडम शोर (noise) नहीं थे; वे वास्तव में मॉडल के व्यवहार को नियंत्रित करते थे। "स्टीयरिंग" नामक तकनीक का उपयोग करके, वे मॉडल के आंतरिक विचारों को इस तरह से मोड़ सकते थे कि वह उपयोगकर्ता को अधिक या कम विशेषज्ञ के रूप में देखे। जब उन्होंने ऐसा किया, तो मॉडल के उत्तर बदल गए। यदि उन्होंने मॉडल को उपयोगकर्ता को एक विशेषज्ञ के रूप में देखने के लिए प्रेरित किया, तो मॉडल ने अधिक जटिल भाषा का उपयोग किया और अधिक विस्तृत तकनीकी सलाह दी। यदि उन्होंने इसे एक नौसिखिया के रूप में देखने के लिए प्रेरित किया, तो उत्तर सरल हो गए। इसने पुष्टि की कि विशेषज्ञता का आंतरिक प्रतिनिधित्व एक वास्तविक, कारण बल (causal force) था जो मॉडल के आउटपुट को संचालित कर रहा था। अध्ययन ने दिखाया कि ये आंतरिक पक्षपात जनसांख्यिकीय संकेतों के प्रति संवेदनशील थे। भले ही मॉडल उपयोगकर्ता का पेशा जानता था, फिर भी नस्ल या लिंग के आधार पर उसकी क्षमता के प्रति धारणा में सूक्ष्म अंतर उसके आंतरिक स्तर में पता लगाने योग्य बने रहे, भले ही वे अंतिम टेक्स्ट में हमेशा दिखाई न दें।
यह निष्कर्ष सुझाव देता है कि आर्टिफिशियल इंटेलिजेंस के पक्षपात के परीक्षण के वर्तमान तरीके बहुत कुछ मिस कर रहे हैं। यदि हम केवल यह देखते हैं कि एक मॉडल क्या कहता है, तो हमें लग सकता है कि वह निष्पक्ष है जबकि वह नहीं है। यहाँ अध्ययन किए गए मॉडल्स, जिनमें जेम्मा (Gemma) और लामा (Llama) के संस्करण शामिल थे, ने दिखाया कि वे अपने छिपे हुए स्तरों में जनसांख्यिकीय समूहों और क्षमता के बीच संबंधों को एनकोड कर सकते हैं। ये जुड़ाव उन तरीकों से मॉडल के निर्णयों को प्रभावित कर सकते हैं जो तुरंत दिखाई नहीं देते हैं। उदाहरण के लिए, एक भर्ती कार्य में, उम्मीदवारों के लिए मॉडल्स के आंतरिक स्कोर नस्ल और लिंग के आधार पर भिन्न थे, भले ही अंतिम भर्ती निर्णय समूहों के बीच सांख्यिकीय रूप से समान दिखाई दिए। शोधकर्ताओं ने पाया कि जबकि मॉडल्स को उनकी भर्ती दर बदलने के लिए निर्देशित किया जा सकता था, अंतर्निहित आंतरिक पक्षपात बने रहे, जिससे पता चलता है कि मॉडल अभी भी जनसांख्यिकीय जानकारी को इस तरह से प्रोसेस कर रहे थे जो उनके निर्णय को प्रभावित करता था।
इस कार्य के निहितार्थ आर्टिफिशियल इंटेलिजेंस के मूल्यांकन और सुधार के लिए महत्वपूर्ण हैं। यह इंगित करता है कि एक मॉडल एक मानक सुरक्षा परीक्षण पास कर सकता है जबकि वह अभी भी गहरे-जमे हुए पक्षपातों को थामे रख सकता है जो विशिष्ट प्रॉम्प्ट या स्थितियों द्वारा ट्रिगर किए जा सकते हैं। शोधकर्ता तर्क देते हैं कि हमें केवल सतह के स्तर पर मॉडल के कहने के परे देखने और यह देखने की आवश्यकता है कि वह कैसे सोचता है। इन आंतरिक प्रतिनिधित्वों को मापकर, हम पक्षपातों का पता लगाने और उन्हें हानिकारक व्यवहार के रूप में प्रकट होने से पहले ठीक करने में सक्षम हो सकते हैं। यह दृष्टिकोण यह सुनिश्चित करने का एक नया तरीका प्रदान करता है कि ये शक्तिशाली उपकरण वास्तव में निष्पक्ष हैं, न केवल अपने शब्दों में, बल्कि अपने मूल स्वभाव में भी। अध्ययन निष्कर्ष निकालता है कि जबकि व्यवहार संबंधी मीट्रिक्स आवश्यक हैं, वे अकेले पर्याप्त नहीं हैं; निष्पक्षता की एक मजबूत समझ के लिए मॉडल की छिपी हुई मशीनरी को देखना भी आवश्यक है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।