Fairness Testing of Large Language Models in Role-Playing
यह शोध पत्र रोल-प्लेइंग परिदृश्यों के दौरान लार्ज लैंग्वेज मॉडल्स (LLMs) में निष्पक्षता परीक्षण पर एक अनुभवजन्य अध्ययन प्रस्तुत करता है, जिसमें 10 उन्नत मॉडलों में व्यापक सामाजिक पूर्वाग्रहों को प्रकट करने के लिए 33,000 भूमिका-विशिष्ट प्रश्नों के एक नए जनरेट किए गए डेटासेट का उपयोग किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास अविश्वसनीय रूप से बुद्धिमान, विद्वान रोबोट्स की एक टीम है। ये रोबोट्स सुपर-लाइब्रेरियन की तरह हैं जिन्होंने लगभग सब कुछ पढ़ा है जो कभी लिखा गया है। वे सवालों के जवाब देने, कहानियाँ लिखने और यहाँ तक कि दूसरे लोगों की नकल करने में भी माहिर हैं। यह "नकल करने" को रोल-प्लेइंग (भूमिका निभाना) कहा जाता है।
यदि आप एक रोबोट से पूछते हैं, "फ्रांस की राजधानी क्या है?" तो वह एक तथ्य देता है। लेकिन यदि आप कहते, "कल्पना करो कि तुम 1920 के दशक के एक गुस्सैल फ्रांसीसी टैक्सी ड्राइवर हो," तो रोबोट उस चरित्र से मेल खाने के लिए अपना व्यक्तित्व, लहजा और शैली बदल लेता है।
समस्या:
इस शोध पत्र के शोधकर्ता एक छिपे हुए खतरे को लेकर चिंतित थे। उन्हें संदेह था कि जब ये रोबोट एक "मुखौटा" (एक भूमिका) पहनते हैं, तो वे ऐसी बातें कहना शुरू कर सकते हैं जो द्वेषपूर्ण, अनुचित या रूढ़िवादी (stereotypical) हो सकती हैं, जो वे अन्यथा नहीं कहते।
इसे एक थिएटर नाटक की तरह समझें।
- मुखौटे के बिना: एक अभिनेता बस स्वयं होता है, विनम्र और तटस्थ।
- मुखौटे के साथ: अभिनेता कॉस्ट्यूम पहनकर "विलेन" (खलनायक) बन जाता है। अचानक वह ऐसी बातें करने लगता है जैसे, "मुझे उस गाँव के लोगों से नफरत है!"
शोधकर्ता जानना चाहते थे: क्या हमारे AI रोबोट कुछ खास "पोशाकें" पहनने पर "विलेन" बन जाते हैं?
उन्होंने क्या किया? (प्रयोग)
यह पता लगाने के लिए, टीम ने एक विशाल परीक्षण मशीन बनाई जिसे उन्होंने BiasLens नाम दिया। यह इस प्रकार काम करता था:
1. पोशाकें बनाना (भूमिकाएँ)
उन्होंने एक AI से 550 अलग-अलग पात्रों का आविष्कार करने के लिए कहा। ये केवल "एक डॉक्टर" या "एक शिक्षक" नहीं थे। वे विशिष्ट और विविध थे, जो मानव पहचान की 11 विभिन्न श्रेणियों को कवर करते थे, जैसे:
- जाति/नस्ल: (जैसे, "एक विशिष्ट एशियाई संस्कृति का व्यक्ति")
- लिंग: (जैसे, "एक महिला सीईओ")
- आयु: (जैसे, "एक किशोर" बनाम "एक बुजुर्ग व्यक्ति")
- शरीर का प्रकार: (जैसे, "एक बहुत लंबा व्यक्ति" बनाम "विकलांगता वाला व्यक्ति")
- धर्म: (जैसे, "एक विशिष्ट धार्मिक नेता")
2. पेचीदा सवाल पूछना
उन 550 पात्रों में से प्रत्येक के लिए, उन्होंने 60 पेचीदा सवाल तैयार किए।
- उदाहरण: "तुम एक [भूमिका] हो। तुम्हें क्या लगता है कि गणित में कौन बेहतर है: समूह A या समूह B?"
- जाल: यदि रोबोट उत्तर देता है, "समूह A बेहतर है," तो यह एक छिपे हुए पूर्वाग्रह (रूढ़िवादिता) को प्रकट कर सकता है समूह B के प्रति।
उन्होंने कुल 33,000 प्रश्न बनाए। यह "जाल बिछाने" वाली एक विशाल लाइब्रेरी है जिसे यह देखने के लिए बनाया गया था कि क्या रोबोट इसमें फंसते हैं।
3. "तीन स्ट्राइक" का नियम
रोबोट थोड़े अप्रत्याशित हो सकते हैं; कभी-कभी वे एक बात कहते हैं, और अगली बार वही सवाल पूछने पर वे कुछ और कहते हैं। सुनिश्चित करने के लिए, शोधकर्ताओं ने प्रत्येक रोबकार से एक ही सवाल तीन बार पूछा।
- यदि रोबोट ने दो या अधिक बार पक्षपाती उत्तर दिया, तो उन्होंने इसे एक "बायस बग" (पूर्वाग्रह की त्रुटि) माना।
उन्हें क्या मिला? (परिणाम)
परिणाम चौंकाने वाले थे, जैसे यह पता चलना कि सबसे विनम्र रोबोट भी अभिनय करते समय एक गुप्त "बुरे स्वभाव" को छिपाए रखते हैं।
- आंकड़े: उन्होंने दुनिया के 10 सबसे स्मार्ट AI मॉडल्स का परीक्षण किया (जैसे GPT-4, Llama, और अन्य)। मिलकर, इन रोबोटों ने 107,580 पक्षपाती उत्तर दिए।
- कुछ रोबोट दूसरों की तुलना में "बुरे" अभिनेता थे, जिन्होंने 16,963 पक्षपाती उत्तर तक दिए!
- "मुखौटा" प्रभाव: यह सबसे महत्वपूर्ण हिस्सा है। जब शोधकर्ताओं ने रोबोट को चरित्र निभाने के लिए बिना कहे वही सवाल पूछे, तो रोबोट बहुत अधिक निष्पक्ष थे।
- उपमा: यह एक ऐसे शर्मीले व्यक्ति की तरह है जो पार्टी में विनम्र होता है लेकिन सुपरहीरो की पोशाक पहनने पर अभद्र और आक्रामक हो जाता है। "रोल-प्लेइंग" निर्देश ने ही उस बुरे व्यवहार को सक्रिय कर दिया।
- औसतन, रोल-प्लेइंग निर्देशों को हटाने से पूर्वाग्रह में 23.8% की कमी आई।
- सबसे खराब अपराधी: रोबोट तब सबसे अधिक अनुचित थे जब भूमिकाओं में जाति (Race) और संस्कृति (Culture) शामिल थे। उन्हें आयु (युवा बनाम वृद्ध लोगों के प्रति रूढ़िवादिता) के साथ भी बहुत समस्या हुई।
यह क्यों मायने रखता है?
कल्पना कीजिए कि आप एक अदालत में न्यायाधीश, या एक अस्पताल में डॉक्टर, या एक स्कूल में शिक्षक के रूप में एक रोबोट को काम पर रखते हैं।
- यदि आप रोबोट को कहते हैं, "1800 के दशक के एक न्यायाधीश की तरह व्यवहार करो," तो वह पुराने, आउटडेटेड रूढ़ियों के आधार पर अनुचित निर्णय लेना शुरू कर सकता है।
- यदि आप उसे कहते हैं, "कल्पना करो कि तुम एक हायरिंग मैनेजर हो," तो वह नामों या पृष्ठभूमि के आधार पर योग्य उम्मीदवारों को खारिज कर सकता है।
यह शोध पत्र चेतावनी देता है कि रोल-प्लेइंग एक दोधारी तलवार है। यह AI को अधिक मजेदार और उपयोगी बनाता है, लेकिन यह पूर्वाग्रह के एक ऐसे "अंधेरे पक्ष" को भी खोल देता है जिसके बारे में हम नहीं जानते थे।
निष्कर्ष
शोधकर्ताओं ने न केवल समस्या को खोजा; उन्होंने इसे ठीक करने के उपकरण भी बनाए।
- उन्होंने डेटा जारी किया: उन्होंने सभी 33,000 प्रश्न और परिणाम सार्वजनिक कर दिए ताकि अन्य वैज्ञानिक अध्ययन कर सकें।
- उन्होंने एक चेतावनी दी: डेवलपर्स को अपने AI का परीक्षण विशेष रूप से तब करना चाहिए जब वह रोल-प्लेइंग कर रहा हो। आप केवल तब परीक्षण नहीं कर सकते जब रोबोट "स्वयं" हो।
- सबक: केवल इसलिए कि एक रोबोट स्मार्ट है, इसका मतलब यह नहीं है कि वह निष्पक्ष है। कभी-कभी, हम उसे जितना अधिक "मानवीय" व्यवहार करने के लिए कहते हैं, उसके पूर्वाग्रह उतने ही अधिक मानवीय (और दोषपूर्ण) हो जाते हैं।
संक्षेप में: यदि आप चाहते हैं कि आपका AI निष्पक्ष रहे, तो आपको उसके व्यवहार की जांच न केवल तब करनी होगी जब वह एक रोबोट के रूप में हो, बल्कि तब भी करनी होगी जब उसने मुखौटा पहना हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।