Effects of Answer Format Variation on Gender Bias in Large Language Models
यह शोध पत्र यह प्रदर्शित करता है कि उत्तर विकल्पों का प्रारूप (बंद-अंत, लिकर्ट-स्केल्ड, या मुक्त-अंत) बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) में लिंग पूर्वाग्रह और वितरण संरेखण के मापन को महत्वपूर्ण रूप से बदल देता है, जो अक्सर मॉडल रैंकिंग को उलट देता है और सुदृढ़ मूल्यांकन के लिए बहु-प्रारूप मूल्यांकन डिजाइनों को आवश्यक बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, लार्ज लैंग्वेज मॉडल्स (LLMs) वे डिजिटल इंजन हैं जो चैटबॉट्स से लेकर सर्च असिस्टेंट तक सब कुछ संचालित करते हैं। इन प्रणालियों को इंटरनेट से टेक्स्ट की विशाल मात्रा पर प्रशिक्षित किया जाता है, जिससे वे यह सीखते हैं कि आगे कौन से शब्द आने चाहिए। क्योंकि वे मानव लेखन से सीखते हैं, इसलिए वे अनिवार्य रूप से उस डेटा में मौजूद पैटर्न, पूर्वाग्रह और रूढ़ियों को भी आत्मसात कर लेते हैं। सबसे स्थायी और हानिकारक पैटर्न में से एक जेंडर बायस (लिंग संबंधी पूर्वाग्रह) है, जहाँ एक मॉडल स्वतः ही यह मान सकता है कि डॉक्टर एक पुरुष है या नर्स एक महिला है। इसे ठीक करने के लिए, शोधकर्ताओं को यह मापने की आवश्यकता है कि ये पूर्वाग्रह कितने मजबूत हैं। वे ऐसा मॉडल्स से प्रश्न पूछकर और उनके उत्तरों को देखकर करते हैं। दशकों से, वैज्ञानिक जानते हैं कि प्रश्न पूछने का तरीका उत्तर को बदल देता है, यहाँ तक कि मनुष्यों के मामले में भी। यदि आप किसी को दो विकल्पों में से चुनने के लिए कहते हैं, तो वे एक को चुन सकते हैं; यदि आप उनसे एक पैमाने (स्केल) पर अपनी सहमति जताने को कहते हैं, तो वे एक अलग उत्तर दे सकते हैं। यह सर्वे विज्ञान का एक स्थापित तथ्य है, लेकिन लंबे समय तक आर्टिफिशियल इंटेलिजेंस का परीक्षण करने वाले शोधकर्ताओं ने यह मान लिया था कि प्रश्न का प्रारूप (फॉर्मेट) अधिक मायने नहीं रखता, या मॉडल का उत्तर प्रश्न प्रस्तुत करने के तरीके के बावजूद समान रहेगा।
स्टटगार्ट विश्वविद्यालय के शोधकर्ताओं की एक टीम ने इस धारणा का सीधे परीक्षण करने का निर्णय लिया। वे देखना चाहते थे कि लिंग के बारे में प्रश्न पूछने का तरीका मशीन में मापे गए पूर्वाग्रह को बदलता है या नहीं। उन्होंने तीन अलग-अलग प्रकार के लार्ज लैंग्वेज मॉडल्स लिए और उनसे लिंग भूमिकाओं के बारे में प्रश्नों का एक ही सेट पूछा, लेकिन हर बार उन्होंने उत्तरों का प्रारूप बदल दिया। एक संस्करण में, मॉडल को विकल्पों की सूची में से एक एकल अक्षर चुनना था, जैसे कि एक बहुविकल्पीय परीक्षा। दूसरे में, मॉडल को एक से दस के पैमाने पर अपनी सहमति को रेट करना था, जैसा कि लोग जनमत सर्वेक्षणों में उत्तर देते हैं। तीसरे संस्करण में, मॉडल को अपने शब्दों में मुक्त रूप से उत्तर लिखने की अनुमति दी गई थी। शोधकर्ताओं ने दो अलग-अलग प्रकार के प्रश्नों का उपयोग किया: एक सेट विशेष रूप से स्पष्ट सही और गलत उत्तरों के साथ पूर्वाग्रह का परीक्षण करने के लिए डिज़ाइन किया गया था, और दूसरा सेट वास्तविक सार्वजनिक राय सर्वेक्षणों से लिया गया था कि समाज में लिंग के प्रति लोग कैसे देखते हैं।
परिणाम चौंकाने वाले थे और उन्होंने दिखाया कि प्रश्न का प्रारूप पूरी तरह से उस कहानी को बदल देता है जो शोधकर्ता को बताई जा रही थी। जब मॉडल्स को एक सूची में से एक विकल्प चुनने के लिए मजबूर किया गया, तो उन्होंने मजबूत और सुसंगत जेंडर बायस दिखाया। उन्होंने अक्सर रूढ़िवादी उत्तर चुना, जैसे कि नेतृत्व की भूमिका के लिए पुरुष को चुनना। हालाँकि, जब शोधकर्ताओं ने ओपन-एंडेड (मुक्त) प्रारूप अपनाया, जहाँ मॉडल अपना स्वयं का उत्तर लिख सकता था, तो मापा गया पूर्वाग्रह नाटकीय रूप से गिर गया। कई मामलों में, मॉडल्स ने बस पक्ष चुनने से इनकार कर दिया या कहा कि निर्णय लेने के लिए जानकारी अपर्याप्त है। ऐसा इसलिए नहीं था कि मॉडल्स अचानक कम पक्षपाती हो गए थे; बल्कि, मुक्त प्रारूप ने उन्हें बहुविकल्पीय प्रश्न के जाल से बचने का एक तरीका प्रदान किया। सबसे आश्चर्यजनक खोज यह थी कि प्रारूप के आधार पर मॉडल्स की रैंकिंग बदल गई। एक मॉडल जो अक्षर चुनने के लिए मजबूर होने पर सबसे अधिक पक्षपाती दिखाई देता था, वह स्वतंत्र रूप से लिखने की अनुमति मिलने पर सबसे कम पक्षपाती बन गया। एक अन्य मॉडल ने बहुविकल्पीय परीक्षण में लगभग कोई पूर्वाग्रह नहीं दिखाया, लेकिन एक पैमाने पर अपनी सहमति बताने के लिए पूछे जाने पर महत्वपूर्ण पूर्वाग्रह प्रकट किया।
शोधकर्ताओं ने यह भी देखा कि ये मॉडल्स वास्तविक मानव सर्वेक्षण उत्तरदाताओं की राय से कितनी अच्छी तरह मेल खाते हैं। उन्होंने पाया कि प्रारूप ने संरेखण (अलाइनमेंट) को भी बदल दिया। कुछ मामलों में, एक मॉडल के उत्तर एक प्रारूप का उपयोग करते समय वास्तविक मानव विचारों के बहुत समान दिखे, लेकिन दूसरे प्रारूप का उपयोग करने पर पूरी तरह से अलग दिखे। उदाहरण के लिए, जब मॉडल्स से एक स्केल का उपयोग करने के लिए कहा गया, तो उनके उत्तर अक्सर एक-दूसरे को काट देते थे, जिससे एक औसत बना जो तटस्थ दिखता था, भले ही मॉडल्स चरम सीमाओं पर मजबूत, विपरीत विचार व्यक्त कर रहे थे। यह मनुष्यों के व्यवहार से अलग है; लोग अक्सर अनिश्चित होने को दर्शाने के लिए स्केल के मध्य भाग का उपयोग करते हैं, लेकिन मॉडल्स ने चरम रूढ़ियों को संतुलित करने के लिए मध्य का उपयोग किया। अध्ययन बताता है कि इन मशीनों में दिखने वाला पूर्वाग्रह एक निश्चित, अपरिवमानशील गुण नहीं है जैसे कि एक भौतिक विशेषता। इसके बजाय, यह एक व्यवहार है जो उन बाधाओं के आधार पर बदल जाता है जो हम उस पर लगाते हैं।
यह कार्य इस विचार को चुनौती देता है कि एक एकल परीक्षण हमें मॉडल की निष्पक्षता के बारे में सब कुछ बता सकता है। शोधकर्ताओं ने पाया कि उत्तर प्रारूप का चयन केवल प्रयोग का एक मामूली विवरण नहीं है; यह एक प्रमुख कारक है जो परिणामों को आकार देता है। यदि कोई शोधकर्ता केवल बहुविकल्पीय परीक्षणों को देखता है, तो वह निष्कर्ष निकाल सकता है कि एक मॉडल गहराई से पक्षपाती है। यदि वे केवल मुक्त-रूप उत्तरों को देखते हैं, तो वे निष्कर्ष निकाल सकते हैं कि मॉडल पूरी तरह से निष्पक्ष है। दोनों निष्कर्ष अधूरे हैं। यह अध्ययन यह सिद्ध नहीं करता है कि मॉडल्स पूर्वाग्रह से मुक्त हैं, न ही यह सिद्ध करता है कि पूर्वाग्रह पूरी तरह से एक भ्रम है। यह दिखाता है कि पूर्वाग्रह एक जटिल व्यवहार है जो विभिन्न स्थितियों के तहत अलग-अलग रूप में प्रकट होता है। शोधकर्ता तर्क देते हैं कि इन प्रणालियों को वास्तव में समझने और मूल्यांकन करने के लिए, हमें प्रश्नों को पूछने के एक ही तरीके पर निर्भर रहना बंद करना होगा। हमें यह देखने की आवश्यकता है कि मॉडल्स विभिन्न प्रारूपों में कैसा व्यवहार करते हैं ताकि उनके व्यवहार की पूरी तस्वीर मिल सके, ठीक वैसे ही जैसे एक डॉक्टर केवल एक लक्षण के आधार पर रोगी का निदान नहीं करता बल्कि उनके स्वास्थ्य की पूरी तस्वीर देखता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।