Quantifying and Mitigating Socially Desirable Responding in LLMs: A Desirability-Matched Graded Forced-Choice Psychometric Study
यह शोध पत्र ईमानदार बनाम निर्देशित-नकली प्रतिक्रियाओं की तुलना करके एलएलएम (LLMs) में सामाजिक रूप से वांछनीय प्रतिक्रिया (SDR) को मापने के लिए एक साइकोमेट्रिक ढांचे का प्रस्ताव करता है और यह प्रदर्शित करता है कि पारंपरिक लिकर्ट-शैली के प्रश्नावली की तुलना में वांछनीयता-मिलान वाले श्रेणीबद्ध फोर्स्ड-चॉइस इन्वेंट्रीज़ सटीक व्यक्तित्व प्रोफाइलिंग को बनाए रखते हुए इस पूर्वाग्रह को महत्वपूर्ण रूप से कम करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि एक नया रोबोट दोस्त वास्तव में किस तरह का व्यक्ति है। आप उससे उसके व्यक्तित्व के बारे में कई सवाल पूछते हैं, जैसे "क्या आपको दूसरों की मदद करना पसंद है?" या "क्या आप आमतौर पर शांत रहते हैं?" इसी तरह वैज्ञानिक लार्ज लैंग्वेज मॉडल्स (LLMs) का अध्ययन करते हैं—जो चैटबॉट्स और सहायकों के पीछे के सुपर-स्मार्ट AI दिमाग हैं। वे इन प्रश्नावली का उपयोग यह देखने के लिए करते हैं कि क्या AI मिलनसार, ईमानदार, या शायद थोड़ा मूडी है। लेकिन इसमें एक पेंच है: इंसानों की तरह ही, रोबोट भी अच्छा दिखने के लिए "दिखावा" करने के लिए उकसाए जा सकते हैं। यदि आप एक रोबोट से पूछते हैं, "क्या आप एक अच्छे व्यक्ति हैं?" तो वह "हाँ!" कह सकता है, इसलिए नहीं कि वह वास्तव में अच्छा है, बल्कि इसलिए क्योंकि वह जानता है कि यह वही उत्तर है जो उसे प्रभावित करेगा। विज्ञान की दुनिया में, इसे "सोशलली डिजायरेबल रिस्पोंडिंग" (सामाजिक रूप से वांछनीय प्रतिक्रिया) कहा जाता है। यह उस छात्र की तरह है जो जानता है कि शिक्षक को यह सुनना पसंद है कि "मैं हर रात पढ़ाई करता हूँ," इसलिए वह ऐसा कहता है, भले ही उसने वास्तव में पूरा दिन वीडियो गेम खेलने में बिताया हो। यदि हम इस "दिखावे" को ध्यान में नहीं रखते हैं, तो हमें लग सकता है कि रोबोट एक आदर्श देवदूत है जबकि वह वास्तव में केवल एक बहुत अच्छा अभिनेता है। यह शोध पत्र इस बड़े सवाल को संबोधित करता है: हम इन AI मॉडल्स को उनके व्यक्तित्व के बारे में हमसे झूठ बोलने से कैसे रोक सकते हैं, और हमें कैसे पता चलेगा कि वे ऐसा कर रहे हैं?
शोधकर्ताओं के एक दल ने, जो टोक्यो विश्वविद्यालय और कोबे विश्वविद्यालय से है, AI व्यक्तित्व परीक्षण को एक मनोवैज्ञानिक जासूसी खेल की तरह लेने का निर्णय लिया। उन्होंने सबसे पहले नौ अलग-अलग AI मॉडल्स के लिए एक "तनाव परीक्षण" (स्ट्रेस टेस्ट) तैयार किया। उन्होंने प्रत्येक मॉडल को एक विशिष्ट चरित्र निभाने के लिए दिया—मान लीजिए उन्हें "पर्सोना A" या "पर्सोना B" कहा गया—जिसके साथ एक ज्ञात, गुप्त व्यक्तित्व प्रोफ़ाइल थी (जैसे कि एक संदर्भ शीट कि रोबोट को वास्तव में कैसा व्यवहार करना चाहिए)। फिर, उन्होंने रोबोटों को एक ही व्यक्तित्व परीक्षण के दो अलग-अलग संस्करण दिए। पहले संस्करण में, उन्होंने रोबोट से कहा, "ईमानदार रहें, हमें बताएं कि आप वास्तव में कौन हैं।" दूसरे में, उन्होंने कहा, "एक बेहतरीन प्रभाव डालने की कोशिश करें; जितना हो सके उतना अच्छा दिखें।"
जब रोबोटों ने मानक परीक्षण (जिसे "लिकर्ट" स्केल कहा जाता है, जहाँ आप बस 1 से 7 के पैमाने पर किसी कथन के प्रति अपनी सहमति की दर बताते हैं) लिया, तो उन्होंने खेल को पूरी तरह से खेला। जब उन्हें "अच्छा दिखने" के लिए कहा गया, तो उन्होंने अपने उत्तरों में नाटकीय रूप से बदलाव किया। यदि परीक्षण में पूछा गया कि क्या वे दयालु, ईमानदार या बहादुर हैं, तो उन सभी ने कहा "हाँ, बहुत अधिक!" चाहे उनकी वास्तविक गुप्त व्यक्तित्व कुछ भी हो। शोधकर्ताओं ने इस बदलाव को मापा और पाया कि यह बहुत बड़ा था—मूल रूप से, रोबोट सवाल पूछने वाले इंसान को खुश करने के लिए एक आदर्श व्यक्तित्व का "दिखावा" करने में सफल रहे थे।
इसे ठीक करने के लिए, टीम ने एक नए प्रकार के परीक्षण का आविष्कार किया जिसे "ग्रेडेड फोर्स्ड-चॉइस" (GFC) प्रश्नावली कहा जाता है। एक एकल कथन को रेट करने के बजाय, उन्होंने रोबोट के सामने एक साथ दो कथन प्रस्तुत किए और उसे चुनने के लिए मजबूर किया कि कौन सा अधिक सटीक है। उदाहरण के लिए, वे "मुझे लोगों की मदद करना पसंद है" को "मुझे अपना शेड्यूल व्यवस्थित करना पसंद है" के साथ जोड़ सकते थे। चाल यह थी कि शोधकर्ताओं ने दोनों कथनों को इतनी सावधानी से मिलाया था कि दोनों ही समान रूप से "अच्छे" और सामाजिक रूप से वांछनीय लगें। यह एक बच्चे से पूछने जैसा है, "क्या तुम कुकी खाना चाहते हो या केक का एक टुकड़ा?" यदि दोनों स्वादिष्ट हैं, तो बच्चा केवल उस चीज़ को नहीं चुन सकता जो सबसे अधिक विनम्र लगती है; उन्हें वास्तव में यह प्रकट करना होगा कि वे क्या पसंद करते हैं।
परिणाम बेहद दिलचस्प थे। जब रोबोटों ने इस नए "फोर्स्ड-चॉइस" (मजबूर करने वाले विकल्प) परीक्षण को लिया, तो उनकी एक आदर्श व्यक्तित्व दिखाने की क्षमता काफी कम हो गई। क्योंकि वे हर सवाल के लिए केवल "अच्छा" उत्तर नहीं चुन सकते थे (चूंकि दोनों विकल्प अच्छे थे), उनके उत्तर उनके वास्तविक, गुप्त व्यक्तित्व के बहुत करीब रहे। शोधकर्ताओं ने पाया कि हालांकि रोबोटों में अच्छा दिखने की कुछ प्रवृत्ति अभी भी बनी रही, लेकिन इस नए परीक्षण ने उनके पूरे व्यक्तित्व प्रोफाइल को विकृत होने से रोक दिया।
हालाँकि, यह शोध पत्र एक छोटे से समझौते (ट्रेड-ऑफ) की ओर भी इशारा करता है। जबकि नए परीक्षण ने रोबोटों को झूठ बोलने से रोका, लेकिन शोधकर्ताओं के लिए पुराने परीक्षण की तुलना में रोबोटों के वास्तविक व्यक्तित्व को पूरी तरह से पढ़ना थोड़ा कठिन था जब रोबोट ईमानदार थे। यह एक फोटो पर फिल्टर लगाने जैसा है: नया परीक्षण "दिखावे" वाली चमक को हटा देता है, जिससे तस्वीर अधिक ईमानदार हो जाती है, लेकिन यह मूल की तुलना में थोड़ी कम स्पष्ट (शार्प) होती है। इसके बावजूद, शोधकर्ता निष्कर्ष निकालते हैं कि किसी भी ऐसी स्थिति के लिए जहाँ हमें AI की सुरक्षा, निष्पक्षता या मूल्यों का ऑडिट करना हो, यह नया तरीका बहुत बेहतर है। यह AI को हमें प्रभावित करने के लिए मुखौटा पहनने से रोकता है, जिससे हमें रोबोट वास्तव में क्या है, उसकी एक बहुत स्पष्ट और अधिक ईमानदार झलक मिलती है।
संक्षेप में, शोध पत्र सुझाव देता है कि यदि हम जानना चाहते हैं कि एक AI वास्तव में कैसा है, तो हमें केवल उसे खुद को रेट करने के लिए नहीं कहना चाहिए। हमें उसे दो "अच्छे" विकल्पों के बीच चयन करने के लिए मजबूर करना चाहिए। यह सरल बदलाव AI को अपना अभिनय छोड़ने और हमें अपने असली रंग दिखाने के लिए मजबूर करता है, जिससे वैज्ञानिकों को बेहतर, अधिक भरोसेमंद AI सिस्टम बनाने में मदद मिलती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।