The yes-no bias of large language models reflects answer order and wording, not shifts in moral judgment
यह शोध पत्र यह प्रदर्शित करता है कि लार्ज लैंग्वेज मॉडल्स के नैतिक निर्णयों में दिखने वाला स्पष्ट "हाँ-नहीं पूर्वाग्रह" नैतिक तर्क में बदलाव नहीं है, बल्कि उत्तर के क्रम और शाब्दिक शब्दावली से प्रेरित एक सतही विसंगति है, जो तब समाप्त हो जाती है जब मॉडल्स का मूल्यांकन एक ऐसे साइकोमेट्रिक बैटरी का उपयोग करके किया जाता है जो तार्किक निष्कर्षों को सतही स्वरूपण से अलग करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबोट के नैतिक दिशा-सूचक (moral compass) को समझने की कोशिश कर रहे हैं। आप उससे एक कठिन प्रश्न पूछते हैं: "क्या पाँच लोगों को बचाने के लिए एक व्यक्ति का बलिदान देना ठीक है?"
यदि आप रोबोट से पूछते हैं, "क्या आप हाँ कहेंगे या नहीं?" तो ऐसा लग सकता है कि उसकी एक मजबूत राय है। लेकिन यह शोध पत्र एक आश्चर्यजनक तरकीब का खुलासा करता है: रोबोट का उत्तर अक्सर इस बात पर कम निर्भर करता है कि वह क्या सही समझता है, बल्कि इस पर अधिक निर्भर करता है कि आपने प्रश्न कैसे पूछा है।
यहाँ शोधकर्ताओं द्वारा की गई खोजों का विवरण दिया गया, जिसे सरल उपमाओं (analogies) के माध्यम से समझाया गया है।
1. रोबोट के पास एक गुप्त "नैतिक पैमाना" (Moral Scale) है
सबसे पहले, शोधकर्ता यह जानना चाहते थे: क्या रोबोट के पास वास्तव में मूल्यों का एक सुसंगत सेट है, या वह केवल अनुमान लगा रहा है?
यह पता लगाने के लिए, उन्होंने रोबोट से केवल "हाँ या नहीं" नहीं पूछा। इसके बजाय, उन्होंने एक ही 20 नैतिक दुविधाओं को 48 अलग-अलग तरीकों से पूछा। उन्होंने पैमाने को बदला (0 से 10 बनाम 0 से 100), शब्दों के क्रम को पलटा, और यह भी बदला कि किस विकल्प को पहले रेटिंग देने के लिए रोबोट से कहा गया।
निष्कर्ष: जब आप सतह के नीचे देखते हैं, तो रोबोट की "आंतरिक आवाज़" वास्तव में काफी सुसंगत होती है। उसके पास एक स्थिर नैतिक पैमाना है। यदि वह एक प्रारूप में किसी कार्य को "काफी बुरा" मानता है, तो वह दूसरे प्रारूप में भी उसे "काफी बुरा" ही मानेगा। सबसे स्मार्ट मॉडल ("फ्रंटियर" मॉडल) अपनी आंतरिक तर्कशक्ति में आश्चर्यजनक रूप से सुसंगत होते हैं।
2. "हाँ/नहीं" का जाल: अंतिम शब्द का जादू
तो, यदि रोबोट के पास एक सुसंगत आंतरिक आवाज़ है, तो प्रश्न को फिर से लिखने पर उसके "हाँ/नहीं" वाले उत्तर इतने wildly (अत्यधिक) क्यों बदल जाते हैं?
शोधकर्ताओं ने पाया कि "हाँ/नहीं" वाला प्रारूप एक विकृत लेंस (distorting lens) की तरह काम करता है। जब "हाँ" या "नहीं" चुनने के लिए मजबूर किया जाता है, तो रोबोट दो विशिष्ट ट्रिक्स से भ्रमित हो जाता है:
- "अंतिम शब्द" का पूर्वाग्रह (Order Bias): मनुष्य आमतौर पर उस पहली चीज़ पर ध्यान देते हैं जिसे वे पढ़ते हैं। हालाँकि, ये रोबोट उस चीज़ पर अधिक ध्यान देते हैं जो वे अंत में पढ़ते हैं। यदि आप लिखते हैं "उत्तर: नहीं, हाँ," तो रोबोट "हाँ" चुनने की अधिक संभावना रखता है क्योंकि यह अंत में है। यदि आप लिखते हैं "उत्तर: हाँ, नहीं," तो वह "नहीं" की ओर झुक जाता है।
- "नहीं" का आकर्षण (Lexical Bias): रोबोट में विशेष रूप से "नहीं" शब्द के प्रति एक अजीब आकर्षण दिखता है। यह ज़रूरी नहीं कि वह तार्किक रूप से विचार को खारिज कर रहा हो; वह बस पृष्ठ पर मौजूद उस विशिष्ट शब्द की ओर खिंचा चला जाता है।
उपमा: एक व्यक्ति की कल्पना करें जो एक कार्ड पर छपे उत्तरों के साथ परीक्षा दे रहा है।
- मानव: प्रश्न पढ़ता है, उत्तर के बारे में सोचता है, और सही विकल्प चुनता है।
- रोबोट: प्रश्न पढ़ता है, उत्तर के बारे में सोचता है, लेकिन फिर इस बात से विचलित हो जाता है कि कार्ड के नीचे "नहीं" शब्द बोल्ड में लिखा है, या "हाँ" वह अंतिम शब्द है जिसे उसने देखा। वह केवल इस आधार पर उत्तर चुनता है कि शब्द कहाँ है, न कि इस आधार पर कि उस शब्द का अर्थ क्या है।
3. "नहीं" का पूर्वाग्रह "नहीं" कहने के बारे में नहीं है
एक सामान्य धारणा यह थी कि ये रोबोट स्वभाव से ही "नकारात्मक" या "निराशावादी" हैं—वे बस हर चीज़ को "नहीं" कहना चाहते हैं।
निष्कर्ष: शोधकर्ताओं ने शब्दों को बदलकर इसे गलत साबित किया। "हाँ या नहीं" पूछने के बजाय, उन्होंने रोबोट को "विकल्प A" और "विकल्प B" के बीच चयन करने के लिए कहा।
जब उन्होंने ऐसा किया, तो "नहीं" का पूर्वाग्रह गायब हो गया। रोबोट अचानक "हाँ" अधिक बार कहने नहीं लगा; वह बस "नहीं" शब्द की ओर खिंचना बंद कर गया।
- निष्कर्ष: रोबोट चीज़ों को अस्वीकार करने के विरुद्ध पक्षपाती नहीं है। वह प्रश्न के सतही स्वरूप के प्रति पक्षपाती है। वह तार्किक निर्णय के बजाय छपे हुए लेबल का अनुसरण करता है।
4. गहराई से सोचना मदद करता है (लेकिन सब कुछ ठीक नहीं करता)
शोधकर्ताओं ने परीक्षण किया कि क्या होता है जब वे रोबोट को उत्तर देने से पहले "चरण-दर-चरण सोचने" (जिसे विचार-मंथन या deliberation कहा जाता है) के लिए कहते हैं।
निष्कर्ष: जब रोब as समय लेकर सोचता है, तो "हाँ/नहीं" का पूर्वाग्रह छोटा हो जाता है। रोबोट शब्दों के क्रम और "नहीं" शब्द के विशिष्ट प्रभाव से कम विचलित होता है। हालाँकि, यह पूर्वाग्रह सभी मॉडलों के लिए पूरी तरह से समाप्त नहीं होता है। कुछ मॉडल (जैसे "क्लॉड" परिवार) अभी भी अंतिम विकल्प या "नहीं" शब्द की ओर एक मजबूत खिंचाव दिखाते हैं, भले ही वे गहराई से सोच रहे हों।
5. "छोटे" रोबोट अलग होते हैं
अध्ययन ने छोटे, ओपन-सोर्स मॉडलों को भी देखा। ये मॉडल बहुत अधिक अस्त-व्यस्त थे। उनके पास बिल्कुल भी सुसंगत आंतरिक नैतिक पैमाना नहीं था। उनके उत्तर प्रश्न के प्रारूप के आधार पर बेतरतीब ढंग से बदलते रहते थे, और वे अधिक समय तक "सोचने" के बाद भी बेहतर नहीं हुए। वे अनिवार्य रूप से प्रश्न की सतह के आधार पर अनुमान लगा रहे थे।
मुख्य निष्कर्ष
यदि आप जानना चाहते हैं कि एक AI वास्तव में किसे महत्व देता है, तो आप केवल एक बार उससे "हाँ या नहीं" नहीं पूछ सकते।
- समस्या: एक एकल "हाँ/नहीं" प्रश्न रोबोट की वास्तविक राय को एक "फॉर्मेट आर्टिफैक्ट" (प्रश्न लिखने के तरीके से उत्पन्न त्रुटि) के साथ मिला देता है।
- समाधान: AI के वास्तविक नैतिक रुख को मापने के लिए, आपको एक ही प्रश्न को कई अलग-अलग तरीकों से पूछना चाहिए (क्रॉसिंग द फ्रेम्स) और परिणामों का औसत निकालना चाहिए। इससे "अंतिम शब्द" और "नहीं शब्द" के भटकाव को हटाया जा सकता है, जिससे रोबोट का वास्तविक, सुसंगत आंतरिक पैमाना सामने आता है।
संक्षेप में: रोबोट अनिवार्य रूप से "नहीं" कहने वाला व्यक्ति नहीं है। वह बस एक ऐसा व्यक्ति है जो आसानी से पेज के फॉन्ट, क्रम और अंतिम शब्द से विचलित हो जाता है। यदि आप पेज को साफ कर देते हैं, तो उसकी वास्तविक राय स्पष्ट रूप से दिखाई देती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।