The Fragility Of Moral Judgment In Large Language Models
यह अध्ययन प्रदर्शित करता है कि लार्ज लैंग्वेज मॉडल्स के नैतिक निर्णय अत्यधिक नाजुक और हेरफेर योग्य हैं, क्योंकि वे किसी दुविधा के अंतर्निहित नैतिक सार की तुलना में नैरेटिव परिप्रेक्ष्य, अनुनय संकेतों और मूल्यांकन प्रोटोकॉल से काफी अधिक प्रभावित होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, विद्वान रोबोट से अपने पारिवारिक विवाद को सुलझाने के लिए कहते हैं। आप उससे कहते हैं, "मेरी बहन ने मेरी कार ली थी और उसे दुर्घटनाग्रस्त कर दिया, लेकिन वह कहती है कि उसे पता नहीं था कि ब्रेक खराब थे।"
आप उम्मीद करते हैं कि रोबोट आपको तथ्यों के आधार पर एक निष्पक्ष और सुसंगत उत्तर देगा। लेकिन यह शोध पत्र एक चौंकाने वाला सच उजागर करता है: रोबोट का उत्तर इस बात पर बदल जाता है कि आपने सवाल कैसे पूछा, न कि केवल इस पर कि आपने क्या पूछा।
यहाँ उस शोध पत्र की कहानी है, जिसे सरल उपमाओं के साथ तोड़कर समझाया गया है।
1. सेटअप: नैतिक न्यायाधीश के रूप में रोबoltre
शोधकर्ताओं ने लार्ज लैंग्वेज मॉडल्स (LLMs) के साथ वैसा ही व्यवहार किया जैसा कि एक रियलिटी टीवी शो "Am I the Asshole?" (एक लोकप्रिय इंटरनेट फोरम जहाँ लोग अपने रिश्तों के ड्रामे पोस्ट करते हैं और पूछते हैं कि क्या वे गलत हैं) के जजों के साथ किया जाता है।
उन्होंने लगभग 3,000 वास्तविक जीवन की कहानियाँ लीं और चार अलग-अलग सुपर-स्मार्ट AI मॉडल्स से उन्हें जज करने के लिए कहा। लेकिन उन्होंने केवल एक बार नहीं पूछा। उन्होंने "क्या होगा अगर?" का खेल खेला।
2. तीन तरीके जिनसे उन्होंने रोबोट को "तोड़" दिया
शोधकर्ताओं ने तीन अलग-अलग प्रकार के "जादुई मंत्रों" (परिवर्तनों/perturbations) का उपयोग करके रोबोट को अपना मन बदलने के लिए उकसाने की कोशिश की:
- "टाइपो और ट्रिविया" का मंत्र (सतही संपादन/Surface Edits):
- चाल: उन्होंने कुछ शब्द बदल दिए, मौसम के बारे में एक वाक्य हटा दिया, या "यह मंगलवार था" जैसा कोई रैंडम तथ्य जोड़ दिया।
- परिणाम: रोबोट को इससे कोई फर्क नहीं पड़ा। यह एक कानूनी अनुबंध के फॉन्ट को बदलने जैसा था; अर्थ वही रहता है। रोबोट यहाँ स्थिर थे।
- "दृष्टिकोण परिवर्तन" का मंत्र (Point-of-View):
- चाल: उन्होंने कहानी को फिर से लिखा। "मैंने यह किया" के बजाय, उन्होंने लिखा "मुख्य पात्र ने यह किया।" उन्होंने भावनात्मक "मैं" को हटा दिया और इसे एक समाचार रिपोर्ट जैसा बना दिया।
- परिणाम: अराजकता। रोबोटों ने 24% बार अपने फैसले बदल दिए!
- उपमा: एक अदालत की कल्पना करें। यदि प्रतिवादी सीधे जज से बात करता है ("मैं डरा हुआ था!"), तो जज को सहानुभूति महसूस हो सकती है। यदि एक ठंडी, रोबोटिक आवाज़ उन्हीं तथ्यों को पढ़ती है ("प्रतिवादी डरा हुआ था"), तो जज को लग सकता है कि प्रतिवादी ठंडा और पछतावा रहित है। तथ्य नहीं बदले, लेकिन वाइब (vibe) बदल गई, और AI इस वाइब बदलाव को संभाल नहीं सका।
- "सुझाव बॉक्स" का मंत्र (Persuasion Cues):
- चाल: उन्होंने "मेरे दोस्तों को लगता है कि मैंने गलती की" या "मुझे लगता है कि मैं एक बुरा व्यक्ति हूँ" जैसे छोटे संकेत जोड़े।
- परिणाम: रोबोट आसानी से बहक गए। यदि कहानी में कहा गया, "सब सहमत हैं कि मैं गलत हूँ," तो रोबोट के यह कहने की संभावना अधिक थी कि, "हाँ, आप गलत हैं।" यह एक जूरी सदस्य की तरह है जो कहता है, "हे, बाकी सब सोचते हैं कि वह दोषी है," और अचानक रोबोट बिना गहराई से सोचे सहमत हो जाता है।
3. सबसे बड़ा आश्चर्य: "निर्देश पुस्तिका" सबसे अधिक मायने रखती है
सबसे चौंकाने वाला निष्कर्ष कहानी के बारे में नहीं था; बल्कि यह था कि सवाल कैसे पूछा गया था।
शोधकर्ताओं ने "खेल के नियम" (प्रोटोकॉल) बदल दिए:
- नियम A: "मुझे पहले फैसला दें, फिर उसका कारण बताएं।"
- नियम B: "पहले अपना तर्क समझाएं, फिर फैसला दें।"
- नियम C: "बस सलाह दें, कोई लेबल न लगाएं।"
परिणाम: रोबोटों ने पूरी तरह से अलग उत्तर दिए, जो इस पर निर्भर था कि वे कौन सा नियम खेल रहे थे।
- जब पहले फैसला देने के लिए कहा गया, तो वे अधिक कठोर थे और कहानी सुनाने वाले को दोष देने की अधिक संभावना थी।
- जब पहले तर्क समझाने के लिए कहा गया, तो वे नरम हो गए और यह कहने की अधिक संभावना थी कि, "खैर, यह जटिल है, शायद कोई भी दोषी नहीं है।"
उपमा: एक फुटबॉल मैच के रेफरी की कल्पना करें।
- यदि आप रेफरी से कहते हैं, "रीप्ले देखने से पहले पेनल्टी घोषित करें," तो वे एक त्वरित निर्णय ले सकते हैं।
- यदि आप उनसे कहते हैं, "रीप्ले देखें और फाउल को समझाने के बाद सीटी बजाएं," तो वे चीजों को अलग तरह से देख सकते हैं।
- खेल (नैतिक दुविधा) वही है, लेकिन संचालन का क्रम परिणाम बदल देता है।
4. "नाजुक" फैसले
शोध में पाया गया कि रोबोट तब सबसे अधिक भ्रमित होते हैं जब स्थिति पहले से ही एक ग्रे एरिया (धुंधली स्थिति) हो।
- यदि कहानी स्पष्ट रूप से "आप विलेन हैं" वाली है, तो रोबोट सुसंगत रहता है।
- यदि कहानी "शायद मैं गलत हूँ, शायद नहीं" वाली है, तो रोबोट एक हवा की दिशा बताने वाले यंत्र (weather vane) की तरह होता है। एक छोटी सी हवा (कहानी बताने के तरीके में बदलाव) इसे एक नई दिशा में घुमा देती है।
5. "सोचने वाले" मॉडल मदद नहीं करते
शोधकर्ताओं ने उन नए AI मॉडल्स का परीक्षण किया जो "सोचने" (अपने तर्क के चरणों को दिखाने) के लिए प्रसिद्ध हैं। उन्हें उम्मीद थी कि ये मॉडल अधिक स्थिर होंगे।
- वास्तविकता: वे नहीं थे। भले ही रोबोट ने अपने विचारों के बारे में एक लंबा, विस्तृत निबंध लिखा, फिर भी यदि आप निर्देशों या दृष्टिकोण को बदलते हैं, तो वह अपना मन बदल लेता है।
- उपमा: यह एक छात्र की तरह है जो अपने उत्तर को सही ठहराने के लिए 10 पन्नों का निबंध लिखता है। यदि आप प्रश्न को थोड़ा बदल देते हैं, तो वह एक अलग उत्तर को सही ठहराने के लिए एक अलग 10 पन्नों का निबंध लिखता है। "सोचना" उन्हें अधिक सुसंगत नहीं बनाता; यह केवल उनके तर्क को अधिक विश्वसनीय बनाता है।
निचोड़: आपको इसकी परवाह क्यों करनी चाहिए?
यह शोध पत्र हमें चेतावनी देता है कि AI का नैतिक निर्णय एक स्थिर सत्य नहीं है। यह एक प्रदर्शन (performance) है।
- यह "सही बनाम गलत" के बारे में नहीं है: यह "सवाल कैसे फ्रेम किया गया?" के बारे में है।
- खतरा: यदि आप कानूनी सलाह, चिकित्सा नैतिकता, या HR संबंधी निर्णय लेने के लिए AI का उपयोग करते हैं, तो परिणाम इस बात पर निर्भर हो सकता है कि वकील ने AI से "पहले तथ्यों को सूचीबद्ध करने" के लिए कहा या "पहले फैसला देने" के लिए।
- सीख: हम अभी तक AI को एक स्थिर नैतिक दिशा-सूचक (moral compass) के रूप में भरोसा नहीं कर सकते। कंपास की सुई केवल चुंबकीय उत्तर (सत्य) के आधार पर नहीं, बल्कि हवा (प्रॉम्प्ट) के आधार पर भी घूमती है।
संक्षेप में: यदि आप चाहते हैं कि रोबोट आपको बताए कि क्या आप एक "बुरे व्यक्ति" हैं, तो सावधान रहें। उत्तर बदल सकता है यदि आप उससे विनम्रता से पूछते हैं, यदि आप उससे ठंडेपन से पूछते हैं, या यदि आप उसे बोलने से पहले सोचने के लिए कहते हैं। रोबोट एक न्यायाधीश कम और एक दर्पण अधिक है जो इस बात को दर्शाता है कि आप कांच को कैसे पकड़ते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।