Framing Instability in LLM Ethical Stance: Auditing Negation Sensitivity in Moral Dilemmas
यह शोध पत्र नैतिक दुविधाओं के संदर्भ में 16 भाषा मॉडलों का ऑडिट करता है और यह प्रकट करता है कि उनके नैतिक दृष्टिकोण अत्यधिक अस्थिर हैं और इस बात पर निर्भर करते हैं कि प्रश्न पुष्टि या निषेध के रूप में फ्रेम किए गए हैं, जो एक ऐसी कमजोरी है जो विशेष रूप से छोटे मॉडलों में गंभीर है और अक्सर मानक द्विआधारी मूल्यांकन विधियों द्वारा छिपी रहती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपका एक सुपर-स्मार्ट रोबोट दोस्त है जो कठिन नैतिक सवालों पर सलाह देने में बहुत माहिर है, जैसे कि "क्या मुझे सच बोलना चाहिए अगर उससे किसी को ठेस पहुँचती हो?" या "क्या किसी की जान बचाने के लिए नियम तोड़ना ठीक है?" आप उम्मीद करेंगे कि इस रोबोट के पास एक ठोस नैतिक दिशा-सूचक यंत्र (moral compass) होगा, है ना? यदि आप पूछते हैं, "क्या चोरी करना बुरा है?" तो उसे कहना चाहिए "हाँ।" यदि आप पूछते हैं, "क्या चोरी न करना अच्छा है?" तो उसे भी कहना चाहिए "हाँ।" उत्तर समान रहना चाहिए क्योंकि स्थिति नहीं बदली है, केवल आपके द्वारा इस्तेमाल किए गए शब्द बदले हैं।
लेकिन यहाँ एक ट्विस्ट है: कैथरीन एल्किन्स और जॉन चुन द्वारा किए गए एक नए अध्ययन से पता चला है कि कई इन AI रोबots के लिए, सिर्फ वाक्य को उलटने मात्र से उनका जवाब पूरी तरह बदल जाता है। यह बिल्कुल वैसा ही है जैसे आप किसी दोस्त से पूछें, "क्या तुम्हें पिज्जा पसंद है?" और वह कहे "हाँ!" फिर आप पूछें, "क्या तुम पिज्जा को नापसंद करते हो?" और वह कहे "नहीं!" (जिसका अर्थ है कि उसे पसंद है), लेकिन फिर आप पूछें, "क्या तुम पिज्जा को नापसंद नहीं करते हो?" और वह अचानक फिर से "हाँ!" कह दे, भले ही रोबोट इस बात को लेकर भ्रमित हो कि पिज्जा क्या है।
द ग्रेट फ्लिप-फ्लॉप (बड़ा उलटफेर)
शोधकर्ताओं ने 16 अलग-अलग AI मॉडल (कुछ बड़ी अमेरिकी कंपनियों द्वारा बनाए गए, कुछ चीनी कंपनियों द्वारा और कुछ छोटे, ओपन-सोर्स मॉडल) का 14 पेचीदा नैतिक दुविधाओं के साथ परीक्षण किया। उन्होंने प्रत्येक मॉडल से एक ही सवाल दो तरीकों से पूछा:
- "चाहिए" वाला तरीका: "उन्हें स्टोर लूटना चाहिए।"
- "नहीं चाहिए" वाला तरीका: "उन्हें स्टोर नहीं लूटना चाहिए।"
यदि रोबोट स्थिर होता, तो उसे पहले वाले के लिए "नहीं" और दूसरे के लिए "हाँ" कहना चाहिए था (जिसका अर्थ है कि वह इस बात से सहमत है कि लूटना न ही सही चुनाव है)। लेकिन छोटे, ओपन-सोर्स मॉडल्स के लिए परिणाम बेहद अजीब थे। जब पूछा गया "उन्हें स्टोर लूटना चाहिए," तो ये मॉडल केवल 24% बार सहमत हुए। लेकिन जब पूछा गया "उन्हें स्टोर नहीं लूटना चाहिए," तो वे अचानक उस क्रिया के लिए 77% बार सहमत हो गए!
यह 76 प्रतिशत अंकों का उछाल है। यह ऐसा है जैसे रोबोट ने लाल बत्ती देखी और कहा "रुको," लेकिन जब आपने कहा "जाओ मत," तो उसने कहा "जाओ!" अध्ययन में पाया गया कि कुछ छोटे मॉडल्स के लिए, यह बदलाव और भी चरम पर था, जो कुछ पेचीदा वाक्यांशों के तहत 100% सहमति तक पहुँच गया।
"यस-मैन" वाली समस्या
ऐसा क्यों होता है? लेखक सुझाव देते हैं कि रोबोट वास्तव में तर्क (logic) के माध्यम से नहीं सोच रहे हैं। इसके बजाय, वे "कीवर्ड मैचिंग" (शब्द मिलान) का खेल खेल रहे हो सकते हैं। यदि प्रॉम्प्ट में "लूटना" (rob) शब्द आता है, तो रोबोट "लूटना" शब्द देखता है और सोचता है, "ओह, मुझे लूटने के बारे में बात करनी चाहिए!" और अनजाने में वह उस क्रिया से सहमत हो जाता है, भले ही वाक्य में "नहीं" (not) लिखा हो। यह एक ऐसे छात्र की तरह है जो गणित के सवाल में "नहीं" शब्द को देखता है तो है, लेकिन उसे अनदेखा कर देता है क्योंकि वह केवल संख्याओं पर बहुत अधिक ध्यान केंद्रित कर रहा है।
अध्ययन ने यह भी जांचा कि क्या रोबोट केवल "यस-मैन" (उपयोगकर्ता की हर बात से सहमत होने वाले) बन रहे थे। यदि वे ऐसे होते, तो वे "मत लूटो" से सहमत होकर कहते "ठीक है, मैं नहीं लूटूँगा।" लेकिन वे नहीं थे। वे "मत लूटो" से सहमत होकर कहते "ठीक है, मैं लूटूँगा।" इसलिए, यह केवल "यस-मैन" होना नहीं है; यह नकारात्मक शब्दों को संभालने में एक वास्तविक तकनीकी खराबी (glitch) है।
"नकली" सहमति
यहाँ एक और चालाकी भरा हिस्सा है: जिस तरह से हम आमतौर पर इन रोबोट्स का परीक्षण करते हैं, वह त्रुटिपूर्ण है। अधिकांश परीक्षण केवल पूछते हैं, "क्या आप सहमत या असहमत हैं?" और "सहमत" (agree) वाले उत्तरों को गिनते हैं। शोधकर्ताओं ने पाया कि यह साधारण "सहमत/असहमत" वाला बटन एक झूठा है। यह वास्तव में मौजूद सहमतियों से 38% अधिक "सहमति" गिनता है।
कल्पना कीजिए कि एक रोबट कहता है, "मैं पक्का नहीं हूँ, लेकिन शायद यह ठीक है," और परीक्षण उसे "हाँ" के रूप में गिन लेता है। शोधकर्ताओं ने पाया कि रोबोट अक्सर ऐसे कारण लिखते थे जो उनके अपने "हाँ" या "नहीं" बटन के विपरीत थे। लगभग 13% मामलों में, रोबोट का लिखित स्पष्टीकरण उसके बटन के विपरीत था। यह एक ऐसे छात्र की तरह है जो चोरी के खिलाफ तर्क देते हुए निबंध लिखता है, लेकिन फिर वह बॉक्स चेक करता है कि "मैं चोरी का समर्थन करता हूँ।"
कौन सबसे स्थिर है?
सभी रोबोट समान रूप से भ्रमित नहीं हैं।
- छोटे, ओपन-सोर्स मॉडल: ये सबसे नाजुक थे। सवाल पूछने के तरीके के आधार पर उनके जवाब बहुत ज्यादा बदल जाते थे।
- बड़े कमर्शियल मॉडल: बड़ी कंपनियों के मॉडल (जैसे GPT-5, Claude और Gemini) बेहतर थे, लेकिन फिर भी पूर्ण नहीं थे। वे कम बदलते थे, लेकिन फिर भी अपना मन बदलते थे। उदाहरण के लिए, सकारात्मक प्रश्न पूछने पर विभिन्न मॉडल्स के बीच सहमति 73% थी, जो नकारात्मक प्रश्न पूछने पर घटकर 59% रह गई। इसका मतलब है कि यदि आप दो अलग-अलग "स्मार्ट" रोबोट्स से नकारात्मक तरीके से एक ही सवाल पूछते, तो उनके बीच असहमति की संभावना बहुत अधिक होती।
- "रीजनिंग" (तर्क करने वाले) मॉडल: कुछ मॉडल जिन्हें जवाब देने से पहले "कदम-दर-कदम सोचने" (think step-by-step) के लिए कहा गया था, वे बेहतर प्रदर्शन करते थे। एक मॉडल, Grok-4.1-reasoning, ने अपने गैर-रीजनिंग संस्करण की तुलना में अपनी उलझन को 57% कम कर दिया। यह सुझाव देता है कि यदि रोबोट केवल कीवर्ड्स को सरसरी तौर पर देखने के बजाय धीरे चलता है और वास्तव में पूरे वाक्य को पढ़ता है, तो वह अधिक सही होता है।
क्या यह मायने रखता है?
शोधकर्ता चेतावनी देते हैं कि यह केवल एक मजेदार खेल नहीं है। यदि कोई अस्पताल मरीज की देखभाल के निर्णय लेने में AI का उपयोग करता है, या कोई बैंक ऋण स्वीकृत करने के लिए AI का उपयोग करता है, और AI का उत्तर केवल इसलिए बदल जाता है क्योंकि डॉक्टर या बैंकर ने सवाल को अलग तरह से पूछा है, तो यह एक बहुत बड़ी समस्या है।
उन्होंने पाया कि रोबोट वित्तीय और व्यावसायिक परिदृश्यों (एक "संवेदनशीलता स्कोर" 0.63–0.65 के साथ) में विशेष रूप से अस्थिर थे, चिकित्सा परिदृश्यों (0.36) की तुलना में। इसका मतलब है कि रोबोट ठीक उसी समय सबसे अविश्वसनीय सलाह दे रहे हैं जब लोग पैसे या कर्ज से जुड़े मामलों में होते हैं।
निष्कर्ष
यह पेपर यह नहीं कहता कि ये रोबोट हमेशा के लिए "टूटे हुए" हैं, लेकिन यह कहता है कि यदि आप सावधानी से जाँच नहीं करते हैं, तो वे वर्तमान में उच्च-जोखिम वाले निर्णयों के लिए अविश्वसनीय हैं। लेखक एक नया परीक्षण प्रस्तावित करते हैं जिसे नेगेशन सेंसिटिविटी इंडेक्स (NSI) कहा जाता है, जो यह मापता है कि शब्दों को पलटने पर रोबोट के उत्तर में कितना बदलाव आता है।
उनका सुझाव है कि जब तक रोबोट इस परीक्षण को पास नहीं कर लेते, हमें उन्हें अपने आप बड़े निर्णय नहीं लेने चाहिए। यदि किसी रोबोट का उत्तर इस बात पर निर्भर करता है कि आप "चाहिए" कहते हैं या "नहीं चाहिए", तो वह वास्तव में स्थिति के बारे में निर्णय नहीं ले रहा है; वह केवल वाक्य की संरचना पर प्रतिक्रिया दे रहा है। और वास्तविक दुनिया में, हमें अपने AI दोस्तों की जरूरत निरंतरता (consistency) के लिए है, भ्रम के लिए नहीं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।