Are Language Models Sensitive to Morally Irrelevant Distractors?
यह शोध पत्र इस बात की जांच करता है कि क्या बड़े भाषा मॉडल (लार्ज लैंग्वेज मॉडल्स) मानवीय नैतिक अस्थिरता प्रदर्शित करते हैं, यह दर्शाते हुए कि नैतिक रूप से अप्रासंगिक परिस्थितिजन्य व्याकुलता (डिस्ट्रैक्टर्स) को डालने से उनके नैतिक निर्णयों में 30% से अधिक का बदलाव आ सकता है, यहाँ तक कि कम अस्पष्टता वाले परिदृश्यों में भी।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
AI में "मूड स्विंग" की समस्या: क्यों आपका AI का दिन खराब हो सकता है
कल्पना कीजिए कि आप एक अदालत में न्यायाधीश हैं। आप एक पेशेवर हैं, जो निष्पक्ष और वस्तुनिष्ठ होने के लिए प्रशिक्षित हैं। लेकिन अचानक, फैसला सुनाने से ठीक पहले, कोई कमरे में आता है और तेज़, आक्रामक हेवी मेटल संगीत बजाने लगता है, या शायद वे स्वादिष्ट, गर्म दालचीनी वाले रोल (cinnamon rolls) की एक ट्रे लेकर आते हैं।
भले ही आप सोचते हों कि आप पेशेवर बने हुए हैं, लेकिन कमरे के "वाइब" (vibe) में वह अचानक आया बदलाव अनजाने में आपको प्रभावित कर सकता है। तेज़ संगीत आपको चिड़चिड़ा बना सकता है और आप प्रतिवादी के प्रति अधिक कठोर हो सकते हैं; दालचीनी की खुशबू आपको सुखद महसूस करा सकती है और आप अधिक दयालु हो सकते हैं।
यह शोध पत्र तर्क देता है कि लार्ज लैंग्वेज मॉडल्स (जैसे ChatGPT या Claude) ठीक इसी समस्या से जूझते हैं।
मुख्य खोज: "सिचुएशनिस्ट" (Situationist) AI
लंबे समय तक, शोधकर्ताओं ने माना था कि यदि आप AI से कोई नैतिक प्रश्न पूछते हैं (जैसे "क्या भूखे बच्चे को खिलाने के लिए रोटी चुराना गलत है?"), तो वह आपको अपने "मूल्यों" के आधार पर एक स्थिर, सुसंगत उत्तर देगा।
हालाँकि, इन शोधकर्ताओं ने मनोविज्ञान के एक सिद्धांत का परीक्षण करने का निर्णय लिया जिसे "सिचुएशनिज्म" (Situationism) कहा जाता है। यह सिद्धांत सुझाव देता है कि मानव व्यवहार केवल हमारे "चरित्र" के बारे में नहीं है; यह हमारे आसपास होने वाली यादृच्छिक (random), अप्रासंगिक चीजों से भी भारी रूप से प्रभावित होता है।
इसकी जांच करने के लिए, शोधकर्ताओं ने "नैतिक व्यालत" (Moral Distractors) बनाए। ये जानकारी के ऐसे टुकड़े हैं जिनका वास्तविक नैतिक समस्या से कोई लेना-देना नहीं है—जैसे एक सुंदर सूर्यास्त के बारे में एक वाक्य या कचरे के ढेर की तस्वीर—लेकिन इनमें एक विशिष्ट "भावनात्मक स्वाद" (सकारात्मक या नकारात्मक) होता है।
क्या हुआ? (परिणाम)
शोधकर्ताओं ने नैतिक परीक्षणों में इन व्यालतों (distractors) को "इंजेक्ट" किया, और परिणाम चौंकाने वाले थे:
- "खराब मूड" का प्रभाव: जब शोधकर्ताओं ने AI को एक नकारात्मक व्यालत (जैसे किसी दुर्गंध का वर्णन या एक उदास तस्वीर) दी, तो AI की नैतिकता गिर गई। कुछ मामलों में, AI का "अच्छा" व्यवहार 30% से भी अधिक कम हो गया। इसने उन परिदृश्यों में भी अनैतिक उत्तर चुनना शुरू कर दिया जहाँ सही काम क्या है, इस पर कोई संदेह नहीं था।
- "अच्छी वाइब्स" का प्रभाव: इसके विपरीत, सकारात्मक व्यालत (जैसे एक सुखद पिकनिक) AI को अधिक "प्रो-सोशल" या सहायक बनाने की ओर प्रवृत्त करती थी।
- "सब बेकार हैं" का फैसला: सामाजिक परिदृश्यों में (Reddit के डेटा का उपयोग करते हुए), नकारात्मक व्यालतों ने AI को बहुत अधिक निराशावादी बना दिया, जिससे इसने अक्सर यह निष्कर्ष निकाला कि "शामिल सभी लोग बेकार (asshole) हैं।"
संक्षेप में: AI के पास कोई ठोस नैतिक दिशा-सूचक यंत्र (compass) नहीं है; इसके पास एक ऐसा नैतिक दिशा-सूचक यंत्र है जो प्रॉम्प्ट के "मौसम" के आधार पर डगमगा जाता है।
यह क्यों मायने रखता है? ("तो क्या?")
आप सोच सकते हैं, "यह सिर्फ एक कंप्यूटर है, किसे फर्क पड़ता है कि एक बुरे वाक्य के कारण इसका मूड खराब है?" लेकिन दांव बहुत ऊंचे हैं:
- काउंसलर का जोखिम: यदि हम मानसिक स्वास्थ्य परामर्श के लिए AI का उपयोग करते हैं, तो उपयोगकर्ता के प्रॉम्प्ट में एक "नकारात्मक" संदर्भ गलती से AI को ठंडा, अनहेल्पफुल, या यहाँ तक कि हानिकारक सलाह देने के लिए ट्रिगर कर सकता है।
- कंटेंट मॉडरेटर का जोखिम: यदि एक AI यह तय कर रहा है कि सोशल मीडिया पर कौन सी सामग्री "खराब" है, तो आसपास के टेक्स्ट में एक नकारात्मक "वाइब" उपयोगकर्ताओं को अनुचित रूप से सेंसर करने या गलत तरीके से आंकने का कारण बन सकती है।
बड़ी सीख: दोष मढ़ना
शोधकर्ता एक गहरा दार्शनिक बिंदु उठाते हैं: हमें AI को "अनैतिक" होने के लिए दोष नहीं देना चाहिए, क्योंकि AI के पास वास्तव में कोई आत्मा या चरित्र नहीं है।
इसके बजाय, हमें डिजाइनरों को दोष देना चाहिए।
यदि किसी कार का स्टीयरिंग व्हील हर बार बारिश होने पर डगमगाता है, तो हम कार को "खराब व्यक्तित्व" वाला कहकर दोष नहीं देते—हम इंजीनियरों को दोष देते हैं कि उन्होंने ऐसा स्टीयरिंग सिस्टम नहीं बनाया जो बारिश में भी स्थिर रहे। इसी तरह, AI डेवलपर्स को यह मान लेना बंद करना चाहिए कि उनके मॉडल "गुणवान" हैं और ऐसे सिस्टम बनाना शुरू करना चाहिए जो संदर्भ के कारण होने वाले "मूड स्विंग्स" के प्रति मजबूत (robust) हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।