CLASH: Evaluating Language Models on Judging High-Stakes Dilemmas from Multiple Perspectives
यह शोध पत्र CLASH पेश करता है, जो विविध चरित्र दृष्टिकोणों के साथ उच्च-दांव वाले दुविधाओं का एक डेटासेट है, यह प्रकट करने के लिए कि उन्नत भाषा मॉडल भी मूल्य-आधारित निर्णय लेने में संघर्ष करते हैं, और मनोवैज्ञानिक असहजता की उचित भविष्यवाणियों के बावजूद शीघ्र प्रतिबद्धता और मूल्यों में बदलाव की सीमित समझ जैसे विशिष्ट विफलता पैटर्न प्रदर्शित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को कठिन जीवन निर्णय लेना सिखाने की कोशिश कर रहे हैं। इससे पहले के अधिकांश परीक्षणों में रोबोट से सरल प्रश्न पूछे जाते थे जैसे, "क्या काम के लिए देर होने पर सड़क पार करना (jaywalk) ठीक है?" लेकिन वास्तविक दुनिया में, सबसे कठिन चुनाव सरल नहीं होते; वे उच्च-दांव वाले द्वंद्व (high-stakes dilemmas) होते हैं जहाँ हर विकल्प किसी न किसी को चोट पहुँचाता है, और मूल्य (values) दो टकराते हुए तूफानों की तरह आपस में भिड़ जाते हैं।
यह शोध पत्र CLASH (Character perspective-based LLM Assessments in Situations with High-stakes) पेश करता है, जो एक नया "परीक्षा" है यह देखने के लिए कि क्या AI इन उलझे हुए, उच्च-दबाव वाली स्थितियों को संभाल सकता है।
यहाँ एक विवरण दिया गया है कि उन्होंने क्या किया और उन्हें क्या मिला, सरल उपमाओं (analogies) का उपयोग करते हुए:
1. परीक्षा: CLASH
पिछले AI परीक्षणों को एक बहुविकल्पीय प्रश्नोत्तरी (multiple-choice quiz) की तरह समझें जिसमें छोटे, साफ वाक्य होते हैं। CLASH एक ड्रामा सीरीज़ की तरह है।
- कहानियाँ: एक-एक लाइनर के बजाय, इस डेटासेट में जीवन-मृत्यु या जीवन बदलने वाली स्थितियों के बारे में 345 लंबी, विस्तृत कहानियाँ हैं (जैसे, एक डॉक्टर द्वारा उपचार पर निर्णय लेना, या एक बैंक क्लर्क द्वारा एक बड़ी गलती करना)।
- पात्र (Characters): हर कहानी के लिए, AI को अलग-अलग "पात्रों" के दृष्टिकोण से उत्तर देना होता है। कुछ पात्र केवल सुरक्षा की परवाह करते हैं; अन्य केवल निष्पक्षता की परवाह करते हैं। कुछ पात्र कहानी के बीच में ही अपना मन बदल लेते हैं।
- लक्ष्य: परीक्षा पूछती है: "यदि आप पात्र A होते, तो क्या आप ऐसा करते? क्या इससे आपको घबराहट या बेचैनी महसूस होती? क्या कल की तुलना में आज आपका विचार बदल गया है?"
2. बड़ी खोजें: जहाँ AI लड़खड़ाता है
शोधकर्ताओं ने 14 अलग-अलग AI मॉडल (नवीनतम, स्मार्ट मॉडल्स जैसे GPT-5 और Claude-4 सहित) का इस परीक्षा पर परीक्षण किया। यहाँ क्या हुआ:
A. "निर्णय न ले पाने" की समस्या (Ambivalence)
- उपमा: कल्पना कीजिए कि आप दो दरवाजों के सामने खड़े हैं। एक इनाम की ओर ले जाता है, दूसरा एक जाल की ओर। एक इंसान कह सकता है, "मैं दुविधा में हूँ; मैं चुन नहीं पा रहा हूँ।"
- परिणाम: AI मॉडल यह स्वीकार करने में बहुत खराब हैं कि वे दुविधा में हैं। सबसे स्मार्ट मॉडल्स ने भी तब "हाँ" या "ना" का उत्तर देने के लिए ज़ोर दिया जब स्थिति स्पष्ट रूप से "शायद" की मांग कर रही थी। वे "मुझे नहीं पता" कहने में संघर्ष करते हैं, भले ही सही उत्तर "मैं असमंजस में हूँ" हो। वास्तव में, सबसे अच्छा मॉडल इसे केवल 51% बार ही सही कर पाया।
B. "अंतरात्मा की आवाज़" की समस्या (Discomfort)
- उपमा: कभी-कभी आप जानते हैं कि आपको क्या करना चाहिए, लेकिन वह अंदर से गलत लगता है। जैसे एक माता-पिता जिन्हें कंपनी को बचाने के लिए अपने दोस्त को नौकरी से निकालना पड़ता है।
- परिणाम: AI वास्तव में यह पहचानने में काफी अच्छा है कि एक पात्र को कब असहज महसूस होना चाहिए। यदि कहानी कहती है, "पात्र A ईमानदारी को महत्व देता है लेकिन उसे झूठ बोलना पड़ता है," तो AI सही अनुमान लगाता है, "हाँ, पात्र A को इस बारे में बुरा लग रहा है।"
C. "याददाश्त" की समस्या (Value Shifts)
- उपमा: कल्पना कीजिए कि एक पात्र पिज्जा पसंद करता है, लेकिन फिर उसे पेट दर्द होता है और अब वह पिज्जा से नफरत करने लगता है।
- परिणाम: AI मॉडल अपना "मन" अपडेट करने में बहुत खराब हैं। जब एक कहानी कहती है, "पात्र A पहले X को महत्व देता था, लेकिन अब वह Y को महत्व देता है," तो AI अक्सर बदलाव को भूल जाता है और पुराने विश्वास के आधार पर उत्तर देता है। यह उस छात्र की तरह है जिसने पिछले साल एक विषय पढ़ा था लेकिन भूल गया कि उसने अब एक नया विषय सीख लिया है। मूल्यों के बदलने पर सटीकता लगभग 43 अंक गिर गई!
3. AI कैसे "सोचता" है (Reasoning Chains)
शोधकर्ताओं ने AI के "दिमाग" के अंदर झाँका कि वह इन समस्याओं को कैसे हल करता है।
- पुराना तरीका: गणित या शतरंज में, स्मार्ट AI "बैकट्रैकिंग" (अपना काम चेक करना, नियमों को पीछे मुड़कर देखना) नामक रणनीति का उपयोग करते हैं। यह गणित के लिए बहुत अच्छा काम करता है।
- नया फेलियर: नैतिक द्वंद्वों में, यह बैकट्रैकिंग काम नहीं आया। इसके बजाय, AI ने दो बुरी आदतें विकसित कीं:
- जल्दी प्रतिबद्धता (Early Commitment): AI बहुत जल्दी एक पक्ष चुन लेता है, जैसे कोई जज पूरी कहानी सुनने से पहले ही हथौड़ा चला देता है।
- अति-प्रतिबद्धता (Overcommitment): एक बार पक्ष चुनने के बाद, वह हठपूर्वक उसी पर टिका रहता है, उन सबूतों को अनदेखा करता है जो सुझाव देते हैं कि दूसरा पक्ष सही हो सकता है। यह उस वकील की तरह है जो अपना अंतिम तर्क शुरू करने के बाद विपक्षी तर्क को सुनने से इनकार कर देता है।
4. "स्टीयरिंग" (Steering) परीक्षण
शोधकर्ताओं ने यह भी परीक्षण किया कि वे AI को एक विशिष्ट मूल्य (जैसे सुरक्षा बनाम आत्म-सम्मान) की ओर कितनी आसानी से "मोड़" (steer) सकते हैं।
- निष्कर्ष: यदि AI पहले से ही "सुरक्षा" को बहुत पसंद करता है, तो उसे "आत्म-सम्मान" चुनने के लिए मोड़ना बहुत कठिन है। AI स्वाभाविक रूप से एक मूल्य को जितना अधिक पसंद करता है, उसे दूसरे विपरीत मूल्य की ओर मोड़ना उतना ही कठिन होता है।
- परिप्रेक्ष्य का तरीका (Perspective Trick): AI ने तब बेहतर सुना जब उससे पूछा गया, "पात्र A क्या करेगा?" (तृतीय-व्यक्ति) बजाय इसके कि "आप क्या करेंगे?" (प्रथम-व्यक्ति)। हालांकि, "सुरक्षा" के मूल्य के लिए, AI ने प्रथम-व्यक्ति में पूछे जाने पर बेहतर सुना, क्योंकि सुरक्षा एक गहराई से बसी हुई सहज प्रवृत्ति (instinct) है।
सारांश
यह शोध पत्र निष्कर्ष निकालता है कि जबकि AI गणित और खेलों में स्मार्ट हो रहा है, वह अभी भी मानवीय मूल्यों की उलझी हुई, भावनात्मक और परिवर्तनशील दुनिया को समझने में बहुत अनाड़ी है। वह यह स्वीकार करने में संघर्ष करता है कि वह भ्रमित है, वह भूल जाता है कि लोग अपना मन बदलते हैं, और वह अक्सर अपने स्वयं के हठधर्मी तर्क में फंस जाता है।
महत्वपूर्ण नोट: लेखक इस बात पर जोर देते हैं कि यह एक नैदानिक उपकरण (diagnostic tool) है। वे यह नहीं कह रहे हैं कि ये AI मॉडल डॉक्टर या न्यायाधीश बनने के लिए तैयार हैं। वास्तव में, वे चेतावनी देते हैं कि इस परीक्षण पर उच्च स्कोर का मतलब यह नहीं है कि AI वास्तविक जीवन में उपयोग के लिए सुरक्षित है; इसका मतलब केवल यह है कि अब हमारे पास यह देखने का बेहतर तरीका है कि AI कहाँ विफल हो रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।