Position: Evaluations of AI Moral Reasoning Still Miss Half of the Picture
यह शोध पत्र तर्क देता है कि एआई (AI) नैतिक तर्क के वर्तमान मूल्यांकन मूल्य संरेखण (value alignment) पर अत्यधिक ध्यान केंद्रित करते हैं और संदर्भ-संवेदनशील मानक अनुप्रयोग (context-sensitive norm application) की उपेक्षा करते हैं, और यह मानकीकृत औपचारिक निरूपण, विशेषज्ञ-एनोटेटेड डेटासेट और मानदण्डिक सक्षमता (normative competence) के लिए विशिष्ट मूल्यांकन प्रोटोकॉल के माध्यम से इस अंतराल को दूर करने के लिए एक अनुसंधान एजेंडा प्रस्तावित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
जब लोग किसी कठिन चुनाव पर कंप्यूटर से सलाह मांगते हैं, तो वे अक्सर एक ऐसा प्रश्न पूछ रहे होते हैं जिसके दो बहुत अलग हिस्से होते हैं। पहला हिस्सा इस बारे में है कि हम किस बात की परवाह करते हैं: क्या हम दयालुता को सख्त नियमों से ऊपर रखते हैं, या निष्पक्षता को वफादारी से ऊपर? दूसरा हिस्सा इस बारे में है कि हम उन प्राथमिकताओं का उपयोग किसी विशिष्ट स्थिति में निर्णय लेने के लिए कैसे करते हैं। कल्पना कीजिए कि आप यह तय करने की कोशिश कर रहे हैं कि अपने किसी मित्र को एक दर्दनाक सच बताना चाहिए या नहीं। यह जानना एक बात है कि आप ईमानदारी को महत्व देते हैं, लेकिन यह जानना कि वह मूल्य उस समय कैसे लागू होता है जब सच किसी ऐसे व्यक्ति को ठेस पहुँचा सकता है जिसे आप प्यार करते हैं, दूसरी बात है। इस दूसरे भाग के लिए उन सिद्धांतों का पालन करने की आवश्यकता होती है जो आपको विभिन्न चिंताओं को एक-दूसरे के विरुद्ध तौलने के तरीके बताते हैं। वर्षों तक, आर्टिफिशियल इंटेलिजेंस का अध्ययन करने वाले वैज्ञानिकों ने लगभग पूरी तरह से पहले भाग पर ध्यान केंद्रित किया है, यह जाँचते हुए कि क्या एक मशीन के उत्तर मनुष्यों द्वारा सामान्य रूप से पसंद किए जाने वाले विकल्पों से मेल खाते हैं। लेकिन एक नया विश्लेषण बताता है कि वहीं रुककर, शोधकर्ताओं ने यह परीक्षण करने का सबसे महत्वपूर्ण अवसर खो दिया है कि क्या एक मशीन वास्तव में एक नैतिक एजेंट (moral agent) की तरह सोच सकती है।
कनेक्टिकट विश्वविद्यालय, कार्नेगी मेलन विश्वविद्यालय और हगिंग फेस के शोधकर्ताओं की एक टीम ने इस बात की जांच की है कि हम वर्तमान में लार्ज लैंग्वेज मॉडल्स (LLMs) के नैतिक तर्क (moral reasoning) का परीक्षण कैसे करते हैं। ये शक्तिशाली कंप्यूटर प्रोग्राम हैं जो निबंध लिख सकते हैं, प्रश्नों के उत्तर दे सकते हैं और सलाह दे सकते हैं। लेखक तर्क देते हैं कि यह क्षेत्र "नैतिक मूल्य समस्या" (moral value problem) पर बहुत अधिक केंद्रित हो गया है, जो केवल यह पूछता है कि क्या कंप्यूटर के उत्तर मानवीय विचारों के अनुरूप हैं। उनका कहना है कि यह दृष्टिकोण "नैतिक मानदंड समस्या" (moral norm problem) को काफी हद तक अनछुआ छोड़ देता है। नैतिक मानदंड समस्या अधिक कठिन चुनौती है—यह देखना कि क्या एक मशीन किसी स्थिति के लिए सही सिद्धांतों की पहचान कर सकती है और निष्कर्ष तक पहुँचने के लिए उन्हें सही ढंग से लागू कर सकती है। शोधकर्ताओं ने पाया कि वर्तमान परीक्षण इस बात की तरह हैं जैसे यह जाँचना कि क्या किसी छात्र ने मूल्यों की एक सूची याद कर ली है, लेकिन कभी यह नहीं पूछा कि क्या वे उन मूल्यों का उपयोग एक जटिल समस्या को हल करने के लिए कर सकते हैं।
यह समझने के लिए कि यह अंतर क्यों महत्वपूर्ण है, विचार करें कि वैज्ञानिकों ने पारंपरिक रूप से मनुष्यों और मशीनों दोनों में नैतिकता को कैसे मापा है। वे 'मोरल फाउंडेशन थ्योरी' (Moral Foundations Theory) जैसे ढांचों पर बहुत अधिक निर्भर रहे हैं, जो मानवीय नैतिकता को देखभाल, निष्पक्षता और वफादारी जैसी व्यापक श्रेणियों में विभाजित करती है। ये उपकरण यह वर्णन करने के लिए उत्कृष्ट हैं कि लोग आमतौर पर किन बातों की परवाह करते हैं। यदि आप कंप्यूटर को एक व्यक्ति को बचाने या पांच लोगों को बचाने के बीच चुनने के लिए कहते हैं, और वह पांच लोगों को चुनता है, तो शोधकर्ता कह सकते हैं कि कंप्यूटर बड़ी संख्या की देखभाल करने के मानवीय मूल्य के साथ संरेखित है। हालांकि, शोधकर्ता बताते हैं कि किसी मूल्य की परवाह करना उसे लागू करने का तरीका जानने के समान नहीं है। एक मशीन इस बात से सहमत हो सकती है कि "हानि बुरी है" लेकिन वह यह समझने में विफल हो सकती है कि कुछ नैतिक प्रणालियों में, पांच लोगों को बचाने के लिए एक व्यक्ति को नुकसान पहुँचाना एक अलग नियम का उल्लंघन है। वर्तमान परीक्षण अक्सर एक मशीन की सही शब्द कहने की क्षमता को उसके सही तर्क करने की क्षमता समझने की गलती कर देते हैं।
लेखकों ने मूल्यांकन के लिए उपयोग किए जाने वाले दर्जनों मौजूदा अध्ययनों और बेंचमार्क की समीक्षा की। उन्होंने पाया कि लगभग सभी परीक्षण "नैतिक मूल्य समस्या" के इर्द-गिर्द केंद्रित हैं। ये परीक्षण कंप्यूटर को एक सूची से उत्तर चुनने या अपनी प्राथमिकता बताने के लिए कहते हैं, और फिर उस विकल्प की तुलना उस विकल्प से करते हैं जो मनुष्यों का समूह चुनता है। जबकि यह हमें बताता है कि मशीन किसे प्राथमिकता देती है, यह हमें यह नहीं बताता कि क्या मशीन एक विशिष्ट नैतिक सिद्धांत के आधार पर एक वैध तर्क बना सकती है। शोधकर्ताओं ने पाया कि बहुत कम परीक्षण वास्तव में यह जाँचते हैं कि क्या एक मशीन सिद्धांतों का एक सेट ले सकती है, उसे एक नए और पेचीदा मामले में लागू कर सकती है, और चरण-दर-चरण अपने तर्क की व्याख्या कर सकती है। जब परीक्षण तर्क को देखने की कोशिश भी करते हैं, तो वे अक्सर एक शॉर्टकट के रूप में उन्हीं व्यापक मूल्य श्रेणियों का उपयोग करते हैं, यह मानकर कि यदि कोई मशीन "निष्पक्षता" की परवाह करती है, तो वह निष्पक्षता के नियमों को लागू करना भी जानती होगी। लेखक तर्क देते हैं कि यह एक गलती है, क्योंकि अलग-अलग नैतिक सिद्धांत निष्पक्षता की परवाह करने का दावा कर सकते हैं, जबकि पूरी तरह से अलग परिणाम की मांग कर सकते हैं।
यह भ्रम हमारे इस समझ में एक अंतराल पैदा करता है कि ये मशीनें वास्तव में क्या कर सकती हैं। शोधकर्ताओं ने वर्तमान मूल्यांकन परिदृश्य में तीन विशिष्ट लुप्त हिस्सों की पहचान की है। पहला, हमारे पास इस बात के लिए उच्च-गुणवत्ता वाला, साझा सेट नहीं है कि विभिन्न स्थितियों में नैतिक नियमों को कैसे लागू किया जाना चाहिए। एक मानक संदर्भ के बिना, प्रत्येक शोध टीम अपना स्वयं का परीक्षण बनाती है, जिससे परिणामों की तुलना करना या वास्तविक प्रगति देखना असंभव हो जाता है। दूसरा, परीक्षण इस बात की बारीकी से जांच नहीं करते हैं कि मशीन निष्कर्ष तक पहुँचने के लिए कौन से कदम उठाती है। एक मशीन भाग्य से या अनुमान लगाकर सही उत्तर प्राप्त कर सकती है, लेकिन वर्तमान विधियाँ अक्सर यह पकड़ने में विफल रहती हैं कि उस उत्तर के पीछे का तर्क त्रुटिपूर्ण है या नहीं। तीसरा, परीक्षण यह जाँच नहीं करते कि क्या मशीन कहानी के सबसे महत्वपूर्ण विवरणों को पहचान सकती है। एक नियम लागू करने से पहले, मशीन को यह पता लगाना होगा कि स्थिति के कौन से हिस्से नैतिक रूप से महत्वपूर्ण हैं, और वर्तमान उपकरण इस कौशल को अच्छी तरह से नहीं मापते हैं।
इन समस्याओं को ठीक करने के लिए, लेखक क्षेत्र के लिए एक नया मार्ग प्रस्तावित करते हैं। वे सुझाव देते हैं कि वैज्ञानिकों को नैतिक सिद्धांतों का वर्णन करने के लिए एक सामान्य भाषा बनाने की आवश्यकता है, ताकि विभिन्न शोधकर्ता ऐसे परीक्षण बना सकें जो एक ही सिद्धांतों की बात करें। वे ऐसे नए डेटासेट बनाने का आह्वान करते हैं जहाँ विशेषज्ञ यह चिह्नित (annotate) करें कि वास्तविक दुनिया के परिदृश्यों में विशिष्ट नियमों को कैसे लागू किया जाना चाहिए। अंत में, वे समुदाय से यह मिश्रण रोकने का आग्रह करते हैं कि मशीन क्या महत्व देती है और वह कैसे तर्क करती है। एक मशीन को इस बात पर आंका जाना चाहिए कि वह एक सिद्धांत से निर्णय तक एक तार्किक पथ का अनुसरण करने में कितनी सक्षम है, न कि केवल इस पर कि क्या उसका अंतिम चुनाव मानवीय राय से मेल खाता है। शोधकर्ता निष्कर्ष निकालते हैं कि जबकि हमने यह समझने में अच्छी प्रगति की है कि मशीनें क्या परवाह करती हैं, हम केवल अभी शुरुआत ही कर रहे हैं कि क्या वे वास्तव में एक नैतिक समस्या पर विचार कर सकती हैं। जब तक हम नियमों के अनुप्रयोग का परीक्षण करने के लिए उपकरण नहीं बनाएंगे, हम नहीं जान पाएंगे कि क्या ये सिस्टम उस प्रकार के नैतिक तर्क के सक्षम हैं जिस पर मनुष्य अपने सबसे कठिन क्षणों में भरोसा करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।