The Ethical Decision Head: Operationalizing Normative Ethics in Autonomous Vehicles via Reinforcement Learning from Human Feedback

स्व-चालित कारों के लिए आगे का रास्ता अब केवल दुर्घटनाओं से बचने के बारे में नहीं है; यह उन स्थितियों में चुनाव करने के बारे में है जब दुर्घटनाएं अपरिहार्य हों। जैसे-जैसे ये मशीनें इतनी परिपक्व हो रही हैं कि वे बिना मानवीय सहायता के स्वयं गाड़ी चला सकें, वे अनिवार्य रूप से ऐसी स्थितियों का सामना करेंगी जहाँ दुर्घटना निश्चित होगी, और एकमात्र प्रश्न यह होगा कि किसे चोट पहुंचेगी। यह एक पुराने दार्शनिक पहेली का आधुनिक संस्करण है जिसे 'ट्रॉली प्रॉब्लम' के रूप में जाना जाता है, जहाँ दो बुरे परिणामों के बीच एक निर्णय लेना होता है। दशकों से, दार्शनिकों ने इस बात पर बहस की है कि ऐसे क्षणों में एक व्यक्ति को कैसे कार्य करना चाहिए, विभिन्न जीवनों के मूल्य और कार्रवाई करने बनाम कुछ न करने की नैतिकता को तौलते हुए। अब, इंजीनियर कंप्यूटर को इन्हीं चुनावों को करने के लिए प्रशिक्षित करने की कोशिश कर रहे हैं। चुनौती केवल एक ऐसा कंप्यूटर प्रोग्राम लिखने की नहीं है जो नियमों के एक कठोर सेट का पालन करता हो, बल्कि एक मशीन को मानवीय मूल्यों को समझने के लिए प्रशिक्षित करने की है, जो अक्सर जटिल, असंगत और गहराई से भावनात्मक होते हैं।

स्टोनी ब्रूक यूनिवर्सिटी के शोधकर्ताओं के एक दल ने यह परीक्षण करने के लिए एक प्रयास किया कि क्या एक मशीन सीधे लोगों से इन जटिल मानवीय मूल्यों को सीख सकती है, बजाय इसके कि उसे निर्देशों के एक निश्चित सेट के साथ प्रोग्राम किया जाए। उन्होंने एक प्रणाली बनाई जिसे वे 'एथिकल डिसीजन हेड' कहते हैं, जो एक विशेष सॉफ्टवेयर लेयर है जिसे तब हस्तक्षेप करने के लिए डिज़ाइन किया गया है जब एक स्व-चालित कार किसी आसन्न दुर्घटना का सामना करती है। इन क्षणिक क्षणों में, कार को यह तय करना होगा कि वह अपने पथ पर बनी रहे, बाईं ओर मुड़े, या दाईं ओर मुड़े। शोधकर्ताओं ने यह देखना चाहा कि क्या वे इस प्रणाली को 'ह्यूमन फीडबैक से रीइन्फोर्समेंट लर्निंग' नामक एक विधि का उपयोग करके प्रशिक्षित कर सकते हैं। कंप्यूटर को ठीक-ठीक यह बताने के बजाय कि उसे क्या करना चाहिए, उन्होंने इसे 200 दुर्घटना परिदृश्य दिखाए और दो स्वयंसेवकों से दो विकल्पों के बीच बेहतर परिणाम चुनने के लिए कहा। कंप्यूटर ने इन मानवीय चुनावों की नकल करना सीखा, इस उम्मीद में कि वह उनके पीछे के नैतिक तर्क को आत्मसात कर लेगा।

इस विचार का परीक्षण करने के लिए, शोधकर्ताओं ने कंप्यूटर के पालन करने के लिए दो अलग-अलग नियम बनाए। पहला उपयोगितावाद (utilitarianism) पर आधारित था, जो एक ऐसा दर्शन है जो कहता है कि सही कार्रवाई वह है जो कुल मिलाकर अधिक जीवन बचाती है। दूसरा इमैनुएल कांट के विचारों पर आधारित था, जो एक ऐसे दार्शनिक थे जिन्होंने तर्क दिया था कि कुछ कार्य परिणाम की परवाह किए बिना गलत होते हैं, जैसे कि दूसरों को बचाने के लिए किसी व्यक्ति का उपयोग उपकरण के रूप में करना। शोधकर्ताओं ने अपनी प्रणाली को इन दोनों दृष्टिकोणों को सीखने के लिए प्रशिक्षित किया। जब उन्होंने सिस्टम का परीक्षण कांटियन नियमों पर किया, तो यह पूरी तरह से काम कर गया। कंप्यूटर ने जल्दी ही सीख लिया कि एकमात्र सही कदम कभी भी पैदल यात्री की ओर न मुड़ना है, चाहे कुछ भी हो, और इसने बिना किसी विफलता के इस नियम का पालन किया। इस सफलता ने सिद्ध कर दिया कि प्रशिक्षण प्रणाली स्वयं सही ढंग से काम कर रही थी और कंप्यूटर एक सख्त नैतिक नियम सीखने में सक्षम था।

हालाँकि, जब शोधकर्ताओं ने उपयोगितावादी नियमों को बदला, तो परिणाम चौंकाने वाले थे। उन्हें उम्मीद थी कि कंप्यूटर हर परिदृश्य में गणितीय रूप से सही विकल्प बनाकर कुल चोटों को कम करना सीख जाएगा। इसके बजाय, कंप्यूटर ने कुछ और ही सीख लिया। 200 अलग-अलग दुर्घटना परिदृश्यों का विश्लेषण करने के बाद, सिस्टम लगभग आधे मामलों में जीवन बचाने वाले विकल्प को चुनने में विफल रहा। जीवन बचाने वाले विकल्प को चुनने के बजाय, इसने एक व्यवहार पैटर्न को अपना लिया जहाँ यह खुद को या यात्रियों को कुर्बान कर देता ताकि सक्रिय रूप से पैदल यात्री को टक्कर देने से बचा जा सके। ऐसा इसलिए हुआ क्योंकि मानव स्वयंसेवकों, जिन्होंने फीडबैक प्रदान किया था, ने वास्तव में उस जीवन-रक्षक विकल्प को नहीं चुना जैसा कि दार्शनिकों के नियम सुझाते थे। लोग वास्तव में जीवन बचाने वाले विकल्प को उतना नहीं चुनते थे जितना कि वे चुन सकते थे। लोग इस तरह के व्यवहार को पसंद करने लगे जहाँ कार या तो कुछ न करे या खुद को बलिदान कर दे, भले ही इसका अर्थ यह हो कि कुल मिलाकर अधिक लोग घायल होंगे। वे ऐसा महसूस करते थे कि किसी व्यक्ति की ओर सक्रिय रूप से मुड़ना एक दुर्घटना के माध्यम से होने वाली त्रासदी से अधिक बुरा है, जिसे 'ओमिशन बायस' (omission bias) नामक मनोवैज्ञानिक प्रवृत्ति के रूप में जाना जाता है।

अध्ययन ने इस बात के बीच एक गहरा अंतर प्रकट किया कि लोग सिद्धांत में क्या मानते हैं और वे व्यवहार में वास्तव में क्या पुरस्कृत करते हैं। जब शोधकर्ताओं ने मानव फीडबैक को हटा दिया और केवल जीवन बचाने के सख्त गणितीय लक्ष्य पर कंप्यूटर को प्रशिक्षित किया, तो यह तुरंत अत्यधिक सटीक हो गया, जिसने 90 प्रतिशत से अधिक मामलों में जीवन-रक्षक पथ को सही ढंग से चुना। इसने सिद्ध किया कि कंप्यूटर उपयोगितावादी दर्शन को सीखने में सक्षम था, लेकिन मानव फीडबैक ने इसे उस लक्ष्य से दूर खींच लिया था। मशीन नैतिक होने में विफल नहीं हुई; इसने मानवीय नैतिकता को ठीक वैसे ही सीखा जैसे मनुष्य उन्हें अभ्यास में लाते हैं, उनके सभी विरोधाभासों और भावनात्मक पूर्वाग्रहों के साथ। शोधकर्ताओं ने पाया कि जब हम किसी मशीन को नैतिक बनाने की कोशिश करते हैं और लोगों से पूछते हैं कि वे क्या पसंद करते हैं, तो हम अनजाने में उसे असंगत बना सकते हैं, जो वास्तविक परिणाम के बजाय हमारी भावनाओं को प्राथमिकता देता है।

यह खोज बताती है कि केवल लोगों से पूछना कि वे क्या चाहते हैं, एक वास्तव में नैतिक स्व-चालित कार बनाने के लिए पर्याप्त नहीं हो सकता है। यदि लक्ष्य एक ऐसी प्रणाली बनाना है जो लगातार अधिक जीवन बचाती है, तो मानव फीडबैक पर भरोसा करना वास्तव में कार को कम सुरक्षित बना सकता है, क्योंकि मनुष्य अक्सर उन कार्यों को पसंद करते हैं जो उस क्षण में सही लगते हैं लेकिन समग्र रूप से खराब परिणाम देते हैं। अध्ययन यह दावा नहीं करता है कि इसने मशीनों में नैतिकता को प्रोग्राम करने की समस्या को हल कर दिया है, लेकिन यह दिखाता है कि मार्ग केवल मानवीय विकल्पों की नकल करने से कहीं अधिक जटिल है। यह एक मौलिक तनाव को उजागर करता है: नैतिकता के बारे में सोचते समय हमारे दिमाग में जो मूल्य होते हैं, वे हमेशा उन विकल्पों के समान नहीं होते जो हम एक वास्तविक स्थिति का निर्णय लेते समय करते हैं। जैसे-जैसे हम एक ऐसे भविष्य की ओर बढ़ रहे हैं जहाँ मशीनें जीवन-मृत्यु के निर्णय लेती हैं, हमें यह तय करने की आवश्यकता हो सकती है कि क्या हम चाहते हैं कि वे हमारी अपूर्ण मानवीय सहज प्रवृत्तियों का पालन करें या एक सख्त, अधिक सुसंगत सिद्धांतों के सेट का।