Accounting for Context: Shaping Moral Credences for Value Alignment

तकनीकी सारांश: संदर्भ का लेखा-जोखा: मूल्य संरेखण के लिए नैतिक विश्वासों को आकार देना

समस्या विवरण
मूल्य संरेखण (Value alignment) का लक्ष्य यह सुनिश्चित करना है कि बुद्धिमान एजेंट मानवीय नैतिक मूल्यों के अनुरूप व्यवहार करें। हालाँकि, मानव समाज नैतिक बहुलवाद (moral pluralism) प्रदर्शित करता है, जहाँ व्यक्ति और समूह परस्पर विरोधी नैतिक सिद्धांतों (जैसे, कर्तव्यवाद बनाम उपयोगितावाद) के माध्यम से कार्यों का मूल्यांकन करते हैं। बहुलवादी संरेखण पर वर्तमान दृष्टिकोण अक्सर एक ऐसी पाइपलाइन पर निर्भर करते हैं जो प्राथमिकताओं को प्राप्त करती है, उपयोगिता फलनों (utility functions) को व्युत्पन्न करती है, और उन्हें नैतिक अनिश्चितता ढाँचों का उपयोग करके एकत्रित करती है। ये ढाँचे आमतौर पर विभिन्न नैतिक सिद्धांतों को जनसंख्या के अनुपात या व्यक्तिगत विश्वास के आधार पर स्थिर "नैतिक विश्वासों" (moral credences/weights) को आवंटित करते हैं।

इस शोध पत्र में पहचाना गया केंद्रीय मुद्दा यह है कि मानक एकत्रीकरण तंत्र अक्सर संदर्भगत कारकों (contextual factors) की अनदेखी करते हैं। विशेष रूप से, किसी नैतिक सिद्धांत की प्रयोज्यता और विश्वसनीयता विशिष्ट स्थितियों के आधार पर भिन्न हो सकती है जिसका सामना एक एजेंट कर रहा है। उदाहरण के लिए, परिणामवादी सिद्धांत (जैसे उपयोगितावाद) परिणामों के सटीक पूर्वानुमान की आवश्यकता रखते हैं, जो वास्तविक दुनिया के संसाधन सीमाओं वाले परिवेश में गणनात्मक रूप से अव्यवहार्य या ज्ञानमीमांसीय रूप से अनिश्चित हो सकता है। इसके विपरीत, कर्तव्यवादी नियम उन्हीं बाधाओं के तहत भी सुदृढ़ रह सकते हैं। नैतिक विश्वासों को स्थिर, संदर्भ-स्वतंत्र मानों के रूप में मानना एकत्रीकरण त्रुटियों की ओर ले जा सकता है, जहाँ एजेंट की निर्णय लेने की प्रक्रिया विशिष्ट संदर्भों में सिद्धांतों की विभेदक विश्वसनीयता का लेखा-जोखा रखने में विफल रहती है।

कार्यप्रणाली (Methodology)
लेखक नैतिक अनिश्चितता के निर्णय-सैद्धांतिक मॉडल (MacAskill, Bykvist, and Ord 2020 पर आधारित) के भीतर संदर्भ-समायोजित नैतिक विश्वासों (context-adjusted moral credences) के लिए एक ढाँचे को औपचारिक रूप देते हैं।

1. औपचारिक परिभाषाएँ:

   • नैतिक ढाँचा (Ethical Framework): इसे एक युग्म $\langle T, c \rangle$ के रूप में परिभाषित किया गया है, जहाँ $T$ नैतिक सिद्धांतों का एक सेट है और $c$ एक विश्वास फलन (credence function) है जो भार (weights) को 1 तक योग करने वाले भारों को सिद्धांतों को आवंटित करता है।
   • विश्वास प्रोफ़ाइल (Credence Profile): संदर्भ को समायोजित करने के लिए, लेखक एक विश्वास प्रोफ़ाइल $C = \langle c_a, c_b, \dots \rangle$ को परिभाषित करते हैं, जहाँ प्रत्येक $c_x$ एक विशिष्ट क्रिया $x$ के लिए विशिष्ट विश्वास फलन है। यह अनुमति देता है कि संदर्भ के आधार पर भार क्रियाओं के अनुसार बदल सकें।
   • संदर्भगत विशेषताएँ (Contextual Features): इन्हें कार्यों $g: A \times T \to (0, 1]$ के रूप में परिभाषित किया गया है जो एक क्रिया $a$ के संबंध में सिद्धांत $t$ की विश्वसनीयता को नियंत्रित (modulate) करते हैं। 1 के करीब मान उच्च विश्वसनीयता/उपयुक्तता को दर्शाता है, जबकि कम मान बाधाओं (जैसे, संसाधन सीमाएँ, अनिश्चितता, नवीनता) के कारण कम विश्वसनीयता को दर्शाते हैं।
   • समायोजन फलन (Adjustment Functions): पत्र में संदर्भ $con = \langle g_1, \dots, g_m \rangle$ के आधार पर प्रारंभिक विश्वासों $c$ को $c_x$ में अपडेट करने के लिए दो तंत्र प्रस्तुत किए गए हैं:
     • prod: यह प्रारंभिक विश्वास को सभी संदर्भगत विशेषताओं के गुणनफल से गुणा करता है, जिसके बाद सामान्यीकरण (normalization) किया जाता है। यह "जोखिम-तटस्थ" (risk-neutral) है, जिससे एक विशेषता का उच्च मान दूसरी विशेषता के निम्न मान की भरपाई कर सकता है।
     • mini: यह प्रारंभिक विश्वास और सभी संदर्भगत विशेषताओं के न्यूनतम (minimum) का मान लेता है, जिसके बाद सामान्यीकरण किया जाता है। यह "जोखिम-विवेकपूर्ण" (risk-averse) है, जो यह सुनिश्चित करता है कि समायोजित विश्वास सबसे कमजोर प्रासंगिक कारक की विश्वसनीयता से अधिक न हो।

2. मेटा-मानकीय सिद्धांत (Metanormative Theory):
   लेखक मुख्य एकत्रीकरण फलन के रूप में मैक्सिमाइजिंग एक्सपेक्टेड चॉइसवर्थिनेस (MEC) का उपयोग करते हैं। MEC कार्यों को सिद्धांतों के माध्यम से उनकी चॉइसवर्थिनेस (choiceworthiness) के भारित अंकगणितीय माध्य (WAM) के आधार पर क्रमबद्ध करता है, जिसमें विश्वास प्रोफ़ाइल के संदर्भ-समायोजित विश्वासों का उपयोग किया जाता है।

3. चल उदाहरण (FROBO):
   पत्र एक अग्निशमन रोबोट (FROBO) के परिदृश्य का उपयोग करता है जो सैन्य घेराबंदी के बीच एक जलते हुए अस्पताल में है। FROBO को एक अकेले अचेत रोगी को बचाने (Right Room) या कई संभावित भविष्य के रोगियों के लिए इंसुलिन सुरक्षित रखने (Left Room) के बीच चयन करना है।

   • संदर्भ: संसाधन सीमाएँ FROBO की दीर्घकालिक परिणामों की सटीक गणना करने की क्षमता को सीमित करती हैं।
   • प्रभाव: संसाधन सीमाओं ($rb$) के लिए संदर्भगत विशेषता 'Left Room' (जहाँ जटिल भविष्यवाणी की आवश्यकता है) के संबंध में उपयोगितावाद के विश्वास को काफी कम कर देती है, लेकिन 'Right Room' (जहाँ परिणाम तत्काल और निश्चित है) के लिए इसे उच्च रखती है।

प्रमुख परिणाम
पत्र यह प्रदर्शित करता है कि संदर्भ-समायोजित विश्वासों को शामिल करने से वीक पारेटो सिद्धांत (Weak Pareto Principle) का उल्लंघन होता है, जो सामाजिक चयन सिद्धांत में एक मानक गुण है, जो कहता है कि यदि सभी सिद्धांत क्रिया $b$ को $a$ से बेहतर मानते हैं, तो समग्र रूप से भी $b$ को $a$ से बेहतर माना जाना चाहिए।

• वीक पारेटो का उल्लंघन: लेखक सिद्ध करते हैं कि मेटा-मानकीय सिद्धांतों (विशेष रूप से जो अंतरा-सैद्धांतिक प्रतिक्रियाशील हैं) और समायोजन फलनों (विशेष रूप से जो संदर्भ-सर्जेक्टिव हैं, जिनमें prod और mini शामिल हैं) के एक विस्तृत वर्ग के लिए, वीक पारेटो सिद्धांत का उल्लंघन होता है।

  • तंत्र: एक ऐसा परिदृश्य निर्मित किया जा सकता है जहाँ प्रत्येक व्यक्तिगत नैतिक सिद्धांत क्रिया $a$ को $b$ से बेहतर मानता है ($t(a) < t(b)$ सभी $t$ के लिए), फिर भी संदर्भ-समायोजित एकत्रीकरण $b$ को $a$ से बेहतर चुनता है।
  • उदाहरण: FROBO परिदृश्य में, भले ही उपयोगितावाद और कर्तव्यवाद दोनों निर्वात (vacuum) में 'Left Room' (इंसुलिन) को 'Right Room' (रोगी) से बेहतर मानते हों, संसाधन बाधाएं 'Left Room' के लिए उपयोगितावादी विश्वास को इतना कम कर सकती हैं कि 'Right Room' के लिए कर्तव्यवादी प्राथमिकता समग्र WAM पर हावी हो जाए, जिससे एजेंट 'Right Room' को चुनता है।

• सिम्पसन के विरोधाभास (Simpson's Paradox) की व्याख्या: लेखक इस उल्लंघन को एक दोष के रूप में नहीं, बल्कि सिम्पसन के विरोधाभास के प्रकटीकरण के रूप में व्याख्यायित करते हैं। जिस प्रकार एकत्रित डेटा उप-समूहों में मौजूद रुझानों को उलट सकता है (जैसे, लिंग बनाम विभाग द्वारा प्रवेश दर), वैसे ही विभिन्न संदर्भों (क्रियाओं) में नैतिक मूल्यांकनों को एकत्रित करना व्यक्तिगत सिद्धांतों की प्राथमिकताओं को उलट सकता है। यह उल्लंघन इसलिए होता है क्योंकि एक सिद्धांत का "भार" क्रिया के संदर्भ के आधार पर गतिशील रूप से बदल जाता है, जिससे एक ऐसा सिद्धांत जो कम प्रारंभिक विश्वास रखता है, उस विशिष्ट संदर्भ में हावी हो सकता है जहाँ वह अधिक विश्वसनीय है।

महत्व और दावे
पत्र का तर्क है कि वीक पारेटो सिद्धांत का उल्लंघन, जो कि अप्राकृतिक लग सकता है, वास्तव में संदर्भगत कारकों को ध्यान में रखने का एक अपरिहार्य और आवश्यक परिणाम है।

1. संदर्भ-असंवेदनशील एकत्रीकरण की सीमाएँ: परिणाम रेखांकित करते हैं कि मानक एकत्रीकरण तंत्र, जो इस बात की अनदेखी करते हैं कि संदर्भ नैतिक सिद्धांतों की विश्वसनीयता को कैसे प्रभावित करता है, वास्तविक दुनिया के मूल्य संरेखण के लिए अपर्याप्त हैं। संदर्भ की अनदेखी करने से "उन्मत्त" (fanatical) या अविश्वसनीय परिणाम हो सकते हैं जहाँ एजेंट उन सिद्धांतों का पालन करते हैं जो विशिष्ट स्थिति के लिए गणनात्मक या ज्ञानमीमांसीय रूप से अनुपयुक्त हैं।
2. नया अनुसंधान पथ: यह कार्य नैतिक अनिश्चितता अनुसंधान को संदर्भ-भारित सामाजिक चयन (contextually-weighted social choice) की ओर मोड़ने के लिए प्रेरित करता है। यह सुझाव देता है कि एकत्रीकरण विधियों (जैसे, वीक पारेटो) के मूल्यांकन के मानदंडों को तब पुनर्मूल्यांकित किया जाना चाहिए जब संदर्भ एक चर (variable) हो।
3. नैतिक निरूपणों को सुदृढ़ करना (Thickening Ethical Representations): पत्र का तर्क है कि संदर्भ समायोजन की आवश्यकता इसलिए है क्योंकि वर्तमान मॉडल नैतिक सिद्धांतों को "पतले" (thinly) रूप में (केवल उपयोगिता फलनों के रूप में) प्रस्तुत करते हैं। इन विश्वासों को संदर्भगत कारकों (जैसे, गणनात्मक व्यवहार्यता) के आधार पर समायोजित करके, लेखक इन मूल्यांकनों को एल्गोरिथम और ज्ञानमीमांसीय वास्तविकताओं को प्रतिबिंबित करने के लिए "सुदृढ़" (thickening) कर रहे हैं।
4. भविष्य का एकीकरण: लेखक सुझाव देते हैं कि इस औपचारिकता को तर्क-आधारित संवादों (argumentation-based dialogues) के साथ एकीकृत किया जा सकता है। स्थिर प्राथमिकता निष्कर्षण के बजाय, एजेंट संरचित संवादों के माध्यम से संदर्भगत बारीकियों का पता लगाकर "ऑन द फ्लाई" गतिशील रूप से नैतिक विश्वासों को समायोजित कर सकते हैं, जिससे संकीर्ण और सुपरइंटेलिजेंट सिस्टम दोनों के लिए अधिक मजबूत मूल्य संरेखण का समर्थन मिल सके।

पत्र निष्कर्ष निकालता है कि हालांकि मानक सामाजिक चयन अभिधारणाओं (axioms) का उल्लंघन सहज बोध के विपरीत लग सकता है, यह संदर्भ को अनदेखा करने के वैचारिक सीमाओं को प्रकट करता है और अधिक यथार्थवादी, संदर्भ-संवेदनशील नैतिक निर्णय लेने के लिए एक औपचारिक आधार प्रदान करता है।