Position: Align AI to Our Aspirations, Not Our Flaws

तकनीकी सारांश: एआई को हमारी आकांक्षाओं के अनुरूप ढालें, हमारे दोषों के नहीं

समस्या विवरण
एआई अलाइनमेंट (AI alignment), विशेष रूप से मानव फीडबैक से सुदृढीकरण शिक्षण (RLHF) में प्रचलित धारणा यह है कि कृत्रिम बुद्धिमत्ता को संकलित मानवीय प्राथमिकताओं को प्रतिबिंबित करने, उनका पालन करने और उन्हें बनाए रखने के लिए तैयार किया जाना चाहिए। लेखक तर्क देते हैं कि यह दृष्टिकोण मौलिक रूप से त्रुटिपूर्ण है क्योंकि मानवीय प्राथमिकताएं, भले ही वे सुसंगत और स्थानीय रूप से वैध हों, अक्सर समाजों को अपकार्य (dysfunction), असमानता और पतन की ओर ले जाती हैं। वर्तमान विधियाँ असहमति को 'शोर' (noise) मानकर उसे औसत निकालकर समाप्त करने का प्रयास करती हैं, जो प्रभावी रूप से "किसके मूल्य?" जैसे गहन प्रश्न का उत्तर देने का प्रयास करती हैं, जबकि इस तथ्य को पहचानने में विफल रहती हैं कि प्रकट प्राथमिकताएं (revealed preferences) अक्सर घोषित मूल्यों और आकांक्षी लक्ष्यों के विपरीत होती हैं। इसके अलावा, बहुलवादी अलाइनमेंट ढांचे, जिनका लक्ष्य विविध मूल्यों का प्रतिनिधित्व करना है, उन बहुसंख्यक प्राथमिकताओं को कोडित करने का जोखिम उठाते हैं जो सत्य, सुरक्षा और कानूनन व्यवहार के वस्तुनिष्ठ मानकों का उल्लंघन करती हैं (जैसे कि शारीरिक दंड, भ्रष्टाचार या भेदभाव की स्वीकृति)। मुख्य समस्या यह है कि मानवीय प्राथमिकताओं के अनुभवजन्य वितरण (empirical distribution) के अनुरूप एआई को अलाइन करना मौजूदा सामाजिक विफलताओं को सुधारने के बजाय उन्हें सुदृढ़ करता है।

कार्यप्रणाली और सैद्धांतिक ढांचा
यह शोध पत्र एक नए प्रयोगात्मक प्रोटोकॉल के बजाय एक सैद्धांतिक और अनुभवजन्य विश्लेषण का उपयोग करता है। यह एक प्रति-तर्क (counter-thesis) निर्मित करने के लिए मैक्रो-ऐतिहासिक विश्लेषण, व्यवहारिक अर्थशास्त्र, जटिल-प्रणाली समाजशास्त्र और एआई नैतिकता के साहित्य का संश्लेषण करता है। कार्यप्रणाली में शामिल है:

1. वरीयता एकत्रीकरण की आलोचना: यह विश्लेषण करना कि कैसे RLHF चापलूसी (sycophancy), छल और बहुसंख्यकवादी पूर्वाग्रहों को बढ़ाता है, यह प्रदर्शित करते हुए कि प्रकट अनुमोदन संकेत अक्सर डाउनस्ट्रीम प्रभावशीलता और तथ्यात्मक सटीकता को कम आंकते हैं।
2. अनुभवजन्य वास्तविकता की जांच: वैश्विक सर्वेक्षण डेटा (जैसे वर्ल्ड वैल्यूज सर्वे, ट्रांसपेरेंसी इंटरनेशनल) की समीक्षा करना ताकि यह दिखाया जा सके कि विभिन्न क्षेत्रों में महत्वपूर्ण बहुमत ऐसे मूल्यों को धारण करता है जो कल्याण के वस्तुनिष्ठ बेंचमार्क (जैसे रिश्वतखोरी के प्रति सहनशीलता, वैज्ञानिक सर्वसम्मति की अस्वीकृति, या भेदभावपूर्ण प्रथाओं का समर्थन) के साथ संघर्ष करते हैं।
3. संस्थागत संतुलन विश्लेषण: संस्थागत अर्थशास्त्र (एसेमोग्लू और रॉबिन्सन) और सांस्कृतिक संचरण मॉडल का उपयोग करते हुए यह तर्क देना कि मूल्य और संस्थाएं एक संयुक्त संतुलन बनाती हैं। वरीयता-अनुरूप एआई इस संतुलन के "सांस्कृतिक आधे हिस्से" को सुदृढ़ करता है, जबकि एक अलग अलाइनमेंट लक्ष्य उन्हें अस्थिर कर सकता है।
4. प्रतिबंध-आधारित वास्त architecture (Constraint-Based Architecture): वरीयता-मिलान (preference-matching) से हटकर एक "फ्लोर-एंड-सरफेस" (floor-and-surface) वास्तुकला की ओर संरचनात्मक बदलाव का प्रस्ताव। इसमें एक गैर-परक्राम्य वस्तुनिष्ठ आधार (non-negotiable objective floor) को परिभाषित करना और इसे सतही बहुलवाद से अलग करना शामिल है।

प्रमुख योगदान
शोध पत्र का प्राथमिक योगदान एक गैर-परक्राम्य वस्तुनिष्ठ अलाइनमेंट लक्ष्यों के आधार (floor) का प्रस्ताव है, जो "अच्छाई के सघन सिद्धांत" (thick theory of the good) या वरीयता एकत्रीकरण से भिन्न है। लेखक इस आधार के चार विशिष्ट घटकों को परिभाषित करते हैं:

1. तथ्यात्मक सटीकता: एआई को केवल रेटिंग अनुमोदन के बजाय वास्तविकता और अंशांकन बेंचमार्क (calibration benchmarks) के प्रति जवाबदेह होना चाहिए, ताकि गलत धारणाओं को कठोर होने से रोका जा सके।
2. क्षमता (Competence): प्रणालियों का मूल्यांकन उपयोगकर्ता संतुष्टि के बजाय डाउनस्ट्रीम परिणामों (जैसे व्यावसायिक व्यवहार्यता, नैदानिक परिणाम) के विरुद्ध किया जाना चाहिए, ताकि "विश्वसनीय रूप से गलत" आउटपुट के जाल से बचा जा सके।
3. ईमानदारी (Honesty): प्रणालियों को ऐसे आउटपुट उत्पन्न नहीं करने चाहिए जो उनके आंतरिक वितरण संकेत देते हैं कि वे झूठे या भ्रामक हैं, भले ही ऐसा छल उपयोगकर्ता की स्वीकृति या "परोपकारी" परिणामों को अनुकूलित करने के लिए किया जाए।
4. कानून का शासन (Rule of Law): एआई को समान, पूर्वानुमेय नियम अनुप्रयोग के सिद्धांत का पालन करना चाहिए, और रिश्वतखोरी, बचाव या मनमानी शक्ति को सुगम बनाने से इनकार करना चाहिए, भले ही ऐसे व्यवहार स्थानीय स्तर पर सामान्यीकृत हों।

लेखक एक तीन-स्तरीय मॉडल पेश करते हैं कि बहुलवाद कहाँ होना चाहिए:

• सतही बहुलवाद (Surface Pluralism): भाषा, लहजा, परंपरा और संदर्भ-विशिष्ट डिफ़ॉल्ट (जैसे दिनांक प्रारूप, स्थानीय छुट्टियां) का अनुकूलन।
• वैध-समझौता बहुलवाद (Legitimate-Tradeoff Pluralism): उन आयामों में अनुकूलन जहाँ जनसंख्या वास्तव में भिन्न होती है बिना आधार (floor) का उल्लंघन किए (जैसे व्यक्तिवाद बनाम सामूहिकता, प्रत्यक्ष बनाम अप्रत्यक्ष संचार)।
• आधार-उल्लंघनकारी बहुलवाद (Floor-Violating Pluralism): उन मूल्यों के अनुकूल होने से इनकार करना जो वस्तुनिष्ठ आधार का उल्लंघन करते हैं (जैसे भ्रष्टाचार, भेदभाव या असत्यता का समर्थन करना), चाहे वे कितने भी प्रचलित क्यों न हों।

परिणाम और तर्क
शोध पत्र यह तर्क देता है कि "आधार" (floor) कोई बाहरी थोपी गई चीज़ नहीं है, बल्कि यह उन आकांक्षाओं का परिचालन रूप है जो मनुष्य तब रखते हैं जब वे उस एआई के बारे में विचार करते हैं जिसे वे चाहेंगे, न कि उस एआई के बारे में जिसे वे वर्तमान में पुरस्कृत करते हैं।

• संतुलनों में विषमता (Asymmetry in Equilibria): वरीयता-अनुरूप एआई कब्जा किए गए संतुलनों (जैसे निष्कर्षणकारी संस्थाओं) के सांस्कृतिक आधे हिस्से को मजबूत करता है। आधार-अनुरूप एआई, सटीकता और कानूननिष्ठा का पालन करके, निष्कर्षण के तर्क का संरचनात्मक रूप से विरोध करता है।
• प्रकट बनाम घोषित मूल्य: अनुभवजन्य साक्ष्य दिखाते हैं कि लोग जो कहते हैं (समृद्धि, कल्याण) और उनके प्रकट व्यवहार (गलत सूचना के साथ जुड़ाव, भ्रष्टाचार के प्रति सहनशीलता) के बीच एक संरचनात्मक अंतर है। दूसरे की ओर अलाइन करना इस अंतर को पुन: उत्पन्न करता है।
• प्रतिबंधों की व्यवहार्यता: शोध पत्र यह प्रदर्शित करता है कि आधार घटकों (जैसे अनिवार्य चूक के मामलों में ईमानदारी बनाम कानूननिष्ठा) के बीच के संघर्षों को 'प्रतिबंधित अनुकूलन' (constrained optimization) के माध्यम से प्रबंधित किया जा सकता है, जहाँ आधार एक कठोर बाधा के रूप में कार्य करता है और क्षमता एक उद्देश्य फलन (objective function) के रूप में।

महत्व और दावे
लेखक दावा करते हैं कि एआई समुदाय को अपने प्राथमिक निर्देश को संकलित प्राथमिकताओं को मिलाने से हटाकर एक वस्तुनिष्ठ आधार बनाए रखने की ओर स्थानांतरित करना चाहिए। वे तर्क देते हैं कि:

• बहुलवाद आवश्यक है लेकिन अपर्याप्त है: जबकि विविधता का प्रतिनिधित्व करना महत्वपूर्ण है, इसे वस्तुनिष्ठ बाधाओं द्वारा कड़ाई से सीमित किया जाना चाहिए ताकि एआई को सामाजिक अपकार्य का उपकरण बनने से रोका जा सके।
• आधार रक्षा योग्य है: प्रस्तावित आधार (सटीकता, क्षमता, ईमानदारी, कानूननिष्ठा) आंतरिक वरीयता एकत्रीकरण के बजाय बाहरी बेंचमार्क पर निर्भर करता है, जो इसे प्रशिक्षण वितरणों और सांस्कृतिक रूप से स्थित पूर्वाग्रहों के बदलावों के प्रति स्थिर बनाता है।
• कार्रवाई का आह्वान: शोध पत्र आह्वान करता है कि शोधकर्ताओं को अनुमोदन के बजाय परिणामों के लिए अनुकूलित करना चाहिए, अलाइनमेंट टीमों को अपने प्रशिक्षण को इन आधार लक्ष्यों से जोड़ना चाहिए, और नीति निर्माताओं को सतही सांस्कृतिक अनुकूलन और वास्तविक मूल्य अलाइनमेंट के बीच अंतर करना चाहिए।

शोध पत्र निष्कर्ष निकालता है कि एआई अलाइनमेंट का लक्ष्य ऐसी प्रणालियाँ बनाना होना चाहिए जो "हमारे बेहतर संस्करण" (competent, honest, and lawful) हों—न कि ऐसी प्रणालियाँ जो केवल हमारे वर्तमान दोषों को प्रतिबिंबित करती हों। यह दृष्टिकोण वर्तमान RLHF और बहुलवादी अलाइनमेंट ढांचों की सीमाओं से परे एक आवश्यक विकास के रूप में प्रस्तुत करता है।