तकनीकी सारांश: नैतिक निर्णय लेने के लिए व्याख्यात्मक मॉडल का निर्माण

समस्या विवरण

जैसे-जैसे AI सिस्टम नैतिक दुविधाओं (जैसे, स्वायत्त वाहन, सामग्री मॉडरेशन) का सामना करते जा रहे हैं, एक तत्काल आवश्यकता है कि न केवल यह समझा जाए कि ये सिस्टम क्या निर्णय लेते हैं, बल्कि यह भी कि वे कैसे तर्क देते हैं और उनकी संरचनाओं के भीतर नैतिक पूर्वाग्रह कहाँ से उत्पन्न होते हैं। वर्तमान दृष्टिकोण अक्सर पोस्ट-हॉक (post-hoc) रूप से अपारदर्शी, बड़े पैमाने के लैंग्वेज मॉडल्स (LLMs) की जांच करने पर निर्भर करते हैं, जो यांत्रिक समझ को सीमित करता है। यह शोध पत्र एक पारदर्शी, छोटे पैमाने के मॉडल को बनाने की चुनौती को संबोधित करता है जो विस्तृत व्याख्यात्मकता विश्लेषण (interpretability analysis) की सुविधा के लिए 'मोरल मशीन' डेटासेट (Awad et al., 2018) से सामान्य नैतिक सिद्धांतों को सीखने में सक्षम हो।

कार्यप्रणाली

आर्किटेक्चर डिज़ाइन

लेखक एक कस्टम, 2-लेयर ट्रांसफार्मर मॉडल प्रस्तावित करते हैं जो विशेष रूप से संरचित नैतिक तर्क कार्यों के लिए अनुकूलित है। सामान्य-उद्देश्य वाले LLMs के विपरीत, यह आर्किटेक्चर ट्रॉली-प्रॉब्लम परिदृश्यों की संरचनात्मक प्रकृति का लाभ उठाता है।

• इनपुट प्रतिनिधित्व (Input Representation): प्रत्येक नैतिक दुविधा को परिणामों के एक जोड़े ($O_0, O_1$) के रूप में दर्शाया गया है। प्रत्येक परिणाम को 23 चरित्र प्रकारों (जैसे, पुरुष, महिला, अपराधी, डॉक्टर) के अनुरूप टोकन के एक अनुक्रम के रूप में एनकोड किया जाता है। प्रत्येक चरित्र $c$ के लिए जिसकी कार्डिनैलिटी $n_c$ परिणाम $t$ में है, एक कंपोजिशनल एम्बेडिंग निर्मित की जाती है:
  $$e^{(t)}_c = [E_{char}(c) ; E_{card}(n_c) ; E_{team}(t)]$$
  यह डिज़ाइन इस परिकल्पना को एनकोड करता है कि नैतिक तर्क हितधारकों की पहचान करने, प्रभाव को मापने और प्रतिस्पर्धी हितों को हल करने में विभाजित होता है।
• मॉडल कॉन्फ़िगरेशन: मॉडल एम्बेडिंग डायमेंशन $d=64$, 2 अटेंशन हेड्स, और 2 ट्रांसफार्मर लेयर्स ($L=2$) का उपयोग करता है। यह 46 टोकन के एक अनुक्रम को प्रोसेस करता है (प्रत्येक परिणाम के लिए 23) जिसके पहले एक लर्नबल [CLS] टोकन होता है।
• सिमेट्री एनफोर्समेंट (Symmetry Enforcement): यह सुनिश्चित करने के लिए कि साइड-इनवेरिएंस (जहाँ B के ऊपर A की प्राथमिकता, A के ऊपर B की पूरक है) बना रहे, इन्फरेंस प्रक्रिया दोनों इनपुट ऑर्डरिंग से भविष्यवाणियों का औसत लेती है:
  $$p(O_1 \succ O_0) = \frac{1}{2} [\sigma(f(O_0, O_1)) + (1 - \sigma(f(O_1, O_0)))]$$
• वर्गीकरण (Classification): अंतिम [CLS] प्रतिनिधित्व एक दो-लेयर MLP से गुजरता है जो एक स्केलर लॉजिट (logit) उत्पन्न करता है, जिसे सिग्मॉइड के माध्यम से प्रायिकता (probability) में परिवर्तित किया जाता है। यह संभाव्य आउटपुट मॉडल को विरोधाभासी प्रशिक्षण प्राथमिकताओं के सामने अनिश्चितता सीखने की अनुमति देता है।

व्याख्यात्मकता तकनीकें (Interpretability Techniques)

पेपर मॉडल के आंतरिक तंत्र का विश्लेषण करने के लिए तीन पूरक विधियों का उपयोग करता है:

1. कारण हस्तक्षेप (Causal Intervention): DoWhy फ्रेमवर्क का उपयोग करते हुए, लेखक समूह आकार के कन्फाउंडर्स को नियंत्रित करते हुए, विशिष्ट चरित्र प्रकारों के निर्णय परिणामों पर औसत उपचार प्रभाव (Average Treatment Effect - ATE) का अनुमान लगाते हैं।
2. लेयर-वाइज एट्रिब्यूशन (Layer-wise Attribution): प्रत्येक लेयर से अटेंशन वेट्स निकाले जाते हैं और उन्हें पांच आयामों (कानूनी, लिंग, सामाजिक भूमिका, आयु, प्रजाति) में पूर्वाग्रह स्कोर के साथ सह-संबंधित किया जाता है ताकि यह स्थानीयकृत किया जा सके कि पूर्वाग्रह कहाँ उभरते हैं।
3. सर्किट प्रोबिंग (Circuit Probing): एक फ्रोजन मॉडल पर स्पार्स बाइनरी मास्क प्रशिक्षित किए जाते हैं ताकि उन विशिष्ट न्यूरॉन्स (MLP ब्लॉक्स और अटेंशन हेड्स में) की पहचान की जा सके जो नैतिक पदानुक्रम को कारणवश लागू करते हैं। इसे लक्षित एब्लेशन (ablation) के माध्यम से सत्यापित किया जाता है।
4. लोकल रेलेवेंस (Local Relevance): विशिष्ट निर्णयों में व्यक्तिगत टोकन के योगदान को समझाने के लिए ग्रेडिएंट-वेटेड अटेंशन रेलेवेंस की गणना की जाती है।

मुख्य परिणाम

प्रदर्शन

• 2-लेयर मॉडल होल्ड-आउट मोरल मशीन परिदृश्यों पर 77.1% सटीकता प्राप्त करता है (इस कॉन्फ़िगरेशन $d=64, H=2, L=2$ का उपयोग करते हुए)।
• जबकि एक बड़े कॉन्फ़िगरेशन ($d=64, H=4, L=3$) ने 77.5% सटीकता प्राप्त की, लेखकों ने व्याख्यात्मकता और कम्प्यूटेशनल दक्षता को प्राथमिकता देने के लिए छोटे मॉडल को चुना।
• मॉडल यह प्रदर्शित करता है कि नैतिक विकल्पों में पारदर्शिता और भविष्य कहने की क्षमता परस्पर अनन्य नहीं हैं।

व्याख्यात्मकता निष्कर्ष

• नैतिक पदानुक्रम (Causal Intervention): मॉडल उपयोगितावादी गणनाओं से स्वतंत्र एक अंतर्निहित पदानुक्रम सीखता है। "गर्भवती" (ATE +0.12) और "स्ट्रॉलर/टहलने वाला" (ATE +0.11) सबसे मजबूत सकारात्मक प्रभाव दिखाते हैं, जबकि "अपराधी" (ATE -0.10) सबसे मजबूत नकारात्मक प्रभाव दिखाता है। जेनेरिक श्रेणियाँ जैसे "पुरुष" और "महिला" शून्य के करीब क्लस्टर करती हैं, जो नैतिक बेसलाइन के रूप में कार्य करती हैं।
• पूर्वाग्रह स्थानीयकरण (Bias Localization):
  • कानूनी पूर्वाग्रह (Legality Bias): यह लगभग पूरी तरह से लेयर 0 तक स्थानीयकृत है, जो सुझाव देता है कि आपराधिक स्थिति को चरित्र एम्बेडिंग्स के माध्यम से जल्दी पहचाना जाता है।
  • प्रजाति पूर्वाग्रह (Species Bias): मुख्य रूप से लेयर 1 में उभरता है, जो इंगित करता है कि मानव-पशु अंतर के लिए कई पात्रों पर कंपोजिशनल रीजनिंग की आवश्यकता होती है।
  • कार्यात्मक विशेषज्ञता (Functional Specialization): विशिष्ट अटेंशन हेड्स विभिन्न पूर्वाग्रहों में विशेषज्ञता रखते हैं (जैसे, लेयर 0 हेड 1 कानूनी वैधता के लिए; लेयर 1 हेड 1 प्रजाति भेदभाव के लिए)।
• सर्किट डिस्कवरी: सर्किट प्रोबिंग ने लेयर 1 के MLP ब्लॉक में एक अत्यधिक स्पार्स सबनेटवर्क (256 में से 45 न्यूरॉन्स, 17.6% स्पर्सिटी) की पहचान की जो नैतिक स्कोरिंग सिग्नल को कारणवश लागू करता है। इस सर्किट को एब्लेट करने से मॉडल-स्कोर लेबल के साथ सहमति में 1.2 प्रतिशत अंक की कमी आई, जो संयोग से ऊपर के मॉडल के मार्जिन का लगभग 8.3% हिस्सा है।
• टोकन प्रासंगिकता (Token Relevance): विशिष्ट परिदृश्यों में (जैसे, 3 पुरुष बनाम 3 अपराधी), निर्णय मुख्य रूप से "अपराधी" टोकन (प्रासंगिकता स्कोर 0.27) द्वारा संचालित होता है, जबकि जनसांख्यिकीय टोकन जैसे "पुरुष" का योगदान कमजोर होता है।

महत्व और दावे

पेपर का दावा है कि नैतिक सक्षमता के लिए बड़े, प्री-ट्रेंड मॉडल्स की आवश्यकता नहीं है; ट्रॉली समस्याओं की सहज संरचना पर प्रशिक्षित एक सरल, संरचनात्मक रूप से नियंत्रित मॉडल मानवीय नैतिक पूर्वाग्रहों को सीखने और एनकोड करने के लिए पर्याप्त है।

प्राथमिक महत्व पारदर्शिता में निहित है। एक छोटा, कस्टम आर्किटेक्चर बनाकर, लेखक प्रदर्शित करते हैं कि:

1. नैतिक पूर्वाग्रह अखंड (monolithic) नहीं हैं बल्कि विशिष्ट कम्प्यूटेशनल चरणों में स्थानीयकृत होते हैं (जैसे, पहचान-आधारित पूर्वाग्रहों के लिए शुरुआती लेयर्स, कंपोजिशनल रीजनिंग के लिए बाद की लेयर्स)।
2. यह सूक्ष्मता लक्षित हस्तक्षेप रणनीतियों को सक्षम बनाती है। उदाहरण के लिए, यह जानना कि अपराधी पूर्वाग्रह लेयर 0 हेड 1 में स्थानीयकृत है, कोर्स डेटासेट रीबैलेंसिंग के बजाय विशिष्ट डीबायसिंग तकनीकों (जैसे, रिप्रेजेंटेशन को ऑर्थोगोनलाइज करना या अटेंशन वेट्स को क्लैंप करना) की अनुमति देता है।
3. यह कार्य बड़े LLMs में नैतिक तर्क का पता लगाने के लिए एक आधार स्थापित करता है, इस व्याख्यात्मक मॉडल का उपयोग अधिक जटिल प्रणालियों में नैतिक सिद्धांतों के एनकोडिंग को समझने के लिए एक आधार के रूप में किया जा सकता है।

लेखक स्वीकार करते हैं कि कुल मिलाकर मानवीय प्राथमिकताओं पर प्रशिक्षण स्वाभाविक रूप से सांस्कृतिक पूर्वाग्रहों को विरासत में लेता है, लेकिन उनका तर्क है कि उनके दृष्टिकोण की पारदर्शिता AI सिस्टम में इन पूर्वाग्रहों को समझने और संभावित रूप से कम करने की दिशा में एक आवश्यक कदम है।