Frame-Conditioned Moral Computation in LLaMA 3.1-8B-Instruct: A Mechanistic Interpretability Audit of Ethical Reasoning
यह शोधपत्र मैकेनिस्टिक इंटरप्रिटेबिलिटी (mechanistic interpretability) उपकरणों का उपयोग यह प्रदर्शित करने के लिए करता है कि LLaMA 3.1-8B-Instruct का नैतिक तर्क किसी अंतर्निहित नैतिक मूल (intrinsic ethical core) द्वारा संचालित नहीं है, बल्कि एक "फ्रेम-कंडीशन्ड मोरल कम्प्यूटेशन" (Frame-Conditioned Moral Computation) द्वारा संचालित है जहाँ प्रॉम्प्ट की सतही शब्दावली उन विशिष्ट फीचर मैनिफोल्ड्स (feature manifolds) का चयन करती है जो मॉडल के आंतरिक एक्टिवेशन पर हावी होते हैं, जो यह सुझाव देता है कि वास्तविक संरेखण (alignment) के लिए केवल व्यवहार संबंधी आउटपुट का अवलोकन करने के बजाय नैतिक फीचर्स की कारणिक विशेषाधिकार (causal privilege) को सत्यापित करना आवश्यक है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करके शोध पत्र (paper) की व्याख्या दी गई है।
मुख्य विचार: "स्टेज मैनेजर" बनाम "अभिनेता"
कल्पना कीजिए कि एक बड़ा लैंग्वेज मॉडल (जैसे LLaMA 3.1) मंच पर एक बहुत ही प्रतिभाशाली अभिनेता की तरह है। जब आप उससे कोई नैतिक प्रश्न पूछते हैं (जैसे "क्या मुझे पाँच लोगों को बचाने के लिए एक मोटे आदमी को पुल से धक्का दे देना चाहिए?"), तो वह अभिनेता एक बहुत ही विनम्र, विचारशील और नैतिक भाषण देता है। यह एक बुद्धिमान दार्शनिक की तरह सुनाई देता है।
समस्या: अधिकांश लोग यह मान लेते हैं कि क्योंकि भाषण नैतिक लग रहा है, इसलिए अभिनेता का दिमाग वास्तव में नैतिक रूप से सोच रहा है।
पेपर की खोज: लेखकों ने मॉडल के बोलने के दौरान उसके दिमाग के अंदर झाँकने के लिए एक विशेष "एक्स-रे मशीन" (जिसे Transluce कहा जाता है) का उपयोग किया। उन्होंने पाया कि अभिनेता वास्तव में पहले "सही और गलत" के बारे में नहीं सोच रहा है। इसके बजाय, अभिनेता दृश्य के प्रॉप्स (सामान) और सेटिंग के बारे में सोच रहा है।
यदि स्क्रिप्ट में "ट्रेन" का उल्लेख है, तो मस्तिष्क ट्रेन की पटरियों और इंजीनियरिंग के साथ चमक उठता है। यदि स्क्रिप्ट में "स्पोर्ट्स टीम" का उल्लेख है, तो मस्तिष्क स्कोरबोर्ड और प्रतियोगिता के साथ चमक उठता है। "नैतिक" वाला हिस्सा वास्तव में काफी छोटा और शांत है, जो केवल तभी दिखाई देता है जब मॉडल पहले ही यह तय कर चुका होता है कि वह किस तरह के दृश्य में है।
मुख्य निष्कर्षों की व्याख्या
1. "सिचुएशनल एंकर" प्रभाव (सेट डिज़ाइनर)
पेपर में पाया गया कि आप मॉडल से कोई भी नैतिक प्रश्न पूछें, उसका मस्तिष्क गैर-नैतिक विषयों से हावी रहता है।
- उदाहरण: कल्पना कीजिए कि आप एक शेफ से पूछते हैं, "क्या एक भूखे व्यक्ति को खाना खिलाना सही है?"
- हमारी अपेक्षा: शेफ भूख, दया और नैतिकता के बारे में सोचेगा।
- मॉडल क्या करता है: शेफ का मस्तिष्क तुरंत रसोई के चाकू, रेसिपी और सामग्री की छवियों के साथ चमक उठता है। "नैतिकता" वाला विचार पृष्ठभूमि में एक बहुत ही धीमी फुसफुसाहट की तरह है।
- परिणाम: मॉडल अनिवार्य रूप से गहरे नैतिक अर्थ के बजाय सतह के शब्दों (स्थिति/सिचुएशन) से "जुड़ा" (anchored) हुआ है। वह एक नैतिक दुविधा को जीवन और मृत्यु के प्रश्न के रूप में नहीं, बल्कि गणित की समस्या या खेल के खेल की तरह मानता है।
2. "कॉन्स्टेंट कैपेसिटी, वेरिएबल सैलिएंस" (वॉल्यूम नॉब)
शोधकर्ताओं ने मॉडल का 54 अलग-अलग प्रॉम्प्ट्स के साथ परीक्षण किया। उन्होंने कुछ आश्चर्यजनक पाया:
- कैपेसिटी (मस्तिष्क का आकार): मॉडल के पास "नैतिक सोच" की मात्रा हमेशा एक समान रहती है (उसके मस्तिष्क की गतिविधि का लगभग 5%)। कठिन नैतिक प्रश्न पूछने पर यह बड़ी नहीं होती।
- सैलिएंस (आवाज़ का स्तर): जो चीज़ बदलती है, वह है उस नैतिक सोच की "आवाज़"।
- यदि आप एक सामान्य नीतिगत प्रश्न पूछते हैं, तो नैतिक हिस्सा बहुत शांत होता है (वॉल्यूम 1)।
- यदि आप एक क्लासिक "ट्रॉली प्रॉब्लम" (लीवर खींचना) पूछते हैं, तो नैतिक हिस्सा तेज़ हो जाता है (वॉल्यूम 7), लेकिन फिर भी यह "ट्रेन ट्रैक" और "मैकेनिकल लीवर" के विचारों के शोर में दब जाता है।
निष्कर्ष: मॉडल नैतिक प्रश्न पूछने पर अधिक नैतिक बनता नहीं है; यह बस नैतिक हिस्से की आवाज़ को थोड़ा बढ़ा देता है, लेकिन "स्थिति" वाला हिस्सा अभी भी कमरे में सबसे तेज़ आवाज़ वाला होता है।
3. "वोकैबुलरी ट्रैप" (जादुई शब्द)
मॉडल को विशिष्ट शब्दों से आसानी से धोखा दिया जा सकता है।
- स्पोर्ट्स ट्रैप: यदि आप "गेम", "प्रतियोगिता" या "रणनीति" जैसे शब्दों का उपयोग करते हैं, तो मॉडल का मस्तिष्क स्पोर्ट्स मोड में स्विच हो जाता है। वह सही और गलत के बजाय जीतने और हारने के बारे में सोचने लगता है।
- मैथ ट्रैप: यदि आप मॉडल को चीजों को "रैंक" करने या "तुलना" करने के लिए कहते हैं, तो वह मैथ मोड में स्विच हो जाता है। वह मानव अधिकारों के बजाय गणना करने (जैसे 5, 1 से बड़ा है) लगता है।
- परिणाम: मॉडल तर्क नहीं कर रहा है; वह बस प्रॉम्प्ट की "शैली" (genre) का पालन कर रहा है।
4. "ट्रॉली प्रॉब्लम" टेस्ट (स्विच बदलना बनाम लोगों को बदलना)
शोधकर्ताओं ने प्रसिद्ध "ट्रॉली प्रॉब्लम" (एक व्यक्ति की बलि देकर पाँच लोगों को बचाना) के साथ एक चतुर प्रयोग किया।
- प्रयोग A (तंत्र को बदलना): उन्होंने लोगों को समान रखा लेकिन यह बदला कि स्विच कैसे काम करता है (एक लीवर, एक बटन, एक लेजर, एक सम्मोहक मंत्र/hypnotic spell)।
- परिणाम: मॉडल का मस्तिष्क पूरी तरह से बदल गया। यदि यह एक लेजर था, तो मस्तिष्क ऑप्टिक्स (प्रकाशिकी) के बारे में सोचने लगा। यदि यह एक सम्मोहक मंत्र था, तो वह मनोविज्ञान के बारे में सोचने लगा। "नैतिक" हिस्सा समान रहा, लेकिन "डिस्ट्रैक्टर" (ध्यान भटकाने वाला) हिस्सा बदल गया।
- प्रयोग B (लोगों को बदलना): उन्होंने स्विच (लीवर) को समान रखा लेकिन ट्रैक पर मौजूद लोगों को बदल दिया (आपका परिवार बनाम अजनबी, आपका धर्म बनाम दूसरा धर्म)।
- परिणाम: मॉडल का मस्तिष्क "लीवर" (तंत्र) पर केंद्रित रहा। हालाँकि, जब इसमें शामिल लोग "हम" बनाम "वे" थे, तो मॉडल अपने उत्तर में कम आत्मविश्वासी हो गया।
- निष्कर्ष: मॉडल उस सतह के विवरण पर ध्यान देता है जिसे आप बदलते हैं। यदि आप उपकरण (tool) बदलते हैं, तो वह उपकरण के बारे में सोचता है। यदि आप लोगों को बदलते हैं, तो वह सामाजिक नियमों के बारे में भ्रमित हो जाता है, लेकिन निर्णय लेने के लिए वह अभी भी उपकरण पर ही निर्भर रहता है।
5. "अलाइनमेंट रैपर" (पीआर टीम)
पेपर ने दो अन्य प्रसिद्ध AI मॉडल्स (Claude और Gemini) को देखा और उनसे वही प्रश्न पूछे।
- आश्चर्य: एक मॉडल (Claude) ने कहा, "मैं पहले नैतिकता के बारे में सोच रहा हूँ!" दूसरे (Gemini) ने कहा, "मैं पहले ट्रेन की पटरियों के बारे में सोच रहा हूँ!"
- सिद्धांत: लेखक सुझाव देते हैं कि ये मॉडल वास्तव में अंदर से एक ही तरह से सोच रहे होंगे (पहले स्थिति पर ध्यान केंद्रित करना), लेकिन उनके पास एक "पीआर टीम" (RLHF ट्रेनिंग) है जो अंतिम भाषण को फिर से लिख देती है।
- Claude की पीआर टीम अच्छे दिखने के लिए भाषण के आगे नैतिक शब्दों को रखती है।
- Gemini की पीआर टीम तकनीकी शब्दों को आगे छोड़ देती है।
- वास्तविकता: दोनों ही "गलत कारणों से सही" हो सकते हैं। वे सही उत्तर देते हैं (5 को बचाएं, 1 को मारें), लेकिन वे इसे संख्याओं की गिनती करके हासिल करते हैं, न कि नैतिक कर्तव्य को महसूस करके।
निचोड़ (The Bottom Line)
यह पेपर तर्क देता है कि हम केवल AI के कहने पर उसके नैतिक व्यवहार पर भरोसा नहीं कर सकते।
- वर्तमान ऑडिट: हम यह देखते हैं कि क्या AI एक "अच्छा" उत्तर दे रहा है।
- पेपर की चेतावनी: AI केवल इसलिए एक "अच्छा" उत्तर दे रहा है क्योंकि वह गणित या प्रॉम्प्ट की शैली का पालन करने में अच्छा है, न कि इसलिए कि वह नैतिकता को समझता है।
प्रस्तावित समाधान: हमें केवल "भाषण" को सुनना बंद करना होगा और "मस्तिष्क" को देखना शुरू करना होगा। हमें यह जांचना होगा कि क्या AI का नैतिक हिस्सा वास्तव में नियंत्रण में है, या यह केवल एक छोटी सी आवाज़ है जो ट्रेन, खेल और गणित के बारे में सोचने वाली बहुत तेज़ आवाज़ के ऊपर चिल्ला रही है।
संक्षेप में: AI एक बहुत अच्छा अभिनेता है जो एक नैतिक पटकथा सुना सकता है, लेकिन नाटक का निर्देशक (प्रॉम्प्ट के सतही शब्द) वास्तव में कथानक तय करता है, न कि अभिनेता का विवेक।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।