Analysing Moral Bias in Finetuned LLMs through Mechanistic Interpretability
यह शोध पत्र प्रदर्शित करता है कि नोब प्रभाव (Knobe effect), जो कि इरादात्मकता के निर्णयों में एक नैतिक पूर्वाग्रह है, फाइनट्यून किए गए बड़े भाषा मॉडलों (large language models) में उभरता है, लेकिन इसे विशिष्ट परतों (layers) तक स्थानीयकृत किया जा सकता है और बिना पुनरप्रशिक्षण (retraining) के लक्षित लेयर-पैचिंग हस्तक्षेपों के माध्यम से कम किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक अच्छा न्यायाधीश बनना सिखा रहे हैं। आप उसे केवल एक नियम पुस्तिका नहीं देते; बल्कि आप उसे लोगों के चुनाव करने के बारे में हजारों कहानियाँ दिखाते हैं और पूछते हैं, "क्या वह व्यक्ति अच्छा था या बुरा?" समय के साथ, रोबोट पैटर्न सीख जाता है। लेकिन यहाँ एक पेचीदा बात है: इंसान आदर्श न्यायाधीश नहीं होते। हमारे भीतर अक्सर छिपे हुए पूर्वाग्रह होते हैं। उदाहरण के लिए, यदि कोई व्यक्ति अनजाने में किसी बुरे परिणाम का कारण बनता है, तो हम यह कहने के बहुत अधिक इच्छुक होते हैं कि, "उनका इरादा ऐसा ही था!" बजाय इसके कि यदि उन्होंने अनजाने में किसी अच्छे परिणाम का कारण दिया हो। यह एक प्रसिद्ध मनोवैज्ञानिक विचित्रता है जिसे "नोब प्रभाव" (Knobe effect) कहा जाता है। यह ऐसा है जैसे हमारे मस्तिष्क में एक बना-बनाया फिल्टर है जो हमें यह सोचने पर मजबूर करता है कि बुरे हादसे वास्तव में जानबूझकर किए गए थे, जबकि अच्छे हादसे केवल भाग्य का खेल थे।
वैज्ञानिक इस बात को लेकर चिंतित हैं कि यदि हम रोबोट को हमारे जैसा व्यवहार करने के लिए सिखाते हैं, तो वे इन्हीं अजीब फिल्टरों को भी अपना सकते हैं। यदि एक रोबोट हमारे लिए नैतिक निर्णय लेता है, तो हमें यह जानने की आवश्यकता है: क्या वह इंसान की तरह सोच रहा है, या वह केवल एक विशाल कैलकुलेटर है? यहीं पर "मैकेनिस्टिक इंटरप्रिटेबिलिटी" (mechanistic interpretability) काम आती है। एक विशाल रोबोट मस्तिष्क को एक विशाल शहर के रूप में सोचें जहाँ लाखों छोटे कर्मचारी (न्यूरॉन्स) एक-दूसरे को नोट्स भेज रहे हैं। मैकेनिस्टिक इंटरप्रिटेबिलिटी उन एक्स-रे चश्मों को पहनने जैसा है जिससे हम देख सकें कि वास्तव में कौन से कर्मचारी कौन से नोट्स पास कर रहे हैं। केवल यह अनुमान लगाने के बजाय कि रोबोट ने एक निश्चित उत्तर क्यों दिया, हम मशीन के अंदर झाँक सकते हैं ताकि घूमते हुए विशिष्ट गियर देखे जा सकें। यह इसलिए महत्वपूर्ण है क्योंकि यदि हम ठीक से पता लगा सकें कि रोबोट के भीतर वह पूर्वाग्रह कहाँ रहता है, तो शायद हम पूरे शहर को फिर से बनाए बिना केवल उस एक गियर को ठीक कर सकें।
इस शोध पत्र के शोधकर्ताओं ने इस विचार को परखने का निर्णय लिया। वे यह देखना चाहते थे कि क्या लोकप्रिय एआई मॉडल (विशेष रूप से लामा, मिस्ट्रल और जेम्मा) ने "नोब प्रभाव" को पकड़ लिया है, और यदि उन्होंने इसे पकड़ा है, तो क्या वे एआई के मस्तिष्क के उस सटीक स्थान को पा सकते हैं जहाँ यह पूर्वाग्रह छिपा हुआ था। उन्होंने एआई मॉडल का परीक्षण उन्हीं नैतिक कहानियों पर किया जिनका उपयोग मानव स्वयंसेवकों के साथ किया गया था। उन्होंने पाया कि "रॉ" (raw) एआई मॉडल, जिन्हें अभी तक इंसानों की तरह बात करने के लिए प्रशिक्षित नहीं किया गया था, उनमें यह पूर्वाग्रह नहीं दिखा। उनके उत्तर काफी संतुलित थे। हालाँकि, एक बार जब शोधकर्ताओं ने उन्हें "फाइनट्यून" (finetune) किया—यानी उन्हें निर्देश मानने और मानवीय प्राथमिकताओं के अनुरूप ढलने के लिए प्रशिक्षित किया—तो यह पूर्वाग्रह अचानक प्रकट हो गया। एआई बिल्कुल हमारी तरह व्यवहार करने लगा: वह एक बुरे परिणाम को अच्छे परिणाम की तुलना में जानबूझकर किया गया मानने के प्रति बहुत अधिक प्रवृत्त था।
लेकिन असली जादू तब हुआ जब उन्होंने मशीन के अंदर झाँका। "लेयर-पैचिंग" (Layer-Patching) नामक तकनीक का उपयोग करते हुए, शोधकर्ताओं ने एआई को परतों के सेट की तरह माना, जैसे एक गगनचुंबी इमारत में मंजिलें होती हैं। उन्हें संदेह था कि पूर्वाग्रह हर जगह फैला हुआ नहीं है, बल्कि वह मंजिलों के एक विशिष्ट सेट में फंसा हुआ है। इसका परीक्षण करने के लिए, उन्होंने निष्पक्ष, रॉ मॉडल से "विचारों" (activations) को लिया और उन्हें पक्षपाती, फाइनट्यून्ड मॉडल में एक-एक करके डाला। यह एक साफ, निष्पक्ष ब्लूप्रिंट लेने और उसे एक भ्रष्ट इमारत के एक विशिष्ट फर्श पर चिपकाने जैसा था, यह देखने के लिए कि क्या पूरा ढांचा फिर से ईमानदार हो जाता है।
परिणाम आश्चर्यजनक रूप से सटीक थे। उन्होंने पाया कि पूर्वाग्रह बेतरतीब ढंग से बिखरा हुआ नहीं था; यह एआई के मस्तिष्क की मध्य-से-ऊपरी परतों में स्थित था। और भी रोमांचक बात यह थी कि उन्होंने पाया कि निष्पक्ष संस्करण की केवल एक विशिष्ट परत को पक्षपाती मॉडल में बदलने मात्र से नोब प्रभाव को लगभग पूरी तरह से मिटाया जा सका। कुछ मॉडलों के लिए, पूर्वाग्रह 1.6 या 3.8 के मजबूत अंतर से गिरकर लगभग शून्य (0.00 या 0.03) हो गया। और सबसे अच्छी बात? उन्होंने यह सब मॉडल को फिर से प्रशिक्षित किए बिना या उसके वेट्स (weights) बदले बिना किया। यह एक सर्जिकल सुधार था। उन्होंने यह भी जांचा कि क्या इस "सर्जरी" ने सामान्य प्रश्नों के उत्तर देने जैसी अन्य चीजों को करने की रोबोट की क्षमता को बाधित किया, और पाया कि मॉडल पहले की तरह ही स्मार्ट बने रहे।
यह शोध पत्र सुझाव देता है कि ये सामाजिक पूर्वाग्रह कुछ रहस्यमय, अनियंत्रित जादू नहीं हैं जो पूरे सिस्टम से उत्पन्न होते हैं। इसके बजाय, वे विशिष्ट, स्थानीयकृत पैटर्न हैं जो एआई के मस्तिष्क में उस प्रशिक्षण प्रक्रिया के दौरान लिखे जाते हैं जहाँ हम इसे मानव की तरह कार्य करने के लिए प्रशिक्षित करते हैं। इन एक्स-रे चश्मों और सर्जिकल बदलावों का उपयोग करके, शोधकर्ताओं ने दिखाया कि हम इन पूर्वाग्रहों को पहचान सकते हैं और उन्हें लक्षित हस्तक्षेपों के साथ हटा सकते हैं, जिससे एआई को अवांछित मानवीय विचित्रताओं के बिना भी सहायक बनाए रखा जा सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।