Fairness Pruning: Locating Demographic Bias in GLU-MLP Layers via Differential Activations
यह शोध पत्र "फेयरनेस प्रूनिंग" (Fairness Pruning) प्रस्तुत करता है, जो एक हल्का संरचनात्मक हस्तक्षेप है जो LLMs में जनसांख्यिकीय पूर्वाग्रह को स्थानीयकृत करने के लिए GLU-MLP परतों में विशिष्ट न्यूरॉन्स की पहचान करता है और उन्हें शून्य करता है, यह प्रदर्शित करते हुए कि इस तरह के सर्जिकल संशोधन मॉडल की तर्क और ज्ञान क्षमताओं के 99% से अधिक को संरक्षित करते हुए पूर्वाग्रह प्रतिक्रियाओं को महत्वपूर्ण रूप से बदल सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अभी-अभी एक विशाल, अत्यंत बुद्धिमान रोबोट लाइब्रेरियन बनाया है। आपने इसमें हर किताब, वेबसाइट और लिखी गई हर डायरी डाल दी ताकि यह सीख सके कि इंसान की तरह कैसे बात की जाती है। लेकिन एक पेंच है: क्योंकि वास्तविक दुनिया सदियों से अन्यायपूर्ण रही है, इसने उन अन्यायपूर्ण आदतों को भी सीख लिया। यदि आप इससे किसी डॉक्टर के बारे में पूछते हैं, तो यह "वह" (he) का अनुमान लगा सकता है "वह" (she) के बजाय, सिर्फ इसलिए क्योंकि इसने अपने प्रशिक्षण डेटा में उस पैटर्न को लाखों बार देखा था। ऐसा इसलिए नहीं है कि रोबोट "बुरा" है; यह केवल उस बिखरे हुए इतिहास का एक दर्पण है जो इसे सिखाया गया था।
वैज्ञानिक इन अन्यायपूर्ण आदतों को "डेमोग्राफिक बायस" (जनसांख्यिकीय पूर्वाग्रह) कहते हैं। लंबे समय तक, इन्हें ठीक करना एक सफेद शर्ट पर लगे दाग को हटाने के लिए उसे पूरे ब्लीच में डुबोने जैसा था। आप शायद दाग तो निकाल लेते, लेकिन आप कपड़े को भी खराब कर देते, जिससे रोबोट गणित करना या कहानियाँ लिखना भूल जाता। लेकिन हाल ही में, "मैकेनिस्टिक इंटरप्रिटेबिलिटी" नामक एक नए क्षेत्र ने रोबोट के मस्तिष्क के भीतर झाँकना शुरू किया है कि वास्तव में वे विचार कहाँ होते हैं। पता चला है कि रोबोट का मस्तिष्क एक विशाल, धुंधले सूप की तरह नहीं है; यह लाखों छोटे श्रमिकों (न्यूरॉन्स) वाले एक शहर की तरह है, और शायद, केवल कुछ विशिष्ट श्रमिक ही उन बुरी आदतों के लिए जिम्मेदार हैं।
यह फेयरनेस प्रूनिंग (Fairness Pruning) नामक एक नए प्रयोग की कहानी है। शोधकर्ता यह देखना चाहते थे कि क्या वे उन विशिष्ट "बायस वर्कर्स" (पूर्वाग्रह श्रमिकों) को ढूँढ सकते हैं, उन्हें बंद कर सकते हैं, और रोबोट के मस्तिष्क को नुकसान पहुँचाए बिना उसके पूर्वाग्रह को ठीक कर सकते हैं। वे पूरे रोबोट को फिर से प्रशिक्षित नहीं करना चाहते थे या महंगे सुपरकंप्यूटरों का उपयोग नहीं करना चाहते थे; वे एक छोटा, सर्जिकल समाधान चाहते थे।
"बायस न्यूरॉन्स" की खोज
शोधकर्ताओं ने एक चतुर तरकीब अपनाई। उन्होंने वाक्यों के जोड़े बनाए जो बिल्कुल समान थे, सिवाय एक सूक्ष्म विवरण के: उल्लेखित जनसांख्यिकीय समूह। उदाहरण के लिए, एक वाक्य कह सकता है, "पड़ोसी (बूढ़ा) दरवाजे पर दस्तक दे रहा था," और दूसरा कह सकता है, "पड़ोसी (युवा) दरवाजे पर दस्तक दे रहा था।"
उन्होंने इन जोड़ों को रोबोट में डाला और उसके मस्तिष्क के भीतर क्या होता है, यह देखा। वे उन विशिष्ट "श्रमिकों" (न्यूरॉन्स) की तलाश कर रहे थे जो "बूढ़ा" से "युवा" में बदलाव होने पर अलग तरह से प्रतिक्रिया करते थे। यदि कोई न्यूरॉन उस बदलाव के प्रति दृढ़ता से प्रतिक्रिया करता था, तो इसका मतलब था कि वह न्यूरॉन आयु संबंधी पूर्वाग्रह पर ध्यान दे रहा था।
उन्होंने कुछ बहुत ही दिलचस्प पाया: ये पूर्वाग्रह-प्रतिक्रिया देने वाले न्यूरॉन्स कहीं भी बेतरतीब ढंग से बिखरे हुए नहीं थे। वे रोबोट के मस्तिष्क की बिल्कुल अंतिम परत में केंद्रित थे, ठीक उस समय जब वह यह तय करता है कि आगे क्या कहना है। यह ऐसा था जैसे यह पता लगाना कि स्कूल की सारी गपशप स्कूल की घंटी बजने से ठीक पहले पीछे की पंक्ति में बैठे छात्रों के एक विशिष्ट समूह द्वारा फुसफुसायी जा रही है।
"इसे बंद करो" प्रयोग
एक बार जब उन्होंने इन विशिष्ट न्यूरॉन्स को खोज लिया, तो उन्होंने एक साहसी प्रयोग किया: उन्होंने उन्हें "ज़ीरो आउट" (zeroed out) कर दिया। कंप्यूटर की भाषा में, इसका अर्थ है कि उन्होंने रोबोट को बताया, "भनक करो कि ये विशिष्ट कार्यकर्ता अस्तित्व में ही नहीं हैं।" उन्होंने उस परत में 131,000 से अधिक न्यूरॉन्स वाले मॉडल में 1 से लेकर 40 न्यूरॉन्स तक को बंद कर दिया। यह कुल कार्यबल का 0.031% से भी कम है!
यहीं पर कहानी में एक मोड़ आता है। शोधकर्ताओं को उम्मीद थी कि इन "बायस वर्कर्स" को बंद करने से रोबोट कम पक्षपाती हो जाएगा। लेकिन रोबोट केवल बेहतर ही नहीं हुआ; वह अजीब हो गया।
कभी-कभी, न्यूरॉन्स को बंद करने से रोबोट कम पक्षपाती हो जाता था, जो कि बहुत अच्छा था। लेकिन अन्य समय में, इसने पूर्वाग्रह को बदतर बना दिया, या इसे विपरीत दिशा में धकेल दिया। कल्पना कीजिए कि आप एक रेडियो को ठीक करने की कोशिश कर रहे हैं जो एक गाना बहुत ज़ोर से बजा रहा है। आप उम्मीद कर रहे थे कि आप बस वॉल्यूम कम कर देंगे, लेकिन इसके बजाय, आपने गलती से स्टेशन बदलकर दूसरा गाना लगा दिया, या संगीत को उल्टा चला दिया।
पेपर बताता है कि ऐसा इसलिए हुआ क्योंकि उनके द्वारा उपयोग किया गया "बायस स्कोर" केवल यह मापता था कि एक न्यूरॉन कितनी प्रतिक्रिया देता है, न कि यह कि वह किस दिशा में प्रतिक्रिया देता है। उनमें से कुछ बंद किए गए न्यूरॉन्स वास्तव में पूर्वाग्रह को रोकने की कोशिश कर रहे थे, जबकि अन्य इसे बढ़ावा दे रहे थे। उन सभी को एक साथ बंद करके, शोधकर्ताओं ने अनजाने में "ब्रेक" के साथ-साथ "एक्सेलेरेटर" (गैस पेडल) को भी हटा दिया। परिणाम एक अराजक मिश्रण था जहाँ रोबोट का व्यवहार अस्थिर हो गया, जो एक रूढ़िवादिता से दूसरी ओर झूलने लगा।
क्या उन्होंने रोबोट को तोड़ दिया?
सबसे महत्वपूर्ण प्रश्न यह था: क्या पूर्वाग्रह को ठीक करने से रोबोट की सोचने की क्षमता टूट गई? क्या यह अभी भी गणित कर सकता था? क्या यह इतिहास के बारे में प्रश्नों के उत्तर दे सकता था?
इसका उत्तर एक जोरदार हाँ था। 40 न्यूरॉन्स को बंद करने के बाद भी, रोबोट ने अपने 99.49% सामान्य ज्ञान और तर्क कौशल को बनाए रखा। यह एक विशाल किले से कुछ विशिष्ट ईंटों को निकालने जैसा था, और किला टस से मस भी नहीं हुआ। इसने एक बहुत बड़े विचार को सिद्ध किया: रोबोट के मस्तिष्क का वह हिस्सा जो "सामान्य बुद्धिमत्ता" को संभालता है और वह हिस्सा जो "अन्यायपूर्ण रूढ़ियों" को संभालता है, अलग-अलग मोहल्लों में हैं। आप एक को नष्ट किए बिना दूसरे के साथ छेड़छाड़ कर सकते हैं।
भविष्य के लिए इसका क्या अर्थ है
यह पेपर यह दावा नहीं करता कि इसने AI पूर्वाग्रह को "हल" कर दिया है। वास्तव में, यह दिखाता है कि केवल न्यूरॉन्स को बंद करना बहुत ही अपूर्ण उपकरण है। यह कार के स्टीयरिंग व्हील को दाएं-बाएं बेतरतीब ढंग से खींचकर कार चलाने की कोशिश करने जैसा है; आप भाग्यशाली हो सकते हैं, लेकिन इसकी अधिक संभावना है कि आप दुर्घटनाग्रस्त हो जाएंगे।
हालाँकि, यह प्रयोग यह सिद्ध करने में एक बड़ी सफलता थी कि पूर्वाग्रह विशिष्ट, पहचानने योग्य स्थानों में रहता है। शोधकर्ता सुझाव देते हैं कि अगला कदम इन न्यूरॉन्स को केवल "बंद करना" नहीं है, बल्कि यह सीखना है कि वे वास्तव में किस दिशा में धक्का दे रहे हैं। यदि वे जानते हैं कि एक न्यूरॉन रोबोट को एक बुरी रूढ़िवादिता की ओर धकेल रहा है, तो वे उसे केवल हटाने के बजाय, धीरे से दूसरी दिशा में धकेल सकते हैं।
इसलिए, भले ही वे इस बार पूर्वाग्रह को पूरी तरह से ठीक नहीं कर पाए, लेकिन उन्होंने नक्शा ढूंढ लिया है। उन्होंने हमें दिखाया कि AI की "बुरी आदतें" हर जगह नहीं हैं; वे मस्तिष्क के विशिष्ट, छोटे कोनों में छिपी हुई हैं, और सही उपकरणों के साथ, हम पूरे रोबोट को फिर से बनाए बिना, उन्हें निष्पक्ष होने के लिए धीरे से प्रेरित कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।