Where Does Toxicity Live? Mechanistic Localization and Targeted Suppression in Language Models
यह शोध पत्र Meow2X और TRNE को प्रस्तुत करता है, जो दो रिट्रेनिंग-मुक्त फ्रेमवर्क हैं जो एक्टिवेशन विश्लेषण के माध्यम से भाषा मॉडलों में विशिष्ट शुरुआती MLP परतों में विषाक्तता (toxicity) को स्थानीयकृत करते हैं और इन्फरेंस-टाइम स्केलिंग या न्यूनतम वेट एडिट्स के माध्यम से इसे दबाते हैं, जिससे भाषा की गुणवत्ता को कम किए बिना निरंतर सुरक्षा सुधार प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ शोध पत्र "Where Does Toxicity Live?" का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ हिंदी अनुवाद दिया गया है।
बड़ी समस्या: रसोई में "खराब ऐप"
कल्पना कीजिए कि एक विशाल, अविश्वसनीय रूप से स्मार्ट रोबोट शेफ (एक लार्ज लैंग्वेज मॉडल) है जो कहानियाँ लिख सकता है, सवालों के जवाब दे सकता है और समस्याओं को हल कर सकता है। लेकिन कभी-कभी, जब आप उससे कोई सवाल पूछते हैं, तो वह अचानक अपशब्द कहने, नफरत फैलाने या हानिकारक विचार व्यक्त करने लगता है।
इसे ठीक करने के मौजूदा तरीके ऐसे हैं जैसे आप शेफ को शुरुआत से एक नई भाषा सिखाने की कोशिश कर रहे हों। आपको पूरे रोबोट को अलग करना पड़ता है, उसे हफ्तों तक फिर से प्रशिक्षित (retrain) करना पड़ता है, और यह उम्मीद करनी पड़ती है कि वह खाना बनाना न भूल जाए। या फिर, आप दरवाजे पर एक बाउंसर खड़ा कर देते हैं जो हर वाक्य को लिखे जाने के बाद उसकी जाँच करता है और बुरे वाक्यों को हटा देता है। यह धीमा है, महंगा है, और यह नहीं बताता कि शेफ को गुस्सा क्यों आया।
समाधान: "विषाक्त चिंगारी" (Toxic Spark) को खोजना
इस शोध पत्र के लेखक, हिमांशु बेनीवाल और मयंक सिंह ने एक अलग सवाल पूछा: "रोबोट के दिमाग के अंदर ठीक कहाँ विषाक्तता (toxicity) रहती है?"
उन्होंने पाया कि विषाक्तता पूरे मस्तिष्क में समान रूप से नहीं फैली होती है। इसके बजाय, यह एक कारखाने के एक विशिष्ट कमरे में कुछ विशिष्ट, दोषपूर्ण तारों या एक एकल "क्रोधित न्यूरॉन" की तरह है। यदि आप उस कमरे को ढूंढ लेते हैं और केवल उन विशिष्ट तारों की आवाज़ को कम कर देते हैं, तो रोबले का विषाक्त होना बंद हो जाता है लेकिन वह बुद्धिमान बना रहता है।
उन्होंने रोबोट को फिर से प्रशिक्षित किए बिना यह करने के लिए दो उपकरण बनाए: Meow2X और TRNE।
टूल 1: Meow2X ( "वॉल्यूम नॉब" वाला दृष्टिकोण)
यह कैसे काम करता है:
कल्पना कीजिए कि रोबोट शेफ के पास एक कंट्रोल पैनल है जिसमें 30 अलग-अलग वॉल्यूम नॉब हैं, जो उसके मस्तिष्क के प्रत्येक "लेयर" (परत) के लिए एक है।
- सुनना: शोधकर्ता रोबोट से दो चीजें पूछते हैं: एक तटस्थ प्रश्न ("मैं आपसे असहमत हूँ") और एक विषाक्त प्रश्न ("मैं आपसे नफरत करता हूँ")।
- तुलना करना: वे हर कमरे में वॉल्यूम के स्तर (activations) को देखते हैं। वे देखते हैं कि कुछ विशेष कमरों (विशेष रूप से शुरुआती "MLP" कमरों) में, जब रोबोट विषाक्त शब्द सुनता है, तो वॉल्यूम बहुत बढ़ जाता है, लेकिन तटस्थ शब्दों के लिए यह कम रहता है।
- आवाज़ कम करना: वे रोबोट के मस्तिष्क को बदलते नहीं हैं। इसके बजाय, वे बातचीत के दौरान उन विशिष्ट कमरों पर एक अस्थायी "वॉल्यूम नॉब" लगा देते हैं। जब रोबोट विषाक्त होने लगता है, तो वे उस विशिष्ट वॉल्यूम नॉब को कम कर देते हैं।
उपमा (Analogy):
इसे एक स्पीकर सिस्टम की तरह समझें। यदि एक विशिष्ट फ्रीक्वेंसी (जैसे एक तीखी चीख) के कारण डिस्टॉर्शन हो रहा है, तो आप पूरे स्पीकर को नहीं बदलते। आप बस उस विशिष्ट फ्रीक्वेंसी के लिए इक्वलाइज़र को कम कर देते हैं। संगीत बजता रहता है, लेकिन चीख गायब हो जाती है।
परिणाम:
उन्होंने पाया कि कुछ मॉडलों (जैसे Qwen) के लिए, "विषाक्त शोर" मुख्य रूप से मस्तिष्क के शुरुआती कमरों में रहता है। अन्य मॉडलों के लिए, यह अलग है। केवल उन 5-10 विशिष्ट कमरों के वॉल्यूम को कम करके, उन्होंने रोबोट के बोलने की क्षमता को खोए बिना विषाक्तता को काफी कम कर दिया।
टूल 2: TRNE ( "सर्जिकल पैच" वाला दृष्टिकोण)
यह कैसे काम करता है:
यदि Meow2X एक वॉल्यूम नॉब को कम करने जैसा है, तो TRNE एक सर्जन द्वारा एक विशिष्ट तार पर एक छोटा, स्थायी पैच लगाने जैसा है।
- मार्ग का मानचित्रण (Mapping the Path): वे एक विशेष तकनीक का उपयोग करते हैं जिससे यह पता चलता है कि कौन से तार "विषाक्त दिशा" (toxic direction) ले जाते हैं।
- पैच लगाना: वे उन विशिष्ट कमरों में भार (weights/connections) में एक बहुत छोटा, गणित-आधारित बदलाव करते हैं। यह बदलाव इतना छोटा और सटीक है कि यह एक फिल्टर की तरह काम करता है।
- प्रभाव: यदि रोबोट एक विषाक्त विचार उत्पन्न करने की कोशिश करता है, तो यह पैच स्वचालित रूप से उसे रद्द कर देता है। यदि रोबोट एक सामान्य विचार उत्पन्न करने की कोशिश करता है, तो पैच उसे पूरी तरह से अनदेखा कर देता है।
उपमा (Analogy):
कल्पित करें कि एक नदी झरने (विषाक्त आउटपुट) की ओर बह रही है। TRNE ठीक सही जगह पर एक छोटा, अदृश्य बाँध बनाता है ताकि विषाक्त पानी को मोड़ दिया जाए, जबकि साफ पानी को सीधे बहने दिया जाए।
मुख्य खोजें ("Aha!" क्षण)
1. विषाक्तता का एक विशिष्ट पता होता है।
यह हर जगह नहीं है। कुछ मॉडलों में, "बुरा व्यवहार" मस्तिष्क की पहली कुछ परतों (शुरुआती प्रोसेसिंग कमरों) में केंद्रित होता है। दूसरों में, यह बीच में या अंत में होता है। यह वैसा ही है जैसे घर में धुएं की गंध केवल रसोई से आ रही हो, बेडरूम से नहीं।
2. एक ही नियम सब पर लागू नहीं होता।
जो एक रोबोट शेफ (मॉडल) के लिए काम करता है, वह दूसरे के लिए नहीं करता। हर मॉडल के लिए "विषाक्त कमरे" अलग होते हैं। आपको प्रत्येक का व्यक्तिगत रूप से मानचित्रण करना होगा।
3. "बाउंसर" की समस्या (सुरक्षा मूल्यांकनकर्ता)।
शोध पत्र ने सुरक्षा के परीक्षण के बारे में एक बहुत महत्वपूर्ण बात पाई। उन्होंने रोबोट के आउटपुट की जाँच करने के लिए दो अलग-अलग "बाउंसरों" (सुरक्षा क्लासिफायर) का उपयोग किया।
- बाउंसर A (LlamaGuard): केवल इस बात की परवाह करता है कि क्या रोबोट ने स्पष्ट रूप से घृणास्पद बात कही है।
- बाउंसर B (PolyGuard): यह भी तब गुस्सा होता है जब रोबोट उत्तर देने से मना कर देता है या अजीब व्यवहार करता है।
कभी-कभी, जब उन्होंने विषाक्तता को ठीक किया, तो बाउंसर A ने कहा, "बहुत अच्छा काम!" लेकिन बाउंसर B ने कहा, "रुको, अब यह बात करने से मना करके बदतमीजी कर रहा है!" यह साबित करता है कि यह जानने के लिए कि क्या कोई मॉडल वास्तव में सुरक्षित है, आपको एक से अधिक न्यायाधीशों की आवश्यकता है।
4. बहुत आक्रामक न बनें।
यदि आप वॉल्यूम को बहुत अधिक कम करने की कोशिश करते हैं या बहुत सारे तारों को पैच करने की कोशिश करते हैं, तो रोबोट टूट जाता है। वह अर्थहीन बातें करने लगता है। शोध पत्र में पाया गया कि विनम्र रहना (केवल कुछ विशिष्ट कमरों को कम करना) सबसे अच्छा है। यदि आप एक साथ बहुत अधिक चीज़ों को ठीक करने की कोशिश करते हैं, तो रोबोट का "परप्लेक्सिटी" (समझ का एक माप) विस्फोट हो जाता है, और वह बड़बड़ाने लगता है।
सारांश
यह शोध पत्र दिखाता है कि हमें रोबोट को विषाक्त होने से रोकने के लिए उसे पूरी तरह से फिर से बनाने की आवश्यकता नहीं है। हमें बस यह करना होगा:
- उसके मस्तिष्क के उन विशिष्ट कमरों को ढूंढना जहाँ विषाक्तता रहती है।
- उन विशिष्ट कमरों में वॉल्यूम कम करना (Meow2X) या तारों को पैच करना (TRNE)।
- यह सुनिश्चित करने के लिए जाँच करना कि हमने कुछ और तो नहीं बिगाड़ दिया, कि कई सुरक्षा न्यायाधीशों के साथ।
यह AI को सुरक्षित बनाने का एक तेज़, सस्ता और अधिक पारदर्शी तरीका है, क्योंकि यह हमें बताता है कि समस्या ठीक कहाँ है और इसे सर्जिकल तरीके से ठीक करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।