💬 NLP

SGM: Safety Glasses for Multimodal Large Language Models via Neuron-Level Detoxification

यह शोध पत्र SGM का प्रस्ताव करता है, जो एक व्हाइट-बॉक्स, पैरामीटर-मुक्त न्यूरॉन-स्तरीय हस्तक्षेप है जो मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स में विषाक्त विशेषज्ञ न्यूरॉन्स को चुनिंदा रूप से दबा देता है ताकि प्रवाह और तर्क क्षमताओं को संरक्षित करते हुए मानक और प्रतिकूल दोनों परिदृश्यों में हानिकारक आउटपुट को प्रभावी ढंग से कम किया जा सके।

मूल लेखक: Hongbo Wang, MaungMaung AprilPyone, Isao Echizen

प्रकाशित 2026-02-16

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hongbo Wang, MaungMaung AprilPyone, Isao Echizen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "SGM: न्यूरॉन-लेवल डिटॉक्सिफिकेशन के माध्यम से मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स के लिए सेफ्टी ग्लासेस" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करते हुए विवरण दिया गया है।

समस्या: बुरी आदतों वाला एक "नादान कलाकार"

एक प्रतिभाशाली और रचनात्मक कलाकार की कल्पना करें जिसका नाम MLLM (मल्टीमॉडल लार्ज लैंग्वेज मॉडल) है। यह कलाकार किसी तस्वीर को देखकर उसके बारे में कहानी लिखने में माहिर है। यह जटिल दृश्यों को समझ सकता है, छवियों के भीतर लिखे टेक्स्ट को पढ़ सकता है, और गहरी बातचीत कर सकता है।

हालाँकि, इस कलाकार को पूरे इंटरनेट को पढ़कर प्रशिक्षित किया गया था। दुर्भाग्य से, इंटरनेट पर बहुत सारा कचरा है: नफरत भरे भाषण (hate speech), खतरनाक निर्देश और अपमानजनक चुटकुले। इस कारण, कलाकार की कुछ "बुरी आदतें" हो गई हैं। यदि आप उन्हें एक बाघ की तस्वीर दिखाते हैं और पूछते हैं, "इस बाघ में क्या गलत है?", तो वे सहज रूप से किसी नस्लवादी टिप्पणी या हिंसक धमकी के साथ उत्तर दे सकते हैं, क्योंकि उन्होंने पहले भी ऐसे पैटर्न देखे हैं।

वर्तमान सुरक्षा विधियाँ दरवाजे पर खड़े बाउंसरों या निकास पर बैठे सेंसरों की तरह हैं:

बाउंसर (इनपुट सैनिटाइजेशन): यह कोशिश करता है कि आप कोई बुरी तस्वीर या बुरा सवाल लेकर अंदर न आएं। लेकिन एक चतुर धोखेबाज किसी भी तरह से बुरा विचार अंदर घुसा सकता है।
सेंसर (आउटपुट फ़िल्टरिंग): यह कलाकार के लिखने खत्म करने का इंतज़ार करता है, जवाब पढ़ता है, और यदि वह बुरा है, तो उसे हटा देता है और कहता है, "मैं यह नहीं कह सकता।" अक्सर इसके परिणामस्वरूप कलाकार चुप हो जाता है या एक रोबोटिक, अनुपयोगी उत्तर देता है।

समस्या यह है कि ये विधियाँ कलाकार के दिमाग को ठीक नहीं करतीं। वे केवल इनपुट या आउटपुट को प्रबंधित करने की कोशिश करती हैं।

समाधान: SGM (सेफ्टी ग्लासेस/सुरक्षा चश्मा)

लेखक एक नई विधि प्रस्तावित करते हैं जिसे SGM कहा जाता है। SGM को एक बाउंसर के रूप में नहीं, बल्कि विशेष "सेफ्टी ग्लासेस" के रूप में सोचें जिन्हें कलाकार सोचने के दौरान पहनता है।

यह कैसे काम करता है, चरण-दर-चरण यहाँ दिया गया है:

1. "विषाक्त न्यूरॉन्स" को खोजना (बुरी आदतें)

कलाकार के दिमाग के अंदर (कंप्यूटर मॉडल), अरबों छोटे स्विच होते हैं जिन्हें न्यूरॉन्स कहा जाता है। कुछ स्विच तब जलते हैं जब कलाकार गणित के बारे में सोचता है; अन्य तब जलते हैं जब वे बिल्लियों के बारे में सोचते हैं।
शोधकर्ताओं ने पाया कि इन स्विचों का एक विशिष्ट, छोटा समूह तब सक्रिय होता है जब कलाकार कुछ भी विषाक्त (toxic) या खतरनाक कहने वाला होता है। ये "टॉक्सिक एक्सपर्ट न्यूरॉन्स" हैं।

2. "सॉफ्ट सप्रेशन" (आवाज़ को नियंत्रित करना)

कलाकार के दिमाग को बंद करने या पूरे वाक्य को हटाने के बजाय, SGM एक वॉल्यूम नॉब (आवाज़ कम करने वाला बटन) की तरह काम करता है।

जब कलाकार किसी हानिकारक चीज़ के बारे में सोचना शुरू करता है, तो सेफ्टी ग्लासेस पहचान लेते हैं कि "टॉक्सिक न्यूरॉन्स" सक्रिय हो रहे हैं।
उन स्विचों को पूरी तरह से शांत करने के बजाय (जिससे कलाकार बोलना ही भूल जाए), चश्मा उन विशिष्ट बुरे स्विचों की आवाज़ को धीमा (volume down) कर देता है।
साथ ही, "अच्छे न्यूरॉन्स" (जो तर्क, दया और तथ्यों में मदद करते हैं) की आवाज़ तेज और स्पष्ट रहती है।

3. सर्जरी की आवश्यकता नहीं (ट्रेनिंग-फ्री)

सबसे अच्छी बात? आपको कलाकार को फिर से प्रशिक्षित करने या ब्रेन सर्जरी करने की आवश्यकता नहीं है।

पुराना तरीका: आपको कलाकार को शुरुआत से अच्छा बनाना पड़ता है, जिसमें महीनों लगते हैं और करोड़ों का खर्च आता है।
SGM तरीका: आप बस कलाकार के काम करते समय "सेफ्टी ग्लासेस" लगा देते हैं। यह एक हॉट-स्वैपिंग लेंस की तरह है। जब आपको सुरक्षा की आवश्यकता होती है, तो आप चश्मा पहन लेते हैं, और जब नहीं होती, तो उतार देते हैं। यह कलाकार के स्थायी व्यक्तित्व को नहीं बदलता है; यह केवल उनके वर्तमान विचारों को निर्देशित करता है।

क्रिया में "सेफ्टी गॉगल्स"

कल्पना करें कि कलाकार एक विरोध प्रदर्शन की तस्वीर देख रहा है।

चश्मे के बिना: कलाकार के "टॉक्सिक न्यूरॉन्स" सक्रिय होते हैं, और वे प्रदर्शनकारियों के बारे में नफरत भरी बातें लिखना शुरू कर देते हैं।
SGM चश्मे के साथ: चश्मा महसूस करता है कि टॉक्सिक न्यूरॉन्स सक्रिय हो रहे हैं। यह उस सिग्नल को धीरे से कम कर देता है। कलाकार का दिमाग स्वाभाविक रूप से "अच्छे न्यूरॉन्स" (सहानुभूति, तथ्य, शांति) की ओर स्थानांतरित हो जाता है।
परिणाम: कलाकार अभी भी विरोध प्रदर्शन को देखता है और संदर्भ को समझता है, लेकिन एक नफरत भरी भड़ास के बजाय, वह एक संतुलित, सुरक्षित और सहायक विवरण लिखता है।

यह पेपर क्यों महत्वपूर्ण है

यह सटीक है: पिछली विधियाँ मक्खी मारने के लिए हथौड़े के उपयोग जैसी थीं (पूरे मस्तिष्क की परतों को ब्लॉक करना)। SGM केवल विशिष्ट बुरे स्विचों को लक्षित करने के लिए एक स्कैल्पल (बारीक चाकू) का उपयोग करता है।
यह तेज़ है: क्योंकि इसके लिए पुन: प्रशिक्षण की आवश्यकता नहीं है, यह किसी भी मौजूदा मॉडल पर तुरंत काम करता है।
यह लचीला है: लेखकों ने एक नया टेस्ट बनाया जिसे MM-TOXIC-QA (सुरक्षा परीक्षण के लिए एक जिम) कहा जाता है, ताकि यह साबित किया जा सके कि यह तरीका केवल टेक्स्ट ही नहीं, बल्कि छवियों और टेक्स्ट दोनों पर काम करता है।
परिणाम: अपने परीक्षणों में, उन्होंने हानिकारक प्रतिक्रियाओं को 48% से घटाकर 2.5% कर दिया। यह एक अराजक, खतरनाक कमरे को एक सुरक्षित, शांत कमरे में बदलने जैसा है, बिना कलाकार को बोलना भुलाए।

सारांश उपमा

एक कार (AI मॉडल) के बारे में सोचें।

पुरानी सुरक्षा विधियाँ: पीछे की सीट पर एक गार्ड बिठाना जो ड्राइवर को चिल्लाकर कहे "रुको!" यदि ड्राइवर खाई में जाने की कोशिश करता है, या दरवाजे लॉक कर देना ताकि ड्राइवर अंदर ही न आ सके।
SGM (सेफ्टी ग्लासेस): एक स्मार्ट स्टीयरिंग असिस्ट स्थापित करना। यदि ड्राइवर खाई की ओर बढ़ने लगता है (विषाक्तता), तो स्टीयरिंग व्हील धीरे से उन्हें वापस मुख्य लेन में धकेल देता है। ड्राइवर अभी भी गाड़ी चला रहा है, कार अभी भी तेज़ है, लेकिन वे सुरक्षित रूप से सड़क पर हैं।

यह पेपर मूल रूप से AI मॉडल्स को ऐसे चश्मे देता है जो उन्हें अपने ही बुरे विचारों को "देखने" और उन्हें वास्तविक समय में सुधारने में मदद करते हैं, जिससे वे अपनी बुद्धिमत्ता खोए बिना सुरक्षित बन जाते हैं।

यहाँ शोध पत्र "SGM: Safety Glasses for Multimodal Large Language Models via Neuron-Level Detoxification" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) अपने प्रीट्रेनिंग कॉर्पोरा (pretraining corpora) से विषाक्त (toxic), पक्षपाती (biased) और असुरक्षित (NSFW) संकेतों को विरासत में प्राप्त करते हैं। जबकि मौजूदा डिटॉक्सिफिकेशन विधियाँ मौजूद हैं, वे मल्टीमॉडल संदर्भ में महत्वपूर्ण सीमाओं का सामना करती हैं:

ब्लैक-बॉक्स सीमाएँ (Black-Box Limitations): कई दृष्टिकोण इनपुट सैनिटाइजेशन (प्रॉम्प्ट इंजीनियरिंग) या आउटपुट वैलिडेशन (पोस्ट-हॉक फ़िल्टरिंग) पर निर्भर करते हैं। ये मॉडल को एक ब्लैक बॉक्स की तरह देखते हैं, और विजन-लैंग्वेज फ्यूजन के दौरान होने वाले आंतरिक विषाक्त सक्रियणों (toxic activations) को संबोधित करने में विफल रहते हैं।
कोर्स ग्रैनुलैरिटी (Coarse Granularity): मौजूदा व्हाइट-बॉक्स हस्तक्षेप अक्सर लेयर स्तर (जैसे, पूरी लेयर्स को स्टीयर करना) पर कार्य करते हैं, न कि न्यूरॉन स्तर पर, जिससे अत्यधिक हस्तक्षेप होता है जो मॉडल की उपयोगिता को कम कर देता है या विशिष्ट विषाक्त अवधारणाओं को लक्षित करने में विफल रहता है।
एडवर्सरियल संवेदनशीलता (Adversarial Vulnerability): वर्तमान विधियाँ उन मल्टीमॉडल जेलब्रेक्स के विरुद्ध संघर्ष करती हैं जहाँ चित्र और टेक्स्ट मिलकर हानिकारक व्यवहारों को ट्रिगर करते हैं जिन्हें केवल टेक्स्ट-आधारित सुरक्षा प्रणालियाँ नहीं पकड़ पाती हैं।
डेटा की कमी (Data Scarcity): मल्टीमॉडल विषाक्तता के लिए विशेष रूप से उच्च गुणवत्ता वाले, इंस्टेंस-लेवल एनोटेटेड डेटासेट्स की कमी है, जो लक्षित सुरक्षा के विकास और मूल्यांकन में बाधा डालती है।

2. कार्यप्रणाली: SGM (MLLMs के लिए सेफ्टी ग्लासेस)

लेखक SGM का प्रस्ताव करते हैं, जो एक व्हाइट-बॉक्स, ट्रेनिंग-फ्री, न्यूरॉन-लेवल इंटरवेंशन फ्रेमवर्क है। यह "सेफ्टी ग्लासेस" की तरह कार्य करता है जिसे इन्फरेंस के समय बिना मॉडल पैरामीटर्स या आर्किटेक्चर को बदले MLLM में "हॉट-प्लग" किया जा सकता है।

SGM पाइपलाइन तीन पदानुक्रमित (hierarchical) चरणों से बनी है:

चरण I: टॉक्सिसिटी एक्टिवेशन कलेक्शन (Toxicity Activation Collection)

सिस्टम MLLM के पोस्ट-फ्यूजन MLP लेयर्स से प्री-नॉन-लिनियरिटी एक्टिवेशन्स को एकत्र करता है।
मल्टीमॉडल इनपुट्स (इमेज पैचेस $p$ और टेक्स्ट टोकन्स $t$ ) के लिए, यह प्रत्येक न्यूरॉन $m$ के लिए संयुक्त पीक एक्टिवेशन (joint peak activation) की गणना करता है:
$z^{(i)}_m = \max_{p,t} h^{(i)}_{p,t,m}$
यह दोनों मोडैलिटीज में विषाक्त अवधारणाओं के प्रति न्यूरॉन की अधिकतम संवेदनशीलता को कैप्चर करता है।

चरण II: टॉक्सिक न्यूरॉन पहचान (Toxic Neuron Identification)

AUROC स्कोरिंग: सिस्टम यह मापने के लिए कि एक विशिष्ट न्यूरॉन का एक्टिवेशन विषाक्त इनपुट्स को गैर-विषाक्त इनपुट्स से कितनी अच्छी तरह अलग करता है, 'एरिया अंडर द रिसीवर ऑपरेटिंग कैरेक्टरिस्टिक कर्व' (AUROC) का उपयोग करता है।
विशेषज्ञ चयन (Expert Selection): उच्च AUROC स्कोर वाले न्यूरॉन्स को "टॉक्सिक एक्सपर्ट्स" के रूप में पहचाना जाता है। विशेषज्ञ न्यूरॉन्स के सेट $Q^{VL}$ को चुनने के लिए एक थ्रेशोल्ड $\tau^{VL}_c$ लागू किया जाता है।
सप्रेशन कोएफिशिएंट (Suppression Coefficients): प्रत्येक पहचाने गए टॉक्सिक एक्सपर्ट के लिए, उसके विशेषज्ञता स्कोर $a_m$ के आधार पर एक सप्रेशन कोएफिशिएंट $\lambda_m$ की गणना की जाती है:
$\lambda_m = 2(1 - a_m)$
विशेषज्ञ सेट में शामिल न होने वाले न्यूरॉन्स $\lambda_m = 1$ बनाए रखते हैं (कोई परिवर्तन नहीं)। यह एक डायगोनल इंटरवेंशन ऑपरेटर $S$ बनाता है।

चरण III: टॉक्सिसिटी मिटिगेशन (इंटरवेंशन) (Toxicity Mitigation)

फॉरवर्ड पास के दौरान, पोस्ट-फ्यूजन लेयर्स के हिडन एक्टिवेशन्स पर इंटरवेंशन ऑपरेटर $S$ लागू किया जाता है।
एक्टिवेशन वेक्टर $\mathbf{h}$ को अपडेट किया जाता है: $\tilde{\mathbf{h}} = S\mathbf{h}$ ।
तंत्र (Mechanism): यह एक्सपर्टाइज़-वेटेड सॉफ्ट सप्रेशन (expertise-weighted soft suppression) करता है। यह विषाक्त न्यूरॉन्स के सक्रियण को उनकी विषाक्तता संबद्धता के अनुपात में कम करता है, जबकि सौहार्दपूर्ण (benzenign) न्यूरॉन्स और मल्टीमॉडल रीजनिंग पाथवे को बरकरार रखता है।
मुख्य विशेषता: यह हस्तक्षेप प्रतिवर्ती (reversible) है और इसके लिए किसी रीट्रेनिंग की आवश्यकता नहीं है। इसे केवल तभी "चालू" किया जाता है जब सुरक्षा की आवश्यकता होती है।

3. मुख्य योगदान (Key Contributions)

SGM फ्रेमवर्क: पहला न्यूरॉन-लेवल, मल्टीमॉडल व्हाइट-बॉक्स डिटॉक्सिफिकेशन मेथड। यह पैरामीटर अपडेट के बिना विषाक्त न्यूरॉन्स को कम करने के लिए पोस्ट-फ्यूजन लेयर्स में हस्तक्षेप करता है, जिससे फ्लोएंसी (fluency) को बनाए रखते हुए हानिकारक आउटपुट में लगभग 20 $\times$ की कमी आती है।
MM-TOXIC-QA बेंचमार्क: मल्टीमॉडल विषाक्तता मूल्यांकन के लिए एक नया, क्यूरेटेड फ्रेमवर्क।
- यह मौजूदा डेटासेट्स (MM-SafetyBench और BeaverTails-V) को समेकित और विस्तारित करता है।
- यह उच्च-गुणवत्ता वाले एनोटेशन के साथ युग्मित (paired) टॉक्सिक/नॉन-टॉक्सिक इमेज-टेक्स्ट सैंपल बनाने के लिए GPT-4 और ह्यूमन-इन-द-लूप प्रक्रियाओं का उपयोग करता है।
- इसमें 4,326 सैंपल (2,163 पेयर्स) हैं जो विशेष रूप से टॉक्सिसिटी सप्रेशन का परीक्षण करने के लिए डिज़ाइन किए गए हैं।
SGM $\star$ (संयोजित रक्षा): एक विस्तार योग्य वेरिएंट जो SGM को मौजूदा तरीकों (जैसे, ECSO) के साथ एकीकृत करता है। यह न्यूरॉन-लेवल इंटरवेंशन को प्रॉम्प्ट-लेवल वैलिडेशन के साथ जोड़ता है, जिससे नगण्य कंप्यूटेशनल ओवरहेड के साथ बेहतर सुरक्षा प्रदर्शन प्राप्त होता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने MM-SafetyBench और MM-VET बेंचमार्क का उपयोग करके ओपन-सोर्स MLLMs (LLaVA-1.5-7B/13B और ShareGPT-4V-7B/13B) पर SGM का मूल्यांकन किया।

सुरक्षा प्रदर्शन (Safety Performance):
- SGM ने MM-SafetyBench पर औसत हानिकारक दर को 48.2% से घटाकर 2.5% (~20x कमी) कर दिया।
- एडवर्सरियल सेटिंग्स (SD+OCR) में, SGM ने हानिकारक दर को 50.9% से घटाकर 10.5% कर दिया।
- संयुक्त SGM $\star$ दृष्टिकोण ने सर्वश्रेष्ठ परिणाम प्राप्त किए, जिसने एडवर्सरियल सेटिंग्स में हानिकारक दर को 4.4% तक कम कर दिया।
- SGM ने विभिन्न विषाक्तता श्रेणियों (जैसे, हेट स्पीच, अवैध गतिविधि, शारीरिक हानि) में ब्लैक-बॉक्स तरीकों (ECSO) और अन्य व्हाइट-बॉक्स तरीकों (InferAligner) दोनों को पीछे छोड़ दिया।
उपयोगिता संरक्षण (Utility Preservation):
- फ्लोएंसी और रीजनिंग: MM-VET बेंचमार्क पर, SGM उच्च उपयोगिता स्कोर बनाए रखता है। कुछ मामलों में (ShareGPT-4V), उपयोगिता स्कोर थोड़ा सुधरा (32.8 $\to$ 33.0)।
- मानवीय मूल्यांकन: मानव रेटर्स ने पुष्टि की कि SGM-जेनरेटेड रिस्पॉन्स फ्लोएंट और नेचुरल रहे, जिससे अन्य डिटॉक्सिफिकेशन विधियों में सामान्य "ओवर-रिफ्यूज़ल" या कटे हुए उत्तरों से बचा जा सका।
सामान्यीकरण क्षमता (Generalizability):
- SGM ने विभिन्न मॉडल साइज़ (7B बनाम 13B) और आर्किटेक्चर (LLaVA वेरिएंट्स) में निरंतर प्रभावशीलता प्रदर्शित की।
- यह विधि ट्रांसफर करने योग्य है और किसी विशिष्ट मॉडल की विशिष्टताओं (idiosyncrasies) पर निर्भर नहीं है।

5. महत्व और प्रभाव (Significance and Impact)

व्याख्यात्मकता (Interpretability): ब्लैक-बॉक्स फिल्टर के विपरीत, SGM एक पारदर्शी दृश्य प्रदान करता है कि कौन से न्यूरॉन विषाक्त व्यवहार को संचालित करते हैं, जो सुरक्षा नियंत्रण के लिए एक ट्रैसेबल तंत्र प्रदान करता है।
दक्षता (Efficiency): एक नॉन-पैरामीट्रिक, ट्रेनिंग-फ्री मेथड के रूप में, SGM न्यूनतम कंप्यूटेशनल ओवरहेड जोड़ता है, जिससे यह रियल-टाइम डिप्लॉयमेंट के लिए उपयुक्त बनता है।
मल्टीमॉडल सुरक्षा: यह विशेष रूप से विजन-लैंग्वेज फ्यूजन लेयर्स को लक्षित करके एक महत्वपूर्ण अंतर को संबोधित करता है, जहाँ विषाक्त अवधारणाओं को अक्सर बढ़ाया या आत्मसात किया जाता है, न कि केवल इनपुट या आउटपुट को उपचारित करता है।
भविष्य की दिशा: यह शोध पत्र मल्टीमॉडल सुरक्षा मूल्यांकन (MM-TOXIC-QA) के लिए एक नया मानक स्थापित करता है और एक मॉड्यूलर दृष्टिकोण (SGM $\star$ ) प्रस्तावित करता है जिसे मजबूत, 'डिफेंस-इन-डेप्थ' आर्किटेक्चर के लिए अन्य सुरक्षा रणनीतियों के साथ जोड़ा जा सकता है।

सीमाएँ (Limitations): वर्तमान अध्ययन MLP लेयर्स पर केंद्रित है; अटेंशन मैकेनिज्म तक विस्तार करना भविष्य का कार्य है। इसके अतिरिक्त, ट्रांसफरैबिलिटी अध्ययन वर्तमान में LLaVA वेरिएंट्स तक सीमित है, और डेटासेट मुख्य रूप से स्पष्ट विषाक्तता (explicit toxicity) पर केंद्रित है न कि निहित नीति उल्लंघन (implicit policy violations) पर।