Visual Token Compression Enhances Robustness of MLLMs
यह शोधपत्र एक विज़ुअल टोकन प्रूनिंग विधि का प्रस्ताव करता है जो मिसअलाइन्ड (misaligned) और आउट-ऑफ-डिस्ट्रीब्यूशन (out-of-distribution) विज़ुअल टोकनों की पहचान करके और उन्हें हटाकर मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स को जेलब्रेक हमलों और मतिभ्रम (hallucinations) के विरुद्ध सुदृढ़ बनाता है, साथ ही साथ इन्फरेंस लागत को भी कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर केवल शब्दों को नहीं पढ़ते बल्कि चित्रों को भी "देख" सकते हैं, और सवालों के जवाब देने, कहानियाँ सुनाने या समस्याओं को हल करने के लिए उन्हें आपस में मिलाते हैं। इन्हें मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) कहा जाता है। इन्हें उन सुपर-स्मार्ट छात्रों के रूप में सोचें जिन्होंने लाइब्रेरी की हर किताब पढ़ ली है और वे संदर्भ समझने के लिए एक फोटो को भी देख सकते हैं। हालाँकि, किसी भी छात्र की तरह, वे भी भ्रमित हो सकते हैं। कभी-कभी, यदि आप उन्हें कोई पेचीदा तस्वीर दिखाते हैं या कोई चालाकी भरा सवाल पूछते हैं, तो वे कुछ खतरनाक कहने (एक "जेलब्रेक") या ऐसे तथ्य बनाने के लिए बहकाए जा सकते हैं जो सुनने में असली लगते हैं लेकिन पूरी तरह से गलत होते हैं (एक "हैलुसिनेशन" या मतिभ्रम)।
यह समझने के लिए कि ऐसा क्यों होता है, हमें यह देखना होगा कि ये मॉडल जानकारी को कैसे प्रोसेस करते हैं। वे एक तस्वीर लेते हैं, उसे "विजुअल टोकन" नामक छोटे डिजिटल टुकड़ों में काटते हैं, और उन्हें टेक्स्ट टोकन के साथ मिलाते हैं। समस्या यह है कि कंप्यूटर की "आँखें" और "कान" हमेशा एक ही भाषा पूरी तरह से नहीं बोल पाते। कभी-कभी, एक विजुअल टोकन इतना अजीब या भ्रमित करने वाला होता है कि वह रेडियो सिग्नल में "स्टैटिक नॉइज़" (शोर) की तरह काम करता है। यह शोर मॉडल का संतुलन बिगाड़ सकता है, जिससे वह हमलों के प्रति संवेदनशील हो जाता है या गलत जानकारी गढ़ने लगता है। वैज्ञानिक लंबे समय से जानते हैं कि इस शोर को साफ करने से मदद मिलती है, लेकिन वे आमतौर पर सोचते थे कि यह केवल कंप्यूटर को तेज़ बनाने के बारे में है, न कि सुरक्षा के बारे में।
यह शोध पत्र एक चतुर नई तकनीक पेश करता है जिसे विजुअल टोकन कम्प्रेशन कहा जाता है, विशेष रूप से एक विधि जिसका नाम OOD-VTP (आउट-ऑफ-डिस्ट्रीब्यूशन विजुअल टोकन प्रूनिंग) है। शोधकर्ताओं ने पाया कि "अजीब" विजुअल टोकन को—वे टोकन जो टेक्स्ट के साथ अच्छी तरह से मेल नहीं खाते—पहचानकर और हटाकर, मॉडल वास्तव में हमलों के खिलाफ बहुत अधिक मजबूत हो जाता है और झूठ बोलने की संभावना कम हो जाती है। यह एक क्लब के बाउंसर की तरह है जो उन शोर मचाने वाले मेहमानों को बाहर निकाल देता है जिनका वहाँ कोई काम नहीं है, जिससे पार्टी सुरक्षित और व्यवस्थित रहती है। अध्ययन दिखाता है कि यह केवल एक सिद्धांत नहीं है; जब उन्होंने इसे सात अलग-अलग लोकप्रिय बेंचमार्क पर टेस्ट किया, तो मॉडल काफी कठिन से कठिन ट्रिक झेलने में सक्षम हुआ, अधिक सटीक हुआ और साथ ही तेज़ भी चला।
शोर भरे कमरे की कहानी
कल्पना कीजिए कि आप एक विशाल, शोर वाले कमरे में हैं जहाँ दोस्तों का एक समूह (टेक्स्ट) एक गंभीर बातचीत करने की कोशिश कर रहा है। अचानक, अजनबियों की एक भीड़ (विजुअल टोकन) अंदर आ जाती है। अधिकांश अजनबी मददगार हैं; वे स्नैक्स लाते हैं और कमरे में ऐसी चीजों की ओर इशारा करते हैं जो बातचीत से मेल खाती हैं। लेकिन कुछ लोग शरारती हैं। उन्होंने मास्क पहना हुआ है, वे निरर्थक चिल्ला रहे हैं, या वे ऐसे साइन बोर्ड पकड़े हुए हैं जिनका आपकी बातचीत से कोई मेल नहीं है।
AI की दुनिया में, ये शरारती लोग मिसअलाइन्ड विजुअल टोकन हैं। क्योंकि कंप्यूटर का विज़न और लैंग्वेज सिस्टम पूरी तरह से सिंक (तालमेल) में नहीं है, ये टोकन आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) इनपुट के रूप में कार्य करते हैं। सरल शब्दों में, वे "स्थान से बाहर" हैं। जब AI इन्हें प्रोसेस करने की कोशिश करता है, तो वह भ्रमित हो जाता है। यही भ्रम हमलावरों को AI को "जेलब्रेक" करने (सुरक्षा नियमों को अनदेखा करने के लिए मजबूर करने) या "हैलुसिनेट" करने (तथ्य गढ़ने) की अनुमति देता है।
बाउंसर की रणनीति
इस पेपर के लेखकों ने महसूस किया कि पिछले तरीके AI को तेज़ बनाने की कोशिश करते थे जैसे कि रैंडम टोकन को बाहर निकालना या केवल उन्हें हटाना जो "रिडंडेंट" (जैसे कि सबसे शांत लोगों को बाहर निकालना) लग रहे थे। लेकिन उन्होंने पाया कि इससे AI सुरक्षित नहीं हुआ। वास्तव में, कभी-कभी इससे चीजें और खराब हो गईं!
उनकी नई विधि, OOD-VTP, एक सुपर-स्मार्ट बाउंसर की तरह काम करती है। यह कैसे काम करता है, यहाँ देखें:
- दूरी मापना: बाउंसर हर एक विजुअल टोकन (छवि का हर टुकड़ा) की जाँच करता है और पूछता है, "यह व्यक्ति बातचीत से कितनी दूर है?" वे विजुअल टोकन और "लैंग्वेज फीचर स्पेस" (टेक्स्ट टोकन का समूह) के बीच की दूरी को मापते हैं।
- शरारतियों की पहचान करना: जो टोकन टेक्स्ट से सबसे दूर हैं—जो पूरी तरह से तालमेल से बाहर हैं—उन्हें OOD टोकन के रूप में चिह्नित किया जाता है। ये वे टोकन हैं जो परेशानी पैदा कर रहे हैं।
- सही समय: शोधकर्ताओं ने पाया कि आप लोगों को किसी भी समय बाहर नहीं निकाल सकते। कुछ विशिष्ट "रोबस्ट-प्रूनिंग लेयर्स" (इनको बातचीत के विशिष्ट क्षणों के रूप में सोचें) हैं जहाँ गलत टोकन को हटाना सबसे अच्छा काम करता है। यदि आप उन्हें बहुत जल्दी या बहुत देर से हटाते हैं, तो इससे कोई मदद नहीं मिलती। लेकिन यदि आप उन्हें सही समय पर (जैसे उनके परीक्षणों में लेयर 13 या 17 में) हटाते हैं, तो AI अचानक बहुत अधिक मजबूत हो जाता है।
परिणाम: सुरक्षित, स्मार्ट और तेज़
टीम ने इस बाउंसर रणनीति का परीक्षण दो लोकप्रिय AI मॉडल्स पर किया: LLaVA-OneVision और Qwen-2.5-VL। उन्होंने यह देखने के लिए सात अलग-अलग बेंचमार्क का उपयोग किया कि यह कितना प्रभावी रहा।
- जेलब्रेक को रोकना: जब उन्होंने AI को बुरा काम करने के लिए (जैसे बम बनाने या मैलवेयर डालने का तरीका बताने के लिए) बहकाने की कोशिश की, तो OOD-VTP विधि एक बड़ी सफलता रही। औसतन, इसने मॉडल की "नहीं, मैं यह नहीं करूँगा" कहने की क्षमता में 13.29% का सुधार किया। विशेष रूप से Qwen-2.5-VL मॉडल के लिए, "रिफ्यूज-टू-आंसर रेट" (कितनी बार इसने बुरे अनुरोधों को सफलतापूर्वक रोका) 20.38% से बढ़कर 33.67% हो गया।
- हैलुसिनेशन को रोकना: इस विधि ने AI को चीजें गढ़ने से रोकने में भी मदद की। HallusionBench पर, Qwen मॉडल की सटीकता में 8.00% का सुधार हुआ।
- गति: बोनस के रूप में, क्योंकि उन्होंने कुछ टोकन हटा दिए, AI तेज़ चला। इसने कम टोकन प्रोसेस किए (16,128 से घटकर 10,512 हो गए) और कम कंप्यूटिंग पावर का उपयोग किया (TFlops 4.29 से घटकर 2.78 हो गए), जिससे इसकी बुद्धिमत्ता खोए बिना यह अधिक कुशल बन गया।
उन्होंने क्या नहीं किया (और उन्होंने क्या खारिज कर दिया)
यह ध्यान रखना महत्वपूर्ण है कि इस पेपर ने क्या नहीं किया। उन्होंने AI को शुरू से फिर से ट्रेन नहीं किया। उन्होंने नए सुरक्षा नियम नहीं जोड़े या मॉडल के ब्रेन वेट्स (brain weights) को नहीं बदला। उन्होंने केवल प्रक्रिया के दौरान खराब विजुअल टोकन को काट (प्रून) दिया।
उन्होंने स्पष्ट रूप से इस विचार को भी खारिज कर दिया कि कोई भी टोकन प्रूनिंग AI को सुरक्षित बनाती है। वास्तव में, उन्होंने दिखाया कि यदि आप गलत टोकन को काटते हैं—विशेष रूप से वे जो मददगार और तालमेल में हैं—तो AI कम सुरक्षित हो जाता है। उन्होंने यह परीक्षण करने के लिए "सबसे कम दूरी" वाले टोकन (अच्छे वाले) को हटाया, और मॉडल का सुरक्षा प्रदर्शन गिर गया। यह साबित करता है कि यह केवल चीजों को काटने के बारे में नहीं है; यह उस विशिष्ट शोर को काटने के बारे में है जो परेशानी पैदा करता है।
निचोड़
यह पेपर सुझाव देता है कि मल्टीमॉडल AI को सुरक्षित बनाने की कुंजी विजुअल शोर को साफ करने जितनी सरल हो सकती है। विजुअल टोकन की पहचान करके और उन्हें हटाने से जो टेक्स्ट के साथ फिट नहीं बैठते, मॉडल अधिक स्थिर हो जाता है, उसे चकमा देना कठिन हो जाता है, और उसके तथ्य गढ़ने की संभावना कम हो जाती है। यह एक "प्लग-एंड-प्ले" समाधान है, जिसका अर्थ है कि इसे बड़े बदलाव के बिना मौजूदा मॉडल्स में जोड़ा जा सकता है। हालांकि यह पेपर दिखाता है कि ये परिणाम कई परीक्षणों में सुसंगत और मापे गए हैं, फिर भी यह एक ऐसी विधि है जो जादू की छड़ी के बजाय मजबूती (robustness) को बढ़ाती है। लेकिन एक जिज्ञासु किशोर (या सुरक्षा-जागरूक AI डेवलपर) के लिए, यह देखना दिलचस्प है कि कैसे थोड़ा सा प्रूनिंग हमारे डिजिटल दोस्तों को सुरक्षित रखने में बड़ा अंतर ला सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।