Dynamic Token Reweighting for Robust Vision-Language Models

यहाँ शोध पत्र "Dynamic Token Reweighting for Robust Vision-Language Models" (DTR) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

बड़े विजन-लैंग्वेज मॉडल्स (VLMs) तेजी से मल्टीमॉडल जेलब्रेक हमलों (multimodal jailbreak attacks) के प्रति संवेदनशील होते जा रहे हैं। केवल टेक्स्ट-आधारित हमलों के विपरीत, ये हमले सुरक्षा बाधाओं (safety guardrails) को बायपास करने के लिए विजुअल और टेक्स्ट इनपुट के बीच की अंतःक्रिया का लाभ उठाते हैं।

• भेद्यता (The Vulnerability): हमलावर हानिकारक टेक्स्ट को प्रतिकूल छवियों (adversarial images) के साथ जोड़ते हैं (जो कि विचलित (perturbed) हैं, Stable Diffusion द्वारा उत्पन्न हैं, या जिनमें टाइपोग्राफी है) ताकि एक सुरक्षा-संबंधित वितरण बदलाव (safety-relevant distributional shift) उत्पन्न किया जा सके। यह बदलाव मॉडल के आंतरिक सक्रियण स्थान (internal activation space) को बदल देता है, जिससे वह हानिकारक अनुरोधों को हानिरहित समझने लगता है और असुरक्षित प्रतिक्रियाएं उत्पन्न करता है।
• मौजूदा सुरक्षा उपायों की सीमाएँ (Limitations of Existing Defenses):
  • फाइन-ट्यूनिंग दृष्टिकोण (Fine-tuning approaches): इनके लिए क्यूरेटेड सुरक्षा डेटा पर गणनात्मक रूप से महंगे पुन: प्रशिक्षण (retraining) की आवश्यकता होती है और ये डेटा की गुणवत्ता पर बहुत अधिक निर्भर करते हैं।
  • इन्फरेंस-स्टेज दृष्टिकोण (जैसे इमेज-टू-टेक्स्ट रूपांतरण): ECSO या AdaShield जैसे तरीके सामग्री को फ़िल्टर करने के लिए छवियों को टेक्स्ट में बदलते हैं। हालाँकि, इससे उच्च विलंबता (latency) होती है, महत्वपूर्ण सूचना की हानि होती है (सूक्ष्म प्रतिकूल परिवर्तनों को खो देती है), और अक्सर हानिरहित कार्यों पर मॉडल के प्रदर्शन को कम कर देती है।
  • एक्टिवेशन/लॉगिट सुधार (Activation/Logit Correction): हालिया विधियाँ संदर्भ मॉडलों या इमेज-टू-टेक्स्ट रूपांतरण का उपयोग करके वितरण संबंधी बदलावों को संतुलित करने का प्रयास करती हैं, जो कम्प्यूटेशनल ओवरहेड और संभावित अशुद्धियों को जन्म देता है।

2. कार्यप्रणाली: DTR (Dynamic Token Reweighting)

DTR एक इन्फरेंस-टाइम डिफेंस (inference-time defense) है जो मॉडल को पुन: प्रशिक्षित किए बिना या इमेज-टू-टेक्स्ट रूपांतरण के बिना, मॉडल के की-वैल्यू (Key-Value - KV) कैश को गतिशील रूप से अनुकूलित करके जेलब्रेक हमलों को कम करता है।

मुख्य अवधारणा: रिवर्सल सेफ्टी-रेलेवेंट शिफ्ट (Reversal Safety-Relevant Shift - RSS)

लेखक एक सटीक टेक्स्ट समकक्ष (जिसे सटीक रूप से बनाना कठिन है) की आवश्यकता के बिना, विजुअल इनपुट के सुरक्षा जोखिम को मापने के लिए एक नवीन सूत्र प्रस्तुत करते हैं।

• रिफ्यूज़ल दिशा ($d_{ref}$): सक्रियण स्थान (activation space) में एक वेक्टर जो हानिकारक अनुरोधों को अस्वीकार करने की मॉडल की प्रवृत्ति को दर्शाता है। इसे हानिकारक और हानिरहित टेक्स्ट प्रॉम्प्ट्स के एक छोटे सेट का उपयोग करके पूर्व-निर्धारित (pre-compute) किया जाता है।
• RSS की परिभाषा: वर्तमान इनपुट के बदलाव को मापने के बजाय, DTR रिफ्यूज़ल दिशा के साथ रिवर्सल (reversal) के माध्यम से अनुकूलित करके प्राप्त होने वाले अधिकतम बदलाव को मापता है।
  • परिकल्पना (Hypothesis): जेलब्रेक क्वेरीज़ रिफ्यूज़ल दिशा के साथ अत्यधिक "अनुकूलन योग्य" (optimizable) होती हैं (अर्थात, विजुअल टोकन में छोटे बदलाव मॉडल को इनकार करने से बदलकर अनुपालन करने की ओर ले जा सकते हैं)। हानिरहित क्वेरीज़ ऐसी नहीं होती हैं।
  • मीट्रिक: $\Delta^*_{safe}(x) = \max_{\alpha} (f(x) - f(x^{(\alpha)})) \cdot d_{ref}$। यदि RSS अधिक है, तो इनपुट संभवतः एक जेलब्रेक है।

रक्षा तंत्र (The Defense Mechanism)

DTR एक अनुकूलन समस्या (optimization problem) को सूत्रबद्ध करता है ताकि एक स्केलिंग वेक्टर $\alpha$ पाया जा सके जो अर्थपूर्णता को संरक्षित करते हुए सुरक्षा बदलाव को कम करे।

• अनुकूलन उद्देश्य (Optimization Objective):
  $$\alpha^* = \arg \min_{\alpha} \left( f(x^{(\alpha)}) \cdot d_{ref} + \lambda \| f(x) - f(x^{(\alpha)}) \|^2 \right)$$
  • पहला पद (Term 1): रिफ्यूज़ल दिशा पर प्रोजेक्शन को कम करता है (मॉडल को वापस सुरक्षा की ओर धकेलता है)।
  • दूसरा पद (Term 2): एक रेगुलेराइज़ेशन टर्म जो यह सुनिश्चित करता है कि पुन: भारित (reweighted) सक्रियण मूल के करीब रहे, जिससे हानिरहित क्वेरीज़ के लिए उपयोगिता बनी रहे।
  • $\lambda$: सुरक्षा और उपयोगिता के बीच संतुलन बनाने वाला एक हाइपरपैरामीटर।

दक्षता के लिए कार्यान्वयन रणनीतियाँ (Implementation Strategies for Efficiency)

यह सुनिश्चित करने के लिए कि DTR व्यावहारिक है, दो रणनीतियों का उपयोग किया गया है:

1. अर्ली स्टॉपिंग (Early Stopping): अनुकूलन जेलब्रेक क्वेरीज़ के लिए जल्दी अभिसरित (converge) हो जाता है (लगभग ~4 स्टेप्स के भीतर), इसलिए पूर्ण अभिसरण की आवश्यकता नहीं है।
2. टोकन इविक्शन (Token Eviction): जिन विजुअल टोकन्स के स्केलिंग फैक्टर्स $\alpha_i$ एक थ्रेशोल्ड $\beta$ से नीचे हैं, उन्हें पूरी तरह से इविक्ट (evict) (हटा दिया) जाता है। यह कम्प्यूटेशनल लोड को कम करता है और प्रतिकूल शोर (adversarial noise) को हटा देता है।

3. मुख्य योगदान (Key Contributions)

1. नवीन रक्षा प्रतिमान (Novel Defense Paradigm): मल्टीमॉडल सुरक्षा के लिए विशेष रूप से KV कैश अनुकूलन को लागू करने वाला पहला कार्य, जो महंगी फाइन-ट्यूनिंग या इमेज-टू-टेक्स्ट रूपांतरण से दूर जाता है।
2. नया सूत्र (New Formulation): रिवर्सल सेफ्टी-रेलेवेंट शिफ्ट (RSS) को पेश करता है, जो सटीक इमेज कैप्शन या संदर्भ मॉडल की आवश्यकता के बिना विजुअल-प्रेरित सुरक्षा जोखिमों को मापने की एक विधि है।
3. डायनेमिक रीवेटिंग (Dynamic Reweighting): एक तंत्र जो प्रतिकूल विजुअल टोकन्स को चुनिंदा रूप से कम करता है जबकि फीचर टोकन्स को सुरक्षित रखता है, जो मजबूती (robustness) और व्याख्यात्मकता ($\alpha$ वेट्स के माध्यम से) दोनों प्रदान करता है।
4. एडवर्सरियल डिलेमा (Adversarial Dilemma): DTR हमलावरों के लिए एक मौलिक द्वंद्व (trade-off) बनाता है। सुरक्षा को बायपास करने के लिए, उन्हें प्रतिकूल टोकन के महत्व को बढ़ाना होगा, जिससे अर्थपूर्ण सुसंगतता (semantic coherence) नष्ट हो जाएगी। अर्थपूर्णता बनाए रखने के लिए, उन्हें प्रतिकूल टोकन के महत्व को कम करना होगा, जिससे हमला पता लगाने योग्य बन जाएगा।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने विविध VLMs (LLaVA-1.5, LLaVA-Llama2, MiniGPT-v2, InternVL, Llama-4) और बेंचमार्क (HADES, MM-SafetyBench, JailbreakV-28K) में DTR का मूल्यांकन किया।

• हमला रोधकता (Attack Robustness):
  • DTR अत्याधुनिक सुरक्षा उपायों (AdaShield, JailGuard, CoCA, ShiftDC) से काफी बेहतर प्रदर्शन करता है।
  • HADES बेंचमार्क (S+T+A हमला) पर, DTR ने अटैक सक्सेस रेट (ASR) को बेस मॉडल के 56.9% से घटाकर 15.9% कर दिया, जबकि अगला सबसे अच्छा डिफेंस (AdaShield) इसे केवल 17.6% तक ही कम कर सका।
  • यह विभिन्न प्रकार के हमलों को प्रभावी ढंग से संभालता है: एडवर्सरियल परटर्बेशन, Stable Diffusion एम्बेडिंग्स और टाइपोग्राफी।
• उपयोगिता संरक्षण (Utility Preservation):
  • अन्य बेसलाइनों के विपरीत जो हानिरहित कार्यों पर प्रदर्शन को कम कर देते हैं, DTR MM-Vet और MME बेंचमार्क पर उच्च स्कोर बनाए रखता है।
  • यह OCR, गणित और स्थानिक जागरूकता (spatial awareness) की क्षमताओं को बरकरार रखता है, जिसमें बेस मॉडल की तुलना में नगण्य गिरावट आती है।
• इन्फरेंस दक्षता (Inference Efficiency):
  • DTR हल्का है। यह न्यूनतम ओवरहेड जोड़ता है (औसत इन्फरेंस समय: बेस के 3.65s के मुकाबले 4.01s)।
  • इसके विपरीत, ShiftDC (जो इमेज-टू-टेक्स्ट का उपयोग करता है) 10.66s लेता है, और AdaShield 5.24s लेता है।
• व्याख्यात्मकता (Interpretability):
  • स्केलिंग वेक्टर $\alpha$ विजुअल हीटमैप प्रदान करता है जो दिखाता है कि किन टोकन को कम किया गया है। जेलब्रेक के मामलों में, एडवर्सरियल नॉइज़ टोकन्स को दबा दिया जाता है (कम $\alpha$), जबकि सिमेंटिक फीचर टोकन्स उच्च रहते हैं। हानिरहित मामलों में, वेट्स समान रहते हैं।
• अनुकूली हमले (Adaptive Attacks):
  • यहाँ तक कि मजबूत एडेप्टिव हमलों के तहत भी, जहाँ हमलावर RSS को कम करने का प्रयास करता है, DTR मजबूत बना रहता है, जो हमलावर को एक दुविधा में डाल देता है।

5. महत्व (Significance)

• प्रतिमान परिवर्तन (Paradigm Shift): DTR यह प्रदर्शित करता है कि VLMs में सुरक्षा को बाहरी डेटा क्यूरेशन या महंगे रूपांतरण पाइपलाइन पर निर्भर रहने के बजाय आंतरिक निरूपणों (internal representations - KV caches) के इन्फरेंस-टाइम अनुकूलन के माध्यम से बढ़ाया जा सकता है।
• व्यावहारिकता (Practicality): इमेज-टू-टेक्स्ट रूपांतरण या मॉडल फाइन-ट्यूनिंग की आवश्यकता को समाप्त करके, DTR वास्तविक दुनिया के VLM अनुप्रयोगों के लिए एक तैनात करने योग्य (deployable), कम-विलंबता वाला समाधान प्रदान करता है।
• सैद्धांतिक अंतर्दृष्टि (Theoretical Insight): यह कार्य विभिन्न डेटासेट और डोमेन में "रिफ्यूज़ल डायरेक्शंस" की सार्वभौमिकता को प्रमाणित करता है, यह पुष्टि करता है कि सुरक्षा संरेखण (safety alignment) एक अंतर्निहित ज्यामितीय गुण है जिसे टोकन वेटिंग के माध्यम से हेरफेर किया जा सकता है।
• भविष्य की दिशा (Future Direction): यह केवल इनपुट या आउटपुट को संशोधित करने के बजाय, अटेंशन मैकेनिज्म और KV कैश को हेरफेर करके फाउंडेशन मॉडल्स को सुरक्षित करने के लिए एक नया अनुसंधान मार्ग खोलता है।