तकनीकी सारांश: डीप रिप्रजेंटेशन की प्रमाणित सुदृढ़ता के लिए फीचर-स्पेस स्मूथिंग (Feature-Space Smoothing)

1. समस्या विवरण

आधुनिक डीप लर्निंग मॉडल, विशेष रूप से GPT-4 और Gemini जैसे मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs), अत्यधिक प्रभावी हैं लेकिन एडवरसेरियल हमलों (adversarial attacks) के प्रति संवेदनशील भी हैं। ये हमले स्वच्छ इनपुट में सूक्ष्म, अदृश्य गड़बड़ी (perturbations) इंजेक्ट करते हैं ताकि फीचर रिप्रजेंटेशन को विकृत करके त्रुटिपूर्ण भविष्यवाणियां की जा सकें। हालांकि अनुभवजन्य रक्षा (जैसे एडवरसेरियल ट्रेनिंग) मौजूद हैं, लेकिन उनमें औपचारिक सुदृढ़ता गारंटी (formal robustness guarantees) का अभाव है और वे अक्सर अधिक शक्तिशाली, अनुकूलित विरोधियों (adaptive adversaries) के विरुद्ध विफल हो जाते हैं। इसके अतिरिक्त, मौजूदा प्रमाणित रक्षा विधियां (जैसे रैंडमाइज्ड स्मूथिंग) मुख्य रूप से डिस्क्रीट आउटपुट वाले वर्गीकरण कार्यों के लिए डिज़ाइन की गई हैं, जिससे उन्हें सामान्य फीचर रिप्रजेंटेशन, रिग्रेशन कार्यों, या MLLMs की जटिल डिकोडिंग प्रक्रियाओं पर लागू करना कठिन हो जाता है। साथ ही, सुदृढ़ता में सुधार के लिए बड़े प्री-ट्रेंड मॉडल्स को फिर से प्रशिक्षित करना कम्प्यूटेशनल रूप से अत्यधिक खर्चीला है।

मुख्य चुनौती एक ऐसे रक्षा ढांचे को विकसित करने की है जो फीचर रिप्रजेंटेशन स्तर पर प्रमाणित सुदृढ़ता (certified robustness) प्रदान करे, विविध मॉडलों और कार्यों (MLLMs सहित) में सामान्यीकरण (generalizable) योग्य रहे, और महंगे मॉडल रिट्रेनिंग या फाइन-ट्यूनिंग की आवश्यकता से बच सके।

2. कार्यप्रणाली (Methodology)

प्रस्तावित समाधान के दो मुख्य घटक हैं: फीचर-स्पेस स्मूथिंग (FS) और गौसियन स्मूथनेस बूस्टर (GSB)।

2.1 फीचर-स्पेस स्मूथिंग (FS)

FS एक सामान्य ढांचा है जो एक मानक फीचर एनकोडर $f_e$ को गौसियन स्मूथिंग के माध्यम से एक स्मूथ वेरिएंट $\hat{f}_e$ में परिवर्तित करता है।

• तंत्र (Mechanism): एक इनपुट $x$ के लिए, स्मूथ एनकोडर एक गौसियन वितरण पर फीचर रिप्रजेंटेशन का प्रत्याशा (expectation) आउटपुट करता है: $\hat{f}_e(x) = \mathbb{E}_{\epsilon \sim \mathcal{N}(0, I)}[f_e(x + \epsilon)]$.
• सैद्धांतिक गारंटी: लेखक एक फीचर कोसाइन सिमिलरिटी बाउंड (FCSB) स्थापित करते हैं। वे सिद्ध करते हैं कि $\ell_2$-बाउंडेड गड़बड़ी के तहत, स्वच्छ फीचर और एडवरसेरियल स्मूथ फीचर के बीच कोसाइन सिमिलरिटी एक विशिष्ट निचली सीमा (lower bound) से ऊपर रहने की गारंटी देती है।
• प्रमाणित त्रिज्या (Certified Radius): यह बाउंड एक प्रमाणित त्रिज्या $R$ के व्युत्पन्न की अनुमति देता है। यदि गड़बड़ी का परिमाण $R$ के भीतर है, तो स्वच्छ और एडवरसेरियल फीचर्स के बीच कोसाइन सिमिलरिटी एक थ्रेशोल्ड (जैसे 0.5) से ऊपर रहने की गारंटी होती है।
• प्रेडिक्शन-वाइज एक्सटेंशन: यह ढांचा इस फीचर-स्तर की गारंटी को प्रेडिक्शन-स्तर के प्रमाणन तक विस्तारित करता है। उन कार्यों के लिए जहां भविष्यवाणियों को नॉर्मलाइज्ड वेक्टर्स के रूप में दर्शाया जा सकता है (जैसे रिट्रीवल, प्रोटोटाइप-आधारित वर्गीकरण), FCSB लक्षित भविष्यवाणी और स्वच्छ भविष्यवाणी के बीच कोसाइन सिमिलरिटी पर एक गारंटीकृत बाउंड में परिवर्तित हो जाता है।

2.2 गौसियन स्मूथनेस बूस्टर (GSB)

FS के सैद्धांतिक बाउंड अंतर्निहित एनकोडर के गौसियन सुदृढ़ता स्कोर (Gaussian robustness score) पर निर्भर करते हैं। प्री-ट्रेंड एनकोडर्स में अक्सर सीमित गौसियन सुदृढ़ता होती है, जिससे सब-ऑप्टिमल प्रमाणित त्रिज्या प्राप्त होती है। बिना बैकबोन को रिट्रेन किए इसे संबोधित करने के लिए, लेखक GSB का प्रस्ताव करते हैं, जो एक प्लग-एंड-प्ले मॉड्यूल है जिसमें शामिल हैं:

1. गौसियन डिनॉइज़र ($\mathcal{P}$): एक हल्का मॉड्यूल (जैसे U-Net) जिसे फीचर एनकोडर से पहले रखा जाता है। इसे गौसियन-करप्टेड इनपुट्स से स्वच्छ इनपुट्स को पुनर्गठित करने के लिए प्रशिक्षित किया जाता है, जिससे फीचर एक्सट्रैक्शन से पहले शोर (noise) कम हो जाता है।
2. रेसिडुअल स्मूथनेस मैपर ($\mathcal{M}$): एक मॉड्यूल जिसे फीचर एक्सट्रैक्शन के बाद रखा जाता है। यह शुद्ध किए गए फीचर्स को रिफाइन करता है ताकि मूल फीचर वितरण को बनाए रखते हुए सुदृढ़ता बढ़ाई जा सके। यह स्थिरता सुनिश्चित करने के लिए एक रेसिडुअल लर्निंग दृष्टिकोण का उपयोग करता है।

प्रशिक्षण रणनीति (Training Strategy): GSB को यूटिलिटी-सुदृढ़ता ट्रेड-ऑफ लॉस का उपयोग करके स्व-पर्यवेक्षित (self-supervised) तरीके से प्रशिक्षित किया जाता है। बैकबोन एनकोडर फ्रीज रहता है। डिनॉइज़र रिकंस्ट्रक्शन लॉस और फीचर कंसिस्टेंसी लॉस को कम करता है, जबकि मैपर फीचर कंसिस्टेंसी लॉस और सांख्यिकीय रेगुलाइजेशन (मीन और वेरिएंस बनाए रखने के लिए) के साथ-साथ स्वच्छ इनपुट्स के लिए आइडेंटिटी लॉस को कम करता है।

3. प्रमुख योगदान

• फीचर-स्पेस स्मूथिंग (FS): एक सामान्य रक्षा ढांचा जो किसी भी फीचर एनकोडर को एक स्मूथ वेरिएंट में बदल देता है, जिसमें $\ell_2$ गड़बड़ी के तहत स्वच्छ और एडवरसेरियल फीचर्स के बीच कोसाइन सिमिलरिटी का प्रमाण योग्य निचला बाउंड (FCSB) होता है।
• प्रेडिक्शन-वाइज सर्टिफिकेशन: सैद्धांतिक विस्तार जो दिखाता है कि फीचर-लेवल FCSB गारंटी को नॉर्मलाइज्ड वेक्टर आउटपुट वाले कार्यों (जैसे Top-1 रिट्रीवल, क्लासिफिकेशन) के लिए प्रेडिक्शन-लेवल सुदृढ़ता तक प्रसारित किया जा सकता है।
• गौसियन स्मूथनेस बूस्टर (GSB): एक प्लग-एंड-प्ले मॉड्यूल जो बैकबोन को फाइन-ट्यून किए बिना मौजूदा एनकोडर्स के गौसियन सुदृढ़ता स्कोर को बढ़ाता है, जिससे प्रमाणित त्रिज्या में सुधार होता है।
• व्यवस्थित मूल्यांकन: विभिन्न विजन एनकोडर्स (CLIP, SigLIP 2, EVA-CLIP) और MLLMs (LLaVA, OpenFlamingo) पर व्यापक प्रयोग जो प्रदर्शित करते हैं कि FS गैर-तुच्छ (non-trivial) प्रमाणित सुदृढ़ता प्रदान करता है और मजबूत व्हाइट-बॉक्स हमलों के खिलाफ इसके एम्पिरिकल प्रदर्शन में काफी सुधार करता है।

4. प्रयोगात्मक परिणाम

4.1 प्रमाणित सुदृढ़ता (Certified Robustness)

• फीचर-वाइज: ImageNet पर, GSB को FS के साथ एकीकृत करने से FCSB $\geq 0.5$ के लिए औसत प्रमाणित त्रिज्या ($R$) में उल्लेखनीय वृद्धि हुई। उदाहरण के लिए, $\sigma=0.5$ के साथ, CLIP के लिए औसत त्रिज्या 0.101 से बढ़कर 0.455 हो गई, और SigLIP 2 के लिए 0.134 से बढ़कर 0.514 हो गई।
• प्रेडिक्शन-वाइज: ImageNet क्लासिफिकेशन पर, FS ने मानक रैंडमाइज्ड स्मूथिंग (RS) के समान प्रमाणित सटीकता प्राप्त की, लेकिन इसके लिए अलग से स्मूथ क्लासिफायर की आवश्यकता नहीं पड़ी। SigLIP 2 के लिए, FS ने $\epsilon=1.00$ पर 64.0% प्रमाणित सटीकता प्राप्त की, जो RS (67.6%) के तुलनीय है।
• रिट्रीवल: MS COCO जीरो-शॉट रिट्रीवल पर, FS ने गैर-तुच्छ प्रमाणित सटीकता प्रदान की, हालांकि टेक्स्ट एम्बेडिंग्स की सघन प्रकृति के कारण मार्जिन क्लासिफिकेशन की तुलना में कम थे।

4.2 व्हाइट-बॉक्स हमलों के विरुद्ध एम्पिरिकल सुदृढ़ता

फ्रेमवर्क का परीक्षण MLLMs (LLaVA-1.5-7B, OpenFlamingo-9B) पर इमेज कैप्शनिंग, क्लासिफिकेशन और VQA कार्यों के लिए अत्याधुनिक व्हाइट-बॉक्स हमलों (PGD, APGD, M-Attack, FOA, AttackVLM) के विरुद्ध किया गया।

• इमेज कैप्शनिंग: मजबूत FOA हमले के तहत, वैनिला LLaVA की सटीकता गिरकर 1% हो गई। FS के साथ, सटीकता बढ़कर 65% हो गई, और अटैक सक्सेस रेट (ASR) 94% से घटकर 6% रह गया। FS ने बिना किसी अतिरिक्त फाइन-ट्यूनिंग के एडवरसेरियलली ट्रेंड बेसलाइन्स (FARE, TeCoA) की सुदृढ़ता में भी सुधार किया।
• इमेज क्लासिफिकेशन: FS ने FOA हमलों के तहत LLaVA की सटीकता को 3.8% से बढ़ाकर 87.2% कर दिया, जिससे ASR 81% से घटकर 0.2% हो गया।
• VQA: FS ने क्लीन एक्यूरेसी (54.0%) को बनाए रखा और साथ ही गौसियन-नॉइजी एक्यूरेसी में सुधार किया और ASR को शून्य के करीब ला दिया, जबकि एडवरसेरियल ट्रेनिंग बेसलाइन्स (FARE, TeCoA) को महत्वपूर्ण क्लीन परफॉरमेंस गिरावट का सामना करना पड़ा।

4.3 दक्षता (Efficiency)

फीचर-वाइज स्मूथिंग पूरे-मॉडल स्मूथिंग की तुलना में कम इन्फरेंस ओवरहेड लेता है। $n_0=8$ गौसियन सैंपल्स के साथ, LLaVA के लिए इन्फरेंस समय केवल ~0.36 सेकंड प्रति इमेज बढ़ा, जो इसकी व्यावहारिक व्यवहार्यता को दर्शाता है।

5. महत्व और दावे

यह पेपर दावा करता है कि फीचर-स्पेस स्मूथिंग (FS) एक महत्वपूर्ण प्रगति प्रदान करता है क्योंकि यह प्रमाणित सुदृढ़ता के फोकस को कार्य-विशिष्ट आउटपुट स्पेस से बदलकर फीचर रिप्रजेंटेशन स्तर पर ले आता है। यह निम्नलिखित की अनुमति देता है:

1. सामान्यीकरण (Generalizability): यह विधि प्रेडिक्शन हेड या बैकबोन को संशोधित किए बिना विविध डाउनस्ट्रीम कार्यों (वर्गीकरण, रिट्रीवल, जनरेशन) पर लागू होती है।
2. प्लग-एंड-प्ले इंटीग्रेशन: GSB के माध्यम से, मौजूदा बड़े पैमाने के प्री-ट्रेंड मॉडल्स (MLLMs सहित) को पूर्ण मॉडल रिट्रेनिंग या अलाइनमेंट की कम्प्यूटेशनल लागत के बिना सुदृढ़ बनाया जा सकता है।
3. प्रमाणित गारंटी: यह फीचर सिमिलरिटी पर गणितीय रूप से प्रमाण योग्य निचली सीमा प्रदान करता है, जो प्रेडिक्शन स्थिरता में अनुवादित होता है, जिससे विश्वास का एक स्तर मिलता है जिसकी अनुभवजन्य रक्षाओं में कमी होती है।

लेखक सीमाओं को स्वीकार करते हुए नोट करते हैं कि वर्तमान प्रमाणन $\ell_2$-बाउंडेड गड़बड़ी तक सीमित है और कोसाइन-सिमिलरिटी-आधारित निर्णय नियमों पर निर्भर करता है, जो सभी ओपन-एंडेड MLLM डिकोडिंग व्यवहारों को कवर नहीं कर सकता है। भविष्य के कार्य का लक्ष्य इस ढांचे को अन्य थ्रेट मॉडल्स (जैसे $\ell_\infty$, सिमेंटिक अटैक्स) और व्यापक जनरेशन कार्यों तक विस्तारित करना है।