🤖 AI

Dual Adversarial Fine-tuning for Enhancing Robustness of Large Vision Language Model

यह शोध पत्र एक दोहरी प्रतिकूल फाइन-ट्यूनिंग (dual adversarial fine-tuning) रूपरेखा प्रस्तावित करता है जो विज़ुअल और सिमेंटिक सुपरविजन संकेतों को संयुक्त रूप से अनुकूलित करता है ताकि बिना किसी आर्किटेक्चर संशोधन या कार्य-विशिष्ट पुनप्रशिक्षण के, प्रतिकूल हमलों (adversarial attacks) के विरुद्ध लार्ज विजन-लैंग्वेज मॉडल्स की मजबूती और क्रॉस-टास्क सामान्यीकरण क्षमता को महत्वपूर्ण रूप से बढ़ाया जा सके।

मूल लेखक: Sibo Wang, Jie Zhang, Shiguang Shan, Xilin Chen, Wen Gao

प्रकाशित 2026-07-22

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sibo Wang, Jie Zhang, Shiguang Shan, Xilin Chen, Wen Gao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए एक ऐसी दुनिया की जहाँ कंप्यूटर केवल तस्वीरें देखते नहीं हैं बल्कि वास्तव में उन्हें "समझते" हैं, जैसे कोई दोस्त फोटो एल्बम देखते हुए बातें कर रहा हो। यह लार्ज विजन-लैंग्वेज मॉडल्स (LVLMs) का क्षेत्र है, जो उन सुपर-स्मार्ट AI दिमागों के पीछे की शक्ति हैं जो सूर्यास्त का वर्णन कर सकते हैं, किसी आरेख (डायग्राम) पर आधारित प्रश्नों के उत्तर दे सकते हैं, या एक अकेली छवि से कहानी सुना सकते हैं। इन दिग्गजों को काम करने के योग्य बनाने के लिए, वैज्ञानिक उन्हें छवियों को शब्दों के साथ जोड़ना सिखाते हैं, ठीक वैसे ही जैसे किसी पहेली के टुकड़े को उसके सही स्थान पर मिलाना। हालाँकि, एक छिपी हुई समस्या है: ये AI दिमाग आश्चर्यजनक रूप से नाजुक होते हैं। जिस तरह एक जादूगर को मामूली ध्यान भटकाने से चकमा दिया जा सकता है, उसी तरह इन मॉडल्स को "एडवर्सरियल अटैक्स" (adversarial attacks) द्वारा मूर्ख बनाया जा सकता है—छवि में ऐसे सूक्ष्म, अदृश्य बदलाव जो मानवीय आंखों को केवल शोर (static) की तरह दिखते हैं, लेकिन AI को पूरी तरह से भ्रमित कर देते हैं, जिससे वह एक कुत्ते को टोस्टर या बस को जिराफ समझने लगता है। यह एक बड़ी बात है क्योंकि जैसे-जैसे हम इन मॉडल्स पर महत्वपूर्ण कार्यों के लिए भरोसा करना शुरू कर रहे हैं, हमें यह सुनिश्चित करने की आवश्यकता है कि वे डिजिटल शोर से धोखा न खा जाएं।

यहाँ एक शोधकर्ताओं की नई टीम आई है जिन्होंने तय किया कि वे AI को इतना आसानी से मूर्ख बनने से रोकेंगे। उन्होंने महसूस किया कि इन मॉडल्स को "मजबूत" बनाने के पिछले प्रयास एक ऐसे बॉक्सर को प्रशिक्षित करने जैसे थे जो केवल एक विशिष्ट प्रतिद्वंद्वी के खिलाफ लड़ने के लिए प्रशिक्षित किया गया हो; मॉडल उस एक लड़ाई में तो माहिर हो जाते थे लेकिन अन्य कुछ भी संभालने में विफल रहते थे। शोधकर्ताओं ने एक चतुर नया प्रशिक्षण शिविर प्रस्तावित किया जिसे डुअल एडवर्सरियल फाइन-ट्यूनिंग (DAFT) कहा जाता है। केवल AI को शोर को अनदेखा करना सिखाने के बजाय, उन्होंने उसे एक साथ दो सबक सिखाए। पहला, उन्होंने उसे छवि का "स्वच्छ" संस्करण (सत्य) दिखाया ताकि उसकी स्मृति तेज रहे। दूसरा, उन्होंने छवि के बारे में सरल लेबल जैसे "बिल्ली" या "कुत्ता" के बजाय समृद्ध, वर्णनात्मक कहानियों (कैप्शन) का उपयोग किया। इसे ऐसे समझें जैसे किसी छात्र को केवल "सेब" शब्द को रटने के लिए नहीं, बल्कि सेब की पूरी अवधारणा को समझने के लिए सिखाना—उसका लाल रंग, उसका कुरकुरापन, और फलों की टोकरी में उसका स्थान—ताकि यदि कोई चित्र पर कुछ लिख भी दे, तो भी छात्र जानता हो कि वह क्या है।

यह शोध पत्र पाता है कि यह दोहरी रणनीति चमत्कार करती है। जब उन्होंने अपने नए तरीके का परीक्षण पुराने तरीकों के विरुद्ध किया, तो DAFT-प्रशिक्षित मॉडल्स अदृश्य शोर के हमलों के बावजूद शांत और संयमित रहे। चाहे कार्य वस्तुओं को पहचानना (classification) हो, उनके बारे में एक वाक्य लिखना (captioning) हो, या किसी कठिन प्रश्न का उत्तर देना (visual question answering) हो, नया तरीका अपना धैर्य बनाए रखने में सफल रहा। शोधकर्ताओं ने दिखाया कि AI की "आंखों" को उनके नए प्रशिक्षित संस्करण से बदलने पर, पूरा सिस्टम बहुत अधिक कठिन हो गया जिसे धोखा दिया जा सके, और यह सब पूरे मस्तिष्क को फिर से बनाए बिना संभव हुआ। यह एक सुपरहीरो को नए चश्मे देने जैसा है जो बुरी चीजों को फिल्टर करता है जबकि अच्छी चीजों को बिल्कुल स्पष्ट रखता है।

शोध पत्र की कहानी

समस्या: "वन-ट्रिक पोनी" AI
लार्ज विजन-लैंग्वेज मॉडल्स (LVLMs) अद्भुत हैं। वे एक फेरिस व्हील (झूले) की फोटो देखकर बता सकते हैं कि यह एक "फेरिस व्हील" है, या "बीच में कौन सी सवारी है?" जैसे प्रश्न का उत्तर दे सकते हैं। लेकिन इन मॉडल्स की एक गुप्त कमजोरी है: वे आसानी से धोखा खा जाते हैं। यदि आप एक तस्वीर में थोड़ा सा अदृश्य शोर (एडवर्सरियल अटैक) जोड़ देते हैं, तो AI अचानक सोच सकता है कि फेरिस व्हील एक "बस" या "जिराफ" है।

वैज्ञानिकों ने इसे पहले भी ठीक करने की कोशिश की है। कुछ ने साधारण लेबल (जैसे "बिल्ली" या "बस") का उपयोग करके AI को प्रशिक्षित करने का प्रयास किया, जबकि उन्हें ये ट्रिकी, शोर वाली तस्वीरें दिखाई गईं। लेकिन यह शोध पत्र तर्क देता है कि यह एक कुत्ते को केवल तब "बैठो" कहने पर बैठने के लिए प्रशिक्षित करने जैसा है जब आप एक शांत कमरे में हों; यदि आप शोर वाले पार्क में कहते हैं, तो कुत्ता भ्रमित हो जाता है। ये विधियाँ सरल कार्यों के लिए ठीक थीं लेकिन तब विफल रहीं जब AI को कहानी लिखने या जटिल प्रश्न पूछने जैसे कठिन कार्य करने थे। अन्य विधियों ने बिना किसी लेबल के AI को प्रशिक्षित करने की कोशिश की, लेकिन वे वास्तव में कठिन हमलों को झेलने के लिए पर्याप्त मजबूत नहीं थे।

समाधान: एक दो-भाग वाला प्रशिक्षण शिविर
इस शोध पत्र के लेखकों, सिबो वांग और उनकी टीम ने AI को प्रशिक्षित करने का एक नया तरीका निकाला जिसे DAFT (डुअल एडवर्सरियल फाइन-ट्यूनिंग) कहा जाता है। उन्होंने महसूस किया कि AI को वास्तव में मजबूत बनाने के लिए, उसे एक ही समय में दो प्रकार के मार्गदर्शन की आवश्यकता थी, जैसे एक छात्र दो अलग-अलग शिक्षकों के साथ पढ़ रहा हो।

"विजुअल" शिक्षक (द एंकर): प्रशिक्षण का यह भाग AI के "आंखों" (विजन एनकोडर) के एक फ्रीज किए गए, मूल संस्करण का उपयोग करता है। यह एक संदर्भ मार्गदर्शिका के रूप में कार्य करता है। जब AI एक शोर भरी, ट्रिकी तस्वीर को देखता है, तो यह शिक्षक कहता है, "हे, याद रखो कि असली तस्वीर कैसी दिखती थी? इसके मूल गुणों को मत भूलना।" यह AI को भ्रमित होने और ओवरफिटिंग (शोर को सत्य के बजाय याद कर लेना) से रोकता है।
"सिमेंटिक" शिक्षक (द स्टोरीटेलर): यह मुख्य नवाचार है। साधारण लेबल जैसे "बस" या "बिल्ली" के बजाय, यह शिक्षक छवि का विस्तृत वर्णन करने वाले पूर्ण वाक्यों या कैप्शन का उपयोग करता है। उदाहरण के लिए, केवल "बस" कहने के बजाय, यह कहता है, "एक नीली बस एक बरसाती सड़क पर चल रही है।" इसके बाद AI को इस समृद्ध विवरण के साथ शोर वाली तस्वीर का मिलान करने के लिए प्रशिक्षित किया जाता है। यह AI को केवल श्रेणी के बजाय छवि के अर्थ और संदर्भ को समझने में मदद करता है।

जादू यह है कि ये दो शिक्षक मिलकर काम करते हैं। "विजुअल" शिक्षक AI को वास्तविकता से जोड़े रखता है, जबकि "सिमेंटिक" शिक्षक उसे छवि का गहरा अर्थ समझने में मदद करता है, भले ही तस्वीर खराब हो गई हो।

परिणाम: मजबूत और स्मार्ट
टीम ने विभिन्न कार्यों पर अपने नए तरीके का परीक्षण किया। उन्होंने एक लोकप्रिय AI मॉडल जिसे LLaVA कहा जाता है, लिया और उसकी मूल "आंखों" को अपने नए, मजबूत संस्करण से बदल दिया। फिर, उन्होंने इसे अदृश्य शोर के साथ हमला करके देखा कि क्या होता है।

जीरो-शॉट क्लासिफिकेशन: जब कभी देखी गई तस्वीरों में वस्तुओं को पहचानने के लिए कहा गया, तो DAFT मॉडल शोर को अनदेखा करने में बहुत बेहतर था। पुराने तरीकों की तुलना में जिसने साधारण लेबल का उपयोग किया था, इसने औसतन सटीकता में लगभग 12% का सुधार किया।
कैप्शनिंग और Q&A: यहीं पर नया तरीका वास्तव में चमका। जब शोर वाली छवि का वर्णन करने या प्रश्न का उत्तर देने के लिए कहा गया, तो पुराने मॉडल्स अक्सर बेतुके उत्तर (जैसे क्रेन को "जिराफ" कहना) देने लगे। हालाँकि, DAFT मॉडल सही उत्तर देता रहा। उदाहरण के लिए, एक परीक्षण में, जबकि अन्य मॉडल हमले के दौरान "फेरिस व्हील" को सही ढंग से पहचानने में विफल रहे, DAFT मॉडल ने इसे सफलतापूर्वक पहचाना।
ट्रेड-ऑफ (संतुलन): शोध पत्र नोट करता है कि कभी-कभी, मॉडल को हमलों के प्रति इतना मजबूत बनाने से वह साफ तस्वीरों को देखने में थोड़ा कमजोर हो सकता है। हालाँकि, DAFT ने साफ चित्रों पर अपना प्रदर्शन मौजूदा सर्वोत्तम तरीकों के लगभग बराबर बनाए रखा, जबकि हमलों के खिलाफ बहुत अधिक मजबूत रहा।

शोध पत्र क्या खारिज करता है
लेखक बहुत स्पष्ट हैं कि क्या काम नहीं करता है। वे तर्क देते हैं कि केवल श्रेणी लेबल (जैसे "बिल्ली" या "बस") का उपयोग करना ही पर्याप्त नहीं है क्योंकि इससे ओवरफिटिंग होती है। वे यह भी दिखाते हैं कि बिना किसी टेक्स्ट सहायता के अनसुपरवाइज्ड विधियों का उपयोग करना सबसे उन्नत हमलों के खिलाफ पर्याप्त मजबूत नहीं है। उनके प्रयोग सुझाव देते हैं कि सर्वोत्तम परिणाम प्राप्त करने के लिए आपको वास्तव में विजुअल ग्राउंडिंग और समृद्ध सिमेंटिक समझ के संयोजन की आवश्यकता है।

वे कितने आश्वस्त हैं?
लेखकों ने कई अलग-अलग डेटासेट्स (जैसे Caltech101, COCO, और VQAv2) और विभिन्न स्तरों के शोर (विशेष रूप से $\epsilon = 2/255$ और $\epsilon = 4/255$ के व्यवधान बजट) के तहत व्यापक प्रयोग किए। उन्होंने अपने तरीके की तुलना वर्तमान सर्वोत्तम तरीकों (जैसे TeCoA और FARE) से की और पाया कि DAFT लगातार उनसे बेहतर प्रदर्शन करता है। उन्होंने केवल इसका अनुकरण नहीं किया; उन्होंने वास्तव में मॉडल्स को प्रशिक्षित किया और वास्तविक दुनिया के कार्यों पर उनका परीक्षण किया। परिणाम उनके प्रयोगों से प्राप्त मापे गए तथ्यों के रूप में प्रस्तुत किए गए हैं, जो मजबूती में स्पष्ट सुधार दिखाते हैं।

निष्कर्ष
यह शोध पत्र बताता है कि AI विजन मॉडल्स को वास्तव में सुरक्षित और विश्वसनीय बनाने के लिए, हम उन्हें केवल शोर को अनदेखा करना नहीं सिखा सकते; हमें उन्हें छवि के पीछे की कहानी को समझना सिखाना होगा जबकि दृश्य तथ्यों पर अपनी पकड़ मजबूत रखनी होगी। एक "दोहरी" पद्धति का उपयोग करके जो एक विजुअल एंकर को समृद्ध, वर्णनात्मक कैप्शन के साथ जोड़ती है, शोधकर्ताओं ने एक ऐसा मॉडल बनाया है जिसे धोखा देना बहुत कठिन है, जो इन शक्तिशाली AI उपकरणों की सुरक्षा की दिशा में एक महत्वपूर्ण कदम है।

तकनीकी सारांश: लार्ज विजन लैंग्वेज मॉडल की मजबूती बढ़ाने के लिए डुअल एडवर्सरियल फाइन-ट्यूनिंग (DAFT)

समस्या विवरण

लार्ज विजन-लैंग्वेज मॉडल्स (LVLMs), जैसे कि LLaVA और GPT-4V, मल्टीमॉडल डेटा को समझने और तर्क करने में उल्लेखनीय क्षमता प्रदर्शित करते हैं। हालांकि, वे विजुअल एडवर्सरियल हमलों (visual adversarial attacks) के प्रति स्वाभाविक रूप से संवेदनशील बने रहते हैं, जहाँ विजुअल इनपुट में अदृश्य शोर (imperceptible noise) मॉडल को गलत आउटपुट उत्पन्न करने के लिए मजबूर कर सकता है, जैसे कि गलत कैप्शन या विजुअल प्रश्नों के गलत उत्तर।

मौजूदा रक्षा रणनीतियाँ LVLMs पर लागू होने पर दो महत्वपूर्ण सीमाओं का सामना करती हैं:

कैटेगरी-अलाइन्ड सुपरविजन में ओवरफिटिंग और खराब जनरलाइजेशन: TeCoA जैसे तरीके सुपरविजन के लिए फिक्स्ड टेक्स्ट एम्बेडिंग्स (जैसे ImageNet क्लास लेबल) पर निर्भर करते हैं। पूर्व-निर्धारित श्रेणियों के भीतर ज़ीरो-शॉट वर्गीकरण के लिए प्रभावी होने के बावजूद, इस दृष्टिकोण में इमेज कैप्शनिंग और विजुअल क्वेश्चन अनस्विंग (VQA) जैसे जटिल कार्यों के लिए आवश्यक सिमेंटिक समृद्धि (semantic richness) का अभाव है। फलस्वरूप, मजबूती के लाभ अक्सर अनदेखे डेटासेट्स या मल्टीमॉडल कार्यों में स्थानांतरित नहीं हो पाते हैं।
अनसुपरवाइज्ड फाइन-ट्यूनिंग से सीमित लाभ: FARE जैसे अनसुपरवाइज्ड तरीके लेबल रहित डेटा के माध्यम से क्लीन और एडवर्सरियल फीचर्स को अलाइन करके जनरलाइजेशन में सुधार करते हैं। हालांकि, वे मुख्य रूप से फीचर विसंगतियों (feature discrepancies) को कम करने पर ध्यान केंद्रित करते हैं और अक्सर उन परिष्कृत हमलों से बचाव करने में विफल रहते हैं जो विशेष रूप से LVLMs के इमेज-टेक्स्ट अलाइनमेंट मैकेनिज्म को लक्षित करते हैं।

इसके अलावा, बड़े मॉडल्स के लिए शून्य से एडवर्सरियल ट्रेनिंग करना कम्प्यूटेशनल रूप से अत्यधिक खर्चीला है। इसलिए, चुनौती एक ऐसी एडवर्सरियल फाइन-ट्यूनिंग रणनीति विकसित करने में है जो पूरे मॉडल को पुन: प्रशिक्षित किए बिना या अलग-अलग कार्य-विशिष्ट अनुकूलन के बिना विविध डाउनस्ट्रीम कार्यों में मजबूती बढ़ा सके।

कार्यप्रणाली: डुअल एडवर्सरियल फाइन-ट्यूनिंग (DAFT)

लेखक DAFT का प्रस्ताव करते हैं, जो एक डुअल एडवर्सरियल फाइन-ट्यूनिंग फ्रेमवर्क है जिसे विजुअल और सिमेंटिक सुपरविजन सिग्नल्स को संयुक्त रूप से अनुकूलित करने के लिए डिज़ाइन किया गया है। यह विधि एक LVLM के विजन एनकोडर (विशेष रूप से CLIP के विजन एनकोडर) को फाइन-ट्यून करने पर केंद्रित है। एक बार फाइन-ट्यून होने के बाद, यह रोबस्ट एनकोडर LLaVA जैसे मॉडल्स में मूल एनकोडर को बदल सकता है, जिससे भाषा मॉडल या पूरे सिस्टम को पुन: प्रशिक्षित किए बिना एडवर्सरियल रेजिस्टेंस प्राप्त होता है।

यह फ्रेमवर्क दो सहक्रियात्मक (synergistic) शाखाओं से बना है:

1. विजुअल सुपरविजन शाखा (Visual Supervision Branch)

इस शाखा का लक्ष्य प्री-ट्रेंड मॉडल की जनरलाइजेशन क्षमताओं को बनाए रखना और विशिष्ट एडवर्सरियल उदाहरणों के प्रति ओवरफिटिंग को कम करना है।

तंत्र: यह क्लीन इमेजेस से फीचर्स निकालने के लिए एक फ्रोजन ओरिजिनल विजन एनकोडर ( $F_{ori}$ ) का उपयोग करता है।
उद्देश्य: टारगेट मॉडल ( $F_\theta$ ) को एडवर्सरियल उदाहरणों ( $x_a$ ) के फीचर्स और फ्रोजन एनकोडर द्वारा निकाले गए क्लीन इमेजेस ( $x$ ) के फीचर्स के बीच $L_2$ दूरी को कम करने के लिए प्रशिक्षित किया जाता है।
लॉस फंक्शन: $L_{vis} = ||F_{ori}(x) - F_\theta(x_a)||_2^2$ ।
प्रभाव: यह सुनिश्चित करता है कि टारगेट मॉडल मूल फाउंडेशनल मॉडल के मजबूत और सामान्यीकरण योग्य फीचर्स को बनाए रखता है।

2. सिमेंटिक सुपरविजन शाखा (Semantic Supervision Branch)

यह शाखा मल्टीमॉडल सुसंगतता (coherence) को लक्षित करने वाले हमलों से बचाव के लिए समृद्ध सिमेंटिक अलाइनमेंट की आवश्यकता को संबोधित करती है।

तंत्र: सरल कैटेगरी लेबल्स के बजाय, यह शाखा सिमेंटिक सुपरविजन सिग्नल के रूप as डिस्क्रिप्टिव कैप्शंस का उपयोग करती है।
उद्देश्य: यह एडवर्सरियल उदाहरणों को उनके ग्राउंड-ट्रुथ डिस्क्रिप्टिव कैप्शंस के साथ अलाइन करता है और उन्हें उसी बैच के असंबंधित कैप्शंस से दूर धकेलता है।
लॉस फंक्शन: एक ट्रिपलेट लॉस का उपयोग किया जाता है जहाँ एडवर्सरियल फीचर 'एंकर' है, ग्राउंड-ट्रुथ कैप्शन एम्बेडिंग पॉजिटिव सैंपल ( $P_o$ ) है, और "हार्डेस्ट" नेगेटिव सैंपल ( $N_e$ )—जिसे बैच में एडवर्सरियल फीचर के सबसे समान कैप्शन के रूप में परिभाषित किया गया है—का उपयोग मार्जिन को अधिकतम करने के लिए किया जाता है।
लॉस फंक्शन: $L_{sem} = \max(\frac{F_\theta(x_a) \cdot T_\phi(N_e)}{||F_\theta(x_a)|| ||T_\phi(N_e)||} - \frac{F_\theta(x_a) \cdot T_\phi(P_o)}{||F_\theta(x_a)|| ||T_\phi(P_o)||} + \alpha, 0)$ ।
प्रभाव: यह हमले के तहत सिमेंटिक सुसंगतता बनाए रखने के लिए कैप्शंस की समृद्ध प्रासंगिक जानकारी का लाभ उठाता है, जो VQA और कैप्शनिंग जैसे कार्यों के लिए महत्वपूर्ण है।

ऑप्टिमाइजेशन (Optimization)

अंतिम ऑब्जेक्टिव फंक्शन दोनों शाखाओं को जोड़ता है: $L_{DAFT} = L_{sem} + \gamma L_{vis}$ । प्रशिक्षण प्रक्रिया में एक अल्टरनेटिंग मिन-मैक्स ऑप्टिमाइजेशन शामिल है:

अटैक जनरेशन: प्रोजेक्टेड ग्रेडिएंट डिसेंट (PGD) का उपयोग करके $L_{DAFT}$ को मैक्सिमाइज करके एडवर्सरियल उदाहरण $x_a$ जेनरेट करें।
पैरामीटर अपडेट: जेनरेट किए गए एडवर्सरियल उदाहरणों पर $L_{DAFT}$ को मिनिमाइज करके विजन एनकोडर के पैरामीटर्स $\theta$ को अपडेट करें।

प्रमुख योगदान

डुअल सुपरविजन फ्रेमवर्क: DAFT का प्रस्ताव, जो ओवरफिटिंग को कम करते हुए LVLMs में क्रॉस-टास्क मजबूती को बढ़ाने के लिए विजुअल और सिमेटिक सुपरविजन सिग्नल्स को संयुक्त रूप से ऑप्टिमाइज़ करता है।
कैप्शन-गाइडेड सिमेंटिक सुपरविजन: लेखकों के ज्ञान तक, यह पहला फ्रेमवर्क है जो एडवर्सरियल ट्रेनिंग के लिए कैटेगरी लेबल्स (बजाय डिस्क्रिप्टिव कैप्शंस के) के रूप में समृद्ध सिमेंटिक जानकारी का उपयोग करता है। यह दृष्टिकोण समृद्ध सिमेंटिक जानकारी का लाभ उठाकर मल्टीमॉडल कार्यों में मजबूती को काफी सुधारता है।
प्लग-एंड-प्ले रोबस्टनेस: यह विधि मूल LVLM में केवल CLIP विजन एनकोडर को बदलकर क्रॉस-टास्क मजबूती प्राप्त करती है, जिसमें किसी अलग कार्य-विशिष्ट पुन: प्रशिक्षण या आर्किटेक्चर संशोधन की आवश्यकता नहीं होती है।

प्रयोगात्मक परिणाम

लेखकों ने कई डेटासेट्स (जैसे Caltech101, COCO, VQAv2) पर $\epsilon = 2/255$ और $\epsilon = 4/255$ के पर्टर्बेशन बजट का उपयोग करके ज़ीरो-शॉट क्लासिफिकेशन, इमेज कैप्शनिंग और VQA कार्यों पर DAFT का मूल्यांकन किया।

ज़ीरो-शॉट क्लासिफिकेशन: DAFT ने स्टेट-ऑफ-द-आर्ट विधियों (TeCoA, PMG-AFT, FARE) को पीछे छोड़ दिया। $\epsilon = 2/255$ के तहत, इसने कैटेगरी-लेबल सुपरवाइज्ड विधियों की तुलना में औसत रोबस्ट एक्यूरेसी में लगभग 12% और अनसुपरवाइज्ड FARE विधि पर 1.2% का सुधार किया, जबकि क्लीन एक्यूरेसी को तुलनीय बनाए रखा।
इमेज कैप्शनिंग और VQA: DAFT ने जेनेरेटिव कार्यों में बेहतर मजबूती प्रदर्शित की। FARE (पिछले SOTA) की तुलना में, DAFT ने $\epsilon = 2/255$ के तहत औसत CIDEr स्कोर में 2.3 और औसत VQA एक्यूरेसी में 1.1% का सुधार किया। $\epsilon = 4/255$ जैसे मजबूत हमलों के तहत, सुधार और भी स्पष्ट थे।
एब्लेशन स्टडीज (Ablation Studies):
- लॉस कंपोनेंट्स: विजुअल और सिमेंटिक दोनों सुपरविजन का उपयोग करने से सर्वोत्तम परिणाम मिले। केवल सिमेंटिक सुपरविजन का उपयोग करने से महत्वपूर्ण ओवरफिटिंग हुई, जबकि केवल विजुअल सुपरविजन से मजबूती को अधिकतम करने में विफलता मिली।
- सुपरविजन का प्रकार: डिस्क्रिप्टिव कैप्शंस को कैटेगरी लेबल्स से बदलने के परिणामस्वरूप ज़ीरो-शॉट क्लासिफिकेशन एक्यूरेसी में 12.4% की गिरावट और CIDEr स्कोर में 15.2 पॉइंट की गिरावट आई, जो कैप्शन-आधारित सुपरविजन की श्रेष्ठता की पुष्टि करता है।
- नेगेटिव सैंपलिंग: "हार्डेस्ट" नेगेटिव सैंपल चुनना महत्वपूर्ण था; "ईज़िएस्ट" नेगेटिव्स का उपयोग करने से मजबूती लगभग शून्य हो गई।
- हाइपरपैरामीटर्स: मार्जिन $\alpha=0.2$ और बैलेंसिंग कोएफिशिएंट $\gamma=0.5$ के साथ इष्टतम प्रदर्शन प्राप्त हुआ।

महत्व और दावे

पेपर का दावा है कि DAFT वर्तमान LVLM डिफेंस रिसर्च के महत्वपूर्ण अंतर को संबोधित करता है, जहाँ मौजूदा विधियाँ या तो विशिष्ट वर्गीकरण श्रेणियों के प्रति ओवरफिट होती हैं या जटिल मल्टीमॉडल अलाइनमेंट मैकेनिज्म की सुरक्षा करने में विफल रहती हैं। विजुअल और सिमेटिक अलाइनमेंट को हमले की स्थिति में एकीकृत करके, DAFT एक स्केलेबल समाधान प्रदान करता है जो पूरे मॉडल को पुन: प्रशिक्षित करने की कम्प्यूटेशनल लागत के बिना विविध डाउनस्ट्रीम कार्यों (क्लासिफिकेशन, कैप्शनिंग, VQA) में एडवर्सरियल मजबूती बढ़ाता है। लेखक इस कार्य को LVLMs के सुरक्षित परिनियोजन (deployment) को सुरक्षित करने की दिशा में एक कदम के रूप में देखते हैं, यह सुनिश्चित करते हुए कि विजुअल इनपुट के बाधित होने पर भी प्रदर्शन सुसंगत रहे।

लेखक सीमाओं का भी उल्लेख करते हैं, जिसमें CLIP-आधारित मॉडल्स पर ध्यान केंद्रित करना, व्हाइट-बॉक्स प्रकृति, और ट्रेनिंग के लिए COCO डेटासेट पर निर्भरता शामिल है, जो सुझाव देते हैं कि भविष्य के कार्य गैर-CLIP आर्किटेक्चर, ब्लैक-बॉक्स डिफेंस और बड़े कैप्शन डेटासेट्स का पता लगा सकते हैं।