💻 computer science

Finetune Like You Pretrain: Boosting Zero-shot Adversarial Robustness in Vision-language Models

यह शोध पत्र AdvFLYP का प्रस्ताव करता है, जो विजन-लैंग्वेज मॉडल्स के लिए एक नवीन एडवरसेरियल फाइनट्यूनिंग प्रतिमान (पैराडाइम) है, जो कंट्रास्टिव लॉस और फीचर रेगुलराइजेशन के साथ वेब-संग्रहित इमेज-टेक्स्ट पेयर्स का उपयोग करके मूल प्रीट्रेनिंग रेसिपी की नकल करता है, जिससे क्लीन एक्यूरेसी से समझौता किए बिना विविध डोमेन्स में जीरो-शॉट एडवरसेरियल रोबस्टनेस और ट्रांसफरेबिलिटी को महत्वपूर्ण रूप से बढ़ावा मिलता है।

मूल लेखक: Songlong Xing, Weijie Wang, Zhengyu Zhao, Jindong Gu, Philip Torr, Nicu Sebe

प्रकाशित 2026-04-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Songlong Xing, Weijie Wang, Zhengyu Zhao, Jindong Gu, Philip Torr, Nicu Sebe

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास CLIP नाम का एक प्रतिभाशाली, दुनिया घूमने वाला लाइब्रेरियन (पुस्तकालयाध्यक्ष) है। इस लाइब्रेरियन ने लाखों किताबें पढ़ी हैं और इंटरनेट से करोड़ों तस्वीरें देखी हैं। इस वजह से, CLIP यह अनुमान लगाने में अविश्वसनीय रूप से स्मार्ट है कि कोई तस्वीर किस बारे में है, भले ही उसने उस विशिष्ट प्रकार की तस्वीर को पहले कभी न देखा हो। इसे "जीरो-शॉट" (zero-shot) क्षमता कहा जाता—यह एक नए जानवर को "बिल्ली" समझने जैसा है क्योंकि आप जानते हैं कि बिल्लियाँ कैसी दिखती हैं, बिना यह सीखे कि विशेष रूप से "बिल्ली" शब्द क्या है।

हालाँकि, एक समस्या है। यदि कोई किसी तस्वीर पर एक छोटा सा, लगभग अदृश्य स्टिकर (एक एडवर्सरियल अटैक/adversarial attack) लगा देता है, तो CLIP धोखा खा सकता है और एक कुत्ते को टोस्टर समझने लग सकता है। यह आश्चर्यजनक रूप से नाजुक है।

पुराना तरीका: "ड्रिल सार्जेंट" (कठोर प्रशिक्षक) दृष्टिकोण

CLIP को अधिक मजबूत बनाने के लिए, पिछले शोधकर्ताओं ने कोशिश की। उन्होंने फ्लैशकार्ड्स का एक विशिष्ट सेट (जैसे प्रसिद्ध ImageNet डेटासेट) लिया और एक ड्रिल सार्जेंट की तरह व्यवहार किया।

विधि: उन्होंने CLIP को एक तस्वीर दिखाई, उसमें एक "चालाकी भरा स्टिकर" जोड़ा, और चिल्लाकर कहा, "यह एक कुत्ता है! तुम्हें स्टिकर के बावजूद भी कुत्ते को पहचानना सीखना होगा!"
समस्या: यह फ्लैशकार्ड्स के लिए तो ठीक था, लेकिन इसने CLIP की सामान्य समझ को मिटा दिया। यह विशिष्ट फ्लैशकार्ड्स पर इतना केंद्रित हो गया कि वह वास्तविक दुनिया में चीजों को पहचानने में विफल होने लगा। यह एक ऐसे छात्र की तरह था जिसने अभ्यास परीक्षा के उत्तर इतने अच्छे से रट लिए कि वह किसी भी चीज़ के बारे में आलोचनात्मक रूप से सोचना ही भूल गया।

नया विचार: "वैसे ही प्रशिक्षित करें जैसे आप पैदा हुए थे" (AdvFLYP)

इस पेपर के लेखक, सोंगलोंग ज़िंग (Songlong Xing) और उनकी टीम के पास एक अलग विचार था। उन्होंने पूछा: "हम CLIP को एक टेस्ट देने वाले छात्र की तरह क्यों प्रशिक्षित कर रहे हैं, जबकि CLIP को मूल रूप से पूरे इंटरनेट को पढ़ने वाले एक जिज्ञासु खोजकर्ता की तरह प्रशिक्षित किया गया था?"

उन्होंने AdvFLYP (Adversarially Finetune Like You Pretrain) नामक एक नई विधि प्रस्तावित की। यहाँ इसकी उपमा दी गई है:

1. प्रशिक्षण डेटा: "अव्यवस्थित पुस्तकालय" बनाम "फ्लैशकार्ड्स"

पुराना तरीका: व्यवस्थित, लेबल वाले फ्लैशकार्ड्स (ImageNet) का उपयोग किया गया।
नया तरीका (AdvFLYP): इंटरनेट से स्क्रैप की गई 10 लाख रैंडम तस्वीरों और कैप्शन के एक अव्यवस्थित, अराजक ढेर का उपयोग करता है (जैसे LAION डेटासेट)। यह शोर भरा और असंगठित है, लेकिन यह बिल्कुल वैसा ही डेटा है जिसके साथ CLIP मूल रूप से "पैदा" हुआ था।

2. सबक: "कैप्शन से मिलान करें" बनाम "सही उत्तर चुनें"

पुराना तरीका: शिक्षक कहता है, "क्या यह बिल्ली है या कुत्ता? सही लेबल चुनें!" (यह एक वर्गीकरण कार्य है)।
नया तरीका (AdvFLYP): शिक्षक कहता है, "यहाँ स्टिकर वाली एक तस्वीर है, और यहाँ इसका वर्णन करने वाला एक वाक्य है। सुनिश्चित करें कि स्टिकर के बावजूद भी तस्वीर और वाक्य एक-दूसरे के साथ पूरी तरह से फिट बैठते हों।"
यह क्यों काम करता है: यह इस बात का सम्मान करता है कि CLIP का मस्तिष्क मूल रूप से कैसे बना था। उसे लेबल रटने के बजाय, हम बस उसे दुनिया की समझ बनाए रखने के लिए कहते हैं, भले ही दुनिया थोड़ी विकृत क्यों न हो।

3. सुरक्षा जाल: "बॉडीगार्ड" (रेगुलराइजेशन/Regularization)

एक पेच था। क्योंकि इंटरनेट का डेटा अव्यवस्थित होता है, इसलिए कभी-कभी "स्टिकर" CLIP को ऐसी चीजें देखने के लिए मजबूर कर देता है जो वहां हैं ही नहीं, जिससे उसकी मानसिक छवि बहुत अधिक विकृत हो जाती है।

समाधान: लेखकों ने एक "बॉडीगार्ड" (एक गणितीय नियम जिसे रेगुलराइजेशन कहा जाता है) जोड़ा।
यह कैसे काम करता है: यदि स्टिकर के कारण CLIP एक तस्वीर को बहुत अलग तरह से देखने लगता है, तो बॉडीगार्ड उसे धीरे से वापस धकेलता है। वह कहता है, "हे, यह मत भूलना कि यह तस्वीर स्टिकर से पहले कैसी दिखती थी!"
परिणाम: यह CLIP की "जीरो-शॉट" सुपरपावर्स को जीवित रखते हुए उसे चालाकियों को अनदेखा करना भी सिखाता है।

परिणाम: एक स्मार्ट, मजबूत लाइब्रेरियन

जब उन्होंने इस नई विधि का परीक्षण 14 अलग-अलग प्रकार के कार्यों (फूलों को पहचानने से लेकर कारों को पहचानने तक) पर किया, तो परिणाम अद्भुत थे:

पुराने तरीके: CLIP हमलों के प्रति तो सख्त हो गया लेकिन सामान्य चीजों को पहचानने में मूर्ख बन गया।
AdvFLYP: CLIP हमलों के प्रति सख्त भी हो गया और वास्तविक दुनिया में चीजों को पहचानने की अपनी क्षमता भी बनाए रखी।

मुख्य निष्कर्ष

यह पेपर हमें एक सरल लेकिन गहरा सबक सिखाता है: यदि आप एक स्मार्ट AI को अधिक मजबूत बनाना चाहते हैं, तो उसे किसी विशिष्ट टेस्ट के लिए अध्ययन करने के लिए मजबूर न करें। इसके बजाय, उसे वही करने दें जिसके लिए वह पैदा हुआ था—अव्यवस्थित, वास्तविक दुनिया की खोज करना—बस थोड़ी अतिरिक्त सुरक्षा के साथ।

AI के मूल प्रशिक्षण शैली का सम्मान करके, लेखकों ने एक ऐसी प्रणाली बनाई है जो न केवल हैकर्स के खिलाफ अधिक मजबूत है बल्कि रोजमर्रा की जिंदगी में भी अधिक स्मार्ट है।

यहाँ शोध पत्र "Finetune Like You Pretrain: Boosting Zero-shot Adversarial Robustness in Vision-language Models" (AdvFLYP) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

CLIP जैसे विजन-लैंग्वेज मॉडल्स (VLMs) ने प्रभावशाली ज़ीरो-शॉट क्षमताएं प्रदर्शित की हैं, लेकिन वे एडवरसैरियल हमलों (adversarial attacks) के प्रति अत्यधिक संवेदनशील बने हुए हैं, जहाँ पिक्सेल-स्तर के सूक्ष्म बदलाव वर्गीकरण को गलत कर देते हैं।

वर्तमान सीमाएँ: एडवरसैरियल रोबस्टनेस बढ़ाने के मौजूदा तरीके, जिन्हें एडवरसैरियल फाइनट्यूनिंग (AFT) कहा जाता है, आमतौर पर एक ऐसे प्रतिमान (paradigm) का पालन करते हैं जहाँ प्रीट्रेन्ड विजन एनकोडर को एक प्रॉक्सी क्लासिफिकेशन डेटासेट (जैसे ImageNet) पर एडवरसैरियल उदाहरणों और क्रॉस-एन्ट्रॉपी लॉस का उपयोग करके फाइनट्यून किया जाता है।
मुख्य मुद्दा: यह दृष्टिकोण CLIP की मूल प्रीट्रेनिंग प्रक्रिया से काफी अलग है, जो वेब से प्राप्त विशाल, शोर वाले (noisy) इमेज-टेक्स्ट पेयर्स पर आधारित कंट्रास्टिव लर्निंग (contrastive learning) पर निर्भर करती है।
- परिणाम 1: क्लासिफिकेशन डेटासेट पर क्रॉस-एन्ट्रॉपी लॉस के साथ फाइनट्यून करने से मॉडल की ज़ीरो-शॉट सामान्यीकरण (generalization) क्षमताएं कम हो जाती हैं।
- परिणाम 2: प्राप्त रोबस्टनेस अक्सर विभिन्न डोमेन और डेटासेट्स में ट्रांसफर होने की क्षमता में सीमित होती है क्योंकि ट्रेनिंग डिस्ट्रीब्यूशन (साफ, लेबल वाली क्लासेज) प्रीट्रेनिंग डिस्ट्रीब्यूशन (शोर वाला, ओपन-वोकैबुलरी वेब डेटा) से मेल नहीं खाता है।

2. कार्यप्रणाली: AdvFLYP (Methodology: AdvFLYP)

लेखक AdvFLYP (Adversarially Finetune Like You Pretrain) प्रस्तावित करते हैं, जो CLIP की मूल प्रीट्रेनिंग रेसिपी के साथ एडवरसैरियल फाइनट्यूनिंग प्रक्रिया को संरेखित (align) करता है।

A. ट्रेनिंग डेटा डिस्ट्रीब्यूशन (Training Data Distribution)

ImageNet जैसे क्यूरेटेड क्लासिफिकेशन डेटासेट के बजाय, AdvFLYP वेब-स्केल इमेज-टेक्स्ट पेयर्स (विशेष रूप से LAION-400M से लिए गए 1 मिलियन पेयर्स) का उपयोग करता है। यह मूल प्रीट्रेनिंग डेटा के शोर वाले, विविध वितरण की नकल करता है।

B. ट्रेनिंग ऑब्जेक्टिव (Contrastive Loss)

इमेज को क्लास लेबल्स के साथ संरेखित करने के लिए क्रॉस-एन्ट्रॉपी लॉस को मिनिमाइज करने के बजाय, AdvFLYP कंट्रास्टिव लॉस (पेपर में समीकरण 1) को मिनिमाइज करता है।

प्रक्रिया: इमेज-टेक्स्ट पेयर्स $\{(x_i, t_i)\}$ के एक बैच के लिए, बैच के भीतर कंट्रास्टिव लॉस को मैक्सिमाइज करने के लिए एडवरसैरियल परटर्बेशन्स $\delta_i$ उत्पन्न किए जाते हैं।
ऑप्टिमाइज़ेशन: इसके बाद विजन एनकोडर को इस कंट्रास्टिव लॉस को मिनिमाइज करने के लिए अपडेट किया जाता है, जो प्रभावी रूप से मॉडल को अपने संबंधित टेक्स्ट के साथ एडवरसैरियल इमेज को मिलाने के लिए मजबूर करता है, जबकि बैच के अन्य इमेज को नेगेटिव सैंपल्स के रूप में मानता है।
मुख्य अंतर: पिछले तरीकों के विपरीत, जहाँ प्रति इमेज स्वतंत्र रूप से क्लासिफिकेशन लॉस को मैक्सिमाइज करने के लिए परटर्बेशन्स उत्पन्न किए जाते हैं, AdvFLYP कंट्रास्टिव ऑब्जेक्टिव को मैक्सिमाइज करने के लिए बैच के लिए संयुक्त रूप से (jointly) परटर्बेशन्स उत्पन्न करता है।

C. रेगुलराइजेशन रणनीतियाँ (Regularization Strategies)

चूंकि वेब डेटा शोर वाला होता है, इसलिए कंट्रास्टिव लॉस के माध्यम से एडवरसैरियल उदाहरण उत्पन्न करने से विजन एनकोडर के फीचर एम्बेडिंग्स विकृत हो सकते हैं जो नुकसानदेह हो सकते हैं। लेखक इसे कम करने के लिए दो रेगुलराइजेशन टर्म्स पेश करते हैं:

फीचर-लेवल रेगुलराइजेशन ( $L_{feat}$ ):
- लक्ष्य: ज़ीरो-शॉट क्षमताओं को बनाए रखना और विजन एनकोडर को विकृत फीचर्स सीखने से रोकना।
- तंत्र: यह एडवरसैरियल इमेज फीचर्स (टारगेट मॉडल $f_\theta$ $f_{θ}$ द्वारा निर्मित) के दो स्रोतों से विचलन को दंडित करता है:
  1. क्लीन इमेज फीचर्स (उसी मॉडल से)।
  2. फ्रोजन ओरिजिनल CLIP ( $F_{\theta_0}$ ) द्वारा निर्मित एडवरसैरियल फीचर्स।
- प्रभाव: यह फीचर स्पेस को स्थिर रखकर क्लीन एक्यूरेसी में महत्वपूर्ण सुधार करता है।
लॉगिट-लेवल रेगुलराइजेशन ( $L_{logit}$ ):
- लक्ष्य: रोबस्टनेस और जनरलाइजेशन को बढ़ाना।
- तंत्र: टारगेट मॉडल और फ्रोजन ओरिजिनल CLIP (और क्लीन काउंटरपार्ट्स) के प्रोबेबिलिटी लॉजिट्स के बीच KL-डाइवर्जेंस लॉस लागू करता है।
- प्रभाव: यह डाउनस्ट्रीम टास्क में एडवरसैरियल रोबस्टनेस को काफी बेहतर बनाता है।

अंतिम लॉस फंक्शन (Final Loss Function):
$\theta' = \arg \min_\theta \{ \mathcal{L}_{CLIP} + \mathcal{L}_{logit} + \mathcal{L}_{feat} \}$

3. मुख्य योगदान (Key Contributions)

प्रतिमान परिवर्तन (Paradigm Shift): यह लेबल किए गए डेटासेट्स पर क्रॉस-एन्ट्रॉपी लॉस का उपयोग करने वाली मानक AFT प्रथा को चुनौती देता है। यह प्रस्तावित करता है कि प्रीट्रेनिंग डेटा डिस्ट्रीब्यूशन (वेब-स्केल इमेज-टेक्स्ट) और ऑब्जेक्ट (कंट्रास्टिव लॉस) का सम्मान करना रोबस्ट VLMs के लिए महत्वपूर्ण है।
नया रेगुलराइजेशन: यह प्रदर्शित करता है कि जबकि लॉगिट-लेवल रेगुलराइजेशन रोबस्टनेस में मदद करता है, फीचर-लेवल रेगुलराइजेशन शोर वाले डेटा के संदर्भ में क्लीन एक्यूरेसी को बनाए रखने के लिए विशिष्ट रूप से महत्वपूर्ण है।
स्टेट-ऑफ-द-आर्ट प्रदर्शन: एक नया मानक स्थापित करता है जो जटिल आर्किटेक्चरल परिवर्तनों या वेब-स्केल पेयर्स के अलावा अतिरिक्त ट्रेनिंग डेटा की आवश्यकता के बिना मौजूदा तरीकों से बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन अटैक प्रकारों: PGD-10, CW-10, और AutoAttack के तहत विभिन्न डोमेन (ऑब्जेक्ट रिकग्निशन, फाइन-ग्रैन्ड क्लासिफिकेशन, सीन रिकग्निशन, आदि) के 14 डाउनस्ट्रीम डेटासेट्स पर AdvFLYP का मूल्यांकन किया।

रोबस्टनेस (Robustness):
- AdvFLYP (Basic): इसने 35.61% की औसत रोबस्ट एक्यूरेसी हासिल की (TeCoA के 33.00% के मुकाबले, जो पिछला SOTA था)।
- AdvFYLPfull (रेगुलराइजेशन के साथ): इसने 38.39% औसत रोबस्ट एक्यूरेसी प्राप्त की, जो PMG-AFT और TGA-ZSR सहित सभी बेसलाइन्स से काफी बेहतर है।
- मजबूत हमले (Stronger Attacks): अधिक मजबूत अटैक बजट ( $\epsilon = 2/255$ और $4/255$ ) के तहत, AdvFLYP ने लगातार बेसलाइन्स पर प्रदर्शन का अंतर बनाए रखा, जो बेहतर ट्रांसफरेबिलिटी को दर्शाता है।
क्लीन एक्यूरेसी (Clean Accuracy):
- AFT में एक बड़ी समस्या रोबस्टनेस और क्लीन एक्यूरेसी के बीच का ट्रेड-ऑफ है।
- AdvFYLPfull ने 55.84% की औसत क्लीन एक्यूरेसी हासिल की, जो सुपरवाइज्ड बेसलाइन्स (TeCoA: 51.35%, PMG-AFT: 54.25%) से बेहतर है और उच्च रोबस्टनेस बनाए रखते हुए अनसुपरवाइज्ड मेथड्स के प्रदर्शन के करीब है।
एब्लेशन स्टडीज (Ablation Studies):
- पुष्टि की कि कंट्रास्टिव ऑब्जेक्ट रोबस्टनेस के लिए केंद्रीय है।
- दिखाया कि फीचर-लेवल रेगुलराइजेशन इस विशिष्ट प्रतिमान में क्लीन एक्यूरेसी बनाए रखने के लिए आवश्यक है, जो पिछले अध्ययनों के विपरीत है जहाँ क्रॉस-एन्ट्रॉसी-आधारित AFT में फीचर रेगुलराइजेशन कम प्रभावी था।
- यह भी प्रदर्शित किया कि केवल "Finetune Like You Pretrain" (FLYP) अवधारणा को ImageNet पर बिना सावधानी के लागू करना (बैच ओवरलैप को अनदेखा करते हुए) काम नहीं करता है; वेब डेटा + कंट्रास्टिव लॉस + संयुक्त परटर्बेशन का संयोजन आवश्यक है।

5. महत्व (Significance)

रोबस्टनेस पर पुनर्विचार: पेपर तर्क देता है कि रोबस्टनेस को प्रीट्रेनिंग संदर्भ को अनदेखा करने वाले एक अलग पोस्ट-ट्रेनिंग चरण के रूप में नहीं देखा जाना चाहिए। इसके बजाय, रोबस्टनेस तब सबसे अच्छी तरह प्राप्त की जाती है जब एडवरसैरियल नॉइज़ पेश करते समय भी प्रीट्रेनिंग प्रक्षेपवक्र (डिस्ट्रीब्यूशन और ऑब्जेक्ट) को जारी रखा जाता है।
सामान्यीकरण (Generalizability): यह विधि डोमेन-अज्ञेय (domain-agnostic) है और विशिष्ट क्लास लेबल्स पर निर्भर नहीं है, जिससे यह ओपन-वोकैबुलरी कार्यों के लिए अत्यधिक ट्रांसफर करने योग्य बन जाती है।
दक्षता (Efficiency): दृष्टिकोण सरल और सहज है, जिसमें केवल मानक कंट्रास्टिव लॉस और रेगुलराइजेशन टर्म्स की आवश्यकता होती है, फिर भी यह अटेंशन मैकेनिज्म या टेक्स्ट-गाइडेड प्रॉम्प्ट्स पर निर्भर जटिल तरीकों से बेहतर प्रदर्शन करता है।
कम्युनिटी प्रभाव: यह VLMs के लिए एडवरसैरियल फाइनट्यूनिंग के लिए एक नया बेंचमार्क सेट करता है, जो सुझाव देता है कि भविष्य के शोध को VLMs को पारंपरिक क्लासिफिकेशन प्रतिमानों में धकेलने के बजाय उनके प्रीट्रेनिंग ऑब्जेक्ट्स के साथ संरेखित करने को प्राथमिकता देनी चाहिए।