🤖 AI

SS-TPT: Stability and Suitability-Guided Test-Time Prompt Tuning for Adversarially Robust Vision-Language Models

यह शोध पत्र SS-TPT का प्रस्ताव करता है, जो विजन-लैंग्वेज मॉडल्स के लिए एक टेस्ट-टाइम प्रॉम्प्ट ट्यूनिंग विधि है जो अनुकूलन और अनुमान (इन्फरेंस) को निर्देशित करने के लिए स्थिरता और उपयुक्तता स्कोर के माध्यम से संवर्धित दृश्यों (ऑगमेंटेड व्यूज) का मूल्यांकन करके प्रतिकूल मजबूती (एडवर्सरियल रोबस्टनेस) और दक्षता को बढ़ाता है, जिससे मौजूदा अत्याधुनिक दृष्टिकोणों की तुलना में बेहतर रोबस्टनेस-थ्रूपुट ट्रेड-ऑफ प्राप्त होता है।

मूल लेखक: Sunoh Kim, Daeho Um

प्रकाशित 2026-06-08

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Sunoh Kim, Daeho Um

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विद्वान लाइब्रेरियन (AI मॉडल) है जो बिना किसी विशिष्ट उदाहरण को सीखे, केवल फोटो को देखकर उसमें मौजूद वस्तुओं की पहचान कर सकता है। यह लाइब्रेरियन अपने काम में बहुत कुशल है, लेकिन यदि कोई फोटो पर एक बहुत ही छोटा, लगभग अदृश्य धब्बा (एक "एडवर्सरियल अटैक") लगा दे या यदि फोटो लाइब्रेरी की किताबों से बहुत अलग दिखे (एक "डिस्ट्रीब्यूशन शिफ्ट"), तो वह आसानी से भ्रमित हो जाता है।

लाइब्रेरियन को बेहतर निर्णय लेने में मदद करने के लिए, पिछले तरीकों ने उन्हें एक ही फोटो के कई थोड़े अलग संस्करण दिखाने की कोशिश की (जैसे कि एक फोटो दिखाना, फिर उसका धुंधला संस्करण, फिर एक चमकदार संस्करण, और फिर एक घुमाया हुआ संस्करण)। विचार यह था कि यदि लाइब्रेरियन इन सभी संस्करणों पर एक ही उत्तर पर सहमत होता है, तो वह सही होगा।

समस्या:
बहुत अधिक संस्करण दिखाना धीमा है। यह ऐसा है जैसे किसी लाइब्रेरियन से यह तय करने के लिए कि क्या यह एक रहस्य उपन्यास है, एक ही किताब की 63 अलग-अलग प्रतियां पढ़ने के लिए कहना। इसमें बहुत समय लगता है, और लाइब्रेरी में काम का बोझ बढ़ जाता है। साथ भी, यदि उनमें से एक प्रति "खराब" प्रति है (विकृत की गई), तो लाइब्रेरियन भ्रमित हो सकता है, भले ही वह 62 अच्छी प्रतियों को देख रहा हो।

समाधान: SS-TPT
लेखकों ने एक नया तरीका बनाया जिसे SS-TPT (स्टेबिलिटी एंड सूटेबिलिटी-गाइडेड टेस्ट-टाइम प्रॉम्प्ट ट्यूनिंग) कहा जाता है। केवल लाइब्रेरियन को अधिक प्रतियां दिखाने के बजाय, वे उन्हें प्रत्येक देखी गई फोटो की गुणवत्ता का न्याय करना सिखाते हैं।

वे हर फोटो संस्करण के लिए दो सरल "रिपोर्ट कार्ड" का उपयोग करते हैं:

स्थिरता (द "शेक टेस्ट"):
कल्पना कीजिए कि आप लाइब्रेरियन को एक फोटो देते हैं और पूछते हैं, "यह क्या है?" फिर, आप फोटो को धीरे से हिलाते हैं या रोशनी को थोड़ा बदलते हैं (कमजोर ऑगमेंटेशन) और फिर से पूछते हैं।

उच्च स्थिरता (High Stability): लाइब्रेरियन कहता है, "यह एक बिल्ली है," दोनों बार। वह आश्वस्त और सुसंगत है।
निम्न स्थिरता (Low Stability): लाइब्रेरियन कहता है, "यह एक बिल्ली है," फिर "यह एक कुत्ता है," फिर "यह एक टोस्टर है।" वह भ्रमित है।
पाठ: यदि एक दृश्य मामूली बदलाव के साथ अपना विचार बदल देता है, तो वह संभवतः एक खराब दृश्य है।

उपयुक्तता (द "क्राउड टेस्ट"):
कल्पना कीजिए कि लाइब्रेरियन सभी फोटो संस्करणों को एक साथ एक मानसिक "फीचर स्पेस" (चीजें कैसी दिखती हैं इसका एक मानचित्र) में देखता है।

उच्च उपयुक्तता (High Suitability): फोटो का संस्करण अपने दोस्तों के एक भीड़भाड़ वाले समूह के साथ खड़ा है। हर कोई समान दिखता है।
निम्न उपयुक्तता (Low Suitability): फोटो का संस्करण एक खाली मैदान में बिल्कुल अकेला खड़ा है, दूसरों से दूर। वह एक आउटलायर (असंगत) है।
पाठ: यदि कोई दृश्य दूसरों से अलग है जो अन्य लोगों के साथ फिट नहीं बैठता, तो वह संभवतः दूषित या नकली है।

यह व्यवहार में कैसे काम करता है:
SS-TPT प्रणाली इन दो स्कोर का उपयोग एक स्मार्ट फिल्टर के रूप में करने के लिए करती है:

सीखने के दौरान (Adaptation): जब लाइब्रेरियन नई फोटो के प्रति अपनी सोच को समायोजित करने की कोशिश कर रहा होता है, तो सिस्टम उसे बताता है: "उन दृश्यों को अनदेखा करें जो अस्थिर या अकेले हैं। केवल उन दृश्यों को सुनें जो स्थिर हैं और भीड़ के साथ फिट बैठते हैं।" यह लाइब्रेरियन को "खराब" प्रतियों से सीखने से रोकता है।
अंतिम अनुमान के दौरान (Inference): जब अंतिम उत्तर देने का समय आता है, तो सिस्टम केवल सभी अनुमानों का साधारण औसत नहीं लेता है। इसके बजाय, यह भरोसेमंद दृश्यों (उच्च स्कोर) को एक ज़ोरदार आवाज़ देता है और अविश्वसनीय दृश्यों (कम स्कोर) को एक फुसफुसाहट देता है।

परिणाम:
पेपर का दावा है कि यह दृष्टिकोण एक गेम-चेंजर है क्योंकि:

यह तेज़ है: आपको लाइब्रेरियन को 63 संस्करण दिखाने की आवश्यकता नहीं है। आप केवल 15 के साथ बेहतरीन परिणाम प्राप्त कर सकते हैं, और यह सिस्टम पिछले तरीकों की तुलना में लगभग दोगुना तेज़ चलता है।
यह मज़बूत है: कम दृश्यों के बावजूद, लाइब्रेरियन को धोखा देना बहुत कठिन है। वे चुनौतीपूर्ण, हमलावर फोटो पर पिछले किसी भी तरीके की तुलना में उच्च सटीकता प्राप्त करते हैं।
यह स्मार्ट है: यह केवल वोटों की गिनती नहीं करता है; यह मतदाताओं की गुणवत्ता का न्याय करता है।

संक्षेप में, SS-TPT लाइब्रेरियन को फोटो की खराब कॉपियों पर समय बर्बाद करने से रोकता है और केवल विश्वसनीय कॉपियों पर ध्यान केंद्रित करता है, जिससे यह तेज़, स्मार्ट और धोखा देने में कठिन बन जाता है।

तकनीकी सारांश: SS-TPT

समस्या विवरण
विज़न-लैंग्वेज मॉडल्स (VLMs), विशेष रूप से CLIP, मजबूत ज़ीरो-शॉट रिकग्निशन क्षमताएं प्रदर्शित करते हैं, लेकिन वे एडवर्सरियल परटर्बेशन्स (adversarial perturbations) और डिस्ट्रीब्यूशन शिफ्ट के प्रति अत्यधिक संवेदनशील रहते हैं। जबकि हालिया टेस्ट-टाइम अडैप्टेशन (TTA) रक्षात्मक उपाय कई ऑगमेंटेड व्यूज़ का लाभ उठाकर मजबूती (robustness) में सुधार करने का प्रयास करते हैं, वे एक गंभीर अक्षमता पेश करते हैं: मजबूती और थ्रूपुट (throughput) के बीच एक कठोर समझौता। मौजूदा विधियाँ, जैसे कि R-TPT, अनुकूलन को स्थिर करने के लिए बड़ी संख्या में ऑगमेंटेड व्यूज़ (जैसे, 63 व्यूज़) की आवश्यकता रखती हैं, जिसके परिणामस्वरूप इन्फरेंस स्पीड वैनिला CLIP की तुलना में लगभग चार गुना धीमी हो जाती है। इसके विपरीत, गति में सुधार के लिए व्यूज़ की संख्या कम करने से मजबूती काफी घट जाती है क्योंकि ये विधियाँ सभी व्यूज़ को समान रूप से विश्वसनीय मानती हैं, जिससे दूषित या आउटलायर व्यूज़ अनुकूलन प्रक्रिया पर हावी हो जाते हैं। मुख्य चुनौती यह है कि अत्यधिक दृश्य विविधता (visual diversity) की आवश्यकता के बिना या कम्प्यूटेशनल दक्षता से समझौता किए बिना उच्च एडवर्सरियल मजबूती कैसे प्राप्त की जाए।

कार्यप्रणाली: SS-TPT
लेखक स्टेबिलिटी एंड सूटेबिलिटी-गाइडेड टेस्ट-टाइम प्रॉम्प्ट ट्यूनिंग (SS-TPT) का प्रस्ताव करते हैं, जो एक ऐसा फ्रेमवर्क है जो मॉडल अनुकूलन और इन्फरेंस दोनों को निर्देशित करने के लिए प्रत्येक ऑगमेंटेड व्यू की गुणवत्ता का मूल्यांकन करता है। व्यूज़ की मात्रा पर निर्भर रहने के बजाय, SS-TPT प्रत्येक व्यू $x_i$ के लिए दो पूरक स्कोर की गणना करता है:

स्टेबिलिटी स्कोर ( $S_{stab}$ ): यह एक व्यू के प्रेडिक्टिव डिस्ट्रीब्यूशन की कमजोर स्टोकेस्टिक ऑगमेंटेशन (जैसे, एफ़ाइन ट्रांसफॉर्मेशन, कलर जिटर, ब्लर, नॉइज़) के तहत इनवेरियंस (invariance) को मापता है। इसे मूल व्यू के प्रेडिक्शन और उसके वीकली ऑगमेंटेड वेरिएंट के बीच जेन्सन-शैनन डायवर्जेंस (Jensen-Shannon divergence) के व्युत्क्रम (inverse) के रूप में परिभाषित किया गया है। उच्च स्थिरता इंगित करती है कि व्यू का प्रेडिक्शन मामूली परटर्बेशन्स के प्रति मजबूत है।
सूटेबिलिटी स्कोर ( $S_{suit}$ ): यह अन्य व्यूज़ के सापेक्ष फीचर स्पेस में एक व्यू के घनत्व (density) को मापता है। इसकी गणना एक व्यू के नॉर्मलाइज्ड फीचर वेक्टर और अन्य सभी व्यूज़ के बीच औसत कोसाइन-प्रेरित दूरी के व्युत्क्रम के रूप में की जाती है। उच्च सूटेबिलिटी इंगित करती है कि वह व्यू अन्य व्यूज़ के घने क्लस्टर में स्थित है, जो यह दर्शाता है कि वह आउटलायर नहीं है।

इन स्कोर्स को नॉर्मलाइज किया जाता है और एक हाइपरपैरामीटर $\alpha$ के माध्यम से एक एकल स्टेबिलिटी-सूटेबिलिटी (SS) स्कोर ( $Z_i$ ) में संयोजित किया जाता है। इस स्कोर को एक सॉफ्टमैक्स फंक्शन का उपयोग करके SS वेट्स ( $w_i$ ) में परिवर्तित किया जाता है।

फ्रेमवर्क इन वेट्स का उपयोग दो अलग-अलग चरणों में करता है:

अडैप्टेशन (SS-गाइडेड कंसिस्टेंसी लॉस): टेस्ट-टाइम प्रॉम्प्ट ट्यूनिंग के दौरान, मॉडल पॉइंट-वाइज एंट्रॉपी मिनिमाइजेशन के साथ एक कंसिस्टेंसी टर्म को जोड़ने वाले लॉस फंक्शन को कम करता है। उन विधियों के विपरीत जो या तो सभी व्यूज़ में कंसिस्टेंसी लागू करती हैं (गुणवत्ता को अनदेखा करते हुए) या दूषित व्यूज़ से बचने के लिए कंसिस्टेंसी को पूरी तरह से हटा देती हैं, SS-TPT केवल विश्वसनीय संदर्भों (trustworthy references) के साथ संरेखण (alignment) लागू करता है। विशेष रूप से, प्रत्येक व्यू को अन्य व्यूज़ के 'लीव-वन-आउट' वेटेड एवरेज के साथ अलाइन किया जाता है, जहाँ वेट्स उनके SS स्कोर्स द्वारा निर्धारित होते हैं। यह दूषित व्यूज़ को अनुकूलन को गुमराह करने से रोकता है।
इन्फरेंस (SS-वेटेड प्रेडिक्शन): अंतिम प्रेडिक्शन के लिए, मॉडल SS वेट्स का उपयोग करके सभी व्यूज़ के प्रेडिक्शन को एकत्रित करता है। यह निम्न-गुणवत्ता वाले (दूषित या आउटलायर) व्यूज़ के प्रभाव को दबा देता है जबकि विश्वसनीय व्यूज़ को बढ़ाता है।

प्रमुख योगदान

SS-TPT फ्रेमवर्क: एक ऐसा टेस्ट-टाइम डिफेंस पेश करना जो स्थिरता और सूटेबिलिटी स्कोर के माध्यम से प्रत्येक व्यू की गुणवत्ता को स्पष्ट रूप से मापता है, जिससे सीमित संख्या में ऑगमेंटेड व्यूज़ के साथ भी मजबूत अनुकूलन संभव होता है।
ड्यूल-मैकेनिज्म डिज़ाइन: एक SS-गाइडेड कंसिस्टेंसी लॉस का डिज़ाइन जो अनुकूलन के दौरान विश्वसनीय संदर्भों के साथ प्रेडिक्शन को अलाइन करता है, और एक SS-वेटेड प्रेडिक्शन मैकेनिज्म जो इन्फरेंस के दौरान आउटलायर्स को दबाता है।
श्रेष्ठ मजबूती-दक्षता ट्रेड-ऑफ: यह प्रदर्शित करना कि व्यू की मात्रा के बजाय व्यू की गुणवत्ता पर ध्यान केंद्रित करने से मॉडल मजबूती और थ्रूपुट दोनों में स्टेट-ऑफ-द-आर्ट विधियों से बेहतर प्रदर्शन कर सकता है, जिससे बहुत कम व्यूज़ (जैसे, 63 के मुकाबले 15 व्यूज़) के साथ उच्च मजबूती प्राप्त होती है।

प्रायोगिक परिणाम
विभिन्न अटैक परिदृश्यों (PGD, CW, AutoAttack, White-box) के तहत 10 फाइन-ग्रेन्ड डेटासेट्स, ImageNet और चार डिस्ट्रीब्यूशन-शिफ्टेड वेरिएंट्स (ImageNet-A, V2, R, S) पर व्यापक प्रयोग किए गए।

मजबूती (Robustness): SS-TPT ने एडवर्सरियल मजबूती में स्टेट-ऑफ-द-आर्ट हासिल किया। 10 फाइन-ग्रेन्ड डेटासेट्स पर, इसने 46.8% की औसत मजबूती प्राप्त की, जो पिछले सर्वश्रेष्ठ (R-TPT) से 6.4 प्रतिशत अंक अधिक है। ImageNet पर, इसने 48.6% रोरस्ट एक्यूरेसी प्राप्त की, जो R-TPT से 5.4 अंक अधिक है।
क्लीन एक्यूरेसी: विधि ने उच्च क्लीन एक्यूरेसी (फाइन-ग्रेन्ड डेटासेट्स पर 55.1%) को बनाए रखा, जो सभी अडैप्टेशन विधियों में मूल CLIP प्रदर्शन के सबसे करीब रही।
दक्षता (Efficiency): SS-TPT ने इन्फरेंस समय को काफी कम कर दिया। केवल 15 ऑगमेंटेड व्यूज़ का उपयोग करके, इसने छवियों को लगभग 0.74 सेकंड में प्रोसेस किया, जो R-TPT (जिसने 63 व्यूज़ का उपयोग किया और 1.67 सेकंड का समय लिया) की तुलना में लगभग दोगुना तेज़ है, जबकि उच्च मजबूती (Caltech101 पर 81.0% बनाम R-TPT-63v के लिए 79.8%) प्राप्त की।
लो-व्यू रिजीम (Low-View Regime): चुनौतीपूर्ण सिंगल-व्यू सेटिंग (1 ऑगमेंटेड व्यू) में भी, SS-TPT ने 25.8% की औसत मजबूती बनाए रखी, जो R-TPT से 15.7 अंक अधिक है, जो सीमित दृश्य साक्ष्य से सार्थक जानकारी निकालने की इसकी क्षमता को प्रदर्शित करता है।
एब्लेशन स्टडीज (Ablation Studies): विश्लेषण ने पुष्टि की कि स्टेबिलिटी और सूटेबिलिटी दोनों आवश्यक घटक हैं, और SS-गाइडेड कंसिस्टेंसी और SS-वेटेड प्रेडिक्शन का संयोजन सर्वोत्तम तालमेल प्रदान करता है। विधि ने प्रॉम्प्ट टेम्पलेट्स के बदलावों के प्रति भी मजबूती सिद्ध की।

महत्व और दावे
पेपर का दावा है कि SS-TPT वर्तमान TTA डिफेंस की मौलिक सीमा को संबोधित करता है: शोर (noise) को औसत करने के लिए बड़ी संख्या में व्यूज़ पर निर्भरता, जो एक अव्यवहारिक कम्प्यूटेशनल बाधा उत्पन्न करती है। व्यू क्वालिटी को मापने के तंत्र को पेश करके, SS-TPT मजबूती को ऑगमेंटेड व्यूज़ की विशाल मात्रा से अलग करता है। लेखक का तर्क है कि यह दृष्टिकोण उन वास्तविक दुनिया के परिदृश्यों में भरोसेमंद VLMs को तैनात करने के लिए एक "व्यावहारिक और सामान्य" समाधान प्रदान करता है जहाँ इनपुट शोर युक्त या हेरफेर किया हुआ हो सकता है, और जहाँ कम्प्यूटेशनल संसाधन सीमित हों। यह कार्य इस बात पर प्रकाश डालता है कि व्यू क्वालिटी असेसमेंट टेस्ट-टाइम अडैप्टेशन में एक महत्वपूर्ण, पहले से कम उपयोग किया जाने वाला कारक है, जो विश्वसनीय व्यूज़ को दूषित व्यूज़ से अलग करने के लिए स्टेबिलिटी और सूटेबिलिटी को प्रभावी संकेतक के रूप में स्थापित करता है।

इसी तरह के और पेपर