तकनीकी सारांश: USE – टेस्ट-टाइम प्रॉम्प्ट ट्यूनिंग के लिए एक एकीकृत स्व-एन्सेम्बलिंग फ्रेमवर्क

1. समस्या विवरण (Problem Statement)

विज़न-लैंग्वेज मॉडल्स (VLMs), जैसे कि CLIP, ज़ीरो-शॉट सेटिंग्स में मजबूत सामान्यीकरण (generalization) प्रदर्शित करते हैं, लेकिन वे डाउनस्ट्रीम कार्यों में वितरण बदलाव (distribution shifts) के प्रति संवेदनशील रहते हैं। जबकि टेस्ट-टाइम अडैप्टेशन (TTA) अनलेबल टेस्ट सैंपल्स का लाभ उठाकर एक समाधान प्रदान करता है, मौजूदा तरीके अक्सर अपने अनुकूलन (optimization) और अनुमान (inference) चरणों के बीच विसंगतियों से ग्रस्त होते हैं।

विशेष रूप से, अग्रणी टेस्ट-टाइम प्रॉम्प्ट ट्यूनिंग (TPT) विधि संवर्धित दृश्यों (augmented views) के औसत भविष्यवाणियों पर मार्जिनल एंट्रॉपी को कम करके टेक्स्टुअल प्रॉम्प्ट्स को अनुकूलित करती है। हालाँकि, TPT और इसके वेरिएंट आमतौर पर अंतिम अनुमान के लिए एक "कमजोर" संवर्धन (मूल छवि) पर निर्भर करते हैं, जबकि अनुकूलन चरण में "मजबूत" संवर्जनों के औसत का उपयोग किया जाता है। यह विसंगति अनुकूलन के लिए उपयोग किए जाने वाले छद्म-लेबल (pseudo-labels) और अंतिम भविष्यवाणी रणनीति के बीच एक मिसअलाइनमेंट (misalignment) पैदा करती है। इसके अलावा, मौजूदा दृष्टिकोण अक्सर मूल टेस्ट इमेज को छद्म-लेबल के निर्माण के दौरान कम महत्व देते हैं या बाहर कर देते हैं, जबकि इस बात के प्रमाण हैं कि ज़ीरो-शॉट वर्गीकरण में कुछ संवर्धित दृश्यों की तुलना में मूल छवि अधिक विश्वसनीय हो सकती है।

2. कार्यप्रणाली (Methodology)

यह शोध पत्र USE (Unified Self-Ensembling) प्रस्तावित करता है, जो एक सुसंगत स्व-एन्सेम्बलिंग रणनीति के माध्यम से अनुकूलन और अनुमान चरणों को एकीकृत करता है।

2.1 TPT को स्व-प्रशिक्षण (Self-Training) के रूप में पुनर्व्याख्या करना

लेखक पहले TPT के उद्देश्य की पुनर्व्याख्या करते हैं। एक सहायक वितरण $q$ (औसत भविष्यवाणी का एक स्टॉप-ग्रेडिएंट संस्करण) पेश करके, मार्जिनल एंट्रॉपी मिनिमाइजेशन ऑब्जेक्टिव को एक रिवर्स क्रॉस-एंट्रॉपी (RCE) टर्म और एक KL डाइवर्जेंस टर्म में विभाजित किया गया है। चूंकि KL टर्म को तब अनुकूलित किया जाता है जब $q$ स्थिर होता है, इसलिए ऑब्जेक्टिव प्रभावी रूप से RCE को कम करने में बदल जाता है। यह प्रकट करता है कि TPT स्पष्ट रूप से स्व-जनित छद्म-लेबल से सीखता है, जहाँ छद्म-लेबल का निर्माण चयनित लो-एंट्रॉपी संवर्धित दृश्यों की भविष्यवाणियों के औसत द्वारा किया जाता है।

2.2 स्व-एन्सेम्बलिंग (SE) रणनीति

इन छद्म-लेबलों की गुणवत्ता में सुधार के लिए, लेखक एक स्व-एन्सेम्बलिंग (SE) रणनीति पेश करते हैं। अनुभवजन्य विश्लेषण (Empirical analysis) से पता चलता है कि जबकि मजबूत संवर्धन उपयोगी हैं, कमजोर संवर्धन (मूल टेस्ट इमेज) अक्सर विशिष्ट मूल्य रखता है और इसे छोड़ा नहीं जाना चाहिए।

SE रणनीति कमजोर ($p_w$) और मजबूत ($p_s$) संवर्जनों दोनों से भविष्यवाणियों को गतिशील रूप से एकत्रित करती है। यह टेस्ट इमेज के योगदान को अनुकूल रूप से समायोजित करने के लिए एक एंट्रॉपी-आधारित वेटिंग कोएफिशिएंट $\beta$ का उपयोग करती है:

1. रैंकिंग: कमजोर संवर्धन का सापेक्ष स्व-एंट्रॉपी रैंक $\delta$, मजबूत संवर्जनों के सेट के विरुद्ध कंप्यूट किया जाता है।
2. वेटिंग: एक लीनियर फंक्शन $\delta$ को एक वेट $\beta$ में रीस्केल करता है (0.3 और 0.7 के बीच सीमित)। यदि कमजोर संवर्धन में अधिकांश मजबूत संवर्जनों की तुलना में कम एंट्रॉपी (उच्च विश्वास) है, तो उसे उच्च वेट प्राप्त होता है।
3. छद्म-लेबल निर्माण: अंतिम छद्म-लेबल $q(x)$ को इस प्रकार कंप्यूट किया जाता है:
   $$q(x) = \beta \cdot p_w(x) + (1 - \beta) \cdot p_s(x)$$

2.3 एकीकृत फ्रेमवर्क (USE)

USE, TTA के दोनों चरणों के बीच निरंतरता सुनिश्चित करता है:

• अनुकूलन चरण (Optimization Stage): टेक्स्टुअल प्रॉम्प्ट को RCE लॉस का उपयोग करके अनुकूलित किया जाता है, जहाँ लक्ष्य छद्म-लेबल $q(x)$ को SE रणनीति के माध्यम से जनरेट किया जाता है।
• अनुमान चरण (Inference Stage): TPT के विपरीत, जो केवल कमजोर संवर्धन पर भविष्यवाणी करता है, USE अंतिम भविष्यवाणी $\hat{p}(x)$ उत्पन्न करने के लिए उसी SE रणनीति को लागू करता है। यह छद्म-लेबल अनुमान और अंतिम अनुमान के उद्देश्य को एकीकृत करता है।

इसके अतिरिक्त, लेखक कम्प्यूटेशनल लागत को कम करने के लिए एक स्किप तकनीक (skip technique) पेश करते हैं। यदि कमजोर संवर्धन से प्राप्त भविष्यवाणी चयनित मजबूत संवर्जनों के समान है, तो अनुकूलन चरण को छोड़ दिया जाता है, क्योंकि भविष्यवाणी को विश्वसनीय माना जाता है।

उल्लेखनीय है कि SE रणनीति एक ऑप्टिमाइजेशन-फ्री TTA विधि के रूप में स्वतंत्र रूप से कार्य कर सकती है, जिसके लिए बैकप्रोपैगेशन की आवश्यकता नहीं होती है।

3. मुख्य योगदान (Key Contributions)

• TPT की पुनर्व्याख्या: यह शोध पत्र प्रकट करता है कि TPT स्पष्ट रूप से स्व-जनित छद्म-लेबलों से सीखता है, जो मार्जिनल एंट्रॉपी ऑब्जेक्टिव को एक स्टॉप-ग्रेडिएंट टारगेट के विरुद्ध रिवर्स क्रॉस-एंट्रॉपी लॉस के रूप में फ्रेम करता है।
• स्व-एन्सेम्बलिंग (SE): एक सरल, प्रभावी रणनीति जो अधिक विश्वसनीय छद्म-लेबल बनाने के लिए कमजोर और मजबूत संवर्जनों को अनुकूल रूप से वेट करती है। यह एक स्टैंडअलोन, ऑप्टिमाइजेशन-फ्री TTA विधि के रूप में कार्य करती है।
• एकीकृत फ्रेमवर्क (USE): एक TTA फ्रेमवर्क जो SE रणनीति को दोनों चरणों में लागू करके अनुकूलन उद्देश्य और अनुमान उद्देश्य को संरेखित करता है, जिससे निरंतरता सुनिश्चित होती है।
• प्लग-एंड-प्ले क्षमता: SE को एक लाइटवेट मॉड्यूल के रूप में दिखाया गया है जिसे बिना किसी महत्वपूर्ण कम्प्यूटेशनल ओवरहेड के प्रदर्शन को लगातार बढ़ाने के लिए मौजूदा TTA विधियों में एकीकृत किया जा सकता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने ViT-B/16 और ResNet-50 बैकबोन का उपयोग करके ImageNet, इसके आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) वेरिएंट्स (ImageNet-A, V2, R, Sketch), और दस फाइन-ग्रेंड डेटासेट्स (जैसे DTD, Flowers102, EuroSAT) पर USE और SE का मूल्यांकन किया।

• प्रदर्शन (Performance):
  • ऑप्टिमाइजेशन-फ्री: SE ने ऑप्टिमाइजेशन-फ्री विधियों में सर्वश्रेष्ठ या दूसरा सर्वश्रेष्ठ परिणाम प्राप्त किया, जिसने CLIP, MTA और ZERO को पछाड़ दिया। ResNet-50 बैकबोन पर, SE ने OOD डेटासेट्स पर 47.80% की औसत सटीकता प्राप्त की, जो कई ऑप्टिमाइजेशन-आधारित विधियों से अधिक है।
  • ऑप्टिमाइजेशन-आधारित: USE ने TPT, C-TPT, R-TPT और STS जैसे बेसलाइन्स को लगातार पछाड़ दिया। ViT-B/16 के साथ फाइन-ग्रेंड डेटासेट्स पर, USE ने औसत सटीकता को 64.84% (TPT) से बढ़ाकर 65.35% कर दिया।
  • मजबूती (Robustness): CoOp (एक मजबूत प्रॉम्प्ट इनिशियलाइजेशन) के साथ शुरू होने पर, SE और USE दोनों ने शीर्ष स्तर का प्रदर्शन बनाए रखा, जो विभिन्न प्रीट्रेन कॉन्फ़िगरेशन के प्रति मजबूती प्रदर्शित करता है।
• एकीकरण (Integration): मौजूदा विधियों (TPT, C-TPT, R-TPT, STS) में प्लग-इन मॉड्यूल के रूप में SE को एकीकृत करने से लगातार सटीकता में वृद्धि हुई। उदाहरण के लिए, C-TPT में SE जोड़ने से इसकी IN&O सटीकता 61.09% से बढ़कर 64.27% हो गई।
• दक्षता (Efficiency):
  • SE अत्यधिक कुशल है, जिसे प्रति सैंपल केवल 0.059 सेकंड और 1.06 GB मेमोरी की आवश्यकता होती है, जो CLIP के 64 फॉरवर्ड पास के तुलनीय है लेकिन उच्च सटीकता के साथ।
  • USE, स्किप तकनीक का उपयोग करते हुए, औसत टेस्टिंग टाइम को 0.144 सेकंड प्रति इमेज तक कम कर देता है। 60% से अधिक टेस्ट सैंपल्स को बिना सटीकता में गिरावट के स्किप कर दिया गया।

5. महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि USE का प्राथमिक महत्व इसके अनुकूलन और अनुमान उद्देश्यों के एकीकरण में निहित है। यह सुनिश्चित करके कि अनुकूलन के लिए उपयोग किए जाने वाले छद्म-लेबल उसी रणनीति का उपयोग करके बनाए गए हैं जिसका उपयोग अंतिम अनुमान के लिए किया जाता है, USE उस प्रदर्शन अंतर को समाप्त करता है जो अक्सर TTA विधियों में पाया जाता है।

लेखक जोर देते हैं कि:

1. निरंतरता ही कुंजी है: प्रदर्शन में वृद्धि काफी हद रूप से दोनों चरणों में SE रणनीति द्वारा प्रदान की गई निरंतरता के कारण है।
2. सरलता और प्रभावशीलता: SE एक सरल, एंट्रॉपी-आधारित वेटिंग मैकेनिज्म है जिसके लिए जटिल प्रशिक्षण उद्देश्यों या अतिरिक्त मापदंडों की आवश्यकता नहीं होती है, फिर भी यह पर्याप्त प्रदर्शन सुधार प्रदान करता है।
3. बहुमुखी प्रतिभा: यह फ्रेमवर्क बहुमुखी है, जो ऑप्टिमाइजेशन-फ्री विधि और ऑप्टिमाइजेशन-आधारित विधियों के लिए एक सुसंगत संवर्धन, दोनों के रूप में प्रभावी ढंग से कार्य करता है।

शोध पत्र निष्कर्ष निकालता है कि हालांकि यह विधि कई संवर्जनों को जनरेट करने के कारण कुछ कम्प्यूटेशनल ओवरहेड पेश करती है (जो एपिसोडिक TTA का एक सामान्य गुण है), स्किप तकनीक का उपयोग और उच्च सटीकता लाभ इसे वितरण बदलावों के खिलाफ VLM मजबूती में सुधार के लिए एक व्यावहारिक और प्रभावी दृष्टिकोण बनाते हैं।