💻 computer science

Dual-Modality Anchor-Guided Filtering for Test-time Prompt Tuning

यह शोध पत्र टेस्ट-टाइम प्रॉम्प्ट ट्यूनिंग के लिए एक ड्यूल-मोडैलिटी एंकर-गाइडेड फ़िल्टरिंग फ्रेमवर्क प्रस्तावित करता है जो सूचनात्मक दृश्यों को फ़िल्टर करने और स्थिर पर्यवेक्षण प्रदान करने के लिए टेक्स्ट और एडेप्टिव इमेज एंकर्स का लाभ उठाता है, जिससे एंट्रॉपी-आधारित फ़िल्टरिंग की सीमाओं को दूर किया जा सके और 15 बेंचमार्क डेटासेट्स पर अत्याधुनिक प्रदर्शन प्राप्त किया जा सके।

मूल लेखक: Jungwon Choi, Eunwoo Kim

प्रकाशित 2026-04-15

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jungwon Choi, Eunwoo Kim

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, सुशिक्षित लाइब्रेरियन (AI मॉडल) है जो हजारों किताबों (क्लासेस) को जानता है और उनके कवर देखकर उन्हें पहचान सकता है। आमतौर पर, यह लाइब्रेरियन केवल कवर देखकर किताब का अंदाजा लगाने में माहिर होता है। लेकिन कभी-कभी, रोशनी खराब होती है, या किताब धूल से ढकी होती है, या आपको कवर का केवल एक छोटा सा, धुंधला कोना ही दिखाई देता है। यदि लाइब्रेरियन उस खराब दृश्य के आधार पर अनुमान लगाने की कोशिश करता है, तो वह आत्मविश्वासी तो हो सकता है, लेकिन गलत भी हो सकता है।

यह पेपर उस लाइब्रेरियन को सिखाने के बारे में है कि कैसे बुरे दृश्यों को अनदेखा करना है और केवल मददगार दृश्यों पर ध्यान केंद्रित करना है, जब वह बिना किसी शिक्षक के सुधार के, मौके पर ही (on the fly) सीखने की कोशिश कर रहा हो।

यहाँ समस्या और समाधान का सरल उपमाओं (analogies) के माध्यम से विवरण दिया गया है:

समस्या: "आत्मविश्वासी लेकिन गलत" लाइब्रेरियन

AI की दुनिया में, एक तकनीक है जिसे टेस्ट-टाइम प्रॉम्प्ट ट्यूनिंग (Test-Time Prompt Tuning) कहा जाता है। इसे ऐसे समझें कि लाइब्रेरियन एक नई किताब को देखते समय अपने चश्मे को ठीक कर रहा है या अपने मानसिक शब्दकोश को समायोजित कर रहा है, ताकि वह बेहतर अनुमान लगा सके।

इसे करने के लिए, AI छवि को लेता है, उसे 64 अलग-अलग टुकड़ों में काटता है (कुछ ज़ूम किए हुए, कुछ घुमाए हुए, कुछ कटे हुए), और खुद से पूछता है: "यह क्या है?"

पुराना तरीका: AI एक सरल नियम का उपयोग करता था: "यदि मैं किसी टुकड़े के बारे में बहुत आश्वस्त हूँ, तो उसे रखें। यदि मैं अनिश्चित हूँ, तो उसे फेंक दें।"
दोष: कभी-कभी, AI आत्मविश्वासी लेकिन गलत होता है। उदाहरण के लिए, यदि आप कुत्ते की तस्वीर दिखाते हैं, और AI केवल पृष्ठभूमि में घास देखता है, तो वह 100% सुनिश्चित हो सकता है कि "यह घास है।" यदि AI इस "आत्मविश्वासी" गलत दृश्य का उपयोग अपने मस्तिष्क को अपडेट करने के लिए करता है, तो वह गलत चीज़ सीख लेता है। यह एक छात्र की तरह है जो केवल इसलिए गलत उत्तरों को रट लेता है क्योंकि वे सुनने में बहुत आत्मविश्वास से भरे लगते थे।

समाधान: "डुअल-एंकर" (Dual-Anchor) प्रणाली

लेखकों ने एक नई प्रणाली प्रस्तावित की है जिसे डुअल-मोडैलिटी एंकर-गाइडेड फ़िल्टरिंग (Dual-Modality Anchor-Guided Filtering) कहा जाता है। आइए इस भारी-भरकम नाम को तोड़ते हैं:

1. दो "एंकर" (सुरक्षा जाल)

केवल अपने स्वयं के आत्मविश्वास पर भरोसा करने के बजाय, AI दो "एंकर" का उपयोग करता है जो उसे स्थिर रखते हैं और यह जांचते हैं कि क्या कोई दृश्य वास्तव में उपयोगी है।

एंकर A: "वर्णनात्मक पाठ" एंकर (विशेषज्ञ मार्गदर्शक)
- यह कैसे काम करता है: परीक्षण छवि देखने से पहले ही, AI एक अत्यंत बुद्धिमान भाषा मॉडल (जैसे कि एक बहुत विस्तृत विश्वकोश) से यह पूछ लेता है कि वस्तु को कैसा दिखना चाहिए। केवल "कुत्ता" कहने के बजाय, वह कहता है, "एक कुत्ते के लटकते हुए कान, एक हिलती हुई पूंछ और मुलायम फर होते हैं।"
- उपमा: कल्पना कीजिए कि लाइब्रेरियन के पास कुत्ते की विशेषताओं का एक विस्तृत रेखाचित्र है। धुंधले क्रॉप (कटौती) को देखते समय, लाइब्रेरियन जाँचता है: "क्या इस क्रॉप में लटकते हुए कान हैं? क्या यह रेखाचित्र से मेल खाता है?" यदि क्रॉप केवल घास का एक टुकड़ा है, तो यह "लटकते कान" के विवरण से मेल नहीं खाता, इसलिए AI इसे हटा देता है। यह सुनिश्चित करता है कि AI केवल पैटर्न नहीं, बल्कि अर्थ (meaning) की तलाश करे।
एंकर B: "दृश्य स्मृति" एंकर (क्राउड सोर्स)
- यह कैसे काम करता है: जैसे-जैसे AI अच्छे दृश्यों को देखता है, वह इस विशिष्ट वातावरण में वस्तु कैसी दिखती है, इसका एक चलता-फिरता औसत (running average) बनाता है।
- उपमा: कल्पना कीजिए कि लाइब्रेरियन एक नई लाइब्रेरी में है जहाँ अजीब रोशनी है। वे कुत्ते की पहली कुछ स्पष्ट तस्वीरों को देखते हैं और कहते, "ठीक है, इस रोशनी में, कुत्ता भूरा और थोड़ा छायादार दिखता है।" वे वर्तमान स्थिति का एक "मानसिक स्नैपशॉट" बना लेते हैं। यदि कोई नया क्रॉप इस स्नैपशॉट से बिल्कुल अलग दिखता है (शायद बहुत चमकीला या बहुत गहरा है), तो वे उसे हटा देते हैं। यह AI को वर्तमान वातावरण के अनुकूल होने में मदद करता है।

2. फ़िल्टरिंग प्रक्रिया (दरबान)

अब AI के मस्तिष्क के दरवाजे पर दो दरबान हैं:

टेक्स्ट दरबान: "क्या यह दृश्य विस्तृत विवरण से मेल खाता है?"
इमेज दरबान: "क्या यह दृश्य अब तक देखे गए अन्य अच्छे दृश्यों जैसा दिखता है?"

केवल वे दृश्य जिन्हें दोनों जाँचों से गुजरना पड़ता है, AI को सीखने में मदद करने के लिए अंदर आने की अनुमति मिलती है। यह "आत्मविश्वासी लेकिन गलत" दृश्यों (जैसे घास या पृष्ठभूमि) को सीखने की प्रक्रिया को बिगाड़ने से रोकता है।

3. अंतिम वोट (एन्सेम्बल)

एक बार जब AI खराब दृश्यों को फ़िल्टर कर देता है, तो वह केवल एक विजेता नहीं चुनता। वह निम्नलिखित से भविष्यवाणियों को लेता है:

उसका मूल मस्तिष्क।
टेक्स्ट एंकर (विवरण)।
इमेज एंकर (दृश्य स्मृति)।

वह इस आधार पर वजन (weight) देता है कि प्रत्येक कितना आश्वस्त है। यदि टेक्स्ट एंकर बहुत निश्चित है, तो उसे बड़ा वोट मिलता है। यह AI के मस्तिष्क को अपडेट करने के लिए एक सुपर-स्टेबल सिग्नल बनाता है, जिससे यह सुनिश्चित होता है कि वह सही चीज़ सीख रहा है।

यह क्यों महत्वपूर्ण है

यह तेज़ है: अन्य तरीकों के विपरीत जो परीक्षण करने के लिए फैंसी नई छवियां बनाने की कोशिश करते हैं (जिसमें बहुत अधिक कंप्यूटर शक्ति लगती है), यह तरीका केवल स्मार्ट फ़िल्टरिंग का उपयोग करता है। यह हर संभावित गंतव्य तक जाने के बजाय एक मानचित्र देखने जैसा है ताकि यह देखा जा सके कि क्या वह सही है।
यह मजबूत (Robust) है: यह तब भी काम करता है जब डेटा अजीब हो या रोशनी खराब हो क्योंकि यह केवल कच्चे आत्मविश्वास पर नहीं, बल्कि अर्थ (पाठ) और निरंतरता (दृश्य स्मृति) पर निर्भर करता है।
परिणाम: 15 विभिन्न डेटासेट्स (फूलों को पहचानने से लेकर हवाई जहाज देखने तक) में परीक्षणों में, इस पद्धति ने सभी पिछले रिकॉर्ड धारकों को पीछे छोड़ दिया। यह ऐसा है जैसे लाइब्रेरियन अचानक एक मास्टर डिटेक्टिव बन गया हो जो बुरे कोण या चालाकी भरी वेशभूषा से कभी धोखा नहीं खाता।

संक्षेप में: यह पेपर AI को सिखाता है कि अपने स्वयं के आत्मविश्वास पर अंधाधुंध भरोसा करना बंद करें और एक विस्तृत विवरण और दृश्य स्मृति के साथ अपने अनुमानों का मिलान करना शुरू करें, जिससे यह सुनिश्चित हो सके कि वह केवल सबसे अच्छे और सबसे सहायक उदाहरणों से सीखता है।

यहाँ शोध पत्र "Dual-Modality Anchor-Guided Filtering for Test-time Prompt Tuning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

टेस्ट-टाइम प्रॉम्प्ट ट्यूनिंग (TPT) का लक्ष्य अनलेबल्ड टेस्ट डेटा का उपयोग करके इन्फरेंस के दौरान विजन-लैंग्वेज मॉडल्स (VLMs) जैसे कि CLIP को अनदेखे डोमेन (unseen domains) के अनुकूल बनाना है। मानक TPT दृष्टिकोण एक इनपुट इमेज के कई ऑगमेंटेड व्यूज़ (augmented views) उत्पन्न करता है, भविष्यवाणियाँ (predictions) कंप्यूट करता है, और औसत प्रेडिक्शन के एंट्रॉपी (entropy) को कम करके प्रॉम्प्ट्स को अपडेट करता है।

हालाँकि, लेखक मौजूदा TPT विधियों में एक गंभीर दोष की पहचान करते हैं: अविश्वसनीय व्यू सिलेक्शन (view selection) पर निर्भरता।

एंट्रॉपी विफलता (Entropy Failure): मानक एंट्रॉपी-आधारित फ़िल्टरिंग यह मानती है कि कम एंट्रॉपी उच्च आत्मविश्वास (high confidence) का संकेत है। हालाँकि, डिस्ट्रीब्यूशन शिफ्ट के तहत, मॉडल अक्सर अप्रासंगिक बैकग्राउंड क्षेत्रों या शोर वाले क्रॉप्स (noisy crops) पर "ओवरकॉन्फिडेंट" हो जाते हैं, जिससे गलत भविष्यवाणियों में भी उच्च आत्मविश्वास दिखाई देता है।
सिमेंटिक अंधापन (Semantic Blindness): केवल एंट्रॉपी या मूल छवि के साथ सरल विजुअल समानता (कोसाइन सिमिलैरिटी) के आधार पर व्यू चुनना यह सुनिश्चित करने में विफल रहता है कि चुने गए व्यू में सही सिमेंटिक सामग्री (जैसे, मुख्य ऑब्जेक्ट फीचर्स) मौजूद हैं।
परिणाम: इन शोर वाले या सिमेंटिक रूप से गलत संरेखित (misaligned) व्यूज़ का उपयोग करके प्रॉम्प्ट्स को अनुकूलित करना गलत पूर्वाग्रहों (biases) को सुदृढ़ करता है, जिससे मॉडल वास्तविक क्लास के बजाय त्रुटिपूर्ण सिमेंटिक्स की ओर भटक जाता है।

2. कार्यप्रणाली (Methodology)

यह शोध पत्र एक डुअल-मोडैलिटी एंकर-गाइडेड फ्रेमवर्क (Dual-Modality Anchor-Guided Framework) प्रस्तावित करता है जो व्यू सिलेक्शन को केवल सांख्यिकीय आत्मविश्वास के बजाय सिमेंटिक साक्ष्य (semantic evidence) पर आधारित करता है। यह विधि तीन मुख्य चरणों से मिलकर बनी है:

A. डुअल-मोडैलिटी एंकर निर्माण (Dual-Modality Anchor Construction)

मोटे तौर पर शुरुआती प्रॉम्प्ट्स (जैसे, "a photo of a [CLASS]") के बजाय, यह फ्रेमवर्क दो प्रकार के डायनेमिक एंकर्स का निर्माण करता है:

टेक्स्ट एंकर (Text Anchor - Semantic):
- जेनरेशन: प्रत्येक क्लास के लिए विशेषता-समृद्ध (attribute-rich) टेक्स्ट विवरण उत्पन्न करने के लिए LLM का उपयोग करता है (जैसे, "एक कुत्ते के पास एक नरम कोट, लटकते कान होते हैं...")।
- एग्रीगेशन: इन विवरणों को CLIP टेक्स्ट एनकोडर द्वारा एनकोड किया जाता है। एक एलाइनमेंट-वेटेड एग्रीगेशन (alignment-weighted aggregation) तंत्र प्रत्येक विवरण और इमेज व्यू के बीच समानता की गणना करता है। विशिष्ट इमेज व्यू के साथ अत्यधिक संरेखित (aligned) विवरणों को एक डायनेमिक टेक्स्ट एंकर ( $t_c$ ) बनाने के लिए अधिक भार (weight) दिया जाता है।
इमेज एंकर (Image Anchor - Visual/Statistical):
- निर्माण: एक प्रोटोटाइप बैंक (Prototype Bank) बनाए रखता है जो टेस्ट-टाइम इन्फरेंस के दौरान चुने गए विजुअल फीचर्स को संचित करता है।
- अपडेट: दिए गए टेस्ट इमेज के लिए, बैंक से शीर्ष- $K$ क्लास प्रोटोटाइप को एक इमेज एंकर सेट ( $A_{img}$ ) बनाने के लिए चुना जाता है। यह वर्तमान टेस्ट डिस्ट्रीब्यूशन के विकसित होते विजुअल स्टैटिस्टिक्स को कैप्चर करता है।

B. डुअल-मोडैलिटी फ़िल्टरिंग (Dual-Modality Filtering)

यह फ्रेमवर्क दोनों एंकर्स के लिए जॉइंट एलाइनमेंट-कॉन्फिडेंस स्कोरिंग (Joint Alignment-Confidence Scoring) तंत्र का उपयोग करके ऑगमेंटेड व्यूज़ को फ़िल्टर करता है:

स्कोरिंग: प्रत्येक व्यू के लिए, यह गणना करता है:
- एलाइनमेंट स्कोर (Alignment Score): टेक्स्ट/इमेज एंकर्स के साथ व्यू की कोसाइन सिमिलैरिटी।
- कॉन्फिडेंस स्कोर (Confidence Score): नॉर्मलाइज्ड प्रेडिक्शन एंट्रॉपी।
सिलेक्शन: एक कंपोजिट स्कोर ( $S = \alpha \cdot \text{Alignment} + \beta \cdot \text{Confidence}$ $S = α \cdot Alignment + β \cdot Confidence$ ) की गणना की जाती है।
- टेक्स्ट-गाइडेड फ़िल्टर: टेक्स्ट एंकर्स के साथ उच्च एलाइनमेंट वाले शीर्ष $q\%$ व्यूज़ को रखता है।
- इमेज-गाइडेड फ़िल्टर: इमेज एंकर्स के साथ उच्च एलाइनमेंट वाले शीर्ष $p\%$ व्यूज़ को रखता है।
फाइनल सेट: दोनों फ़िल्टर्स को पास करने वाले व्यूज़ का यूनियन (union) एडैप्टेशन के लिए उपयोग किया जाता है। यह सुनिश्चित करता है कि केवल वे व्यूज़ उपयोग किए जाएं जो सिमेंटिक रूप से सुसंगत और विजुअली प्रतिनिधि दोनों हों।

C. कॉन्फिडेंस-अवेयर एन्सेम्बल और एडैप्टेशन (Confidence-Aware Ensemble & Adaptation)

केवल फ़िल्टर्ड व्यूज़ की एंट्रॉपी को कम करने के बजाय, लेखक एक अधिक स्थिर सुपरविजन सिग्नल पेश करते हैं:

एन्सेम्बल प्रेडिक्शन: मॉडल प्रत्येक चयनित व्यू के लिए तीन स्रोतों से भविष्यवाणियाँ उत्पन्न करता है: मूल प्रॉम्प्ट, टेक्स्ट एंकर, और इमेज एंकर।
वेटिंग: इन भविष्यवाणियों को कॉन्फिडेंस-अवेयर वेटिंग (भार प्रत्येक स्रोत की अधिकतम संभावना के समानुपाती है) का उपयोग करके एक एकल एन्सेम्बल वेक्टर में संयोजित किया जाता है।
टारगेट डिस्ट्रीब्यूशन: इस एन्सेम्बल आउटपुट को एक मजबूत टारगेट डिस्ट्रीब्यूशन ( $\tilde{q}$ ) बनाने के लिए शार्पन (तापमान स्केलिंग के माध्यम से) किया जाता है।
लॉस फंक्शन: प्रॉम्प्ट्स को मूल प्रॉम्प्ट की भविष्यवाणी और इस शार्पन किए गए एन्सेम्बल टारगेट के बीच KL-डाइवर्जेंस (KL-Divergence) को कम करके अपडेट किया जाता है। यह मॉडल को ओवरकॉन्फिडेंट लेकिन सिमेंटिक रूप से असंगत भविष्यवाणियों में ढलने से रोकता है।

3. प्रमुख योगदान (Key Contributions)

डुअल-मोडैलिटी एंकर फ्रेमवर्क: व्यू सिलेक्शन के लिए एक नया दृष्टिकोण जो अविश्वसनीय एंट्रॉपी मेट्रिक्स को फाइन-ग्रेन्ड टेक्स्टual सिमेंटिक्स (LLM-जेनरेटेड) और एडेप्टिव विजुअल स्टैटिस्टिक्स (प्रोटोटाइप बैंक) पर आधारित एंकर्स से बदल देता है।
जॉइंट एलाइनमेंट-कॉन्फिडेंस स्कोरिंग: एक फ़िल्टरिंग तंत्र जो यह आवश्यक बनाता है कि व्यूज़ उच्च सिमेंटिक एलाइनमेंट और कम अनिश्चितता (uncertainty) दोनों को संतुष्ट करें, जिससे शोर वाले बैकग्राउंड और मिसअलाइन्ड क्रॉप्स प्रभावी ढंग से फ़िल्टर हो जाते हैं।
कॉन्फिडेंस-वेटेड एन्सेम्बल सुपरविजन: एक रणनीति जो एंकर्स को सहायक प्रेडिक्टिव हेड्स (auxiliary predictive heads) के रूप में मानती है। उनके प्रेडिक्शंस को एक स्थिर टारगेट डिस्ट्रीब्यूशन में संयोजित करके, यह विधि एक मजबूत सुपरविजन सिग्नल प्रदान करती है जो शोर वाले डेटा पर सेल्फ-ट्रेनिंग के खतरों से बचती है।
लाइटवेट और मॉड्यूलर: यह दृष्टिकोण नगण्य कम्प्यूटेशनल ओवरहेड जोड़ता है (वैनिला TPT के समान है) और इसे मौजूदा प्रॉम्प्ट ट्यूनिंग पाइपलाइन्स (जैसे, CoOp, MaPLe) में सहजता से एकीकृत किया जा सकता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस पद्धति का मूल्यांकन 15 बेंचमार्क डेटासेट्स पर किया गया, जिसमें ImageNet वेरिएंट (डोमेन जनरलाइजेशन) और 10 विविध डाउनस्ट्रीम टास्क (क्रॉस-डेटासेट ट्रांसफर) शामिल हैं।

डोमेन जनरलाइजेशन (ImageNet):
- इसने 65.74% की औसत सटीकता (Average Accuracy) और 64.12% की OOD औसत सटीकता प्राप्त की।
- इसने पिछले स्टेट-ऑफ-द-आर्ट TPT मेथड (DynaPrompt) को औसत सटीकता में +2.37% और OOD सटीकता में +2.31% से पीछे छोड़ दिया।
- इसने CoOp+TPT के मजबूत बेसलाइन को +2.52% से पछाड़ दिया।
क्रॉस-डेटासेट ट्रांसफर:
- इसने 10 विविध डेटासेट्स में 68.81% की औसत सटीकता प्राप्त की।
- यह मानक TPT बेसलाइन की तुलना में +3.71% का सुधार है और सर्वश्रेष्ठ प्रॉम्प्ट लर्निंग मेथड (CoPrompt) से 1.81% बेहतर प्रदर्शन करता है।
- जब इसे MaPLe के साथ जोड़ा गया, तो इसने 69.36% का नया SOTA प्राप्त किया।
दक्षता (Efficiency):
- यह वैनिला TPT के समान इन्फरेंस टाइम (0.2 सेकंड प्रति इमेज) बनाए रखता है, जबकि डिफ्यूजन-आधारित विधियों (DiffTPT) में >0.6s लगता है और अन्य मल्टी-प्रॉम्प्ट विधियों में अधिक ओवरहेड होता है।

5. महत्व (Significance)

यह शोध पत्र टेस्ट-टाइम एडैप्टेशन की एक मौलिक सीमा को संबोधित करता है: यह धारणा कि कम एंट्रॉपी का अर्थ उच्च गुणवत्ता है। सिमेंटिक एंकर्स पेश करके, लेखक प्रदर्शित करते हैं कि मजबूत एडैप्टेशन के लिए यह सत्यापित करना आवश्यक है कि मॉडल क्या देख रहा है, न कि केवल यह कि वह कितना आश्वस्त है।

इसका महत्व निम्नलिखित में निहित है:

मजबूती (Robustness): यह VLMs को बिना लेबल वाले डेटा के अनदेखे, शिफ्टेड डोमेन में प्रभावी ढंग से सामान्य करने में सक्षम बनाता है, जो वास्तविक दुनिया के परिनियोजन (deployment) के लिए एक महत्वपूर्ण आवश्यकता है।
सिमेंटिक ग्राउंडिंग (Semantic Grounding): यह विजुअल फीचर्स और फाइन-ग्रेन्ड टेक्स्टुअल एट्रिब्यूट्स के बीच के अंतर को पाटता है, यह सुनिश्चित करता है कि मॉडल बैकग्राउंड नॉइज़ के बजाय वास्तविक ऑब्जेक्ट सिमेंटिक्स के आधार पर अनुकूलित हो।
व्यावहारिकता (Practicality): यह डिफ्यूजन मॉडल्स या जटिल मेमोरी मैकेनिज्म की भारी कम्प्यूटेशनल लागत के बिना स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त करता है, जो इसे कुशल, रियल-टाइम एडैप्टेशन के लिए एक व्यवहार्य समाधान बनाता है।