Density-Aware Translation of Spurious Correlations in Zero-Shot VLMs

तकनीकी सारांश: शून्य-शॉट VLMs में स्पूरियस कोरिलेशन (Spurious Correlations) का डेंसिटी-अवेयर ट्रांसलेशन

समस्या विवरण
विज़न-लैंग्वेज मॉडल्स (VLMs), जैसे कि CLIP, ने एक साझा लेटेंट स्पेस में इमेज और टेक्स्ट एम्बेडिंग्स को संरेखित करके शक्तिशाली ज़ीरो-शॉट वर्गीकरण क्षमता प्रदर्शित की है। हालाँकि, ये मॉडल स्पूरियस कोरिलेशन (spurious correlations) के प्रति अत्यधिक संवेदनशील हैं, जहाँ भविष्यवाणियाँ सार्थक सामग्री के बजाय बार-बार आने वाले लेकिन अर्थहीन प्रासंगिक संकेतों (जैसे कि बैकग्राउंड) पर निर्भर करती हैं।

यह शोध पत्र इस विफलता के ज्यामितीय मूल कारण की पहचान करता है: CLIP एम्बेडिंग्स फीचर स्पेस में एक एनिसोट्रोपिक (anisotropic), दीर्घवृत्ताकार (ellipsoidal) संरचना प्रदर्शित करते हैं। सामान्य पैटर्न (जो अक्सर स्पूरियस गुणों से जुड़े होते हैं) वितरण के माध्य (mean) के पास क्लस्टर होते हैं, जबकि दुर्लभ लेकिन अर्थपूर्ण पैटर्न विरल (sparse), परिधीय क्षेत्रों में स्थित होते हैं। यह ज्यामिति एक असमान संरेखण (alignment) बनाती है जहाँ:

1. स्पूरियस कोरिलेशन का प्रवर्धन होता है क्योंकि बार-बार आने वाले नमूने मोडलिटी मीन वेक्टर के करीब संरेखित होते हैं।
2. अर्थपूर्ण लेकिन दुर्लभ संकेत हाशिए पर धकेल दिए जाते हैं, जिससे उन्हें स्पूरियसली संरेखित नमूनों की तुलना में कम समानता स्कोर प्राप्त होता है।
3. मानक कोसाइन सिमिलरिटी (cosine similarity), जो आइसोट्रोपिक वितरण मानती है, इस घनत्व भिन्नता (density variation) को ध्यान में रखने में विफल रहती है, जिससे कम प्रतिनिधित्व वाले समूहों के विरुद्ध व्यवस्थित पूर्वाग्रह पैदा होता है।

मौजूदा शमन रणनीतियाँ अक्सर फाइन-ट्यूनिंग (जो ज़ीरो-शॉट सामान्यीकरण को कमजोर करती है), प्रॉम्प्ट इंजीनियरिंग (जो मतिभ्रम और मिसअलाइनमेंट के प्रति संवेदनशील है), या सुपरवाइज्ड कॉन्सेप्ट डिस्कवरी (जिसके लिए लेबल किए गए स्पूरियस गुणों की आवश्यकता होती है) पर निर्भर करती हैं।

कार्यप्रणाली: डेंसिटी-अवेयर ट्रांसलेशन (DAT)
लेखक डेंसिटी-अवेयर ट्रांसलेशन (DAT) का प्रस्ताव करते हैं, जो एक ज़ीरो-शॉट कैलिब्रेशन तंत्र है जो ग्रुप रेफरेंस सेट्स से प्राप्त स्थानीय ज्यामितीय घनत्व शब्द (local geometric density term) का उपयोग करके इमेज-टेक्स्ट समानता स्कोर को परिष्कृत करता है। यह विधि मॉडल पैरामीटर्स को अपडेट किए बिना और टेस्ट के समय स्पूरियस एट्रिब्यूट लेबल तक पहुँच की आवश्यकता के बिना कार्य करती है।

DAT के मुख्य घटक हैं:

1. ग्रुप रेफरेंस कंस्ट्रक्शन: प्रत्येक समूह (जो वर्ग $y$ और स्पूरियस एट्रिब्यूट $a$ द्वारा परिभाषित है) के लिए सैंपलिंग प्रक्रिया का उपयोग करके संदर्भ नमूनों का एक छोटा, संतुलित सेट बनाया जाता है। स्थिरता सुनिश्चित करने के लिए, 'एम्बेडिंग हेयर्डिंग' (exemplar herding) का उपयोग उन एम्बेडिंग्स को चुनने के लिए किया जाता है जिनका रनिंग एवरेज ग्रुप मीन से मेल खाता है।
2. डेंसिटी एस्टीमेशन: एक क्वेरी इमेज के लिए, समूह के संदर्भ सेट के सापेक्ष स्थानीय घनत्व का अनुमान सिम्प्लीफाइड लोकल आउटलियर फैक्टर (SLOF) का उपयोग करके लगाया जाता है। उच्च SLOF मान इंगित करता है कि नमूना एक विरल क्षेत्र (कम प्रतिनिधि) में है, जबकि निम्न मान एक सघन (dense) क्षेत्र को इंगित करता है।
3. डेंसिटी ट्रांसलेशन: इमेज और ग्रुप प्रॉम्प्ट्स के बीच कच्चे समानता स्कोर को अनुमानित घनत्व के आधार पर पुनर्गठित (rescale) किया जाता है। विशेष रूप से, विसरित (sparse) क्षेत्रों वाले नमूनों के स्कोर को कम किया जाता है, जबकि सघन, अर्थपूर्ण रूप से सुसंगत क्षेत्रों वाले नमूनों के स्कोर को संरक्षित किया जाता है। ट्रांसलेशन को इस प्रकार सूत्रित किया गया है:
   $$\tilde{s}_{y,a}(x) = \frac{s_{y,a}(x)}{(D_{y,a}(z) + \epsilon)^\lambda}$$
   जहाँ $s_{y,a}$ कच्चा समानता स्कोर है, $D_{y,a}$ डेंसिटी प्रॉक्सी है, $\lambda$ ट्रांसलेशन स्ट्रेंथ को नियंत्रित करता है, और $\epsilon$ स्थिरता सुनिश्चित करता है।
4. प्रेडिक्शन एग्रीगेशन: अंतिम भविष्यवाणियां ग्रुप-करेक्टेड स्कोर और क्लास-मार्जिनल (एट्रिब्यूट-एवरेज) स्कोर दोनों के मैक्सिमाइजेशन द्वारा की जाती हैं, जो विभिन्न एग्रीगेशन रणनीतियों में मजबूती सुनिश्चित करती हैं।

एक वेरिएंट, DAT*, उन परिदृश्यों के लिए पेश किया गया है जहाँ स्पूरियस एट्रिब्यूट लेबल उपलब्ध नहीं हैं। यह इमेज एम्बेडिंग के साथ समानता को अधिकतम करने वाले एट्रिब्यूट प्रॉम्प्ट को चुनकर ज़ीरो-शॉट में ग्रुप मेंबरशिप का अनुमान लगाता है।

सैद्धांतिक विश्लेषण
शोध पत्र केंट (फिशर-बिंगम) डिस्ट्रीब्यूशन का उपयोग करके समूह वितरण को मॉडल करके DAT के लिए एक सैद्धांतिक औचित्य प्रदान करता है, जो CLIP एम्बेडिंग्स की एनिसोट्रोपिक प्रकृति को कैप्चर करता है।

• कोसाइन सिमिलिटी में पूर्वाग्रह: लेखक सिद्ध करते हैं कि कच्ची कोसाइन सिमिलिटी एनिसोट्रोपिक स्पेस में बेयस-ऑप्टिमल निर्णय सीमाओं से व्यवस्थित रूप से विचलित होती है। यह लॉग-डेंसिटी के लीनियर एक्सियल टर्म को तो रिकवर करता है लेकिन क्वाड्रेटिक एनिसोट्रॉपी टर्म को अनदेखा कर देता है।
• बेयस अलाइनमेंट: इस धारणा के तहत कि डेंसिटी प्रॉक्सी (SLOF) का लॉग, नेगेटिव लॉग-डेंसिटी के प्रति वफादार है, लेखक दिखाते हैं कि DAT लापता एनिसोट्रॉपी-सेंसिटिव लॉग-लाइक्लीहुड टर्म्स को पुनः स्थापित करता है। फलस्वरूप, DAT डिस्क्रिमिनेन्ट बेयस-ऑप्टिमल स्कोरिंग रूल्स के साथ संरेखित होता है, जो शुद्ध कोसाइन स्कोरिंग से उत्पन्न पूर्वाग्रह को ठीक करता है।

मुख्य योगदान

1. DAT मैकेनिज्म: ग्रुप रेफरेंस डेंसिटीज का उपयोग करके इमेज-टेक्स्ट सिमिलरिटी को रीस्केल करने वाला एक ज़ीरो-शॉट मैकेनिज्म, जिसमें कोई फाइन-ट्यूनिंग, कोई प्रॉम्प्ट इंजीनियरिंग, और टेस्ट के समय स्पूरियस एट्रिब्यूट लेबल तक पहुँच की आवश्यकता नहीं है।
2. सैद्धांतिक सुधार: एक सैद्धांतिक विश्लेषण जो दर्शाता है कि DAT एनिसोट्रोपिक एम्बेडिंग्स के तहत कोसाइन सिमिलिटी के पूर्वाग्रह को ठीक करता है और लापता लॉग-लाइक्लीहुड टर्म्स को पुनः स्थापित करता है।
3. अनुभवजन्य सत्यापन (Empirical Validation): कई बेंचमार्क (Waterbirds, CelebA, COVID-19, FMoW) और VLM बैकबोन (CLIP वेरिएंट्स, ALIGN, AltCLIP) पर व्यापक प्रयोग जो निरंतर वर्स्ट-ग्रुप (WG) और एवरेज एक्यूरेसी में सुधार दिखाते हैं।

प्रायोगिक परिणाम
लेखकों ने मानक स्पूरियस कोरिलेशन बेंचमार्क पर DAT का मूल्यांकन किया:

• Waterbirds: DAT ने सभी CLIP बैकबोन पर उच्चतम वर्स्ट-ग्रoup (WG) एक्यूरेसी प्राप्त की, जो सबसे मजबूत पूर्व बेसलाइन (TIE) से लगभग 4-14% अधिक थी। उदाहरण के लिए, CLIP ViT-L/14 के साथ, DAT ने 83.33% WG एक्यूरेसी प्राप्त की जबकि TIE की 78.82% थी।
• CelebA: DAT और DAT* ने अधिकांश मेट्रिक्स, विशेष रूप से WG एक्यूरेसी में, सबसे मजबूत प्रदर्शन किया, जो अक्सर TIE और ROBOSHOT जैसे स्टेट-ऑफ-द-आर्ट तरीकों से बेहतर रहा।
• मेडिकल और मल्टी-लेबल डोमेन: COVID-19 डेटासेट (BiomedCLIP का उपयोग करके) पर, DAT ने नवीनतम बेसलाइन्स की तुलना में WG एक्यूरेसी में 20% से अधिक सुधार किया। जटिल FMoW डेटासेट पर, DAT ने उच्चतम WG और एवरेज एक्यूरेसी प्राप्त की और उनके बीच के अंतर को काफी कम कर दिया।
• सामान्यीकरण (Generalization): विधि ने ALIGN और AltCLIP सहित विभिन्न VLMs में मजबूती प्रदर्शित की, जो लगातार पिछले डिबायसिंग दृष्टिकोणों से बेहतर रही।

महत्व और दावे
शोध पत्र का दावा है कि DAT विश्वसनीय ज़ीरो-शॉट वर्गीकरण के लिए एक सरल और प्रभावी कैलिब्रेशन मैकेनिज्म प्रदान करता है। इसका महत्व ज़ीरो-शॉट रिजीम से समझौता किए बिना VLMs की ज्यामितीय सीमाओं को संबोधित करने में निहित है। डेंसिटी को स्पष्ट रूप से मॉडल करके, DAT उन स्पूरियस कोरिलेशन के प्रवर्धन को कम करता है जो मानक सिमिलरिटी-आधारित इन्फरेंस को प्रभावित करते हैं।

लेखक DAT को प्रशिक्षण-आधारित डिबायसिंग के विकल्प के रूप में नहीं, बल्कि प्री-ट्रेंड मल्टीमॉडल एम्बेडिंग्स में अंतर्निहित ज्यामितीय पूर्वाग्रहों के लिए एक आवश्यक पोस्ट-हॉक सुधार के रूप में देखते हैं। वे निष्कर्ष निकालते हैं कि भविष्य के कार्यों को डेंसिटी एस्टीमेशन के लिए अनुकूल मल्टीमॉडल दृष्टिकोणों की खोज करनी चाहिए जो रेफरेंस सिलेक्शन और प्रॉम्प्ट डिज़ाइन के प्रति कम संवेदनशील हों, लेकिन वे इस बात पर जोर देते हैं कि वर्तमान विधि ग्रुप रोबस्टनेस में सुधार के लिए एक मजबूत, पैरामीटर-फ्री बेसलाइन प्रदान करती है।