Respecting Modality Gap in Post-hoc Out-of-distribution Detection with Pre-trained Vision-Language Models
यह शोध पत्र एक ऑनलाइन छद्म-पर्यवेक्षित (pseudo-supervised) ढांचे का प्रस्ताव करता है जो टेक्स्ट और विज़ुअल रिप्रजेंटेशन के बीच के अंतर्निहित मोडैलिटी अंतराल को पाटने के लिए अनलेबल टेस्ट डेटा से विज़ुअल क्लास प्रोटोटाइप सीखता है, जिससे इन-डिस्ट्रीब्यूशन ट्रेनिंग डेटा की आवश्यकता के बिना स्टेट-ऑफ-द-आर्ट पोस्ट-हॉक आउट-ऑफ-डिस्ट्रीब्यूशन डिटेक्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विद्वान लाइब्रेरियन (AI मॉडल) है जिसने "बिल्लियों," "कारों," और "पेड़ों" जैसे विशिष्ट विषयों पर पुस्तकों के एक विशाल पुस्तकालय का वर्षों तक अध्ययन किया है। यह लाइब्रेरियन इन चीजों को पहचानने में उत्कृष्ट है। हालांकि, वास्तविक दुनिया में, लोग लाइब्रेरियन के पास आ सकते हैं और उसे एक "चमकदार टोस्टर" या "उड़ते हुए केले" की तस्वीर दिखा सकते हैं। ये ऐसी चीजें हैं जिन्हें लाइब्रेरियन ने पहले कभी नहीं देखा है।
आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) डिटेक्शन का लक्ष्य लाइब्रेरियन को यह सिखाना है कि वह कहे, "मुझे नहीं पता कि यह क्या है," बजाय इसके कि वह अनुमान लगाए कि यह एक बिल्ली या कार है और गलत हो जाए।
पुराना तरीका: "पाठ्यपुस्तक" की समस्या
हाल ही में, वैज्ञानिकों ने एक नया उपकरण खोजा है: एक विज़न-लैंग्वेज मॉडल (जैसे CLIP)। इसे एक ऐसे लाइब्रेरियन के रूप में सोचें जो चित्रों और शब्दों दोनों को पढ़ सकता है। लाइब्रेरियन को "बिल्लियों" को पहचानने में मदद करने के लिए, पुराने तरीके से बस कार्ड पर "बिल्ली" शब्द लिखा और लाइब्रेरियन को बताया, "यह शब्द एक बिल्ली के विचार का प्रतिनिधित्व करता है।"
समस्या यह है कि शब्द और चित्र अलग-अलग भाषाएँ हैं।
- "बिल्ली" शब्द टेक्स्ट (पाठ) की दुनिया में रहता है।
- बिल्ली की तस्वीर इमेज (चित्र) की दुनिया में रहती है।
यह समस्या कि केवल शब्द "बिल्ली" का उपयोग बिल्ली की तस्वीर के विकल्प के रूप में करना, किसी दूसरे शहर के मानचित्र का उपयोग करके वर्तमान शहर में नेविगेट करने की कोशिश करने जैसा है। भले ही मानचित्र और शहर दोनों के नाम समान हों, लेकिन उनकी सड़कें पूरी तरह से मेल नहीं खाती हैं। यहाँ एक "मोडैलिटी गैप" (Modality Gap) है—टेक्स्ट विवरण और वास्तविक दृश्य वास्तविकता के बीच एक संरचनात्मक बेमेल। आप प्रॉम्प्ट (निर्देशों) को कितनी भी चतुराई से क्यों न बदल लें, आप इस अंतर को ठीक नहीं कर सकते क्योंकि टेक्स्ट और इमेज AI के मस्तिष्क में एक ही "पड़ोस" में नहीं रहते हैं।
नया समाधान: करके सीखना (द "ऑनलाइन" अप्रोच)
लेखक इसे ठीक करने का एक नया तरीका प्रस्तावित करते हैं। टेक्स्ट कार्ड्स पर निर्भर रहने के बजाय, वे लाइब्रेरियन को काम करते समय सीधे विज़ुअल मैप (दृश्य मानचित्र) को सीखना सीखने देते हैं।
यहाँ उनका तरीका कैसे काम करता है, एक सरल उपमा का उपयोग करते हुए:
- सेटअप: लाइब्रेरियन एक मोटे तौर पर शुरुआती बिंदु के रूप में टेक्स्ट कार्ड्स (पुराने तरीके) के साथ शुरू करता है।
- स्ट्रीम: जैसे ही लोग नई तस्वीरें लेकर आते हैं (टेस्ट डेटा), लाइब्रेरियन उन्हें देखता है।
- अनुमान: लाइब्रेरियन अपने वर्तमान ज्ञान के आधार पर एक "सॉफ्ट गेस" (कोमल अनुमान) लगाता है। "यह 80% बिल्ली जैसा दिखता है, 20% कुत्ते जैसा।"
- अपडेट:
- यदि लाइब्रेरियन बहुत आश्वस्त है कि यह एक बिल्ली है, तो वह अपने वर्तमान मानसिक "बिल्ली मैप" को अभी देखी गई वास्तविक तस्वीर से मिलाने के लिए थोड़ा समायोजित करता है।
- यदि लाइब्रेरियन बहुत आश्वस्त है कि यह बिल्ली नहीं है (यह एक अज्ञात वस्तु है), तो वह अपने "अज्ञात वस्तु मैप" को समायोजित करता है।
- यदि लाइब्रेरियन भ्रमित है, तो वह अभी के लिए तस्वीर को अनदेखा कर देता है।
- परिणाम: समय के साथ, लाइब्रेरियन उन अपूर्ण टेक्स्ट कार्ड्स पर निर्भर रहना बंद कर देता है और एक आदर्श, विज़ुअल मैप बनाता है कि वास्तविक दुनिया में "बिल्ली" और "अज्ञात" वास्तव में कैसे दिखते हैं।
यह क्यों महत्वपूर्ण है
यह पेपर गणितीय रूप से सिद्ध करता है कि पुराना तरीका (प्रोटोटाइप के रूप में टेक्स्ट का उपयोग करना) में एक स्थायी दोष है क्योंकि टेक्स्ट और इमेज मौलिक रूप से भिन्न होते हैं। उनका नया तरीका इसे ठीक करता है क्योंकि यह बिना किसी मानवीय लेबल या पूरे सिस्टम को फिर से प्रशिक्षित किए, चित्रों का उपयोग करके स्वयं मैप को ऑन-द-फ्लाई (चलते-चलते) कैलिब्रेट करता है।
प्रमाण
उन्होंने बड़े डेटासेट्स (जैसे ImageNet, जिसमें हजारों श्रेणियां हैं) पर इसका परीक्षण किया। परिणाम प्रभावशाली थे:
- नया तरीका "अज्ञात" वस्तुओं (जैसे उड़ता हुआ केला) को पहचानने में पिछले तरीकों की तुलना में बहुत बेहतर था।
- इसने उन मामलों की संख्या को काफी कम कर दिया जहाँ AI आत्मविश्वास से गलत अनुमान लगाता था (फॉल्स पॉजिटिव)।
- यह तब भी अच्छी तरह से काम करता था जब तस्वीरों को अलग-अलग क्रम में या अलग-अलग स्रोतों से मिलाया गया था।
संक्षेप में, पेपर कहता है: "केवल लेबल को न पढ़ें; तस्वीर को देखें और उसे देखते हुए उससे सीखें।" यह AI को उन चीजों के साथ सामना करने पर बहुत अधिक विश्वसनीय बनाता है जिन्हें उसने पहले कभी नहीं देखा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।