Learning from Reliable Latent Prompts for Visual Recognition with Missing Modalities
यह शोधपत्र "लर्निंग फ्रॉम रिलायबल लेटेंट प्रॉम्प्ट्स" नामक एक नवीन प्रतिमान प्रस्तावित करता है, जो इंस्टेंस-लेवल फीचर्स की अस्थिरता को दूर करने के लिए इनपुट-अग्नोस्टिक, लर्नबल लेटेंट एंकर्स को स्थिर प्रायर्स (priors) के रूप में उपयोग करता है और अत्यधिक मिसिंग-मोडैलिटी परिदृश्यों में भी अत्याधुनिक विजुअल रिकग्निशन प्रदर्शन प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक शानदार जासूस (AI मॉडल) है जिसे तस्वीरों और गवाहों के बयानों जैसे दो प्रकार के साक्ष्यों को देखकर अपराध सुलझाने के लिए प्रशिक्षित किया गया है। एक आदर्श दुनिया में, जासूस को हमेशा फोटो और बयान दोनों मिलते हैं। लेकिन वास्तविक दुनिया में, चीजें गलत हो जाती हैं: कभी कैमरा टूट जाता है (कोई फोटो नहीं), कभी गवाह बोलने से बहुत डर जाता है (कोई बयान नहीं), या कभी दोनों ही गायब होते हैं।
जब जासूस को केवल पूर्ण मामलों पर प्रशिक्षित किया जाता है, तो वे भ्रमित हो जाते हैं और जब साक्ष्य गायब होते हैं तो बुरी तरह विफल हो जाते हैं।
पुराना तरीका: "जो बचा है उससे अनुमान लगाना"
इस समस्या को ठीक करने के पिछले प्रयास इस बात की तरह थे जैसे जासूस से यह अनुमान लगाने के लिए कहना कि उनके पास मौजूद थोड़े से साक्ष्य के आधार पर गायब साक्ष्य ने क्या कहा होगा।
- समस्या: यदि फोटो धुंधली है या गवाह का बयान आधा मिटा हुआ है, तो जासूस का "अनुमान" कमजोर आधार पर बना होता है। जितना अधिक साक्ष्य गायब होगा, अनुमान उतना ही खराब होता जाएगा। यह एक पहेली को पूरा करने की तरह है जहाँ आप केवल एक छोटे, धुंधले कोने के टुकड़े को देखते हैं और उम्मीद करते हैं कि वह आपको पूरी तस्वीर बता देगा। आप जितने अधिक टुकड़े खो देंगे, उतनी ही अधिक संभावना है कि आप तस्वीर को गलत समझेंगे।
नया विचार: "एक विश्वसनीय स्मृति बैंक"
इस शोध पत्र के लेखक, ताइक्सी चेन और नैन्सी गुओ, एक अलग दृष्टिकोण प्रस्तावित करते हैं जिसे लर्निंग फ्रॉम रिलायबल लेटेंट प्रॉम्प्ट्स (LLP) कहा जाता है।
जासूस को हाथ में मौजूद टूटे हुए साक्ष्य के आधार पर अनुमान लगाने के लिए कहने के बजाय, वे जासूस को एक स्थिर, आंतरिक स्मृति बैंक (जिसे "लेटेंट एंकर्स" कहा जाता है) देते हैं।
यह इस प्रकार काम करता है (एक सरल उपमा का उपयोग करते हुए):
- स्मृति बैंक (लेटेंट एंकर्स): कल्पना कीजिए कि जासूस के पास एक विशेष, अटूट नोटबुक है। इस नोटबुक में वर्तमान अपराध स्थल के विशिष्ट विवरण नहीं हैं। इसके बजाय, इसमें इस बात का सामान्य सार है कि तस्वीरें आमतौर पर कैसी दिखती हैं और गवाहों के बयान आमतौर पर कैसे सुनाई देते हैं। यह "इनपुट-एग्नोस्टिक" है, जिसका अर्थ है कि इसे इस बात से फर्क नहीं पड़ता कि वर्तमान साक्ष्य गायब है या टूटा हुआ है; यह बस "एक फोटो क्या है" और "टेक्स्ट क्या है" के विश्वसनीय, मूल ज्ञान को धारण करता है।
- संवाद (डुअल-पाथ क्रॉस-अटेंशन): जब जासूस के सामने लापता साक्ष्य वाला मामला आता है, तो वे टूटे हुए साक्ष्य को समझाने की कोशिश नहीं करते हैं। इसके बजाय, वे अपनी विश्वसनीय नोटबुक खोलते हैं। वे नोटबुक से "फोटो ज्ञान" को नोटबुक से "टेक्स्ट ज्ञान" से बात करने देते हैं।
- उदाहरण: यदि फोटो गायब है, तो नोटबुक में मौजूद "टेक्स्ट ज्ञान" यह याद करने में मदद करता है कि उस प्रकार की कहानी के लिए एक फोटो आमतौर पर कैसी दिखती है।
- वे एक नया, विश्वसनीय मार्गदर्शक (प्रॉम्प्ट) बनाने के लिए विचारों का आदान-प्रदान करते हैं जो जासूस को मामला सुलझाने के लिए निर्देश देता है, भले ही हिस्से गायब हों।
- परिणाम: क्योंकि मार्गदर्शक स्थिर स्मृति बैंक से आता है न कि टूटे हुए साक्ष्य से, इसलिए जासूस शांत और सटीक रहता है, भले ही 90% साक्ष्य गायब हो।
उन्होंने क्या पाया
शोधकर्ताओं ने इस विचार का परीक्षण तीन अलग-अलग "अपराध स्थलों" (डेटासेट) पर किया:
- मूवी जॉनर (फिल्म की शैली): फिल्म के पोस्टर और कथानक (प्लॉट) से फिल्म की शैली का अनुमान लगाना।
- भोजन: फोटो और विवरण से व्यंजनों की पहचान करना।
- हेटफुल मीम्स (घृणित मीम्स): यह पता लगाना कि क्या एक छवि और टेक्स्ट मिलकर अपमानजनक या द्वेषपूर्ण हैं।
परिणाम:
- जब सब कुछ गायब था: पुराने तरीके (अनुमान लगाने वाले) पूरी तरह से विफल हो गए।
- नया तरीका (LLP): इसने उच्च स्तर पर प्रदर्शन बनाए रखा, भले ही 90% डेटा गायब था। यह परीक्षण किए गए सभी अन्य तरीकों की तुलना में अपने काम में सर्वश्रेष्ठ था।
- यह क्यों काम किया: यह शोध पत्र दिखाता है कि टूटे हुए सुरागों पर निर्भर रहने के बजाय, अपने स्थिर आंतरिक ज्ञान से परामर्श करने से सिस्टम बहुत अधिक मजबूत और विश्वसनीय हो जाता है।
संक्षेप में
यह शोध पत्र तर्क देता है कि जब डेटा गायब होता है, तो हमें अपने समाधान को बचे हुए टूटे हुए टुकड़ों पर नहीं बनाना चाहिए। इसके बजाय, हमें अपने समाधान को स्थिर, आंतरिक ज्ञान पर बनाना चाहिए जो टूटे हुए डेटा से स्वतंत्र रूप से मौजूद है। यह AI को विश्वसनीयता के साथ "खाली स्थानों को भरने" की अनुमति देता है, ठीक वैसे ही जैसे एक जासूस जो खेल के नियमों को जानता है, भले ही साक्ष्य अधूरे हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।