SeCo-SBIR: Semantically Consistent Prompt Learning for Zero-Shot Sketch-Based Image Retrieval
SeCo-SBIR एक सिमेंटिकली कंसिस्टेंट प्रॉम्प्ट लर्निंग फ्रेमवर्क है जो विजुअल एनकोडर में टेक्स्ट-गाइडेड सिमेंटिक नॉलेज को इंजेक्ट करके और एक फ्रोजन CLIP रेफरेंस के साथ परटर्बेशन-आधारित कंस्ट्रेंट्स के माध्यम से निरंतरता लागू करके स्केच-आधारित इमेज रिट्रीवल में डोमेन अडैप्टेशन और ज़ीरो-शॉट जनरलाइजेशन के बीच के तनाव को हल करता है, जिससे कई बेंचमार्क पर स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को चीजें पहचानना सिखाने की कोशिश कर रहे हैं, लेकिन एक ट्विस्ट के साथ: आप उसे केवल असली जानवरों की तस्वीरें ही दिखा सकते हैं, फिर भी आप चाहते हैं कि वह मनुष्यों द्वारा बनाई गई ड्राइंग को समझ सके। यह जीरो-शॉट स्केच-बेस्ड इमेज रिट्रीवल (Zero-Shot Sketch-Based Image Retrieval) की दुनिया है। यह आर्टिफिशियल इंटेलिजेंस की एक शाखा है जहाँ कंप्यूटर को एक रफ, टेढ़े-मेढ़े स्केच (जैसे कि एक स्टिक फिगर वाला कुत्ता) को एक असली कुत्ते की हाई-डेफिनिशन तस्वीर से मिलाना होता है, भले ही उसने उस विशिष्ट प्रकार के कुत्ते को पहले कभी न देखा हो।
इस चुनौती को समझने के लिए, रोबोट के मस्तिष्क को उसके दो मुख्य "सेंस" (इंद्रियों) के रूप में सोचें: देखने (तस्वीरें) के लिए और पढ़ने (टेक्स्ट) के लिए। CLIP नामक एक शक्तिशाली टूल ने पहले ही इस रोबोट को सिखा दिया है कि "डॉग" (कुत्ता) शब्द और कुत्ते की एक फोटो आपस में संबंधित हैं। हालाँकि, जब आप रोबोट को एक बिखरे हुए, ब्लैक-एंड-व्हाइट स्केच को देखने के लिए कहते हैं, तो वह भ्रमित हो जाता है। स्केच फोटो की तुलना में बहुत अलग होता है। सामान्य समाधान यह है कि रोबोट को "फाइन-ट्यून" किया जाए, यानी उसे गैप को भरने के लिए नई ट्रिक्स सिखाई जाएं। लेकिन यहाँ एक पेंच है: यदि आप उसे प्रशिक्षण के दौरान दिखाई जाने वाली विशिष्ट कुत्तों की किस्मों के बारे में बहुत अधिक सिखाते हैं, तो वह एक ही ढर्रे में फंस जाता है। वह प्रशिक्षण के उदाहरणों के प्रति इतना जुनूनी हो जाता है कि वह उन कुत्तों के नए प्रकारों को पहचानना भूल जाता है जिन्हें उसने अभी तक नहीं देखा है। यह एक ऐसे छात्र की तरह है जो अभ्यास परीक्षा के उत्तरों को इतनी अच्छी तरह से याद कर लेता है कि वह वास्तविक परीक्षा में विफल हो जाता है क्योंकि प्रश्न थोड़े अलग होते हैं।
यही वह समस्या है जिसे पोस्ट्स एंड टेलीकम्युनिकेशंस इंस्टीट्यूट ऑफ टेक्नोलॉजी के शोधकर्ताओं ने हल करने का प्रयास किया। उन्होंने एक नया तरीका पेश किया जिसे SeCo-SBIR कहा जाता है, जो एक चतुर अनुवादक और एक सख्त शिक्षक दोनों की भूमिका निभाता है। केवल रोबोट को स्केच को रटने के लिए मजबूर करने के बजाय, उन्होंने एक तरीका खोजा जिससे वे रोबोट के मौजूदा भाषाई ज्ञान का उपयोग उसकी दृष्टि (विज़न) को निर्देशित करने के लिए कर सकें। उन्होंने एक सुरक्षा जाल भी जोड़ा ताकि यह सुनिश्चित हो सके कि रोबोट अपनी नई ट्रिक्स में बहुत अधिक आत्मविश्वासी न हो जाए और अपने मूल, सामान्य ज्ञान को न भूल जाए।
दो-भागों वाला जादू का खेल
यह पेपर एक ऐसा फ्रेमवर्क प्रस्तावित करता है जो दो मुख्य विचारों का उपयोग करके रोबोट के भ्रम को हल करता है, जिन्हें लेखक "टेक्स्ट-गाइडेड प्रॉम्प्टिंग" (text-guided prompting) और "कंसिस्टेंसी कंस्ट्रेंट्स" (consistency constraints) कहते हैं।
1. भाषा अनुवादक (टेक्स्ट-गाइडेड प्रॉम्प्टिंग)
कल्पना कीजिए कि रोबोट के पास जानवरों की किताबों का एक पुस्तकालय है। जब वह एक फोटो देखता है, तो वह आमतौर पर केवल चित्र को देखता है। लेकिन SeCo-SBIR के साथ, शोधकर्ता रोबोट को बताते हैं: "स्केच देखने से पहले, अपनी लाइब्रेरी में 'डॉग' शब्द को पढ़ लो।"
तकनीकी शब्दों में, रोबोट अपने टेक्स्ट एनकोडर (वह हिस्सा जो शब्दों को समझता है) का उपयोग एक प्रॉम्प्ट को प्रोसेस करने के लिए करता है। शून्य से नए विजुअल पैटर्न सीखने के बजाय, रोबोट टेक्स्ट साइड से "डॉग" शब्द का अर्थ लेता है और उसे लेयर-दर-लेयर विजुअल साइड में भेज देता है। इसे एक टूर गाइड (टेक्स्ट) की तरह सोचें जो एक फोटोग्राफर (विजुअल एनकोडर) को फोटो लेने से पहले किसी लैंडमार्क का इतिहास फुसफुसाकर बता रहा है। क्योंकि गाइड लाखों किताबों को पढ़कर पहले से ही "डॉग" की सामान्य अवधारणा को जानता है, इसलिए फोटोग्राफर को हर उस कुत्ते को याद करने की आवश्यकता नहीं है जिसे उसने कभी देखा है। उसे बस एक कुत्ते के विचार को समझने की आवश्यकता है। यह रोबोट को एक नए नस्ल के कुत्ते के स्केच को पहचानने में मदद करता है जिसे उसने पहले कभी नहीं देखा है, क्योंकि "गाइड" जानता है कि कुत्ते आम तौर पर कैसे दिखते हैं, चाहे वह कोई भी विशिष्ट फोटो हो।
2. सख्त शिक्षक (कंसिस्टेंसी कंस्ट्रेंट)
अब, कल्पना कीजिए कि रोबोट ये नई ट्रिक्स सीख रहा है। एक जोखिम यह है कि वह बहुत उत्साहित हो सकता है और मतिभ्रम (hallucinate) करने लग सकता है, यह सोचकर कि हर चार पैरों वाला जानवर एक "गोल्डन रिट्रीवर" है क्योंकि प्रशिक्षण के दौरान उसने सबसे अधिक यही देखा था। इसे रोकने के लिए, शोधकर्ताओं ने एक "सख्त शिक्षक" जोड़ा।
यह शिक्षक एक ही फोटो के दो संस्करण दिखाकर काम करता है: एक जो थोड़ा खराब या बदला हुआ है (ऑगमेंटेड) और एक जो साफ है। रोब करता का "फ्रोजन" मस्तिष्क (मूल, अप्रशिक्षित संस्करण) खराब फोटो को देखता है, जबकि "लर्निंग" मस्तिष्क साफ फोटो को देखता है। शिक्षक मांग करता है कि दोनों मस्तिष्क एक ही वस्तु पर सहमत हों, भले ही वे इसके अलग-अलग संस्करण देख रहे हों। यदि लर्निंग ब्रेन भटकने लगता है और कहता है, "यह एक बिल्ली है!" सिर्फ इसलिए क्योंकि उसने ट्रेनिंग में एक बिल्ली देखी थी, तो शिक्षक कहता है, "नहीं, मूल मस्तिष्क को देखो; वह अभी भी एक कुत्ता देख रहा है। तुम्हें सुसंगत (consistent) रहना होगा।" यह रोबोट को उसके मूल, सामान्य ज्ञान में जमीन से जोड़े रखता है, जिससे वह विशिष्ट प्रशिक्षण डेटा के प्रति ओवरफिट होने से बच जाता है।
उन्हें क्या मिला
शोधकर्ताओं ने इस नए सिस्टम का परीक्षण तीन अलग-अलग "परीक्षाओं" (डेटासेट्स) पर किया जो इस क्षेत्र में मानक हैं: Sketchy-Ext, TU-Berlin-Ext, और QuickDraw-Ext। इन परीक्षणों में विभिन्न श्रेणियों में स्केच को फोटो से मिलाना शामिल है, जिनमें कुछ ऐसी श्रेणियां भी हैं जिन्हें रोबोट ने पहले कभी नहीं देखा है।
परिणाम काफी प्रभावशाली थे। TU-Berlin-Ext टेस्ट पर, जो अपनी कई समान दिखने वाली श्रेणियों के कारण बहुत कठिन माना जाता है, SeCo-SBIR ने पिछले सर्वश्रेष्ठ तरीके की तुलना में सटीकता में 5.6% का सुधार किया। "क्रॉस-डेटासेट" टेस्ट में, जहाँ रोबोट को एक सेट के चित्रों पर प्रशिक्षित किया गया और दूसरे सेट के चित्रों पर टेस्ट किया गया, इसने सटीकता में 6.8% का सुधार किया।
पेपर सुझाव देता है कि यह दृष्टिकोण इसलिए काम करता है क्योंकि यह दो विपरीत जरूरतों के बीच संतुलन बनाता है: यह रोबोट को स्केच की अव्यवस्थता को समझने के लिए पर्याप्त अनुकूलित करता है, लेकिन यह उसके सामान्य ज्ञान को बरकरार रखता है ताकि वह नई श्रेणियों को संभालना न भूल जाए। लेखकों ने पाया कि उनके सिस्टम के हर हिस्से—भाषा अनुवादक, सख्त शिक्षक, और इन विचारों को मिलाने के लिए उपयोग किए गए विशिष्ट गणित—ने सफलता में योगदान दिया। जब उन्होंने किसी भी एक हिस्से को हटाया, तो रोबोट का प्रदर्शन गिर गया।
संक्षेप में, SeCo-SBIR दिखाता है कि भाषा का उपयोग दृष्टि को निर्देशित करने के लिए करने और ओवर-लर्निंग को रोकने के लिए एक "रियलिटी चेक" जोड़ने से, हम एक ऐसा AI बना सकते हैं जो रफ स्केच के माध्यम से दुनिया को पहचानने में बहुत बेहतर है, भले ही वह पहली बार किसी वस्तु को देख रहा हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।