Training-Free Pseudo-Fusion for Composed Image Retrieval with Diffusion Models and Multimodal Large Language Models
यह शोध पत्र PeFuse प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त (training-free) ढांचा है जो कंपोजिट इमेज रिट्रीवल (Composed Image Retrieval) के लिए प्रीट्रेन्ड डिफ्यूजन मॉडल्स और मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स का लाभ उठाता है ताकि जेनेरेटिव कन्वर्जन के माध्यम से कंपोजिशनल क्वेरीज़ को सिंगल-मोडैलिटी रिट्रीवल टास्क में बदला जा सके, जिससे समर्पित कार्य-विशिष्ट प्रशिक्षण के बिना प्रतिस्पर्धी प्रदर्शन प्राप्त किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक विशाल डिजिटल पुस्तकालय की कल्पना करें जहाँ हर किताब एक चित्र है। पारंपरिक खोज इंजन आपको एक चित्र दिखाकर दूसरा चित्र खोजने में सक्षम बनाते हैं, लेकिन वे तब संघर्ष करते हैं जब आप कहना चाहते हैं, "मुझे वही ड्रेस दिखाओ, लेकिन लाल रंग में और लंबी आस्तीन के साथ।" यह विशिष्ट चुनौती, जिसे 'कंपोज्ड इमेज रिट्रीवल' (composed image retrieval) के रूप में जाना जाता है, कंप्यूटर से एक ऐसे अनुरोध को समझने के लिए कहती है जो एक दृश्य संदर्भ (visual reference) को एक शाब्दिक निर्देश के साथ मिलाता है। वर्षों तक, इसे हल करने के लिए कस्टम, जटिल सॉफ़्टवेयर बनाने की आवश्यकता थी जिसे भारी मात्रा में लेबल किए गए डेटा पर श्रमसाध्य तरीके से प्रशिक्षित किया जाना पड़ता था। यदि डेटा बदल जाता या अनुरोध बहुत विशिष्ट हो जाता, तो ये प्रणालियाँ अक्सर विफल हो जाती थीं। शोधकर्ता लंबे समय से एक ऐसा तरीका खोजने की कोशिश कर रहे थे जिससे बिना उस भारी, कस्टम प्रशिक्षण के ये खोजें काम कर सकें, इस उम्मीद में कि एक ऐसा सिस्टम बनाया जा सके जो अपने पास मौजूद शक्तिशाली उपकरणों का उपयोग करके किसी भी नए अनुरोध को तुरंत समझ सके।
लक्ज़मबर्ग विश्वविद्यालय के शोधकर्ताओं की एक टीम ने अब बिना किसी नए प्रशिक्षण के इसे प्राप्त करने का एक तरीका प्रदर्शित किया है। उन्होंने 'PeFuse' नामक एक विधि विकसित की है, जो दृश्य और शाब्दिक दुनिया के बीच एक चतुर अनुवादक के रूपas कार्य करती है। एक कंप्यूटर को शून्य से एक छवि और एक वाक्य को आपस में मिलाने के लिए सीखने के लिए मजबूर करने के बजाय, उनका सिस्टम दो मौजूदा, पूर्व-प्रशिक्षित कृत्रिम बुद्धिमत्ता (AI) उपकरणों का उपयोग करके पूरे अनुरोध को पूरी तरह से फिर से लिख देता है। एक उपकरण, एक मल्टीमॉडल लार्ज लैंग्वेज मॉडल, छवियों को पढ़ने और विवरण लिखने में असाधारण रूप से कुशल है। दूसरा, एक डिफ्यूजन मॉडल, एक शक्तिशाली इमेज जनरेटर है जो टेक्स्ट के आधार पर नए चित्र बना सकता है। शोधकर्ताओं ने पाया कि इन उपकरणों का उपयोग करके मिश्रित अनुरोध को एक एकल, शुद्ध रूप में बदलने से—या तो पूरे अनुरोध को एक नई छवि में बदलकर या उसे एक विस्तृत टेक्स्ट विवरण में बदलकर—वे परिणाम को उन मानक खोज इंजनों में प्लग कर सकते थे जो इस कार्य के लिए नहीं बनाए गए थे।
शोधकर्ताओं ने फैशन वस्तुओं, ओपन-डोमेन फोटो और जटिल दृश्यों वाले कई मानक डेटासेट पर इस दृष्टिकोण का परीक्षण किया। उन्होंने पाया कि सबसे प्रभावी रणनीति मिश्रित अनुरोध को एक टेक्स्ट विवरण में बदलना और फिर उस टेक्स्ट से मेल खाने वाली छवियों की खोज करना था। इस परिदृश्य में, भाषा मॉडल संदर्भ फोटो और उपयोगकर्ता के निर्देश को पढ़ता है, और फिर एक नया, सटीक वाक्य लिखता है जो बिल्कुल वही कैप्चर करता है जो उपयोगकर्ता ढूंढ रहा है। इस नए वाक्य को फिर एक मानक इमेज सर्च इंजन में फीड किया जाता है। आश्चर्यजनक रूप से, यह सरल अनुवाद चरण एक नए चित्र को उत्पन्न करने और फिर समान चित्रों की खोज करने की तुलना में बेहतर काम कर गया। हालांकि इमेज जनरेशन टूल नए चित्र बना सकता था, लेकिन उन चित्रों में अक्सर सूक्ष्म, अस्वाभाविक खामियां होती थीं जो सर्च इंजन को भ्रमित कर देती थीं। हालाँकि, टेक्स्ट विवरण स्पष्ट और अर्थपूर्ण रूप से सटीक बने रहे, जिससे सर्च इंजन को उच्च सटीकता के साथ सही मिलान खोजने में मदद मिली।
अध्ययन ने यह भी पता लगाया कि क्या होता है जब सिस्टम इसके विपरीत प्रयास करता है: डेटाबेस में लक्षित छवियों को उपयोगकर्ता के अनुरोध से मेल खाने के लिए टेक्स्ट में बदलना। हालांकि यह छवियों को सीधे छवियों के विरुद्ध मिलाने से बेहतर था, फिर भी यह टेक्स्ट-टू-इमेज दृष्टिकोण से पीछे रह गया। शोधकर्ताओं ने पाया कि अंतिम खोज परिणाम की गुणवत्ता चुने गए विशिष्ट उपकरणों पर बहुत अधिक निर्भर करती है। उदाहरण के लिए, एक बड़े, अधिक शक्तिशाली लैंग्वेज मॉडल का उपयोग करने से आम तौर पर परिणामों में सुधार हुआ, हालांकि लाभ कभी-कभी छोटे होते थे। उन्होंने इमेज जनरेटर के विभिन्न सेटिंग्स के प्रभावों का भी परीक्षण किया, और पाया कि इमेज बनाने के लिए बहुत अधिक चरणों का उपयोग करने या इमेज को मूल संदर्भ के बहुत करीब रखने की कोशिश करने से वास्तव में सर्च प्रदर्शन को नुकसान पहुँचा। इसका 'स्वीट स्पॉट' चरणों की एक मध्यम संख्या और मूल छवि के प्रति पालन करने के लिए एक कम सेटिंग का उपयोग करना था, जिससे इसे नए टेक्स्ट निर्देशों को शामिल करने के लिए पर्याप्त स्वतंत्रता मिल सके।
जो इस कार्य को विशेष रूप से महत्वपूर्ण बनाता है वह यह है कि इसमें कोई नया डेटा और मौजूदा मॉडलों का कोई पुन: प्रशिक्षण आवश्यक नहीं है। यह प्रणाली पूरी तरह से "ट्रेनिंग-फ्री" है, जिसका अर्थ है कि इसे महीनों की तैयारी के बिना नए डेटासेट या नए डोमेन पर तुरंत तैनात किया जा सकता है। शोधकर्ताओं ने दिखाया कि इन पूर्व-मौजूदा उपकरणों को एक साथ जोड़कर, वे उन जटिल प्रणालियों के प्रदर्शन से मेल खा सकते हैं या यहाँ तक कि उनसे बेहतर प्रदर्शन कर सकते हैं जिन्हें विशेष रूप से इस कार्य के लिए प्रशिक्षित किया गया था। यह सुझाव देता है कि इस तकनीक का भविष्य बड़े, अधिक विशिष्ट मॉडल बनाने में नहीं, बल्कि हमारे पास पहले से मौजूद शक्तिशाली, सामान्य-उद्देश्य वाले उपकरणों का स्मार्ट तरीके से उपयोग करने में निहित है। समस्या को एक फ्यूजन (विलय) कार्य के बजाय एक ट्रांसलेशन (अनुवाद) कार्य के रूप में मानकर, शोधकर्ताओं ने अधिक लचीली और अनुकूलन योग्य इमेज सर्च प्रणालियों के लिए एक मार्ग खोल दिया है जो बिना सिखाए मानवीय इरादे को समझ सकती हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।