ChatSearch: a Dataset and a Generative Retrieval Model for General Conversational Image Retrieval
यह शोध पत्र ChatSearch प्रस्तुत करता है, जो ओपन-डोमेन इमेज रिट्रीवल के लिए मल्टी-राउंड मल्टीमॉडल कन्वर्सेशनल क्वेरीज़ वाला एक नया डेटासेट है, साथ ही ChatSearcher भी पेश करता है, जो मल्टीमॉडल कॉन्टेक्स्ट के साथ प्रभावी ढंग से तर्क करने और इंटरैक्टिव इमेज सर्च में बेहतर प्रदर्शन प्राप्त करने के लिए वर्ल्ड नॉलेज का लाभ उठाने हेतु एंड-टू-एंड प्रशिक्षित एक जनरेटिव रिट्रीवल मॉडल है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप छवियों के एक विशाल, अनंत पुस्तकालय में एक विशिष्ट फोटो की तलाश कर रहे हैं। लेकिन, इसके बजाय कि आप "सूर्यास्त" या "कुत्ता" जैसा कोई कीवर्ड टाइप करें, आप उस फोटो को खोजने के लिए लाइब्रेरियन (पुस्तकालयाध्यक्ष) के साथ एक बातचीत करना चाहते हैं।
शायद आप एक समुद्र तट (बीच) की तस्वीर दिखाकर कहते हैं, "मुझे इसके जैसा कुछ चाहिए, लेकिन इसमें कुत्ते की जगह एक बिल्ली होनी चाहिए।" फिर लाइब्रेरियन आपसे पूछ सकता है, "क्या आप चाहते हैं कि बिल्ली सो रही हो या खेल रही हो?" आप उत्तर देते हैं, "खेल रही हो, और इसे गर्मियों के बजाय सर्दियों का समुद्र तट बना दें।"
यही "ChatSearch" पेपर का मूल विचार है। शोधकर्ता एक ऐसा सिस्टम बना रहे हैं जो केवल एक कमांड के आधार पर छवियों को नहीं खोजता, बल्कि एक पूरे आदान-प्रदान वाली बातचीत (back-and-forth chat) को समझता है जहाँ सुराग टेक्स्ट और चित्रों के बीच मिश्रित होते हैं।
यहाँ उनके काम का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. समस्या: "अंधा" लाइब्रेरियन
पारंपरिक इमेज सर्च इंजन ऐसे लाइब्रेरियन की तरह हैं जो केवल एक भाषा समझते हैं: या तो आप उन्हें एक तस्वीर दिखाते हैं, या आप एक वाक्य देते हैं। वे तब संघर्ष करते हैं जब आप एक जटिल बातचीत करने की कोशिश करते हैं।
- उदाहरण: यदि आप कहते हैं, "मुझे एक कार की तस्वीर दिखाओ, लेकिन इसे लाल बना दो," तो एक सामान्य सर्च इंजन आपको केवल लाल कारें दिखा सकता है। वह बातचीत के संदर्भ में आपके द्वारा किए गए बदलाव को नहीं समझ पाता है।
2. समाधान: "ChatSearch" डेटासेट
कंप्यूटर को ये बातचीत करना सिखाने के लिए, शोधकर्ताओं ने ChatSearch नामक एक नया प्रशिक्षण डेटासेट बनाया है।
- उपमा: कल्पना कीजिए कि उन्होंने AI के लिए एक विशाल "प्रशिक्षण स्कूल" बनाया है। उन्होंने केवल प्रश्न और उत्तर नहीं लिखे; उन्होंने परिदृश्य (scenarios) बनाए।
- उन्होंने हजारों नकली बातचीत उत्पन्न करने के लिए स्मार्ट AI टूल्स का उपयोग किया जहाँ एक उपयोगकर्ता और एक कंप्यूटर एक छवि पर चर्चा करते हैं। कभी उपयोगकर्ता एक तस्वीर दिखाता है; कभी वे केवल बात करते हैं। बातचीत का लक्ष्य हमेशा डेटाबेस में छिपी एक विशिष्ट "लक्ष्य" (target) छवि को खोजना होता है।
- इसके बाद मानव विशेषज्ञों ने इन बातचीत की जांच की ताकि यह सुनिश्चित हो सके कि वे अर्थपूर्ण हैं, जिससे यह सुनिश्चित हुआ कि AI उच्च गुणवत्ता वाले उदाहरणों से सीखता है।
3. मुख्य खिलाड़ी: "ChatSearcher"
शोधकर्ताओं ने ChatSearcher नामक एक नया AI मॉडल भी बनाया है। इस मॉडल को एक सुपर-इंटेलिजेंट जासूस के रूप में समझें जो शब्दों और चित्रों दोनों से एक साथ सुराग पढ़ सकता है।
- यह कैसे सोचता है: पुराने मॉडलों के विपरीत जो टेक्स्ट और इमेज को अलग-अलग चीजें मानते हैं, ChatSearcher उन्हें एक एकल, बहती हुई कहानी की तरह मानता है। यह एक तस्वीर को "पढ़" सकता है और साथ ही एक वाक्य को "सुन" सकता है।
- जादुई ट्रिक (जेनरेटिव रिट्रीवल): आमतौर पर, सर्च इंजन एक सूची को स्कैन करते हैं और सबसे अच्छा मिलान चुनते हैं। ChatSearcher अलग है; यह उत्तर को जेनरेट (उत्पन्न) करता है। यह एक शेफ की तरह है जो केवल मेनू से एक व्यंजन नहीं चुनता बल्कि आपके द्वारा वर्णित सटीक व्यंजन को पकाता है।
- जब आप कोई प्रश्न पूछते हैं, तो मॉडल अगले "टोकन" (डेटा का एक टुकड़ा) की भविष्यवाणी करता है। कभी-कभी वह टोकन एक शब्द (जैसे "बिल्ली") होता है, और कभी-कभी वह एक छवि की ओर इशारा करने वाला पॉइंटर होता है। यह वास्तव में बातचीत में छवि को "लिखता" है।
4. इसे कैसे प्रशिक्षित किया गया (दो-चरणीय वर्कआउट)
ChatSearcher को स्मार्ट बनाने के लिए, उन्होंने इसे दो चरणों में प्रशिक्षित किया:
- "एलाइनमेंट" चरण: उन्होंने मॉडल को यह समझने के लिए सिखाया कि कुत्ते की एक तस्वीर और शब्द "कुत्ता" एक ही चीज़ हैं। उन्होंने हजारों इमेज-टेक्स्ट जोड़ों को मिलाया ताकि मॉडल "इमेज" और "टेक्स्ट" दोनों को धाराप्रवाह बोलना सीख सके।
- "कन्वर्सेशन" (बातचीत) चरण: उन्होंने मॉडल को जटिल निर्देशों का आहार दिया। उन्होंने इसे दिखाया कि कैसे निम्नलिखित को संभालना है:
- विजुअल कन्वर्सेशन: "इस तस्वीर में क्या है?"
- इमेज एडिटिंग: "इस फोटो को लें और आकाश को नीला बना दें।"
- रिट्रीवल (खोज): "मुझे इस तरह की एक फोटो ढूंढ कर दें, लेकिन अलग बैकग्राउंड के साथ।"
5. यह क्यों महत्वपूर्ण है
परिणाम बताते हैं कि ChatSearcher पिछली विधियों की तुलना में बातचीत के माध्यम से छवियां खोजने में बहुत बेहतर है।
- "जीरो-शॉट" सुपरपावर: यहाँ तक कि जब इसका परीक्षण उन कार्यों पर किया गया जिनके लिए इसे स्पष्ट रूप से प्रशिक्षित नहीं किया गया था (जैसे कि किसी स्केच या जटिल विवरण के आधार पर छवियां खोजना), तब भी इसने बहुत अच्छा प्रदर्शन किया। यह एक ऐसे छात्र की तरह है जिसने अध्ययन करना सीख लिया है और वह उस विषय पर भी परीक्षा में उत्कृष्ट प्रदर्शन कर सकता है जिसे उसने पहले कभी नहीं देखा है।
- इंटरैक्टिव रिफाइनमेंट (संवादात्मक परिशोधन): सबसे अच्छी बात इंटरैक्शन है। यदि AI आपको एक तस्वीर दिखाता है और आप कहते हैं, "नहीं, मेरा मतलब दूसरे प्रकार के कुत्ते से था," तो AI उस संदर्भ को याद रखता है और तुरंत खोज को परिष्कृत करता है।
संक्षेप में
यह पेपर छवियों को खोजने का एक नया तरीका पेश करता है: खोजना बंद करें, चैट करना शुरू करें।
उन्होंने एक नया डेटासेट (ChatSearch) बनाया ताकि AI को मिश्रित टेक्स्ट-और-इमेज बातचीत को समझना सिखाया जा सके, और उन्होंने एक नया मॉडल (ChatSearcher) बनाया जो एक संवादात्मक साथी की तरह कार्य करता है जो न केवल छवियों के बारे में बात कर सकता है बल्कि आपकी बदलती जरूरतों के आधार पर सटीक सही तस्वीर भी निकाल सकता है। यह "खोजने" के ठंडे, यांत्रिक कार्य को एक गर्म, स्वाभाविक "बातचीत" में बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।