← नवीनतम पेपर
🤖 AI

Never Seen Before: Benchmarking Genuine Zero-Shot Composed Image Retrieval with Consistent Video-Sourced Datasets

यह शोध पत्र ZeroSight को प्रस्तुत करता है, जो वास्तविक ज़ीरो-शॉट कंपोज़्ड इमेज रिट्रीवल (Zero-Shot Composed Image Retrieval) के लिए एक नया बेंचमार्क है, जो वास्तविक ज़ीरो-शॉट स्थितियों और सुसंगत संदर्भ-लक्ष्य युग्मों (reference-target pairs) को सुनिश्चित करने के लिए पोस्ट-CLIP प्रशिक्षण वीडियो डेटा का उपयोग करता है, साथ ही एक प्लग-एंड-प्ले SC4CIR विधि भी प्रदान करता है जो मौजूदा डेटासेट और मॉडलों में बढ़ी-चढ़ी प्रदर्शन क्षमता को उजागर करती है।

मूल लेखक: Zhenyu Yang, Zemin Du, Shengsheng Qian, Changsheng Xu

प्रकाशित 2026-06-08
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Zhenyu Yang, Zemin Du, Shengsheng Qian, Changsheng Xu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल डिजिटल लाइब्रेरी में एक विशिष्ट फोटो खोजने की कोशिश कर रहे हैं। आप केवल "कुत्ता" जैसे कीवर्ड से खोज नहीं रहे हैं। इसके बजाय, आप लाइब्रेरियन को एक भूरे रंग के कुत्ते की तस्वीर दिखाते हैं और कहते हैं, "मुझे एक सफेद कुत्ते की तस्वीर ढूंढ कर दें।" इसे कंपोज्ड इमेज रिट्रीवल (CIR) कहा जाता है।

वर्षों से, शोधकर्ता ऐसे कंप्यूटर प्रोग्राम बनाने की कोशिश कर रहे हैं जो यह कर सकें। लेकिन, इस पेपर के अनुसार, वे "परीक्षाएं" जिनका उपयोग इन प्रोग्रामों को ग्रेड देने के लिए किया जा रहा था, वे दोषपूर्ण हैं। लेखकों, जेन्यु ज़ियांग (Zhenyu Yang) और उनकी टीम ने एक बिल्कुल नया, बहुत कठिन टेस्ट बनाया है जिसे ZeroSight कहा जाता है और एक नया "स्टडी गाइड" बनाया है जिसे SC4CIR कहा जाता है ताकि कंप्यूटर इसे पास कर सकें।

उनके काम का विवरण सरल शब्दों में यहाँ दिया गया है:

1. समस्या: पुराने टेस्ट "चीटिंग" कर रहे थे

लेखकों का तर्क है कि इन इमेज-सर्चिंग प्रोग्रामों के पिछले टेस्ट दो प्रमुख तरीकों से त्रुटिपूर्ण थे:

  • "नकली दोस्तों" की समस्या (The "Fake Friends" Problem): पुराने डेटासेट्स में, "रेफरेंस" फोटो (भूरा कुत्ता) और "टारगेट" फोटो (सफेद कुत्ता) अक्सर इंटरनेट से ली गई कुत्तों की रैंडम तस्वीरें थीं। वे वास्तव में आपस में संबंधित नहीं थीं। यह एक छात्र से यह पूछने जैसा था कि एक "नीली कार" की तस्वीर के आधार पर "लाल कार" की तस्वीर ढूंढें, लेकिन दोनों कारें पूरी तरह से अलग निर्माताओं की थीं, अलग देशों की थीं, और कारों के अलावा उनके बीच कोई संबंध नहीं था। कंप्यूटर केवल यह जानकर उत्तर का अनुमान लगा सकता था कि "सफेद कुत्ता" कैसा दिखता है, बिना वास्तव में पहले चित्र में हुए बदलाव को समझे।
  • "परीक्षा के लिए पढ़ाई करने" की समस्या (The "Studied for the Test" Problem): कंप्यूटरों (विशेष रूप से CLIP जैसे मॉडल्स) ने अपने शुरुआती प्रशिक्षण के दौरान इन टेस्ट में इस्तेमाल होने वाली तस्वीरों को पहले ही देख लिया था। यह एक छात्र को गणित का टेस्ट देने जैसा है जहाँ प्रश्न बिल्कुल उन्हीं होमवर्क के समान हैं जो उसने पिछले सप्ताह किया था। छात्र एक बेहतरीन स्कोर प्राप्त करता है, लेकिन उसने वास्तव में नए समस्याओं को हल करना नहीं सीखा है।

2. समाधान: ZeroSight (नया टेस्ट)

इसे ठीक करने के लिए, टीम ने ZeroSight बनाया, जो एक नया बेंचमार्क है और एक निष्पक्ष, कठोर परीक्षा की तरह कार्य करता है।

  • वीडियो ट्रिक: इंटरनेट से रैंडम फोटो लेने के बजाय, उन्होंने वीडियो के फ्रेम्स (frames) लिए। कल्पना कीजिए कि एक व्यक्ति के चलने का वीडियो है। एक फ्रेम में वह लाल शर्ट में है; अगले फ्रेम (कुछ सेकंड बाद) में वह नीली शर्ट में है। क्योंकि ये चित्र एक ही वीडियो से आते हैं, इसलिए वे गारंटीकृत रूप से "दोस्त" हैं—वे एक ही बैकग्राउंड, लाइटिंग और व्यक्ति को साझा करते हैं। केवल वही चीज़ बदली है जिसके बारे में कैप्शन में पूछा गया है। यह सुनिश्चित करता है कि कंप्यूटर को सामान्य ज्ञान के आधार पर अनुमान लगाने के बजाय विशिष्ट बदलाव को समझना ही होगा।
  • "ताज़ा डेटा" का नियम: उन्होंने सुनिश्चित किया कि वे मार्च 31, 2022 के बाद के वीडियो का उपयोग करें। क्यों? क्योंकि लोकप्रिय AI मॉडल CLIP ने उस समय के आसपास इंटरनेट से सीखना बंद कर दिया था। इस प्रकार के बाद का डेटा उपयोग करके, वे गारंटी देते हैं कि कंप्यूटर ने इन तस्वीरों को पहले कभी नहीं देखा है। यह एक सच्चा "जीरो-शॉट" (Zero-Shot) टेस्ट है: कंप्यूटर को बिना किसी पूर्व अध्ययन के मौके पर ही इसे समझना होगा।
  • "हार्ड नेगेटिव" का जाल (The "Hard Negative" Trap): उनके टेस्ट में, वे "डिकॉय" (decoys) भी शामिल करते हैं। ये वे चित्र हैं जो लगभग सही उत्तर की तरह दिखते हैं लेकिन पूरी तरह सही नहीं होते। यह एक सफेद कुत्ते की तस्वीर दिखाने जैसा है जो वास्तव में एक भेड़िया है। कंप्यूटर को इतना स्मार्ट होना चाहिए कि वह अंतर समझ सके।

3. नया टूल: SC4CIR (स्मार्ट स्टडी गाइड)

एक निष्पक्ष टेस्ट होने के बावजूद, कंप्यूटर संघर्ष कर रहे थे। इसलिए, लेखकों ने SC4CIR (Symmetric Consistency for CIR) नामक एक नया तरीका बनाया।

इसे एक डबल-चेक सिस्टम के रूप में सोचें:

  1. फॉरवर्ड सर्च: कंप्यूटर "भूरे कुत्ते" को देखता है और निर्देश "इसे सफेद बनाओ" को देखता है और एक "सफेद कुत्ते" के उम्मीदवार को चुनता है।
  2. रिवर्स चेक 1: कंप्यूटर उस "सफेद कुत्ते" के उम्मीदवार को लेता है और पूछता है, "यदि मैं इसे वापस मूल रूप में बदल दूँ, तो क्या मुझे वही 'भूरा कुत्ता' मिलेगा जिससे मैंने शुरुआत की थी?"
  3. रिवर्स चेक 2: कंप्यूटर पूछता है, "यदि मैं 'भूरे कुत्ते' और 'सफेद कुत्ते' के उम्मीदवार को देखूँ, तो क्या उनके बीच का अंतर 'इसे सफेद बनाओ' के निर्देश से मेल खाता है?"

यदि कंप्यूटर दोनों दिशाओं में बदलाव को समझाने में असमर्थ है, तो उसे पता चल जाता है कि उसने गलत उत्तर चुना है। यह विधि "प्लग-एंड-प्ले" है, जिसका अर्थ है कि इसे किसी भी मौजूदा इमेज-सर्च प्रोग्राम के साथ जोड़ा जा सकता है ताकि पूरे सिस्टम को फिर से प्रशिक्षित किए बिना उसे स्मार्ट बनाया जा सके।

4. परिणाम: सच्चाई सामने आती है

जब उन्होंने 27 अलग-अलग कंप्यूटर प्रोग्रामों को इस नए ZeroSight टेस्ट पर चलाया:

  • स्कोर गिर गए: कई प्रोग्राम जो पुराने, टूटे हुए टेस्ट पर जीनियस दिखते थे, ZeroSight पर बहुत कम स्कोर करते पाए गए। इसने साबित कर दिया कि पुराने टेस्ट उनकी क्षमताओं को बढ़ा-चढ़ाकर दिखा रहे थे।
  • "हार्ड नेगेटिव्स" मायने रखते हैं: नए मेट्रिक (PNR-mAP) ने दिखाया कि कई प्रोग्राम "डिकॉय" छवियों से भ्रमित हो रहे थे। वे "सफेद कुत्ते" के बजाय "भेड़िये" को चुन रहे थे।
  • SC4CIR ने मदद की: जब उन्होंने SC4CIR डबल-चेक सिस्टम जोड़ा, तो स्कोर में काफी वृद्धि हुई, विशेष रूप से उन प्रोग्रामों के लिए जिन्हें अतिरिक्त प्रशिक्षण की आवश्यकता नहीं थी।

सारांश

पेपर का दावा है कि "कंपोज्ड इमेज रिटाइवल" के क्षेत्र में दोषपूर्ण टेस्ट का उपयोग किया जा रहा है जो AI को उसकी वास्तविक क्षमता से बेहतर दिखाते हैं। उन्होंने एक नया, ईमानदार टेस्ट (ZeroSight) बनाया है जो ताज़ा वीडियो डेटा का उपयोग करता है ताकि यह सुनिश्चित हो सके कि AI वास्तव में सीख रहा है, और उन्होंने एक नया टूल (SC4CIR) प्रदान किया है जो AI को गलतियों से बचने के लिए अपने उत्तरों को सत्यापित करने में मदद करता है। उनका लक्ष्य "चीटिंग" को रोकना और ऐसे सिस्टम बनाना है जो वास्तव में वास्तविक दुनिया के इमेज बदलावों को संभाल सकें।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.AI →