Reason, Retrieve, Re-rank: A Zero-Shot Reasoning-Aware Framework for Composed Video Retrieval
यह शोध पत्र R3-CoVR प्रस्तुत करता है, जो एक ज़ीरो-शॉट, ट्रेनिंग-फ्री फ्रेमवर्क है जो कंपोज्ड वीडियो रिट्रीवल (Composed Video Retrieval) के लिए एक मल्टीमॉडल लार्ज लैंग्वेज मॉडल का उपयोग करता है ताकि एडिट-प्रेरित स्टेट ट्रांज़िशन (edit-induced state transitions) के बारे में तर्क किया जा सके और पोस्ट-एडिट विवरणों को मौखिक रूप दिया जा सके, जिसके बाद CVPR 2026 VidLLMs चुनौती पर अत्याधुनिक प्रदर्शन प्राप्त करने के लिए कॉन्ट्रास्टिव रिट्रीवल (contrastive retrieval) और कंस्ट्रेंट-अवेयर री-रैंकिंग का उपयोग किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक वीडियो एडिटर हैं जो लाखों क्लिप्स वाली एक विशाल लाइब्रेरी में काम कर रहे हैं। एक क्लाइंट आपको एक विशिष्ट वीडियो देता है और कहता है, "मुझे यह वाला पसंद है, लेकिन मैं वह वर्ज़न चाहता हूँ जहाँ व्यक्ति गुस्से में टाइप करना बंद कर देता है और हताशा में लैपटॉप को जोर से बंद कर देता है।"
यह Composed Video Retrieval (CoVR) की चुनौती है। आप केवल एक वीडियो नहीं खोज रहे हैं; आप एक ऐसा वीडियो खोज रहे हैं जिसमें एक विशिष्ट तरीके से बदलाव किया गया है। पेचीदा बात यह है कि क्लाइंट का निर्देश ("हताशा") शाब्दिक रूप से "लैपटॉप पटकना" नहीं कहता। आपको यह अनुमान लगाना होगा कि वह कैसा दिखेगा।
यह पेपर R3-CoVR (Reason, Retrieve, Re-rank) नामक एक सिस्टम पेश करता है जो इस समस्या को बिना कभी "परीक्षा के लिए पढ़ने" के हल करता है। यह तीन स्मार्ट चरणों का उपयोग करता है, जैसे कि तीन विशेषज्ञों की एक टीम मिलकर काम कर रही हो:
चरण 1: अनुवादक (Reason)
सबसे पहले, सिस्टम मूल वीडियो और क्लाइंट के निर्देश को देखता है। केवल कीवर्ड्स खोजने के बजाय, यह एक रचनात्मक अनुवादक की तरह कार्य करता है।
- उपमा: कल्पना कीजिए कि एक जासूस अपराध स्थल की फोटो और एक नोट देख रहा है जिसमें लिखा है "संदेशवाहक जल्दी में भाग गया।" जासूस केवल "जल्दी" शब्द को नहीं खोजता; वह दृश्य की कल्पना करता है: जूतों की रगड़, एक दरवाजा बंद होना, एक कार का तेजी से निकल जाना।
- पेपर क्या करता है: एक शक्तिशाली AI मॉडल (Qwen3-VL) वीडियो को देखता है और सोचता है, "यदि यह व्यक्ति हताशा महसूस करता है, तो वह संभवतः लैपटॉप बंद कर देगा, शायद खड़ा हो जाएगा, और कैमरा ज़ूम इन हो सकता है।" फिर यह इस भविष्य के दृश्य का एक छोटा, स्पष्ट विवरण लिखता है।
- मुख्य ट्रिक: पेपर में पाया गया कि यह विवरण छोटा और प्रभावशाली (एक हेडलाइन की तरह) होना चाहिए ताकि अगले टूल की मेमोरी में फिट हो सके। यदि विवरण बहुत लंबा है, तो महत्वपूर्ण विवरण कट जाएंगे और खोज विफल हो जाएगी।
चरण 2: लाइब्रेरियन (Retrieve)
इसके बाद, सिस्टम उस छोटे विवरण को लेता है और एक सुपर-फास्ट लाइब्रेरियन से मिलते-जुलते वीडियो खोजने के लिए कहता है।
- उपमा: एक लाइब्रेरियन के बारे में सोचें जिसके पास लाइब्रेरी के हर वीडियो के लिए एक विशाल इंडेक्स कार्ड है। लाइब्रेरियन पूरा वीडियो नहीं पढ़ता; वे बस वीडियो के "भाव" या "सार" और आपके विवरण के "भाव" को देखते हैं। वे जल्दी से सबसे मिलते-जुलते 10 या 20 कार्ड निकाल लेते हैं।
- पेपर क्या करता है: एक अलग AI मॉडल (SigLIP-2) उस विवरण और सभी वीडियो को गणितीय संख्याओं में बदल देता है। वे गणना करते हैं कि वे एक-दूसरे के कितने करीब हैं और सबसे अच्छे उम्मीदवारों की एक "शॉर्टलिस्ट" बनाते हैं।
- परिणाम: यह चरण तेज़ है और लगभग हर बार सही वीडियो को टॉप 10 में ले आता है, लेकिन यह नंबर #1 के रूप में सबसे सटीक वीडियो चुनने में पूरी तरह परफेक्ट नहीं है।
चरण 3: जज (Re-rank)
अंत में, सिस्टम उस शॉर्टलिस्ट के 10 या 20 वीडियो को वापस "अनुवादक" (चरण 1 वाले समान AI) के पास ले जाता है ताकि वह एक सख्त जज के रूप में कार्य कर सके।
- उपमा: कल्पना कीजिए कि एक फिल्म समीक्षक टॉप 10 उम्मीदवारों को देख रहा है। वे केवल अनुमान नहीं लगाते; वे वीडियो देखते हैं, क्लाइंट का नोट पढ़ते हैं, और पूछते हैं, "क्या यह वीडियो वास्तव में उस हताशा को दिखाता है जिसके बारे में हमने बात की थी? या यह सिर्फ किसी के टाइप करने का वीडियो है?" वे प्रत्येक वीडियो को 0 से 100 के बीच स्कोर देते हैं।
- पेपर क्या करता है: AI शॉर्टलिस्ट किए गए वीडियो को देखता है और उन्हें "हताशा" के परिदृश्य के साथ कितनी अच्छी तरह मेल खाते हैं, इसके आधार पर स्कोर देता है। फिर यह उनके स्कोर को लाइब्रेरियन की मूल रैंकिंग के साथ मिला देता है ताकि एक अंतिम, सटीक सूची बनाई जा सके।
- परिणाम: यही वह जादू है। यह सही वीडियो को, मान लीजिए, स्थान #5 से स्थान #1 पर ले आता है।
यह पेपर क्यों विशेष है
लेखकों ने एक बहुत ही कठिन टेस्ट पर 91.9% सफलता दर (सही वीडियो को #1 परिणाम के रूप में खोजना) हासिल की। उन्होंने यह बिना टेस्ट डेटा पर AI को प्रशिक्षित किए किया। यह एक ऐसे छात्र की तरह है जो परीक्षा के प्रश्नों को पहले कभी देखे बिना, केवल अपने सामान्य ज्ञान और एक स्मार्ट रणनीति का उपयोग करके फाइनल एग्जाम दे रहा है।
उनकी सफलता के दो बड़े रहस्य:
- संक्षिप्तता (Brevity): उन्होंने सीखा कि "अनुवादक" को एक छोटा विवरण लिखना चाहिए जो "लाइब्रेरियन" की मेमोरी सीमाओं में फिट हो सके। यदि विवरण बहुत लंबा है, तो लाइब्रेरियन मुख्य बिंदु को मिस कर देता है।
- जज (The Judge): सबसे महत्वपूर्ण हिस्सा "जज" चरण था। इसने सिस्टम को एक अच्छे स्कोर (72.7%) से एक उत्कृष्ट स्कोर (91.9%) तक पहुँचाया, जिसने शीर्ष उम्मीदवारों का सावधानीपूर्वक पुनर्मूल्यांकन किया।
संक्षेप में, R3-CoVR एक ऐसा सिस्टम है जो सोचता है कि एक वीडियो कैसा होना चाहिए, लाइब्रेरी में मिलान के लिए स्कैन करता है, और फिर अंतिम उत्तर को परफेक्ट बनाने के लिए शीर्ष मिलानों की आलोचना (Critique) करता है—और यह सब बिना लाइब्रेरी को पहले से याद किए करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।