💻 computer science

Generating a Paracosm for Training-Free Zero-Shot Composed Image Retrieval

यह शोध पत्र Paracosm को प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त (training-free) ज़ीरो-शॉट कंपोज़्ड इमेज रिट्रीवल विधि है जो डोमेन अंतराल को पाटने और अत्याधुनिक प्रदर्शन प्राप्त करने के लिए एक "पैरकोसम" (paracosm) के भीतर एक सिंथेटिक "मानसिक छवि" (mental image) और उसके अनुरूप डेटाबेस समकक्षों को उत्पन्न करने के लिए लार्ज मल्टीमॉडल मॉडल्स का लाभ उठाता है।

मूल लेखक: Tong Wang, Yunhan Zhao, Shu Kong

प्रकाशित 2026-03-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tong Wang, Yunhan Zhao, Shu Kong

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप ऑनलाइन एक विशिष्ट पोशाक की खरीदारी कर रहे हैं। आपको एक लाल रंग की ड्रेस की फोटो पसंद आती है, लेकिन आप बिल्कुल वही नहीं चाहते। आप वही स्टाइल चाहते हैं, लेकिन नीले रंग में, और इसमें शॉर्ट स्लीव्स के बजाय लंबी आस्तीन (long sleeves) होनी चाहिए।

कंप्यूटर विज्ञान की दुनिया में, इसे कंपोज्ड इमेज रिट्रीवल (Composed Image Retrieval - CIR) कहा जाता है। आप कंप्यूटर को एक "रेफरेंस इमेज" (वह लाल ड्रेस) देते हैं और एक "मॉडिफिकेशन टेक्स्ट" ("इसे नीला बनाओ, लंबी आस्तीन वाली") देते हैं, और उसे लाखों तस्वीरों वाले एक विशाल डेटाबेस में से आपके लिए एकदम सही मैच ढूँढना होता है।

समस्या क्या है? कंप्यूटर वास्तव में उस नीली, लंबी आस्तीन वाली ड्रेस को नहीं देख पाता जिसे आप सोच रहे हैं। वह केवल आपके दिमाग में मौजूद है। यह एक "मानसिक छवि" (mental image) है।

पुराना तरीका: सपने का वर्णन करना

पहले, जब शोधकर्ता बिना कंप्यूटर को लाखों उदाहरणों पर प्रशिक्षित किए (एक "जीरो-शॉट" दृष्टिकोण) इसे हल करने की कोशिश करते थे, तो वे एक बहुत ही स्मार्ट AI से आपके सपनों की ड्रेस का विवरण लिखने के लिए कहते थे।

आप: "लाल ड्रेस, इसे नीला बना दो।"
AI: "एक नीली ड्रेस।"
कंप्यूटर: "ठीक है, मैं 'नीली ड्रेस' के लिए खोजूँगा।"

दोष: एक टेक्स्ट विवरण एक धुंधले स्केच की तरह होता है। यह मूल फोटो के विशिष्ट कट, कपड़े की बनावट या सटीक वाइब (vibe) को छोड़ देता है। यह वैसा ही है जैसे किसी गाने को उसके बोल बताकर ढूँढने की कोशिश करना, लेकिन आप उसकी धुन भूल गए हों। कंप्यूटर अक्सर भ्रमित हो जाता है और गलत चीजें सामने ले आता है।

नया तरीका: पैराकोसम (Paracosm - "सपनों की फैक्ट्री")

इस शोध पत्र के लेखक, टोंग वांग और उनके सहयोगियों ने एक चतुर समाधान निकाला जिसे वे पैराकोसम (Paracosm) कहते हैं।

केवल AI से आपके सपने का वर्णन करने के लिए कहने के बजाय, वे AI को उसे पेंट करने के लिए कहते हैं।

"मानसिक छवि" जनरेटर (The "Mental Image" Generator):
जब आप कंप्यूटर को वह लाल ड्रेस और निर्देश "इसे नीला बनाओ" देते हैं, तो पैराकोसम उस नीली ड्रेस की एक नई इमेज जनरेट (बनाने) के लिए एक शक्तिशाली AI (जिसे LMM कहा जाता है) का उपयोग करता है। यह ऐसा है जैसे AI तुरंत एक वर्चुअल स्टूडियो में उस नीली ड्रेस की "मानसिक छवि" बना देता है। अब, केवल एक टेक्स्ट विवरण खोजने के बजाय, कंप्यूटर के पास तुलना करने के लिए एक वास्तविक तस्वीर है।
"सिंथेटिक काउंटरपार्ट" (The "Synthetic Counterpart" - दर्पण दुनिया):
यहाँ पेचीदा हिस्सा है। AI द्वारा बनाई गई नीली ड्रेस डेटाबेस की असली तस्वीरों की तुलना में थोड़ी "नकली" या "डिजिटल" लग सकती है। यदि आप एक डिजिटल पेंटिंग की तुलना असली फोटो से करते हैं, तो वे बहुत अलग दिख सकते हैं, और कंप्यूटर मैच को खारिज कर सकता है।

इसे ठीक करने के लिए, पैराकोसम कुछ अद्भुत करता है: यह वास्तविक डेटाबेस को उल्टा कर देता है।

डेटाबेस में मौजूद हर एक असली फोटो (जैसे, एक असली नीली ड्रेस) के लिए, AI उसका एक नकली, सिंथेटिक संस्करण (synthetic version) बनाता है।
अब, कंप्यूटर एक नकली नीली ड्रेस (आपकी मानसिक छवि) की तुलना एक नकली नीली ड्रेस (डेटाबेस संस्करण) से कर रहा है।
क्योंकि दोनों पक्ष "नकली" हैं और एक ही AI द्वारा निर्मित हैं, वे एक ही विजुअल भाषा बोलते हैं। "डिजिटल अंतर" गायब हो जाता है, और मिलान अविश्वसनीय रूप से सटीक हो जाता है।

उपमा (The Analogy): "पैराकोसम"

लेखक इसे पैराकोसम कहते हैं। एक पैराकोसम को एक काल्पनिक दुनिया या सपनों के लोक के रूप में समझें।

पुराना तरीका: आप एक लाइब्रेरियन को अपने सपने का वर्णन करते हैं, और वे आपके शब्दों के आधार पर एक किताब खोजने की कोशिश करते हैं।
पैराकोसम: आप और लाइब्रेरियन दोनों एक वर्चुअल रियलिटी रूम में कदम रखते हैं।
- आप जो चाहते हैं उसका एक मॉडल बनाते हैं।
- लाइब्रेरियन अपनी लाइब्रेरी की हर चीज़ का एक मॉडल बनाता है।
- आप दोनों मॉडल्स की आपस में तुलना करते हैं। चूंकि दोनों एक ही वर्चुअल रूम में बने हैं, वे एक-दूसरे में पूरी तरह फिट बैठते हैं, भले ही वे असली दुनिया जैसे न दिखें।

यह क्यों महत्वपूर्ण है

प्रशिक्षण की आवश्यकता नहीं: आमतौर पर, कंप्यूटर को यह सिखाने के लिए कि यह कैसे किया जाए, आपको उसे लाखों "पहले और बाद के" उदाहरण दिखाने की आवश्यकता होती है। पैराकोसम को इसकी आवश्यकता नहीं है। यह बस AI की मौजूदा रचनात्मकता का उपयोग करता है।
बेहतर परिणाम: क्योंकि यह केवल शब्दों (के बजाय) वास्तविक छवियों (दोनों जनरेट की गई सपनों की छवि और जनरेट किए गए डेटाबेस संस्करणों) का उपयोग करता है, यह पिछले तरीकों की तुलना में बहुत अधिक बार सही वस्तुओं को ढूँढता है।
समझौता (The Trade-off): इन सभी अतिरिक्त छवियों को बनाने के लिए थोड़े अधिक कंप्यूटिंग पावर की आवश्यकता होती है, लेकिन परिणाम इतने बेहतर हैं कि यह सार्थक है।

संक्षेप में

पैराकोसम एक जादुई कलाकार की तरह है जो तुरंत वही विज़ुअलाइज़ कर सकता है जो आप चाहते हैं, और फिर एक जादुई दर्पण की तरह है जो पूरे स्टोर को उस कलाकार की शैली के प्रतिबिंब में बदल देता है। "शब्द से फोटो" के बजाय "सपने से सपने" की तुलना करके, यह हर बार सटीक मैच ढूँढ लेता है, जिससे ऑनलाइन चीजों को खोजने का तरीका क्रांतिकारी रूप से बदल जाता है।

यहाँ शोध पत्र "Generating a Paracosm for Training-Free Zero-Shot Composed Image Retrieval" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या की परिभाषा (Problem Definition)

कंपोज्ड इमेज रिट्रीवल (CIR) एक मल्टीमॉडल खोज कार्य है जहाँ उपयोगकर्ता एक क्वेरी प्रदान करता है जिसमें एक संदर्भ छवि ( $I_{ref}$ ) और एक संशोधन पाठ ( $t_{mod}$ ) शामिल होता है। लक्ष्य डेटाबेस से एक ऐसी लक्षित छवि ( $I_{target}$ ) प्राप्त करना है जो संशोधन पाठ के निर्देशों के अनुसार संदर्भ छवि में परिवर्तन को दर्शाती हो।

मुख्य चुनौती: क्वेरी द्वारा परिभाषित "मानसिक छवि" (वैचारिक लक्ष्य) भौतिक रूप से अस्तित्व में नहीं होती है। यह एक अंतर्निहित निर्माण है।
वर्तमान सीमाएँ: मौजूदा ज़ीरो-शॉट (ZS-CIR) विधियाँ आमतौर पर लक्षित वस्तु के पाठ्य विवरण (textual description) को उत्पन्न करने के लिए लार्ज मल्टीमॉडल मॉडल्स (LMMs) पर निर्भर करती हैं और फिर टेक्स्ट-टू-इमेज मिलान करती हैं। लेखक तर्क देते हैं कि टेक्स्ट विवरण अक्सर सटीक रिट्रीवल के लिए आवश्यक समृद्ध, विशिष्ट दृश्य विवरणों को पकड़ने में विफल रहते हैं, जिससे प्रदर्शन उप-इष्टतम हो जाता है।
ट्रेनिंग-फ्री बाधा (Training-Free Constraint): यह शोध पत्र उन विधियों पर केंद्रित है जिन्हें एनोटेटेड ट्रिपलेट्स ( $I_{ref}, t_{mod}, I_{target}$ ) पर प्रशिक्षण की आवश्यकता नहीं है, जिससे डेटा क्यूरेशन की उच्च लागत से बचा जा सके।

2. कार्यप्रणाली: पैराकॉसम (Methodology: Paracosm)

लेखक पैराकॉसम (Paracosm) प्रस्तावित करते हैं, जो एक ट्रेनिंग-फ्री, ज़ीरो-शॉट CIR विधि है जो केवल उसके विवरण को उत्पन्न करने के बजाय सीधे "मानसिक छवि" को उत्पन्न करके "प्रथम सिद्धांतों" (first principles) से इस समस्या का समाधान करती है। यह विधि एक आभासी "पैराकॉसम" (एक सिंथेटिक स्पेस) में संचालित होती है ताकि उत्पन्न अवधारणाओं और वास्तविक डेटाबेस छवियों के बीच के अंतर को पाटा जा सके।

पाइपलाइन तीन मुख्य चरणों में विभाजित है:

A. मल्टीमॉडल क्वेरी का प्रसंस्करण (Processing the Multimodal Query)

टेक्स्ट विवरण उत्पन्न करने के बजाय, पैराकॉसम संशोधन पाठ के आधार पर संदर्भ छवि को संपादित करके एक "मानसिक छवि" ( $I_{mental}$ ) बनाने के लिए एक LMM का उपयोग करता है।

जेनरेशन (Generation): LMM (जैसे, Qwen-Image-Edit) संशोधन को विज़ुअलाइज़ करने के लिए इमेज एडिटिंग करता है।
विवरण (Description): दृश्य सामग्री को बिना किसी सौंदर्य संबंधी अनावश्यक विस्तार (aesthetic fluff) के कैप्चर करने के लिए इस मानसिक छवि का एक संक्षिप्त, एकल-वाक्य टेक्स्ट विवरण ( $t_{query}$ ) भी उत्पन्न किया जाता है।
फीचर निर्माण (Feature Construction): क्वेरी फीचर वेक्टर ( $\mathbf{q}$ $q$ ) निम्नलिखित का एक भारित संयोजन (weighted combination) है:
1. मानसिक छवि के दृश्य फीचर्स ( $V(I_{mental})$ )।
2. मानसिक छवि के विवरण के टेक्स्ट फीचर्स ( $T(t_{query})$ )।
3. मूल संशोधन पाठ के टेक्स्ट फीचर्स ( $T(t_{mod}$ )।
- सूत्र: $\mathbf{q} = \lambda(V(I_{mental}) + T(t_{query})) + (1-\lambda)T(t_{mod})$

B. डेटाबेस छवियों का प्री-प्रोसेसिंग (सिंथेटिक काउंटरपार्ट्स) (Pre-processing Database Images: Synthetic Counterparts)

सिंथेटिक-टू-रियल डोमेन गैप (जहाँ उत्पन्न मानसिक छवि सिंथेटिक है लेकिन डेटाबेस छवियाँ वास्तविक हैं) को संबोधित करने के लिए, पैराकॉसम डेटाबेस के प्रत्येक चित्र के लिए एक "सिंथेटिक काउंटरपार्ट" बनाता है।

चरण 1: एक LMM प्रत्येक वास्तविक डेटाबेस छवि ( $I_i$ ) के लिए एक अत्यधिक विस्तृत, व्यापक विवरण उत्पन्न करता है, जिसमें वस्तुओं, गुणों और स्थानिक संबंधों (spatial relationships) को कैप्चर किया जाता है।
चरण 2: एक टेक्स्ट-टू-इमेज (T2I) मॉडल इस विस्तृत विवरण का उपयोग करके एक सिंथेटिक छवि ( $I_i^{syn}$ ) उत्पन्न करता है।
फीचर निर्माण: $i$ -वें डेटाबेस आइटम के लिए फीचर वेक्टर ( $\phi^i$ ) वास्तविक छवि और उसके सिंथेटिक काउंटरपार्ट के दृश्य फीचर्स का योग है: $\phi^i = V(I_i) + V(I_i^{syn})$ ।

C. मिलान और रिट्रीवल (Matching and Retrieval)

रिट्रीवल क्वेरी फीचर $\mathbf{q}$ और डेटाबेस फीचर्स $\phi^i$ के बीच कोसाइन समानता (cosine similarity) की गणना करके किया जाता है। सिस्टम इस एकीकृत आभासी स्थान के भीतर वास्तविक डेटाबेस छवियों और उनके सिंथेटिक काउंटरपार्ट्स दोनों के विरुद्ध "मानसिक छवि" (और उसके विवरण) का मिलान करता है।

3. प्रमुख योगदान (Key Contributions)

प्रथम-सिद्धांत दृष्टिकोण (First-Principles Approach): यह शोध पत्र CIR क्वेरीज़ के लिए केवल टेक्स्ट विवरण उत्पन्न करने के बजाय विजुअल मेंटल इमेजेस उत्पन्न करने की ओर प्रतिमान (paradigm) को बदल देता है, यह तर्क देते हुए कि इमेज रिट्रीवल के लिए विजुअल जानकारी श्रेष्ठ है।
डोमेन गैप शमन (Domain Gap Mitigation): यह वास्तविक डेटाबेस छवियों के लिए सिंथेटिक काउंटरपार्ट्स उत्पन्न करने की एक नवीन रणनीति पेश करता है। सिंथेटिक-टू-सिंथेटिक (मानसिक छवि बनाम डेटाबेस सिंथेटिक) और सिंथेटिक-टू-रियल को मैच करके, यह विधि डोमेन गैप को प्रभावी ढंग से पाटती है, जिससे प्रदर्शन में उल्लेखनीय वृद्धि होती है।
स्टेट-ऑफ-द-आर्ट प्रदर्शन (State-of-the-Art Performance): पैराकॉसम ज़ीरो-शॉट CIR बेंचमार्क पर SOTA परिणाम प्राप्त करता है, जो मौजूदा ट्रेनिंग-फ्री तरीकों से बेहतर प्रदर्शन करता है और कई सुपरवाइज्ड लर्निंग अप्रोच को टक्कर देता है।
ट्रेनिंग-फ्री दक्षता (Training-Free Efficiency): इसके लिए ट्रिपलेट डेटा पर किसी प्रशिक्षण की आवश्यकता नहीं है, यह पूरी तरह से प्री-ट्रेंड फाउंडेशन मॉडल्स (LMMs और VLMs) पर निर्भर करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन मानक बेंचमार्क पर पैराकॉसम का मूल्यांकन किया: CIRR, CIRCO, और Fashion IQ।

मात्रात्मक प्रदर्शन (Quantitative Performance):
- CIRR: पैराकॉसम ने 39.30% R@1 (ViT-G/14 का उपयोग करके) प्राप्त किया, जो पिछले सर्वश्रेष्ठ ट्रेनिंग-फ्री मेथड (OSrCIR 37.26%) से बेहतर है और BLIP4CIR जैसे सुपरवाइज्ड मेथड्स को टक्कर देता है।
- CIRCO: 39.82% mAP@1 प्राप्त किया, जो अगले सर्वश्रेष्ठ ज़ीरो-शॉट मेथड (32.23%) से काफी बेहतर है।
- Fashion IQ: 38.74% R@10 औसत प्राप्त किया, जो अन्य सभी ज़ीरो-शॉट बेसलाइन्स से बेहतर है।
एब्लेशन स्टडीज (Ablation Studies):
- मानसिक छवियां (Mental Images): केवल टेक्स्ट विवरण के बजाय उत्पन्न मानसिक छवि ( $I_{mental}$ ) का उपयोग करने से Recall@1 में काफी सुधार हुआ।
- सिंथेटिक काउंटरपार्ट्स (Synthetic Counterparts): डेटाबेस छवियों के लिए सिंथेटिक काउंटरपार्ट्स ( $I_i^{syn}$ ) जोड़ने से प्रदर्शन में भारी उछाल आया, जो डोमेन गैप को संबोधित करने की आवश्यकता की पुष्टि करता है।
- एडिटिंग बनाम जेनरेशन (Editing vs. Generation): संदर्भ छवि को सीधे संपादित करना (Image Edit) टेक्स्ट-टू-इमेज (T2I) जेनरेशन के माध्यम से एक छद्म-लक्ष्य (pseudo-target) उत्पन्न करने की तुलना में बेहतर परिणाम देता है।
दक्षता (Efficiency): हालांकि पैराकॉसम को डेटाबेस के लिए सिंथेटिक काउंटरपार्ट्स उत्पन्न करने में उच्च ऑफलाइन लागत (लगभग 12.9 घंटे) लगती है, लेकिन प्रति क्वेरी ऑनलाइन इन्फरेंस समय अन्य विधियों (~14 सेकंड) के समान है, जो इसे वास्तविक दुनिया के कार्यान्वयन के लिए व्यावहारिक बनाता है जहाँ डेटाबेस स्थिर होते हैं।

5. महत्व और प्रभाव (Significance and Impact)

प्रतिमान बदलाव (Paradigm Shift): पैराकॉसम यह प्रदर्शित करता है कि मल्टीमॉडल रिट्रीवल कार्यों के लिए, टेक्स्ट जेनरेशन की तुलना में विजुअल जेनरेशन एक अधिक प्रभावी मध्यवर्ती प्रतिनिधित्व (intermediate representation) है। यह सिद्ध करता है कि क्वेरी को "वर्णित" करने से बेहतर उसे "देखना" है।
डोमेन अनुकूलन (Domain Adaptation): मिलान को सुगम बनाने के लिए वास्तविक डेटा के लिए सिंथेटिक काउंटरपार्ट्स उत्पन्न करने की अवधारणा एक नवीन योगदान है जिसे डोमेन शिफ्ट से जूझ रहे अन्य विजन-लैंग्वेज कार्यों में लागू किया जा सकता है।
व्यावहारिकता (Practicality): महंगे एनोटेटेड ट्रिपलेट्स पर प्रशिक्षण के बिना SOTA प्रदर्शन प्राप्त करके, पैराकॉसम ई-कॉमर्स और फैशन सर्च अनुप्रयोगों के लिए एक स्केलेबल समाधान प्रदान करता है जहाँ डेटा गोपनीयता या लागत सुपरवाइज्ड ट्रेनिंग को रोकती है।
सीमाएं (Limitations): यह विधि अंतर्निहित LMMs की गुणवत्ता पर बहुत अधिक निर्भर करती है। फेल्योर केस तब होते हैं जब LMM अवास्तविक या विरोधाभासी छवियां उत्पन्न करता है (जैसे, प्लश टॉय के बजाय कार्टून बत्तख), जो रिट्रीवल चेन को तोड़ देता है। भविष्य के कार्य प्रॉम्प्ट अनुकूलन क्षमता और जेनरेशन फिडेलिटी में सुधार करने का लक्ष्य रखते हैं।

निष्कर्षतः, पैराकॉसम एक "पैराकॉसम" का निर्माण करके ज़ीरो-शॉट कंपोज्ड इमेज रिट्रीवल को पुनर्परिभाषित करता है जहाँ क्वेरी और डेटाबेस आइटम दोनों को एक एकीकृत सिंथेटिक-विजुअल स्पेस में दर्शाया जाता है, जिससे प्रत्यक्ष विजुअल जेनरेशन और डोमेन गैप शमन के माध्यम से बेहतर सटीकता प्राप्त होती है।