Pix2Key: Controllable Open-Vocabulary Retrieval with Semantic Decomposition and Self-Supervised Visual Dictionary Learning

यहाँ शोध पत्र "Pix2Key: Semantic Decomposition और Self-Supervised Visual Dictionary Learning के साथ Controllable Open-Vocabulary Retrieval" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या की परिभाषा

Composed Image Retrieval (CIR) एक मल्टीमॉडलल सर्च कार्य है जहाँ एक क्वेरी में एक संदर्भ छवि (reference image) और एक प्राकृतिक-भाषा संपादन (natural-language edit) शामिल होता है (जैसे, "इस ड्रेस की तरह, लेकिन नीले रंग में")। इसका लक्ष्य ऐसी छवियां खोजना है जो अन्य प्रासंगिक दृश्य सामग्री को सुरक्षित रखते हुए अनुरोधित परिवर्तन को लागू करती हों।

मौजूदा दृष्टिकोणों की सीमाएं:

• Supervised Triplet Methods: ये (संदर्भ, संपादन, लक्ष्य) ट्रिपलेट्स के महंगे, बड़े पैमाने के डेटासेट पर निर्भर करते हैं। वे अक्सर एक एकल संलयित (fused) प्रतिनिधित्व सीखते हैं जो यह तय करने के लिए आंतरिक रूप से कार्य करता है कि किन गुणों को संरक्षित किया जाना चाहिए, जिससे सूक्ष्म संकेतों (fine-grained cues) का नुकसान और पारदर्शिता की कमी होती है।
• Zero-Shot Captioning Methods: हालिया दृष्टिकोण संदर्भ छवि का विवरण (caption) लिखने और फिर संपादन के आधार पर कैप्शन को फिर से लिखने के लिए विजन-लैंग्वेज मॉडल्स (VLMs) का उपयोग करते हैं। यह एक "लॉसी बॉटलनैक" (lossy bottleneck) बनाता है जहाँ एक वाक्य में सिमटने के कारण सूक्ष्म विवरण (जैसे, नेकलाइन का आकार, विशिष्ट पैटर्न) खो जाते हैं। इसके अलावा, एक एकल संलयित एम्बेडिंग द्वारा रैंकिंग करने से अक्सर सजातीय परिणाम (समान दिखने वाली वस्तुएं) मिलते हैं, जिनमें विविधता की कमी होती है।
• मूल्यांकन अंतराल (Evaluation Gaps): मौजूदा बेंचमार्क में अक्सर सूक्ष्म विशेषता लेबल (fine-grained attribute labels) की कमी होती है, जिससे यह मूल्यांकन करना कठिन हो जाता है कि पुनर्प्राप्त सूची केवल एक लेबल किए गए लक्ष्य को हिट करने के अलावा विशिष्ट बाधाओं को कितनी अच्छी तरह संतुष्ट करती है।

2. कार्यप्रणाली: Pix2Key

Pix2Key दोनों क्वेरी और डेटाबेस छवियों को संलयित एम्बेडिंग या एकल वाक्यों के बजाय Open-Vocabulary Visual Dictionaries के रूप में प्रस्तुत करके इन समस्याओं का समाधान करता है। यह ढांचा तीन मुख्य घटकों से बना है:

A. Open-Vocabulary Visual Dictionaries

मुक्त रूप वाले कैप्शन बनाने के बजाय, सिस्टम छवियों से संरचित विशेषता तथ्यों (structured attribute facts) को निकालता है।

• प्रतिनिधित्व (Representation): एक छवि $I$ को एक डिक्शनरी $D_{img}(I) = \{(k_m, v_m)\}$ में परिवर्तित किया जाता है, जहाँ $k_m$ एक विशेषता कुंजी (जैसे, "रंग") है और $v_m$ उसका मान (जैसे, "नीला") है।
• क्वेरी अपघटन (Query Decomposition): एक कंपोज्ड क्वेरी $(I_q, T)$ को निम्नलिखित द्वारा संसाधित किया जाता है:
  1. संदर्भ डिक्शनरी $D_{ref}$ निकालना।
  2. संपादन टेक्स्ट $T$ को साइन किए गए अपडेट्स (signed updates) $\Delta D(T) = \{(k, v, p)\}$ में विभाजित करना, जहाँ पोलैरिटी (polarity) $p \in \{+1, 0, -1\}$ यह संकेत देती है:
     • $+1$ (जोड़ना/मजबूत करना): वांछित विशेषताएँ।
     • $-1$ (हटाना/बचना): वे विशेषताएँ जिन्हें स्पष्ट रूप से दबाना (suppress) है।
     • $0$ (ओपन एंकर): वे विशेषताएँ जिन्हें संदर्भ से सुरक्षित रखना है लेकिन उन पर कोई प्रतिबंध नहीं लगाया गया है।
• विलय (Merging): अंतिम क्वेरी डिक्शनरी संदर्भ और संपादन को मिलाती है, जहाँ संपादन विरोधाभासी संदर्भ प्रविष्टियों को ओवरराइड करते हैं, और नकारात्मक प्रविष्टियाँ स्पष्ट बाधाओं के रूप में कार्य करती हैं।

B. Text-Space Indexing और Intent-Aware Scoring

• इंडेक्सिंग (Indexing): डिक्शनरी प्रविष्टियों को संक्षिप्त स्ट्रिंग्स (जैसे, key:value; key:value) में क्रमबद्ध किया जाता है और एक फ्रोजन टेक्स्ट एनकोडर (OpenCLIP) का उपयोग करके एम्बेड किया जाता है। यह एक एकीकृत टेक्स्ट स्पेस में कुशल निकटतम-पड़ोसी खोज (nearest-neighbor search) की अनुमति देता है।
• प्रासंगिकता स्कोरिंग (Relevance Scoring): सिस्टम क्वेरी के उपसमुच्चयों ($q^+, q^0, q^-$) और एक उम्मीदवार $e_i$ के बीच तीन समानता स्कोर की गणना करता है:
  • $p_i$: वांछित विशेषताओं के साथ समानता।
  • $o_i$: ओपन एंकर्स (संरक्षण) के साथ समानता।
  • $n_i$: वर्जित विशेषताओं के साथ समानता।
• अंतिम स्कोर (Final Score): एक स्केलर प्रासंगिकता स्कोर की गणना की जाती है:
  $$R(i) = \alpha p_i + \beta o_i - (1-\alpha) n_i$$
  यह परिवर्तनों को लागू करने, संदर्भ को सुरक्षित रखने और अवांछित विशेषताओं को दबाने पर स्पष्ट नियंत्रण प्रदान करता है।

C. Diversity-Aware Reranking

समान दिखने वाले परिणामों को रोकने के लिए, Pix2Key एक Maximal Marginal Relevance (MMR) रीरैंकिंग चरण लागू करता है। यह उन उम्मीदवारों का चयन करता है जो प्रासंगिकता ($R(i)$) और पहले से चयनित वस्तुओं से दूरी के बीच के संतुलन को अधिकतम करते हैं, जिसे उपयोगकर्ता-संचालित पैरामीटर $\lambda$ द्वारा नियंत्रित किया जाता है।

D. V-Dict-AE (Self-Supervised Pretraining)

बिना CIR-विशिष्ट पर्यवेक्षण के एक्सट्रैक्ट किए गए डिक्शनरी टोकन की गुणवत्ता में सुधार करने के लिए, लेखक V-Dict-AE पेश करते हैं।

• तंत्र (Mechanism): एक हल्का ऑटोएनकोडर (autoencoder) प्रशिक्षित किया जाता है जो छवियों को कॉम्पैक्ट टोकन अनुक्रमों (slots) में एनकोड करता है, जो एक फ्रोजन डिफ्यूजन डिकोडर के माध्यम से छवि को पुनर्गठित कर सकते हैं।
• प्रशिक्षण (Training): यह केवल छवियों का उपयोग करता है (किसी टेक्स्ट एडिट की आवश्यकता नहीं है)। मॉडल वह सूक्ष्म दृश्य साक्ष्य (visual evidence) संरक्षित करना सीखता है जो पुनर्गठन के लिए आवश्यक है।
• एकीकरण (Integration): प्रशिक्षित स्लॉट एनकोडर इन्फरेंस के दौरान VLM में मानक पैच एम्बेडिंग को बदल देता है, जिसके परिणामस्वरूप डिक्शनरी के लिए अधिक सटीक विशेषता निष्कर्षण होता है।

3. मुख्य योगदान

1. Pix2Key फ्रेमवर्क: एक ट्रेनिंग-फ्री CIR सिस्टम जो स्पष्ट इंटेंट पोलैरिटी ($+, -, 0$) के साथ संरचित विजुअल डिक्शनरी का उपयोग करता है, जो नियंत्रणीय और व्याख्या योग्य बाधा मिलान (constraint matching) सक्षम करता है।
2. Diversity-Aware Reranking: एक तंत्र जो डिक्शनरी प्रतिनिधित्व के साथ एकीकृत है ताकि परिणाम की विविधता और प्रासंगिकता के बीच संतुलन बनाया जा सके।
3. V-Dict-AE: एक सेल्फ-सुपरवाइज्ड विजुअल-डिक्शनरी ऑटोएनकोडर जो केवल इमेज रिकंस्ट्रक्शन का उपयोग करके डिक्शनरी प्रतिनिधित्व को परिष्कृत करता है, जिससे महंगे एनोटेशन की आवश्यकता समाप्त हो जाती है।
4. DFMM-Compose बेंचमार्क: DeepFashion-MM से प्राप्त एक नया मूल्यांकन बेंचमार्क जिसमें सूक्ष्म विशेषता लेबल शामिल हैं। यह Intent Satisfaction (विशेषता निरंतरता) और List Diversity (सूची विविधता) के मात्रात्मक मूल्यांकन को सक्षम बनाता है, जो मौजूदा बेंचमार्क की कमियों को दूर करता है।

4. प्रयोगात्मक परिणाम

विधि का मूल्यांकन FashionIQ, CIRR, और नए DFMM-Compose बेंचमार्क पर किया गया।

• रिट्रीवल सटीकता (Retrieval Accuracy):
  • FashionIQ पर, Pix2Key यूनिमोडल बेसलाइन्स और ट्रेनिंग-फ्री कैप्शन-रीराइट विधियों (जैसे, CIReVL) को पछाड़ता है।
  • Pix2Key + V-Dict-AE सभी श्रेणियों में सर्वश्रेष्ठ प्रदर्शन करता है, जो FashionIQ पर बेसलाइन्स पर Recall@10 में 3.2 अंक और CIRR पर 2.3 अंक तक सुधार करता है।
• Intent Consistency (AC@50):
  • DFMM-Compose पर, Pix2Key Attribute Consistency (AC@50) में बेसलाइन्स से काफी बेहतर प्रदर्शन करता है, जो यह दर्शाता है कि डिक्शनरी दृष्टिकोण एकल-वाक्य कैप्शन की तुलना में सूक्ष्म संशोधनों को बेहतर ढंग से कैप्चर करता है।
• Diversity (ILD@50):
  • Pix2Key उच्चतम Intra-List Diversity (ILD@50) प्राप्त करता है, जो सिद्ध करता है कि डिक्शनरी प्रतिनिधित्व और MMR रीरैंकिंग का संयोजन प्रासंगिकता से समझौता किए बिना विविध परिणाम देता है।
• Ablation Studies:
  • Negative constraints (विशेषताओं से बचना) का उपयोग इंटेंट-उल्लंघन करने वाले उम्मीदवारों को अलग करने के लिए महत्वपूर्ण है।
  • V-Dict-AE प्रीट्रेनिंग प्रदर्शन को काफी बढ़ा देती है, जो पुष्टि करती है कि सेल्फ-सुपरवाइज्ड रिकंस्ट्रक्शन सूक्ष्म दृश्य विवरणों को संरक्षित करने में मदद करता है।
  • सिस्टम हाइपरपैरामीटर परिवर्तनों के प्रति मजबूत है, लेकिन उच्च इनपुट रिज़ॉल्यूशन और LoRA एडॉप्टर से लाभान्वित होता है।

5. महत्व और प्रभाव

• नियंत्रणीयता (Controllability): संपादन को स्पष्ट "जोड़ने", "बचने" और "रखने" की बाधाओं में विभाजित करके, Pix2Key रिट्रीवल के लिए एक पारदर्शी और उपयोगकर्ता-नियंत्रणीय इंटरफ़ेस प्रदान करता है, जो "ब्लैक बॉक्स" संलयित एम्बेडिंग के विपरीत है।
• स्केलेबिलिटी (Scalability): यह दृष्टिकोण स्वयं CIR कार्य के लिए ट्रेनिंग-फ्री है (किसी ट्रिपलेट पर्यवेक्षण की आवश्यकता नहीं है) और सेल्फ-सुपरवाइज्ड प्रीट्रेनिंग का लाभ उठाता है, जिससे इसे महंगे एनोटेशन के बिना नए डोमेन के लिए स्केलेबल बनाया जाता है।
• मूल्यांकन मानक (Evaluation Standard): DFMM-Compose का परिचय मूल्यांकन प्रतिमान को सरल "हिट रेट" से बदलकर इंटेंट संतुष्टि और परिणाम विविधता के समग्र मूल्यांकन की ओर ले जाता है, जो ई-कॉमर्स और रचनात्मक डिजाइन जैसे वास्तविक दुनिया के अनुप्रयोगों के लिए महत्वपूर्ण है।
• व्यावहारिक अनुप्रयोग: यह प्रणाली उन परिदृश्यों के लिए विशेष रूप से उपयुक्त है जहाँ सटीक, स्थानीयकृत संशोधनों की आवश्यकता होती है (जैसे, "वही ड्रेस, अलग फैब्रिक, कोई धारियां नहीं") जहाँ मौजूदा ज़ीरो-शॉट विधियाँ सूचना हानि के कारण विफल हो जाती हैं।