💻 computer science

Show, Don't Ask: Generative Visual Disambiguation for Composed Image Retrieval with Turn-Valid Coverage

यह शोध पत्र CLARA का प्रस्ताव करता है, जो कि कंपोज्ड इमेज रिट्रीवल के लिए एक जनरेटिव विजुअल डिसैम्बिग्युएशन फ्रेमवर्क है, जो टेक्स्ट आधारित प्रश्न पूछने के बजाय चयन के लिए वास्तविक इमेज प्रोटोटाइप का एक पैनल प्रस्तुत करके उपयोगकर्ता की मंशा की अस्पष्टता को हल करता है, जिससे कई इंटरैक्शन राउंड्स में वैध कॉन्फॉर्मल कवरेज गारंटी बनी रहती है और यह फाइन-ग्रेंड सिनेरियो में टेक्स्ट-आधारित बेसलाइन्स से बेहतर प्रदर्शन करता है।

मूल लेखक: Amsisan Tran, Baogh Le, Tuan Kiet Pham, Sui Yang Guang

प्रकाशित 2026-06-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Amsisan Tran, Baogh Le, Tuan Kiet Pham, Sui Yang Guang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप कपड़ों के एक विशाल, अनंत गोदाम में एक विशिष्ट पोशाक खोजने की कोशिश कर रहे हैं। आप दुकानदार को एक शर्ट की तस्वीर दिखाते हैं जो आपको पसंद है और कहते हैं, "इसे और अधिक औपचारिक (formal) बना दें, लेकिन नीला रंग वही रखें।"

कंपोज्ड इमेज रिट्रीवल (Composed Image Retrieval - CIR) की दुनिया में, यह सर्च करने का मानक तरीका है। लेकिन समस्या यह है कि "अधिक औपचारिक" एक अस्पष्ट शब्द है। क्या इसका मतलब ब्लेज़र है? सूट जैकेट? या ड्रेस शर्ट? गोदाम में हजारों ऐसी वस्तुएं हो सकती हैं जो इस विवरण में फिट बैठ सकती हैं।

पुराना तरीका: अनुमान लगाने का खेल

पिछले सिस्टमों ने इसे एक जासूस की तरह हल करने की कोशिश की जो आपसे लगातार हाँ या ना वाले सवाल पूछता रहता है: "क्या आपको ब्लेज़र चाहिए?" "नहीं।" "सूट कैसा रहेगा?" "नहीं।"

यह पेपर तर्क देता है कि इस दृष्टिकोण में दो बड़ी खामियां हैं:

"हाँ/ना" की बाधा (The "Yes/No" Bottleneck): किसी दृश्य अंतर (जैसे जैकेट का कट या फोटो का कोण) को शब्दों का उपयोग करके वर्णित करने की कोशिश करना वैसा ही है जैसे किसी ऐसे व्यक्ति को रंग समझाने की कोशिश करना जिसने कभी रंग देखा ही न हो। यह धीमा और अनिश्चित है।
टूटा हुआ वादा (The Broken Promise): इन सिस्टमों ने आपको विकल्पों की एक "गारंटीड" सूची देने का वादा किया था जिसमें आपका लक्ष्य निश्चित रूप से शामिल हो। लेकिन जैसे ही उन्होंने आपसे सवाल पूछना और आपके जवाबों के आधार पर अपनी सूची बदलना शुरू किया, वह गारंटी टूट गई। यह एक ऐसे मानचित्र की तरह था जो शुरुआत में तो सटीक था, लेकिन जैसे ही आपने मोड़ लिया, वह गलत हो गया।

नया तरीका: CLARA (दिखाओ, पूछो मत)

लेखक CLARA नामक एक नया सिस्टम प्रस्तावित करते हैं। आपसे सवाल पूछने के बजाय, यह आपको विकल्प दिखाता है।

इसे इस प्रकार समझें:
सवाल पूछने के बजाय कि, "क्या आपको ब्लेज़र चाहिए या सूट?", सिस्टम तुरंत चार छोटी तस्वीरें उत्पन्न करता है जो "फॉर्मल ब्लू शर्ट" के विभिन्न "फ्लेवर्स" (रुपों) का प्रतिनिधित्व करती हैं जो उसे मिले हैं:

विकल्प A: एक शार्प ब्लेज़र।
विकल्प B: एक टेक्सचर्ड बुना हुआ स्वेटर।
विकल्प C: एक डार्क, स्लीक ड्रेस शर्ट।
विकल्प D: एक पैटर्न वाला बटन-डाउन।

आप बस उस ओर इशारा करते हैं जो आपकी कल्पना के सबसे करीब दिखता है।

यह एक बड़ी बात क्यों है

पेपर इस नए तरीके की तीन मुख्य महाशक्तियों पर प्रकाश डालता है:

1. "जादुई सुरक्षा जाल" (टर्न-वैलिडेटेड कवरेज)
पुराने सिस्टमों ने पहले ही सवाल के बाद अपनी सुरक्षा गारंटी खो दी थी। CLARA एक चतुर गणितीय ट्रिक (जिसे रीवेटिंग कहा जाता है) का उपयोग करता है ताकि यह सुनिश्चित हो सके कि सुरक्षा जाल हर बार बरकरार रहे। आप कितनी भी बार क्लिक करें, सिस्टम गारंटी देता है कि अंतिम सूची में आपका लक्ष्य एक विशिष्ट, उच्च संभावना के साथ मौजूद होगा। यह एक GPS की तरह है जो हर बार मुड़ने पर अपने "आप यहाँ हैं" सुरक्षा क्षेत्र को फिर से कैलिब्रेट करता है, जिससे यह सुनिश्चित होता है कि आप कभी खो न जाएं।

2. "काल्पनिक उत्तरों का नहीं" नियम (The "No-Imaginary-Answers" Rule)
पुराने "पूछने" वाले तरीके में, कंप्यूटर को यह अनुमान लगाना पड़ता था कि आप उसके सवालों का उत्तर कैसे देंगे। इससे एक गोलाकार लूप बन जाता था जहाँ कंप्यूटर अनिवार्य रूप से खुद से ही बात कर रहा होता था।
CLARA इस लूप को तोड़ता है। यह आपको दिखाने के लिए चित्र बनाता है, लेकिन यह उन उत्पन्न चित्रों को सिस्टम को धोखा नहीं देने देता। यह उत्पन्न चित्रों को गोदाम में वास्तव में मौजूद कपड़ों से "स्नैप" (जोड़) देता है। इसलिए, जब आप एक चित्र चुनते हैं, तो आप एक वास्तविक वस्तु चुन रहे होते हैं, न कि कोई भ्रम (hallucination)। कंप्यूटर को यह अनुमान लगाने की आवश्यकता नहीं है कि आप क्या कहेंगे; यह बस आपके द्वारा चुने जाने का इंतज़ार करता है।

3. देखना विश्वास करने से बेहतर है (हाई-बैंडविड्थ)
पेपर का तर्क है कि देखना पढ़ने से बहुत तेज़ है। यदि आप जानना चाहते हैं कि शर्ट "सामने की ओर" है या "बगल की ओर", तो एक तस्वीर आपको तुरंत बता देती है। एक टेक्स्ट प्रश्न ("क्या यह सामने या बगल का है?") को पढ़ने और उत्तर देने में समय लगता है। CLARA इस "विजुअल बैंडविड्थ" का उपयोग उन वस्तुओं को खोजने के लिए करता है जो टेक्स्ट-आधारित सिस्टम की तुलना में कम चरणों में मिल जाती हैं, विशेष रूप से जब भ्रम व्यूप्वाइंट (कोण) या स्टाइल (विशेषताओं) के बारे में हो, जहाँ चित्र शब्दों से अधिक प्रभावी होते हैं।

परिणाम

लेखकों ने फैशन और सामान्य इमेज डेटासेट पर इनका परीक्षण किया। उन्होंने पाया:

यह उतना ही अच्छा है जितना कि बेहतरीन सिंगल-शॉट सिस्टम, जब आपको स्पष्टीकरण की आवश्यकता नहीं होती।
यह अपना वादा निभाता है: पुराने सिस्टमों के विपरीत, "सुरक्षा गारंटी" कुछ राउंड के बाद भी खत्म नहीं हुई।
यह तेज़ है: इसने सबसे मजबूत टेक्स्ट-क्वेश्चनिंग सिस्टम की तुलना में कम राउंड में सही आइटम तक पहुँच प्राप्त की, विशेष रूप से तब जब भ्रम व्यूप्वाइंट (कोण) या स्टाइल (विशेषताओं) के बारे में था, जहाँ चित्र शब्दों से अधिक प्रभावशाली होते हैं।

संक्षेप में, CLARA कंप्यूटर को यह अनुमान लगाने से रोकता है कि आप क्या चाहते हैं और इसके बजाय उसे यह दिखाने लगता है कि वह क्या सोचता है कि आप क्या चाहते हैं, जिससे आप एक सिंगल क्लिक के साथ विजेता चुन सकते हैं, और यह सब पूरी प्रक्रिया के दौरान एक गणितीय रूप से प्रमाणित सुरक्षा जाल बनाए रखते हुए किया जाता है।

तकनीकी सारांश: कंपोज्ड इमेज रिट्रीवल के लिए CLARA

समस्या विवरण
कंपोज्ड इमेज रिट्रीवल (CIR) उपयोगकर्ताओं को एक संदर्भ छवि (reference image) और एक संशोधन पाठ (modification text) का उपयोग करके एक संग्रह (corpus) खोजने की अनुमति देता है (जैसे, "इस तरह का पहनावा, लेकिन अधिक औपचारिक")। वर्तमान प्रणालियाँ आमतौर पर यह मानती हैं कि एक क्वेरी एक एकल लक्ष्य छवि (target image) से मेल खाती है, जिसका मूल्यांकन एकल एनोटेशन के विरुद्ध Recall@K के माध्यम से किया जाता है। हालाँकि, लेखक तर्क देते हैं कि यह धारणा त्रुटिपूर्ण है: एक कंपोज्ड क्वेरी शायद ही कभी किसी विशिष्ट छवि को निर्दिष्ट करती है, बल्कि यह एक "संग्रह के क्षेत्र" (region of the corpus) को परिभाषित करती है। उपयोगकर्ता द्वारा इरादा गया विशिष्ट सदस्य अकेले क्वेरी द्वारा निर्धारित नहीं किया जा सकता।

इस अस्पष्टता को दूर करने के प्रयास हाल ही में एक रिट्रीवर को कॉन्फॉर्मल प्रेडिक्शन लेयर (conformal prediction layer) के साथ लपेटते हैं ताकि एक कैंडिडेट सेट वापस किया जा सके जो एक गारंटीकृत कवरेज प्रोबेबिलिटी प्रदान करता है, जिसमें अवशिष्ट अनिश्चितता को हल करने के लिए टेक्स्ट प्रश्नों का उपयोग किया जाता है। लेखक इस मौजूदा दृष्टिकोण में दो महत्वपूर्ण विफलताओं की पहचान करते हैं:

कवरेज गारंटी का नुकसान: कॉन्फॉर्मल कवरेज गारंटी डेटा एक्सचेंजेबिलिटी (data exchangeability) पर निर्भर करती है। जब एक सिस्टम अनुकूल रूप से (adaptively) प्रश्न पूछता है और उत्तर के आधार पर अपने विश्वास को अपडेट करता है, तो यह एक फीडबैक कोवेरिएट शिफ्ट (feedback covariate-shift) उत्पन्न करता है। अपडेट किए गए विश्वास पर मूल कैलिब्रेशन थ्रेशोल्ड को पुन: लागू करना कवरेज गारंटी को अमान्य कर देता है, जिससे पहले टर्न के बाद वास्तविक कवरेज नाममात्र स्तर से काफी नीचे गिर जाता है।
अक्षम और चक्रीय स्पष्टीकरण: टेक्स्ट प्रश्न सूक्ष्म दृश्य अंतर (दृष्टिकोण, बनावट, शैली) संप्रेषित करने के लिए एक कम बैंडविड्थ वाला चैनल हैं। इसके अलावा, वर्तमान टेक्स्ट-आधारित नीतियां एक मल्टीमॉडल मॉडल का उपयोग करती हैं जो प्रश्नों को चुनने के लिए उपयोगकर्ता के उत्तरों की भविष्यवाणी करती है, जो एक चक्रीय मूल्यांकन बनाता है जहाँ मॉडल स्वयं प्रश्न भी पूछता है और उत्तर भी देता है, जो संभावित रूप से एक सिम्युलेटर के बजाय वास्तविक उपयोगकर्ताओं के लिए अनुकूलित हो सकता है।

कार्यप्रणाली: CLARA
लेखक CLARA (CLArification by Rendering Alternatives) प्रस्तावित करते हैं, जो एक ढांचा है जो टेक्स्ट-आधारित पूछताछ के स्थान पर जेनेरेटिव विजुअल डिस्एम्बिग्यूएशन (generative visual disambiguation) का उपयोग करता है और इंटरैक्शन राउंड के दौरान एक गणितीय रूप से वैध कवरेज गारंटी बनाए रखता है।

कैलिब्रेटेड बिलीफ और कॉन्फॉर्मल सेट्स:
सिस्टम क्वेरी और इंटरैक्शन हिस्ट्री पर आधारित संग्रह पर एक बिलीफ डिस्ट्रीब्यूशन $p(I|q, h_m)$ बनाए रखता है। यह एक कैंडिडेट सेट $C$ उत्पन्न करने के लिए एडेप्टिव कॉन्फॉर्मल प्रेडिक्शन का उपयोग करता है ताकि यह सुनिश्चित हो सके कि वास्तविक लक्ष्य के सेट में होने की संभावना कम से कम $1-\alpha$ है। इस सेट का आकार सीधे तौर पर अस्पष्टता के माप के रूप में कार्य करता है।
जेनेरेटिव विजुअल डिस्एम्बिग्यूएशन (दिखाएं, पूछें नहीं):
जब कैंडिडेट सेट बहुत बड़ा होता है (उच्च अस्पष्टता का संकेत), तो CLARA टेक्स्ट प्रश्न नहीं पूछता है। इसके बजाय:

मोड पार्टीशनिंग (Mode Partitioning): यह व्याख्या योग्य अस्पष्टता अक्षों (संरक्षित गुण, परिवर्तित गुण, दृष्टिकोण, बैकग्राउंड) के आधार पर कैंडिडेट सेट को $k$ मोड में क्लस्टर करता है।
जेनरेट-टू-कवर (Generate-to-Cover): यह रेडंडेंसी के बिना पूर्ण बिलीफ स्पेस का प्रतिनिधित्व करने के लिए एक सबमॉड्यूलर कवरेज-विविधता उद्देश्य (submodular coverage-diversity objective) को अधिकतम करने के लिए मोड के एक उपसमुच्चय (subset) का चयन करता है।
रेंडरिंग और स्नैपिंग (Rendering and Snapping): एक कंडीशनल डिफ्यूजन मॉडल प्रत्येक चयनित मोड के लिए एक प्रोटोटाइप इमेज रेंडर करता है। महत्वपूर्ण रूप से, प्रत्येक रेंडर किए गए प्रोटोटाइप को निकटतम वास्तविक संग्रह उदाहरण (मोड के मेडॉइड) के साथ "स्नैप" किया जाता है। उपयोगकर्ता रेंडर की गई छवि देखता है लेकिन वास्तविक संग्रह उपसमुच्चय का चयन करता है। यह सुनिश्चित करता है कि जेनरेशन आर्टिफैक्ट्स प्रेडिक्शन सेट को बढ़ा नहीं सकते या कवरेज गारंटी का उल्लंघन नहीं कर सकते।
उपयोगकर्ता इंटरैक्शन: उपयोगकर्ता केवल अपने इरादे के सबसे करीब के प्रोटोटाइप को चुनता है। यह एक उच्च-बैंडविड्थ, मॉडल-मुक्त सिग्नल प्रदान करता है।

टर्न-वैलिड कवरेज (Turn-Valid Coverage):
उपयोगकर्ता के चयन के कारण होने वाले फीडबैक कोवेरिएट शिफ्ट को संबोधित करने के लिए, CLARA प्रत्येक स्पष्टीकरण राउंड को क्वेरी डिस्ट्रीब्यूशन में एक स्पष्ट बदलाव के रूप में मानता है।

यह उपयोगकर्ता के चयन इतिहास और चयन मॉडल $\pi$ के आधार पर एक लाइक्लीहुड रेशियो वेट $w_m$ की गणना करता है।
यह कैलिब्रेशन के दौरान नॉनकॉन्फॉर्मिटी स्कोर को रीवेट करने के लिए वेटेड स्प्लिट कॉन्फॉर्मल प्रेडिक्शन (weighted split conformal prediction) लागू करता है।
प्रपोजिशन 1 सिद्ध करता है कि इस रीवेटिंग के साथ, कवरेज गारंटी ( $Pr(IT \in C) \geq 1-\alpha$ ) प्रत्येक प्रतिबद्ध राउंड में बनी रहती है, न कि केवल पहले राउंड में।

बिलीफ अपडेट:
उपयोगकर्ता के चयन पर, बिलीफ को लॉजिकल रीवेटिंग के माध्यम से अपडेट किया जाता है जो पिछले बिलीफ को एक सॉफ्ट मेंबरशिप लाइक्लीहुड (गलत चयन पर वास्तविक लक्ष्य को हटाने से रोकने के लिए फ्लोर किया गया) और एक सिमेंटिक अपडेट के साथ जोड़ता है जो चुने गए मोड को टेक्स्ट क्वेरी में संलग्न करता है।

मुख्य योगदान

फीडबैक कोवेरिएट शिफ्ट की पहचान: पेपर दर्शाता है कि इंटरैक्टिव CIR में मानक कॉन्फॉर्मल कवरेज पहले टर्न के बाद एडेप्टिव सिलेक्शन के कारण विफल हो जाता है और चयन-रीवेटेड कॉन्फॉर्मल प्रेडिक्शन के माध्यम से इसे ठीक करने के लिए एक सैद्धांतिक ढांचा प्रस्तावित करता है।
जेनेरेटिव विजुअल डिस्एम्बिग्यूएशन: CLARA टेक्स्ट प्रश्नों के स्थान पर कवरेज-संचालित रेंडरिंग के रूप में विजुअल पैनल पेश करता है। यह "उत्तर-मॉडल" की चक्रीयता को समाप्त करता है और सूक्ष्म अंतरों के लिए उच्च-बैंडविड्थ विजुअल सिग्नल का लाभ उठाता है।
टर्न-वैलिड गारंटी: लेखक यह सिद्ध करते हैं कि उनका वेटेड कॉन्फॉर्मल दृष्टिकोण सभी इंटरैक्शन राउंड में नाममात्र कवरेज गारंटी बनाए रखता है।
AmbiCIR-V: एक नया मूल्यांकन प्रोटोकॉल और डेटासेट विस्तार जो ओपन-डोमेन और फैशन बेंचमार्क को विजुअल-क्लैरिफिकेशन मेट्रिक्स के साथ एकीकृत करता है, जिसमें कवरेज-थ्रू-टर्न्स और अस्पष्टता-एक्सिस एनोटेशन शामिल हैं।

परिणाम
प्रयोग ओपन-डोमेन (CIRR), मल्टी-पॉजिटिव (CIRCO), और फैशन (FashionIQ) बेंचमार्क पर किए गए।

सिंगल-टर्न प्रदर्शन: CLARA सिंगल-टर्न विधियों के सांख्यिकीय रूप से बराबर है, जो पुष्टि करता है कि रेजोल्यूशन लेयर सटीक क्वेरी के लिए लागत-मुक्त है।
कवरेज स्थिरता: "नेटिव" इंटरैक्टिव कॉन्फॉर्मल विधियों के विपरीत, जो तीसरे राउंड तक नाममात्र कवरेज से 10 प्रतिशत अंक तक नीचे गिर जाती हैं, CLARA सभी राउंड और अस्पष्टता अक्षों में नाममात्र कवरेज (लगभग 90%) बनाए रखता है।
इंटरैक्शन दक्षता: CLARA सबसे मजबूत टेक्स्ट-क्वेश्चन पॉलिसी (EIG-TEXT) की तुलना में कम राउंड में लक्ष्य तक पहुँच जाता है। यह लाभ दृष्टिकोण और एट्रिब्यूट अस्पष्टता पर सबसे अधिक स्पष्ट है, जहाँ विजुअल चयन टेक्स्ट पूछताछ से बेहतर प्रदर्शन करता है।
मानव अध्ययन: 30 प्रतिभागियों के साथ एक अध्ययन ने पुष्टि की कि वास्तविक उपयोगकर्ता टेक्स्ट प्रश्नों की तुलना में विजुअल पैनल पसंद करते हैं और कम टर्न के साथ उच्च सफलता दर प्राप्त करते हैं, जो सिम्युलेटेड परिणामों को मान्य करता है।
मजबूती (Robustness): सिस्टम उपयोगकर्ता की गलतियों (सॉफ्ट लाइक्लीहुड अपडेट) और प्रतिकूल पिक्स (adversarial picks) के प्रति मजबूत रहता है, जहाँ कवरेज अचानक गिरने के बजाय क्रमिक रूप से घटता है।

महत्व और दावे
पेपर CIR को "एक-क्वेरी-एक-लक्ष्य" कार्य से बदलकर "कैलिब्रेटेड इंटेंट रेजोल्यूशन" समस्या के रूप में पुनर्परिभाषित करके इस क्षेत्र को आगे बढ़ाने का दावा करता है। इसका महत्व यहाँ निहित है:

सैद्धांतिक कठोरता: यह स्थापित करना कि इंटरैक्टिव रिट्रीवल एक फीडबैक कोवेरिएट शिफ्ट समस्या है और हर इंटरैक्शन राउंड में वैध कवरेज सुनिश्चित करने के लिए पहला तरीका प्रदान करना।
व्यावहारिक उपयोगिता: यह प्रदर्शित करना कि विजुअल अस्पष्टता को हल करने के लिए "दिखाना" (विजुअल रेंडरिंग) "पूछने" (टेक्स्ट) की तुलना में एक बेहतर चैनल है, जिससे जटिल और संभावित रूप से पक्षपाती उत्तर-मॉडल की आवश्यकता समाप्त हो जाती है।
निष्ठावान संश्लेषण (Faithful Synthesis): एक "स्नैप-टू-कॉर्पस" तंत्र पेश करना जो विज़ुअलाइज़ेशन के लिए जेनेरेटिव मॉडल के उपयोग की अनुमति देता है बिना रिट्रीवल सिस्टम की सांख्यिकीय गारंटी से समझौता किए।

लेखक निष्कर्ष निकालते हैं कि रिट्रीवल को एक विजुअली इंटरैक्टिव, कैलिब्रेटेड प्रक्रिया के रूप में मानना—अस्पष्टता को मापना, आत्मविश्वास होने पर प्रतिबद्ध होना, और स्पष्ट न होने पर विकल्प दिखाना—वर्तमान सिंगल-टर्न धारणाओं से आगे बढ़ने के लिए एक आवश्यक कदम है।

पुराना तरीका: अनुमान लगाने का खेल

नया तरीका: CLARA (दिखाओ, पूछो मत)

यह एक बड़ी बात क्यों है

परिणाम

इसी तरह के और पेपर