💻 computer science

Retrieve and Segment: Are a Few Examples Enough to Bridge the Supervision Gap in Open-Vocabulary Segmentation?

यह शोध पत्र एक रिट्रीवल-ऑगमेंटेड टेस्ट-टाइम एडैप्टर प्रस्तावित करता है जो टेक्स्टुअल और विजुअल फीचर्स को फ्यूज करने के लिए पिक्सेल-एनोटेटेड इमेजेस के फ्यू-शॉट सपोर्ट सेट का लाभ उठाता है, जो किसी भी श्रेणी को पहचानने की क्षमता को बनाए रखते हुए ज़ीरो-शॉट और पूरी तरह से सुपरवाइज्ड ओपन-वोकैबुलरी सेगमेंटेशन के बीच के प्रदर्शन अंतराल को प्रभावी ढंग से पाटता है।

मूल लेखक: Tilemachos Aravanis, Vladan Stojnić, Bill Psomas, Nikos Komodakis, Giorgos Tolias

प्रकाशित 2026-02-27

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tilemachos Aravanis, Vladan Stojnić, Bill Psomas, Nikos Komodakis, Giorgos Tolias

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े शाब्दिक (literal) रोबोट को एक फोटो में वस्तुओं की पहचान करने और उनके चारों ओर आउटलाइन खींचना सिखाने की कोशिश कर रहे हैं।

समस्या: रोबोट की दुविधा

आपका रोबोट एक विज़न-लैंग्वेज मॉडल (VLM) है। यह एक ऐसे जीनियस की तरह है जिसने लाइब्रेरी की हर किताब पढ़ ली है और लाखों तस्वीरें देख ली हैं।

अच्छी खबर: यदि आप उससे पूछते हैं, "'मोटर साइकिल' क्या है?", तो वह इस शब्द के अर्थ को बिल्कुल सटीक रूप से जानता है। वह इस अवधारणा (concept) को पूरी तरह से पहचान सकता है।
बुरी खबर: क्योंकि इसने टेक्स्ट विवरणों से सीखा है, इसलिए यह किसी विशिष्ट फोटो में मोटरसाइकिल की सटीक आउटलाइन खींचने में बहुत खराब है। यह कह तो सकता है कि "यह एक मोटरसाइकिल है," लेकिन यह गलती से राइडर के हेलमेट या बैकग्राउंड के आसमान को भी मोटरसाइकिल का हिस्सा मानकर रंग सकता है। इसमें पिक्सेल-लेवल सटीकता (pixel-level precision) की कमी है।

यही वह अंतर है जिसे यह पेपर ठीक करने की कोशिश करता है: हम एक ऐसा रोबोट कैसे प्राप्त करें जो शब्दों को समझता भी हो और एक कुशल कलाकार की तरह सीमाओं (boundaries) को खींचने में भी माहिर हो?

पुराने समाधान (और वे क्यों विफल रहे)

केवल टेक्स्ट (Zero-Shot): आप बस रोबोट को कहते हैं, "मोटर साइकिल ढूंढो।" वह अपने सामान्य ज्ञान के आधार पर अनुमान लगाता है। यह अक्सर गलत या अस्पष्ट होता है (जैसे, साइकिल को मोटरसाइकिल कह देना)।
केवल तस्वीरें (Few-Shot): आप रोबोट को पहले से आउटलाइन खींची हुई मोटरसाइकिलों की कुछ तस्वीरें दिखाते हैं। वह उनकी नकल करने की कोशिश करता है। लेकिन यदि नई फोटो में एंगल या लाइटिंग अजीब है, या यदि आपके पास किसी विशिष्ट वस्तु (जैसे, "लाल सोफा") के लिए कोई तस्वीर नहीं है, तो रोबोट भ्रमित हो जाता है।
"हैंड-क्राफ्टेड" मिश्रण: पिछले तरीकों ने टेक्स्ट और तस्वीरों को कठोर, पूर्व-लिखित नियमों (जैसे एक रेसिपी) का उपयोग करके मिलाने की कोशिश की। "यदि टेक्स्ट 'कुत्ता' कहता है और तस्वीर में फर (fur) जैसा कुछ दिखता है, तो 'कुत्ता' में 50% जोड़ दें।" यह तरीका अनाड़ी है और जटिल स्थितियों में अक्सर विफल हो जाता है।

नया समाधान: "रिट्रीव एंड सेगमेंट" (RNS)

लेखक एक विधि प्रस्तावित करते हैं जिसे रिट्रीव एंड सेगमेंट (RNS) कहा जाता है। इसे एक स्मार्ट, डायनेमिक असिस्टेंट के रूप में सोचें जो हर मामले के आधार पर काम करता है।

यह कैसे काम करता है, एक सरल उपमा (analogy) का उपयोग करते हुए:

1. "स्मार्ट लाइब्रेरियन" (रिट्रीवल)

कल्पना कीजिए कि आप एक बिखरे हुए लिविंग रूम की फोटो देख रहे हैं। आप चाहते हैं कि रोबोट "सोफा" को ढूंढे।

पुराना तरीका: रोबोट "सोफा" की अपनी याददाश्त में देखता है और अनुमान लगाने की कोशिश करता है।
RNS तरीका: रोबोट के पास संदर्भ तस्वीरों (Reference Photos) का एक विशाल पुस्तकालय (Support Set) है। वह केवल उन सभी को नहीं देखता। वह एक स्मार्ट लाइब्रेरियन की तरह काम करता है जो आपके विशिष्ट कमरे को देखता है और कहता है, "आह, आपके पास सोफे पर एक बिल्ली है और बगल में एक लैंप है। मुझे वे संदर्भ तस्वीरें निकाल लेने दो जिनमें सोफे के पास बिल्ली और लैंप भी हैं।"
यह आपके विशिष्ट चित्र से मेल खाने वाले सबसे प्रासंगिक उदाहरणों को उसके पुस्तकालय से रिट्रीव (निकालता) करता है।

2. "इंस्टेंट ट्यूटर" (टेस्ट-टाइम अडैप्टेशन)

एक बार जब रोबोट ने वे प्रासंगिक संदर्भ तस्वीरें ढूंढ लीं, तो वह उन्हें हमेशा के लिए याद नहीं रखता। इसके बजाय, वह इस विशिष्ट चित्र के लिए एक अस्थायी, हल्का (lightweight) ट्यूटर काम पर रखता है।

यह ट्यूटर टेक्स्ट ("सोफा") और रिट्रीव की गई तस्वीरों (बिल्ली और लैंप के साथ सोफे) को देखता है और एक छोटा, कस्टम नियम सीखता है: "इस विशिष्ट फोटो में, सोफा वह चीज़ है जो बिल्ली के नीचे है, न कि वह चीज़ जो लैंप के बगल में है।"
इस ट्यूटर को एक सेकंड से भी कम समय में प्रशिक्षित किया जाता है, यह अपना काम करता है, और फिर हटा दिया जाता है। यह उस एक तस्वीर के लिए एक "वन-ऑफ" विशेषज्ञ है।

3. "ब्लेंडेड रेसिपी" (फ्यूजन)

जादू इस बात में है कि ट्यूटर टेक्स्ट (सोफे की परिभाषा) और विजुअल्स (संदर्भ तस्वीरों में सोफे का विशिष्ट रूप) को कैसे मिलाता है।

एक कठोर नियम के बजाय, रोबोट उन्हें सीखता है कि कैसे मिलाया जाए। यदि टेक्स्ट स्पष्ट है लेकिन तस्वीर धुंधली है, तो वह टेक्स्ट पर अधिक भरोसा करता है। यदि टेक्स्ट अस्पष्ट है लेकिन तस्वीर एकदम सही है, तो वह तस्वीर पर अधिक भरोसा करता है। वह हर पिक्सेल के लिए सही संतुलन पाता है।

यह एक बड़ी बात क्यों है?

यह अधूरी जानकारी को संभालता है: क्या होगा यदि आपके पास "गमले वाले पौधे" (Potted Plant) के लिए कोई संदर्भ चित्र नहीं है? रोबोट अभी भी अनुमान लगाने के लिए टेक्स्ट विवरण का उपयोग कर सकता है, और यदि वह देखता है कि पौधा "सोफा" संदर्भ जैसा दिखता है, तो वह उस विजुअल संकेत का उपयोग मदद के लिए कर सकता है। यह लचीला है।
यह व्यक्तिगत (Personal) है: आप रोबोट को आपकी विशिष्ट लाल कुर्सी की तस्वीर दिखा सकते हैं। रोबोट तुरंत सीख जाता है कि भविष्य की तस्वीरों में उस कुर्सी को कैसे पहचानना है, जिससे वह सामान्य "कुर्सियों" से अलग कर सके। इसे पर्सनलाइज्ड सेगमेंटेशन कहा जाता है।
यह अंतर को पाटता है: यह मानव द्वारा खींची गई सटीक रेखाओं (supervised learning) की सटीकता प्राप्त करता है, बिना लाखों हाथ से खींचे गए उदाहरणों की आवश्यकता के। इसे बस कुछ उदाहरणों और एक स्मार्ट तरीके की आवश्यकता होती है।

निचोड़ (The Bottom Line)

यह पेपर एक ऐसी प्रणाली पेश करता है जो हर इमेज के साथ एक जैसा व्यवहार करना बंद कर देती है। "एक ही आकार सबके लिए फिट" (one-size-fits-all) वाले रोबोट के बजाय, यह हर एक फोटो के लिए एक कस्टम विशेषज्ञ बनाता है:

अपनी मेमोरी से सबसे समान उदाहरणों को ढूंढकर।
उस विशिष्ट दृश्य के लिए शब्द की परिभाषा और विजुअल उदाहरण को पूरी तरह से मिलाकर।
उच्च सटीकता के साथ आउटलाइन खींचकर।

यह एक ऐसे जासूस की तरह है जो न केवल फाइल (टेक्स्ट) पढ़ता है या अपराध स्थल (इमेज) को अलग से देखता है, बल्कि तुरंत पिछले सबसे समान मामलों को ढूंढता है, सुरागों को मिलाता है, और सेकंडों में "क्या कहाँ है" के रहस्य को सुलझा लेता है।

यहाँ शोध पत्र "Retrieve and Segment: Are a Few Examples Enough to Bridge the Supervision Gap in Open-Vocabulary Segmentation?" का विस्तृत तकनीकी सारांश दिया गया है:

1. समस्या विवरण (Problem Statement)

ओपन-वोकैबुलरी सेगमेंटेशन (OVS) का लक्ष्य विजन-लैंग्वेज मॉडल्स (VLMs) की ज़ीरो-शॉट क्षमताओं का लाभ उठाते हुए, टेक्स्ट प्रॉम्प्ट द्वारा निर्दिष्ट किसी भी ऑब्जेक्ट श्रेणी को सेगमेंट करना है। हालाँकि, वर्तमान में OVS सटीक पिक्सेल-स्तरीय सुपरविजन के लिए आवश्यक सूक्ष्म विवरणों की कमी के कारण पूर्णतः सुपरवाइज्ड सेगमेंटेशन विधियों से काफी पीछे है, जिसके दो प्राथमिक कारण हैं:

कोर्स सुपरविजन (Coarse Supervision): VLMs को इमेज-लेवल इमेज-टेक्स्ट पेयर्स पर प्रशिक्षित किया जाता है, जिनमें सटीक सेगमेंटेशन मास्क के लिए आवश्यक सूक्ष्म पिक्सेल-स्तरीय सुपरविजन का अभाव होता है।
सिमेंटिक अस्पष्टता (Semantic Ambiguity): प्राकृतिक भाषा के विवरण अक्सर अस्पष्ट होते हैं, जिससे मतिभ्रम (hallucinations) (जैसे, बैकग्राउंड को ऑब्जेक्ट के रूप में गलत वर्गीकृत करना) या समान श्रेणियों के बीच भ्रम (जैसे, मोटरसाइकिल बनाम साइकिल) उत्पन्न होता है।

यद्यपि फ्यू-शॉट लर्निंग (कुछ एनोटेटेड उदाहरणों का उपयोग करके) का अन्वेषण किया गया है, मौजूदा विधियाँ अक्सर टेक्स्ट और विजुअल फीचर्स के हस्तनिर्मित फ्यूजन (hand-crafted fusion) पर निर्भर करती हैं या उन परिदृश्यों को संभालने में विफल रहती हैं जहाँ ओपन-वर्ल्ड सेटिंग में कुछ क्लासेस के लिए विजुअल सपोर्ट मौजूद नहीं होता है।

2. कार्यप्रणाली: रिट्रीव एंड सेगमेंट (RNS)

लेखक RNS का प्रस्ताव करते हैं, जो एक रिट्रीवल-ऑगमेंटेड, टेस्ट-टाइम एडैप्टर है जो ज़ीरो-शॉट और सुपरवाइज्ड सेगमेंटेशन के बीच के अंतर को पाटता है। भारी VLM बैकबोन को फिर से प्रशिक्षित करने के बजाय, RNS टेक्स्ट और विजुअल सपोर्ट फीचर्स को गतिशील रूप से फ्यूज करके एक हल्का, प्रति-इमेज लीनियर क्लासिफायर सीखता है।

मुख्य घटक:

सपोर्ट सेट्स (Support Sets):
- टेक्स्टुअल सपोर्ट (Textual Support): क्लास नाम या विवरण जिन्हें VLM टेक्स्ट एनकोडर द्वारा प्रोसेस किया जाता है।
- विजुअल सपोर्ट (Visual Support): पिक्सेल-एनोटेटेड इमेजेस का एक छोटा सेट (सपोर्ट सेट) जिसे पैच-लेवल फीचर्स निकालने के लिए VLM विजन एनकोडर द्वारा प्रोसेस किया जाता है।
फीचर कंस्ट्रक्शन (Feature Construction):
- विजुअल क्लास फीचर्स (Visual Class Features): सपोर्ट इमेजेस से पैच फीचर्स को ग्राउंड-ट्रुथ मास्क के आधार पर पूल किया जाता है ताकि प्रति-इमेज विजुअल क्लास फीचर्स ( $v^i_c$ ) बनाए जा सकें। इन्हें ग्लोबल विजुअल क्लास फीचर्स ( $v_c$ ) बनाने के लिए पूरे सपोर्ट सेट में एकत्रित किया जाता है।
- फ्यूज्ड फीचर्स (Fused Features): मोडैलिटी गैप को संबोधित करने के लिए, यह विधि एक मिक्सिंग कोएफिशिएंट $\lambda$ के साथ टेक्स्टुअल फीचर्स ( $t_c$ ) और विजुअल फीचर्स ( $v_c$ ) को लीनियरली संयोजित करके फ्यूज्ड क्लास फीचर्स ( $f_{c\lambda}$ ) बनाती है। विविध फ्यूजन रणनीतियों को कैप्चर करने के लिए कई $\lambda$ मानों का उपयोग किया जाता है।
रिट्रीवल मैकेनिज्म (Retrieval Mechanism):
- दिए गए टेस्ट इमेज के लिए, सिस्टम समानता के आधार पर प्रत्येक पैच/रीजन के लिए $k$ -नेरेस्ट नेबर्स (विजुअल सपोर्ट फीचर्स) को रिट्रीव करता है।
- यह टेस्ट इमेज के लिए विशिष्ट एक रिट्रीव्ड विजुअल सपोर्ट सेट ( $V_r$ ) बनाता है, जो अप्रासंगिक उदाहरणों को फ़िल्टर कर देता है।
टेस्ट-टाइम अडैप्टेशन (TTA):
- रिट्रीव किए गए फीचर्स का उपयोग करके प्रति टेस्ट इमेज एक हल्का लीनियर क्लासिफायर ( $g_\theta$ ) प्रशिक्षित किया जाता है।
- लॉस फंक्शन (Loss Function): ट्रेनिंग कुल लॉस $L = L_v + \beta_f L_f + \beta_p L_p$ $L = L_{v} + β_{f} L_{f} + β_{p} L_{p}$ को कम करती है:
  - $L_v$ (विजुअल लॉस): रिट्रीव किए गए विजुअल फीचर्स पर क्रॉस-एन्ट्रॉपी लॉस।
  - $L_f$ (फ्यूज्ड लॉस): रिट्रीव किए गए सेट में मौजूद क्लासेस के लिए फ्यूज्ड फीचर्स पर क्रॉस-एन्ट्रॉपी लॉस।
  - $L_p$ (स्यूडो-लेबल लॉस): उन क्लासेस के लिए जिनके पास विजुअल सपोर्ट नहीं है, मॉडल ज़ीरो-शॉट प्रेडिक्शंस का उपयोग करके स्यूडो-लेबल्स जेनरेट करता है, जिससे मॉडल बिना विजुअल उदाहरणों के भी टेक्स्टुअल प्रायर्स से सीख पाता है।
- क्लास रेलेवेंस वेट्स ( $w_c$ ): टेस्ट इमेज के ग्लोबल फीचर और टेक्स्टुअल क्लास फीचर के बीच एक सिमिलैरिटी स्कोर का उपयोग लॉस को वेट देने के लिए किया जाता है, जो अप्रासंगिक रिट्रीव्ड क्लासेस को दबा देता है।

आंशिक सपोर्ट को संभालना (Handling Partial Support):

RNS को डायनेमिक, ओपन-वर्ल्ड परिदृश्यों के लिए डिज़ाइन किया गया है:

आंशिक विजुअल सपोर्ट (Partial Visual Support): यदि किसी क्लास के पास कोई विज़ुअल उदाहरण नहीं है, तो यह विज़ुअल फीचर्स जेनरेट करने के लिए ज़ीरो-शॉट प्रेडिक्शंस से स्यूडो-लेबलिंग पर निर्भर करता है।
आंशिक टेक्स्टुअल सपोर्ट (Partial Textual Support): यदि क्लास नाम गायब है, तो मॉडल ज्ञात क्लासेस के औसत टेक्स्टुअल फीचर का उपयोग एक न्यूट्रल प्रायर के रूप में करता है।

3. प्रमुख योगदान (Key Contributions)

RNS फ्रेमवर्क: एक रिट्रीवल-ऑगमेंटेड टेस्ट-टाइम एडैप्टर का परिचय, जो पिछले हस्तनिर्मित फ्यूजन विधियों की तुलना में टेक्स्ट और विजुअल सपोर्ट को अधिक प्रभावी ढंग से फ्यूज करना सीखता है।
डायनेमिक अडैप्टेबिलिटी: यह पद्धति निरंतर विस्तारित होने वाले सपोर्ट सेट्स का समर्थन करती है, जिससे बैकबोन को पुन: प्रशिक्षित किए बिना किसी भी समय नए विजुअल उदाहरण जोड़े जा सकते हैं। यह उन मामलों को भी संभालती है जहाँ कुछ क्लासेस में केवल टेक्स्ट, केवल इमेज, या दोनों उपलब्ध हैं।
दक्षता (Efficiency): VLM बैकबोन को फ्रीज करके और प्रति इमेज केवल एक हल्का लीनियर क्लासिफायर ट्रेन करके, RNS न्यूनतम कंप्यूटेशनल ओवरहेड के साथ मजबूत प्रदर्शन प्राप्त करता है (A100 GPU पर <1 सेकंड)।
पर्सनलाइज्ड सेगमेंटेशन: यह फ्रेमवर्क सपोर्ट सेट में इंस्टेंस-विशिष्ट उदाहरणों को जोड़कर विशिष्ट इंस्टेंस (जैसे, "मेरा विशिष्ट प्लेट") को सेगमेंट करने के लिए स्वाभाविक रूप से विस्तारित होता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने OpenCLIP और DINOv3 बैकबोन का उपयोग करके छह बेंचमार्क (PASCAL VOC, Context, COCO, Cityscapes, ADE20K, आदि) पर RNS का मूल्यांकन किया।

प्रदर्शन लाभ (Performance Gains): RNS ज़ीरो-शॉट और पूर्णतः सुपरवाइज्ड सेगमेंटेशन के बीच के अंतर को महत्वपूर्ण रूप से कम करता है।
- केवल 1 सपोर्ट इमेज प्रति क्लास के साथ, RNS ज़ीरो-शॉट प्रदर्शन में +7.3% (OpenCLIP) और +18.4% (DINOv3) का सुधार करता है।
- 20 सपोर्ट इमेजेस के साथ, RNS पूरी तरह से सुपरवाइज्ड मॉडल्स के अंतर को औसतन 11.5 mIoU तक कम कर देता है, जो दूसरे सर्वश्रेष्ठ OVS मेथड (CAT-Seg) से 14.1 mIoU बेहतर है।
मिसिंग डेटा के प्रति मजबूती (Robustness to Missing Data):
- आंशिक विजुअल सपोर्ट सेटिंग्स में (जहाँ कुछ क्लासेस में इमेज की कमी है), RNS सुचारू रूप से घटता है, जबकि kNN-CLIP और FREEDA जैसे प्रतिस्पर्धी ज़ीरो-शॉट प्रदर्शन से भी काफी नीचे गिर जाते हैं।
- आंशिक टेक्स्टुअल सपोर्ट सेटिंग्स में, RNS उच्च प्रदर्शन बनाए रखता है, जो यह सिद्ध करता है कि विजुअल और टेक्स्टुअल मोडैलिटीज़ एक-दूसरे के पूरक हैं।
एब्लेशन स्टडीज (Ablation Studies):
- रिट्रीवल मैकेनिज्म को हटाने (रैंडम सबसेट्स का उपयोग करने) से प्रदर्शन में भारी गिरावट आती है, जो प्रासंगिक विजुअल उदाहरणों को रिट्रीव करने के महत्व की पुष्टि करता है।
- क्लास रेलेवेंस वेट्स ( $w_c$ ) को हटाने से प्रदर्शन कम हो जाता है, जो अप्रासंगिक रिट्रीव्ड क्लासेस को दबाने की आवश्यकता को रेखांकित करता है।
- फ्यूजन के लिए मल्टीपल मिक्सिंग कोएफिशिएंट्स ( $\Lambda$ ) का उपयोग करना सिंगल-कोएफिशिएंट फ्यूजन की तुलना में बेहतर परिणाम देता है।

5. महत्व (Significance)

यह कार्य प्रदर्शित करता है कि कुछ उदाहरण वास्तव में पर्याप्त हैं ताकि ओपन-वोकैबुलरी सेगमेंटेशन में सुपरविजन गैप को भरा जा सके, बशर्ते उन उदाहरणों को बुद्धिमानी से रिट्रीव और फ्यूज किया जाए।

पैराडाइम शिफ्ट: यह सेगमेंटेशन हेड्स के स्टैटिक, ऑफलाइन ट्रेनिंग से हटकर डायनेमिक, टेस्ट-टाइम अडैप्टेशन की ओर बढ़ता है जो आधुनिक VLMs के समृद्ध एम्बेडिंग्स का लाभ उठाता है।
व्यावहारिकता: मिसिंग मोडैलिटीज (टेक्स्ट या इमेज) को संभालने की क्षमता RNS को वास्तविक दुनिया के ओपन-वर्ल्ड अनुप्रयोगों के लिए अत्यधिक उपयुक्त बनाती है जहाँ डेटा की उपलब्धता असंगत होती है।
पर्सनलाइजेशन: यह फाउंडेशन मॉडल्स को जटिल फाइन-ट्यूनिंग की आवश्यकता के बिना पर्सनलाइज्ड सेगमेंटेशन कार्यों के लिए एक मजबूत, लाइटवेट समाधान प्रदान करता है।

निष्कर्षतः, RNS एक रिट्रीवल-ऑगमेंटेड, टेस्ट-टाइम लर्निंग रणनीति के माध्यम से टेक्स्ट की सिमेंटिक फ्लेक्सिबिलिटी को विजुअल उदाहरणों की सटीकता के साथ प्रभावी ढंग से जोड़कर, फ्यू-शॉट ओपन-वोकैबुलरी सेगमेंटेशन के लिए एक नया स्टेट-ऑफ-द-आर्ट स्थापित करता है।