← नवीनतम पेपर
💻 computer science

REBASE: Reference-Background Subspace Elimination for Training-Free In-Context Segmentation

REBASE एक प्रशिक्षण-मुक्त (training-free) फ्रेमवर्क है जो लो-रैंक सबस्पेस प्रोजेक्शन के माध्यम से स्प्यूरियस बैकग्राउंड कोरेस्पोंडेंस (spurious background correspondences) को स्पष्ट रूप से समाप्त करके इन-कॉन्टेक्स्ट सेगमेंटेशन में सुधार करता है, जिससे बिना किसी मॉडल रिट्रेनिंग के विभिन्न डेटासेट्स पर अत्याधुनिक प्रदर्शन प्राप्त होता है।

मूल लेखक: Mantha Sai Gopal, Jaison Saji Chacko, Harsh Nandwana, Sandesh Hegde, Debarshi Banerjee, Uma Mahesh

प्रकाशित 2026-07-13
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Mantha Sai Gopal, Jaison Saji Chacko, Harsh Nandwana, Sandesh Hegde, Debarshi Banerjee, Uma Mahesh

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप "वेयर्स वाल्डो?" (Where's Waldo?) का एक हाई-टेक गेम खेल रहे हैं, लेकिन एक किताब के बजाय, आप एक सुपर-स्मार्ट रोबोट कैमरा इस्तेमाल कर रहे हैं। आप रोबोट को एक विशिष्ट भेड़ (रेफरेंस) की तस्वीर दिखाते हैं और कहते हैं, "इस पूरी भेड़ के झुंड (क्वेरी) वाली नई फोटो में इसी सटीक भेड़ को ढूंढो।"

रोबोट के पास एक शक्तिशाली मस्तिष्क (एक विजन फाउंडेशन मॉडल) है जो आकृतियों और बनावट को पहचानने में माहिर है। हालांकि, उसे एक अजीब आदत है: वह बैकग्राउंड (पृष्ठभूमि) से विचलित हो जाता है। यदि आपके रेफरेंस फोटो में भेड़ हरी घास पर खड़ी है, और नई फोटो में भी झुंड हरी घास पर ही है, तो रोबole भ्रमित हो जाता है। वह सोचता है, "ओह, घास का यह हिस्सा बिल्कुल उस घास जैसा दिखता है जो भेड़ के बगल में है! वह जरूर भेड़ होगी!" वह भेड़ के बजाय घास को ही हाईलाइट कर देता है। यही वह समस्या है जिसे पेपर में स्पूरियस कॉन्टेक्स्टुअल कॉरेस्पोंडेंसेज (spurious contextual correspondences) कहा गया है—रोबोट विषय (Subject) के बजाय दृश्य (Scene) का मिलान कर रहा है।

बड़ा विचार: "बैकग्राउंड इरेज़र" (पृष्ठभूमि मिटाने वाला)

इस पेपर के लेखकों ने, REBASE, इसे ठीक करने के लिए एक चतुर, ट्रेनिंग-फ्री (बिना प्रशिक्षण वाला) तरीका निकाला है। उन्होंने रोबोट को कुछ नया नहीं सिखाया और न ही उसके दिमाग को बदला। इसके बजाय, उन्होंने रोबोट के काम शुरू करने से पहले एक विशेष फ़िल्टर जोड़ दिया।

बैकग्राउंड को पहचानना: यह विधि रेफरेंस फोटो को देखती है, उन सभी हिस्सों को ढूंढती है जो भेड़ नहीं हैं (बैकग्राउंड), और उस बैकग्राउंड के शोर (noise) के गणितीय "आकार" को समझती है।
2. ऑर्थोगोनल प्रोजेक्शन (जादुई फ़िल्टर): इसके बाद यह ऑर्थोगोनल प्रोजेक्शन नामक एक गणितीय चाल का उपयोग करके दोनों—रेफरेंस फोटो और नई क्वेरी फोटो—से उस बैकग्राउंड के आकार को "घटाने" या "निकालने" का काम करती है।
* कल्पना कीजिए कि आपके पास घास वाली पहाड़ी पर भेड़ की एक फोटो है। आप एक जादु적인 इरेज़र लेते हैं जो केवल उस विशिष्ट हरे रंग को हटा देता है जिसका उपयोग उस पहाड़ी के लिए किया गया था। आप रेफरेंस फोटो और नई झुंड वाली फोटो दोनों से वह हरा रंग मिटा देते हैं।
* अचानक, दोनों फोटो से घास गायब हो जाती है, लेकिन भेड़ बनी रहती है। अब, जब रोबोट दोनों छवियों की तुलना करता है, तो वह घास से धोखा नहीं खा सकता। वह एक खाली कैनवास पर स्पष्ट रूप से भेड़ को देख पाता है।

वे भेड़ को कैसे ढूंढते हैं

एक बार बैकग्राउंड का शोर हट जाने के बाद, रोबोट को यह जानने की आवश्यकता होती है कि उसे सेगमेंटेशन टूल (जिसे SAM कहा जाता है) को भेड़ के चारों ओर मास्क बनाने के लिए बताने के लिए ठीक कहाँ क्लिक करना है।

  • पुराना तरीका: पिछले तरीके केवल उस एक "सर्वश्रेष्ठ" स्थान को चुनते थे जो भेड़ जैसा दिखता था। लेकिन यदि भेड़ लंबी है या उसके अजीब हिस्से हैं (जैसे किसी पक्षी का पंख या गाय का पैर), तो एक बिंदु पर्याप्त नहीं होता।
  • नया तरीका (SW-FPS): लेखक सिमिलैरिटी-वेटेड फारेस्ट-पॉइंट सैंपलिंग (Similarity-Weighted Farthest-Point Sampling) नामक तकनीक का उपयोग करते हैं। वे केवल एक बिंदु नहीं चुनते, बल्कि भेड़ के चारों ओर फैले हुए कुछ बिंदु चुनते हैं, जैसे डोनट पर छिड़के गए स्प्रिंकल्स। वे यह सुनिश्चित करते हैं कि ये बिंदु एक-दूसरे से दूर हों लेकिन फिर भी रेफरेंस भेड़ के बहुत समान हों। यह रोबोट को एक बेहतर नक्शा प्रदान करता है जिसका वह अनुसरण कर सके।

क्या यह काम आया?

टीम ने पांच अलग-अलग चुनौतियों पर इसका परीक्षण किया, जिसमें मेडिकल फोटो में स्किन लीजन (त्वचा के घाव) ढूंढना, एक्स-रे में फेफड़ों को पहचानना और प्रकृति की तस्वीरों में जानवरों के विशिष्ट अंगों को ढूंढना शामिल था। उन्होंने इसकी तुलना अन्य शीर्ष-स्तरीय, ट्रेनिंग-फ्री तरीकों (वे तरीके जिन्हें फिर से प्रशिक्षित करने की आवश्यकता नहीं होती) से की।

परिणाम प्रभावशाली थे:

  • मेडिकल इमेज: स्किन लीजन इमेज (ISIC 2018) पर, उनके तरीके ने 63.8% सटीकता प्राप्त की, जो पिछले सर्वश्रेष्ठ ट्रेनिंग-फ्री तरीके से 9.4 प्रतिशत अंक अधिक थी। चेस्ट एक्स-रे पर, इसने 86.3% हासिल किया, जो पिछले सर्वश्रेष्ठ से 7.5 प्रतिशत अंक अधिक था।
  • नेचर और पार्ट्स: सामान्य वस्तुओं के लिए FSS-1000 डेटासेट पर, उन्होंने 88.2% स्कोर किया, जो पिछले लीडर से थोड़ा बेहतर था। PACO-Part डेटासेट (जानवरों के अंग) पर, वे 39.3% तक पहुँचे।

यह पेपर स्पष्ट रूप से इस विचार के खिलाफ तर्क देता है कि बेहतर परिणाम पाने के लिए आपको AI को फिर से प्रशिक्षित करने या जटिल नए मॉडल का उपयोग करने की आवश्यकता है। वे दिखाते हैं कि मौजूदा मॉडलों में केवल "बैकग्राउंड शोर" को साफ करना ही स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त करने के लिए पर्याप्त है।

निचोड़

लेखक आश्वस्त हैं कि यह "बैकग्राउंड सबट्रैक्शन" (पृष्ठभूमि घटाने की) तकनीक एक शक्तिशाली सिद्धांत है। उन्होंने पाया कि रेफरेंस और नई छवि के बीच साझा बैकग्राउंड के "वाइब" (vibe) को हटाकर, रोबोट का ध्यान भटकना बंद हो जाता है। यह एक सरल, गणित-आधारित समाधान है जिसके लिए किसी अतिरिक्त प्रशिक्षण समय की आवश्यकता नहीं है, फिर भी यह AI को ठीक वही खोजने में काफी बेहतर बनाता है जो आपने उससे मांगा है, यहाँ तक कि कठिन और भीड़भाड़ वाले दृश्यों में भी। इसका कोड किसी के भी उपयोग के लिए उपलब्ध है!

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💻 cs →