💻 computer science

H-SPAM: Hierarchical Superpixel Anything Model

H-SPAM एक एकीकृत ढांचा है जो डीप फीचर्स और दो-चरणीय क्षेत्र विलय प्रक्रिया का लाभ उठाकर सटीक, नियमित और पूर्णतः नेस्टेड पदानुक्रमित सुपरपिक्सेल उत्पन्न करता है, जिससे यह मौजूदा पदानुक्रमित विधियों से बेहतर प्रदर्शन करता है और अत्याधुनिक गैर-पदानुक्रमित प्रदर्शन के बराबर पहुँच जाता है।

मूल लेखक: Julien Walther, Rémi Giraud, Michaël Clément

प्रकाशित 2026-04-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Julien Walther, Rémi Giraud, Michaël Clément

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जटिल पेंटिंग को देख रहे हैं। इसे समझने के लिए, आप पहले उसके व्यक्तिगत ब्रशस्ट्रोक (पिक्सेल) को देख सकते हैं। लेकिन यह बहुत अधिक विवरण है! इसलिए, आप उन स्ट्रोक को रंग के छोटे, प्रबंधनीय पैच (सुपरपिक्सेल) में समूहित करते हैं। यह आपको शोर में खोए बिना बड़ी तस्वीर देखने में मदद करता है।

हालाँकि, मौजूदा उपकरणों में से अधिकांश में दो बड़ी समस्याएँ हैं:

वे अव्यवस्थित हैं: वे अक्सर ऐसे पैच बनाते हैं जो टेढ़े-मेढ़े, अजीब आकार के होते हैं जो वास्तविक वस्तुओं की तरह नहीं दिखते।
वे एक ही ज़ूम स्तर पर अटके हुए हैं: वे पैच का एक एकल मानचित्र देते हैं। यदि आप पूरे दृश्य को देखने के लिए ज़ूम आउट करना चाहते हैं, या किसी विशिष्ट वस्तु के विवरण को देखने के लिए ज़ूम इन करना चाहते हैं, तो आपको फिर से शुरुआत करनी होगी।

मिलिए H-SPAM (Hierarchical Superpixel Anything Model) से। H-SPAM को एक स्मार्ट, नेस्टिंग-डॉल ऑर्गनाइज़र के रूप में समझें।

मूल विचार: "नेस्टिंग डॉल" रणनीति

कल्पना कीजिए कि आपके पास रूसी नेस्टिंग डॉल्स (एक के अंदर एक रखी जाने वाली गुड़िया) का एक सेट है।

छोटी गुड़िया: ये छवि के छोटे, सटीक हिस्से हैं (जैसे एक फूल की पंखुड़ियाँ या बिल्ली के कान के बाल)।
बड़ी गुड़िया: ये पूरी वस्तुएं हैं (पूरा फूल, पूरी बिल्ली)।
जादू: H-SPAM में, हर छोटी गुड़िया पूरी तरह से एक बड़ी गुड़िया के अंदर फिट होती है, जो एक और बड़ी गुड़िया के अंदर फिट होती है, और यह सिलसिला पूरी छवि तक चलता है। कुछ भी अजीब तरह से आधा नहीं कटा है; हर स्तर पर सीमाओं का सम्मान किया जाता है।

यह कैसे काम करता है? (दो-चरणों वाला नृत्य)

H-SPAM पिक्सेल को बेतरतीब ढंग से नहीं मिलाता है। यह एक "स्मार्ट गाइड" (एक प्रसिद्ध AI जिसे SAM कहा जाता है) का उपयोग करता है ताकि यह शुरू करने से पहले ही जान सके कि एक "वस्तु" क्या है। फिर यह दो-चरणीय नृत्य करता है:

चरण 1: "फैमिली रियूनियन" (वस्तु के भीतर)
कल्पना कीजिए कि एक पारिवारिक पार्टी चल रही है। H-SPAM पहले सबको कहता है, "अपने परिवार के साथ रहो!"

यह एक विशिष्ट वस्तु (जैसे एक कुत्ता) को देखता है।
यह कुत्ते के अंदर के पिक्सेल को एक साथ समूहित करता है, लेकिन यह कुत्ते के पिक्सेल को घास या बैकग्राउंड के साथ मिलने से मना कर देता है।
यह केवल कुत्ते का एक सटीक, विस्तृत मानचित्र बनाता है, जिससे उसका आकार चिकना और नियमित बना रहता है।

चरण 2: "टाउन मीटिंग" (वस्तुओं के बीच)
एक बार जब कुत्ता एक पूर्ण इकाई के रूप में बन जाता है, और बिल्ली एक अन्य इकाई के रूप में बन जाती है, तो H-SPAM कहता है, "ठीक है, अब पूरे पड़ोस को देखते हैं।"

अब, यह "कुत्ते" के समूह को "बिल्ली" के समूह के साथ जुड़ने की अनुमति देता है यदि वे पर्याप्त समान हैं।
यह एक पदानुक्रम (hierarchy) बनाता है जहाँ आप कुत्ते को देख सकते हैं, फिर कुत्ता + बिल्ली को, फिर कुत्ता + बिल्ली + घर को, और यह पूरे दृश्य तक जाता है।

विशेष सुविधाएँ

1. "स्पॉटलाइट" (विजुअल अटेंशन)
कभी-कभी, आप छवि के एक हिस्से के बारे में अधिक परवाह करते हैं। शायद आप कुत्ते की नाक को देख रहे हैं, और बैकग्राउंड उबाऊ है।

H-SPAM में एक "स्पॉटलाइट" सुविधा है। यदि आप इसे कहते हैं, "नाक पर ध्यान केंद्रित करें," तो यह नाक को लंबे समय तक छोटे, विस्तृत टुकड़ों में रखता है।
यह उबाऊ बैकग्राउंड को जल्दी से बड़े, सरल ब्लॉब्स (blobs) में मिलने देता है। यह एक फोटोग्राफर की तरह है जो विषय पर फोकस तीखा रखता है जबकि बैकग्राउंड को धुंधला कर देता है।

2. "यूजर क्लिक"
आप अपने माउस से किसी वस्तु पर क्लिक भी कर सकते हैं। यदि आप एक कार पर क्लिक करते हैं, तो H-SPम कहता है, "समझ गया! मैं कार को यथासंभव लंबे समय तक विस्तृत और बाकी दुनिया से अलग रखूँगा।"

यह एक बड़ी बात क्यों है?

कोई भी टेढ़े-मेढ़े आकार नहीं: अन्य तरीकों के विपरीत जो भ्रमित करने वाले आकार पैदा करते हैं, H-SPAM साफ, नियमित आकार बनाता है जो वास्तविक चीजों की तरह दिखते हैं।
पूर्ण पदानुक्रम: क्योंकि यह "परिवार" के नियमों का सम्मान करता है (चरण 1), इसलिए "सूक्ष्म विवरण" से "बड़ी तस्वीर" तक का संक्रमण सुचारू होता है। आप कभी भी यह ट्रैक नहीं खोते कि एक वस्तु कहाँ शुरू होती है और कहाँ समाप्त होती है।
बहुमुखी प्रतिभा: यह उन कंप्यूटरों के लिए बहुत अच्छा काम करता है जिन्हें छवियों को समझने की आवश्यकता होती है (जैसे सेल्फ-ड्राइविंग कार या मेडिकल स्कैनर) क्योंकि यह उन्हें किसी भी ज़ूम स्तर पर दुनिया का एक स्पष्ट, व्यवस्थित मानचित्र देता है।

संक्षेप में

यदि पारंपरिक सुपरपिक्सेल विधियाँ बिखरे हुए LEGO ब्लॉक्स की तरह हैं जहाँ टुकड़े बेतरतीब ढंग से चिपका दिए जाते हैं, तो H-SPAM एक मास्टर बिल्डर की तरह है जो पहले LEGO को रंग और आकार के आधार पर छाँटता है, फिर सटीक छोटी संरचनाएँ बनाता है, और फिर उन संरचनाओं को बड़े, पूरी तरह से संरेखित टावरों में स्टैक करता है। यह आपको छवि का एक स्पष्ट, व्यवस्थित दृश्य देता है, सूक्ष्म विवरण से लेकर भव्य दृश्य तक।

यहाँ शोध पत्र "H-SPAM: Hierarchical Superpixel Anything Model" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

सुपरपिक्सेल (Superpixels) का उपयोग कंप्यूटर विज़न में पिक्सेल को सुसंगत और सघन क्षेत्रों में समूहित करने के लिए व्यापक रूप से किया जाता है, जिससे सिमेंटिक सेगमेंटेशन (semantic segmentation) और इंटरैक्टिव एनोटेशन जैसे कार्यों को सरल बनाया जा सके। हालाँकि, मौजूदा विधियाँ तीन महत्वपूर्ण सीमाओं का सामना करती हैं:

सटीकता बनाम नियमितता का ट्रेड-ऑफ (Accuracy vs. Regularity Trade-off): पारंपरिक विधियाँ (जैसे SLIC) लो-लेवल फीचर्स पर निर्भर करती हैं और सिमेंटिक सीमाओं (semantic boundaries) को समझने में संघर्ष करती हैं। डीप लर्निंग-आधारित विधियाँ बेहतर बाउंड्री अलाइनमेंट प्राप्त करती हैं, लेकिन अक्सर नियमितता (regularity) का त्याग करती हैं, जिससे शोर युक्त, अनियमित या खंडित आकार उत्पन्न होते हैं जिन्हें समझना कठिन होता है।
पदानुक्रम का अभाव (Lack of Hierarchy): अधिकांश अत्याधुनिक (SOTA) विधियाँ एक एकल निश्चित-स्केल विभाजन (fixed-scale partition) उत्पन्न करती हैं। यह उनकी उपयोगिता को सीमित करता है, विशेषकर उन विजन पाइपलाइनों में जिनमें मल्टी-स्केल रीजनिंग या प्रगतिशील शोधन (progressive refinement) की आवश्यकता होती है (जैसे इंटरैक्टिव एनोटेशन)।
पदानुक्रम बनाम गुणवत्ता (Hierarchy vs. Quality): मौजूदा पदानुक्रमित विधियाँ नेस्टेड विभाजन (nested partitions) बनाने का प्रयास करती हैं, लेकिन "नेस्टेडनेस" बाधा (जहाँ सूक्ष्म क्षेत्र बड़े क्षेत्रों के भीतर पूरी तरह समाहित होने चाहिए) को लागू करने के लिए सटीकता और नियमितता से समझौता करती हैं। वे ऑब्जेक्ट बाउंड्रीज़ को कैप्चर करने के लिए अक्सर शोर युक्त आकृतियाँ बनाती हैं, जिससे एक स्वच्छ पदानुक्रम बनाए रखने में विफलता होती है।

2. कार्यप्रणाली: H-SPAM

लेखक H-SPAM (Hierarchical Superpixel Anything Model) का प्रस्ताव करते हैं, जो एक एकीकृत ढांचा है जो डीप फीचर्स और बाहरी ऑब्जेक्ट प्रायर (जैसे कि Segment Anything Model - SAM से) का लाभ उठाकर सटीक, नियमित और पूर्णतः नेस्टेड पदानुक्रमित सुपरपिक्सेल उत्पन्न करता है।

यह ढांचा तीन मुख्य चरणों में कार्य करता है:

A. इनपुट और फीचर एक्सट्रैक्शन (Input and Feature Extraction)

प्रारंभिक विभाजन (Initial Partition): प्रक्रिया एक डीप लर्निंग मॉडल (SPAM [29] पर आधारित) द्वारा उत्पन्न सूक्ष्म-स्तरीय (fine-grained) सुपरपिक्सेल मैप से शुरू होती है।
फीचर रिप्रेजेंटेशन: प्रत्येक सुपरपिक्सेल को एक फीचर वेक्टर $F$ $F$ द्वारा दर्शाया जाता है जो निम्नलिखित का संयोजन है:
- रंग ( $F_C$ ): LAB कलर स्पेस।
- स्थानिक ( $F_S$ ): 2D पिक्सेल निर्देशांक।
- डीप फीचर्स ( $F_D$ ): एक CNN के माध्यम से निकाले गए उच्च-स्तरीय सिमेंटिक फीचर्स।
ऑब्जेक्ट प्रायर (Object Priors): एक उच्च-स्तरीय ऑब्जेक्ट मैप (SAM या FastSAM से) प्रत्येक सुपरपिक्सेल को एक विशिष्ट ऑब्जेक्ट इंस्टेंस असाइन करता है।

B. दो-चरणीय पदानुक्रमित विलय (Two-Phase Hierarchical Merging)

मुख्य नवाचार एक रीजन एडजसेंसी ग्राफ (RAG) आधारित विलय प्रक्रिया है, जिसे ऑब्जेक्ट निरंतरता और पदानुक्रमित संरचना के बीच संतुलन बनाने के लिए दो अलग-अलग चरणों में विभाजित किया गया है:

चरण 1: इंट्रा-ऑब्जेक्ट मर्जिंग (Intra-Object Merging)
- प्रतिबंध: अलग-अलग ऑब्जेक्ट्स से संबंधित सुपरपिक्सेल्स के बीच विलय सख्ती से वर्जित है। इसे इंटर-ऑब्जेक्ट किनारों (edges) को अनंत लागत (infinite cost) असाइन करके लागू किया जाता है।
- कॉस्ट फंक्शन: विलय केवल एक ही ऑब्जेक्ट के भीतर होता है ( $\Theta(u) = \Theta(v)$ )। लागत उपस्थिति समानता (appearance similarity) और स्थानिक दूरी का संयोजन है:
  $cost_{phase1} = \|\mu_{u}^{FC,FD} - \mu_{v}^{FC,FD}\|^2 + w(s) \|\mu_{u}^{FS} - \mu_{v}^{FS}\|^2$
- लक्ष्य: ऑब्जेक्ट बाउंड्रीज़ को सख्ती से सुरक्षित रखते हुए ऑब्जेक्ट के आंतरिक ढांचे को परिष्कृत करना।
चरण 2: इंटर-ऑब्जेक्ट मर्जिंग (Inter-Object Merging)
- प्रतिबंध: एक बार जब प्रत्येक ऑब्जेक्ट एक एकल क्षेत्र में सिमट जाता है, तो एल्गोरिदम विभिन्न ऑब्जेक्ट्स के बीच विलय की अनुमति देता है।
- कॉस्ट फंक्शन: वार्ड के मेथड (Ward's method) से प्रेरित, यह लागत छोटे ऑब्जेक्ट्स को पहले विलय करने को प्राथमिकता देने के लिए रीजन साइज को शामिल करती है:
  $cost_{phase2} = \frac{s_u \cdot s_v}{s_u + s_v} \|\mu_{u}^{FC,FD} - \mu_{v}^{FC,FD}\|^2$
- लक्ष्य: प्रारंभिक सूक्ष्म विभाजन से लेकर एक एकल वैश्विक क्षेत्र तक एक पूर्ण पदानुक्रम बनाना, जो स्केल की पूरी रेंज को कवर करता है।

C. अटेंशन-आधारित मॉड्यूलेशन (Attention-Based Modulation - वैकल्पिक)

विशिष्ट डाउनस्ट्रीम कार्यों (जैसे प्रमुख क्षेत्रों पर ध्यान केंद्रित करना) का समर्थन करने के लिए, H-SPAM विजुअल अटेंशन मैप्स (जैसे DINO से) या यूजर क्लिक्स को एकीकृत करता है:

तंत्र (Mechanism): उच्च अटेंशन स्कोर वाले क्षेत्रों के लिए फ्यूजन कॉस्ट बढ़ा दी जाती है।
प्रभाव: प्रमुख (salient) या उपयोगकर्ता द्वारा चुने गए क्षेत्रों को विलय प्रक्रिया में विलंबित (delayed) किया जाता है, जिससे उन क्षेत्रों में उच्च रिज़ॉल्यूशन (अधिक सुपरपिक्सेल) बना रहता है जबकि मोटे (coarser) क्षेत्र पहले विलय हो जाते हैं।
परिष्करण (Refinement): लेखक "लीकेज" आर्टिफ़ेक्ट्स को रोकने और सुसंगत मार्गदर्शन सुनिश्चित करने के लिए प्रायर ऑब्जेक्ट्स के भीतर अटेंशन स्कोर को औसत (averaging) करने का प्रस्ताव करते हैं।

3. मुख्य योगदान (Key Contributions)

प्रथम ऑब्जेक्ट-आधारित पदानुक्रमित ढांचा: H-SPAM पहला डीप लर्निंग फ्रेमवर्क है जो बाउंड्री अलाइनमेंट को लागू करने के लिए ऑब्जेक्ट मास्क को एकीकृत करता है और पूर्णतः नेस्टेडनेस बनाए रखता है।
दो-चरणीय विलय रणनीति: ऑब्जेक्ट निरंतरता और पदानुक्रमित संरचना के बीच संतुलन बनाने के लिए इंट्रा-ऑब्जेक्ट और इंटर-ऑब्जेक्ट विलय को अलग करके, यह विधि सटीकता (segmentation accuracy) और नियमितता (regularity) के बीच एक नया बेंचमार्क स्थापित करती है।
अनुकूली मोड (Adaptive Modes): विजुअल अटेंशन और यूजर-इंटरेक्शन मोड का परिचय जो पदानुक्रमित संरचना को तोड़े बिना रुचि के क्षेत्रों में सुपरपिक्सेल के घनत्व पर गतिशील नियंत्रण की अनुमति देता है।
दक्षता (Efficiency): विधि गणनात्मक रूप से कुशल है (उदाहरण के लिए, 481x321 इमेज के लिए 1250-स्तरीय पदानुक्रम को ~0.44s में उत्पन्न करना)।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने मानक बेंचमार्क (BSD, NYUv2, SBD) पर सटीकता (ASA), नियमितता (SRC), बाउंड्री रिकॉल (BR), और कंटूर डेंसिटी (CD) के मेट्रिक्स का उपयोग करके H-SPAM का मूल्यांकन किया।

पदानुक्रमित विधियों के विरुद्ध: H-SPAM सटीकता और नियमितता दोनों में सभी मौजूदा पदानुक्रमित विधियों (जैसे HHTS, SH, RISF) को काफी पीछे छोड़ देता है। यह एकमात्र पदानुक्रमित विधि है जो गैर-पदानुक्रमित SOTA विधियों के करीब प्रदर्शन करती है।
गैर-पदानुक्रमित विधियों के विरुद्ध: पदानुक्रमित बाधाओं के बावजूद, H-SPAM सर्वश्रेष्ठ गैर-पदानुक्रमित डीप लर्निंग विधियों (विशेष रूप से SPAM) के समकक्ष प्रदर्शन करता है। यह सटीकता (ASA) और नियमितता (SRC) में केवल गैर-पदानुक्रमित SPAM के पीछे दूसरे स्थान पर है, जो यह दर्शाता है कि पदानुक्रमित बाधा गुणवत्ता को गंभीर रूप से कम नहीं करती है।
एब्लेशन स्टडीज (Ablation Studies):
- ऑब्जेक्ट प्रायर: ऑब्जेक्ट प्रायर (SAM/FastSAM) का उपयोग करने से सटीकता में भारी सुधार होता है, विशेष रूप से कम सुपरपिक्सेल संख्या ( $K$ ) पर।
- स्पेशियल पैरामीटर ( $w_{pos}$ ): स्थानिक भार (spatial weight) को ट्यून करने से नियमितता को नियंत्रित किया जा सकता है; डिफ़ॉल्ट मान $w_{pos}=5$ सर्वोत्तम संतुलन प्रदान करता है।
- अटेंशन: अटेंशन मैप्स सफलतापूर्वक आर्टिफ़ेक्ट्स पेश किए बिना प्रमुख क्षेत्रों में सूक्ष्म विवरणों को संरक्षित करते हैं जब उन्हें ऑब्जेक्ट प्रायर पर औसत किया जाता है।

5. महत्व (Significance)

H-SPAM कंप्यूटर विज़न में एक लंबे समय से चले आ रहे अंतर को भरता है, जो एक ऐसा मल्टी-स्केल रिप्रेजेंटेशन प्रदान करता है जो आकार की गुणवत्ता या बाउंड्री सटीकता से समझौता नहीं करता है।

व्याख्यात्मकता (Interpretability): पिछली पदानुक्रमित विधियों के विपरीत जो शोर युक्त आकृतियाँ बनाती हैं, H-SPM "आसानी से व्याख्या योग्य" क्षेत्र उत्पन्न करता है जो सिमेंटिक ऑब्जेक्ट्स के साथ संरेखित होते हैं।
डाउनस्ट्रीम उपयोगिता: पूर्णतः नेस्टेड पदानुक्रम उन कार्यों के लिए आदर्श है जिनमें प्रगतिशील शोधन की आवश्यकता होती है, जैसे इंटरैक्टिव इमेज एनोटेशन, वीडियो ट्रैकिंग, और ट्रांसफार्मर-आधारित मॉडल्स में मल्टी-स्केल रीजनिंग।
फाउंडेशन मॉडल एकीकरण: यह प्रभावी रूप से हाई-लेवल फाउंडेशन मॉडल्स (जैसे SAM) और लो-लेवल सुपरपिक्सेल सेगमेंटेशन के बीच के अंतर को पाटता है, जिसमें बेहतर प्रदर्शन के लिए एक दूसरे का मार्गदर्शन करने के लिए पहले का उपयोग किया जाता है।

निष्कर्षतः, H-SPAM पदानुक्रमित सेगमेंटेशन के लिए एक नया मानक स्थापित करता है, यह सिद्ध करते हुए कि एक पूर्ण पदानुक्रमित ढांचे के भीतर डीप लर्निंग की सटीकता और पारंपरिक विधियों की नियमितता को एक साथ प्राप्त करना संभव है।