🤖 machine learning

SEMIR: Semantic Minor-Induced Representation Learning on Graphs for Visual Segmentation

SEMIR विज़ुअल सेगमेंटेशन के लिए एक नवीन फ्रेमवर्क पेश करता है जो पैरामीटराइज्ड कॉन्ट्रैक्शन (contraction) और डिलीशन (deletion) के माध्यम से एक टास्क-एडेप्टेड, बाउंड्री-अलाइन्ड ग्राफ माइनर रिप्रजेंटेशन को सीखकर फिक्स्ड-ग्रिड कंप्यूटेशन और क्लास इम्बैलेंस की सीमाओं को दूर करता है, जिससे स्पार्स स्ट्रक्चर्स के हाई-रिज़ॉल्यूशन सेगमेंटेशन के लिए कुशल, सटीक डिकोडिंग सक्षम होती है।

मूल लेखक: Luke James Miller, Yugyung Lee

प्रकाशित 2026-05-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Luke James Miller, Yugyung Lee

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ SEMIR पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करते हुए हिंदी अनुवाद दिया गया है।

बड़ी समस्या: "पिक्सेल का ढेर" (The Pixel Pile)

कल्पना कीजिए कि आपके पास लाखों छोटे ब्लॉकों (पिक्सेल या वोक्सेल्स) से बनी एक विशाल, हाई-रिज़ॉल्यूशन वाली 3D पहेली है। आपका लक्ष्य इस ढेर के अंदर छिपी हुई एक विशिष्ट, छोटी और नाजुक वस्तु को खोजना है, जैसे कि मेडिकल स्कैन में एक छोटा ट्यूमर।

वर्तमान कंप्यूटर प्रोग्राम इसे हर एक ब्लॉक को एक-एक करके देखकर हल करने की कोशिश करते हैं।

समस्या: यह अविश्वसनीय रूप से धीमा और महंगा है। यह समुद्र तट पर रेत के हर एक कण को उठाकर चेक करने जैसा है ताकि एक विशिष्ट रेत का कण ढूँढा जा सके।
असंतुलन: वह छोटी वस्तु (ट्यूमर) शायद पहेली का केवल 1% हिस्सा हो, जबकि बाकी सब खाली जगह (बैकग्राउंड) है। क्योंकि कंप्यूटर खाली जगह को देखने में बहुत अधिक समय बिता देता है, इसलिए वह अक्सर उस छोटी वस्तु को मिस कर देता है या डेटा की भारी मात्रा से भ्रमित हो जाता है।

समाधान: SEMIR ("स्मार्ट मैप" दृष्टिकोण)

लेखकों ने SEMIR नामक एक नई विधि बनाई है। हर एक ब्लॉक को देखने के बजाय, SEMIR पहले पहेली का एक स्मार्ट, सरलीकृत मानचित्र (map) बनाता है।

इसे इस तरह समझें:

मूल ग्रिड: कल्पना कीजिए कि 1 करोड़ चौकोर खानों वाला एक विशाल ग्रिड है।
"माइनर" (द मैप): SEMIR उस ग्रिड को देखता है और कहता है, "कोने के ये 10,000 वर्ग एक ही रंग के हैं; चलिए इन्हें एक बड़े 'सुपर-ब्लॉक' में मिला देते हैं। बीच के ये 5,000 वर्ग भी एक जैसे हैं; चलिए इन्हें भी जोड़ देते हैं।"
परिणाम: 1 करोड़ छोटे वर्गों के बजाय, अब कंप्यूटर को केवल लगभग 1,000 "सुपर-ब्लॉक्स" के साथ काम करना होगा।

इस प्रक्रिया को ग्राफ माइनर (Graph Minor) बनाना कहा जाता है। यह एक विस्तृत स्ट्रीट मैप को ज़ूम आउट करने जैसा है जब तक कि मोहल्ले एकल बिंदुओं (dots) में न बदल जाएं, लेकिन जो सड़कें उन्हें जोड़ती हैं उन्हें बिल्कुल वहीं रहने दें जहाँ उन्हें होना चाहिए।

यह कैसे काम करता है: तीन जादुई चरण

SEMIR केवल अंदाज़ा नहीं लगाता कि ब्लॉकों को कैसे समूह में बाँटा जाए। यह अपना मैप बनाने के लिए तीन विशिष्ट चालों का उपयोग करता है:

जोड़ना (Edge Contraction): यदि दो ब्लॉक बहुत समान दिखते हैं (समान रंग/तीव्रता), तो SEMIR उन्हें एक "सुपर-ब्लॉक" में जोड़ देता है।
काटना (Edge Deletion): यदि दो ब्लॉक बहुत अलग दिखते हैं (जैसे ट्यूमर और स्वस्थ ऊतक के बीच एक तीखी सीमा), तो SEMIR उनके बीच के संबंध को काट देता है। यह सुनिश्चित करता है कि "सुपर-ब्लॉक्स" वस्तु के किनारों का सम्मान करें।
छंटनी करना (Node Deletion): यदि कोई "सुपर-ब्लॉक" बहुत छोटा है (केवल शोर/noise) या बहुत बड़ा है (पूरा बैकग्राउंड), तो SEMIR उसे हटा देता है या बैकग्राउंड में मिला देता है।

असली मंत्र: "फ्यू-शॉट" लर्निंग (Few-Shot Learning)

आमतौर पर, इन मैप्स को बनाने के लिए इंसानों को सेटिंग्स (जैसे "ब्लॉक्स को जोड़ने के लिए वे कितने समान होने चाहिए?") को मैन्युअल रूप से ट्यून करना पड़ता है। यह थकाऊ है और अक्सर गलत होता है।

SEMIR "फ्यू-शॉट लर्निंग" नामक एक ट्रिक का उपयोग करता है।

उदाहरण: कल्पना कीजिए कि आप एक रोबोट को एक आदर्श वृत्त (circle) बनाना सिखाना चाहते हैं। उसे 1,000 उदाहरण दिखाने के बजाय, आप उसे केवल 5 या 20 उदाहरण दिखाते हैं।
SEMIR कैसे करता है: सिस्टम लेबल किए गए उदाहरणों की एक छोटी सी संख्या (जैसे 5 किडनी स्कैन जहाँ ट्यूमर पहले से ही मार्क किया गया है) को देखता है। यह स्वचालित रूप से ब्लॉक्स को जोड़ने और काटने के लिए सही सेटिंग्स का पता लगा लेता है ताकि बनने वाले "सुपर-ब्लॉक्स" ट्यूमर के किनारे के साथ पूरी तरह मेल खा सकें।
लाभ: एक बार जब यह इन सेटिंग्स को कुछ उदाहरणों से सीख लेता है, तो यह बिना किसी मानवीय हस्तक्षेप के नए, अनदेखे स्कैन पर इन्हें लागू कर सकता है।

अंतिम चरण: "एक्ज़ैक्ट लिफ्टिंग" (Exact Lifting)

जब अन्य विधियाँ किसी इमेज को सरल बनाती हैं, तो वे अक्सर विवरण खो देती हैं या धुंधले किनारे बना देती हैं (जैसे लो-रिज़ॉल्यूशन फोटो)।

SEMIR "एक्ज़ेक्ट लिफ्टिंग" का वादा करता है।

उदाहरण: कल्पना कीजिए कि आप कागज के एक टुकड़े को आसानी से ले जाने के लिए एक छोटे वर्ग में मोड़ते हैं। जब आप अपनी मंजिल पर पहुँचते हैं, तो आप उसे खोलते हैं, और वह बिल्की वैसा ही आकार और आकृति का होता है जैसा मूल था। कोई खिंचाव नहीं, कोई फटना नहीं, कोई धुंधलापन नहीं।
SEMIR में: जब कंप्यूटर अपने छोटे "सुपर-ब्लॉक" मैप पर निर्णय ले लेता है, तो वह उस निर्णय को मूल 1 करोड़ ब्लॉक्स पर प्रोजेक्ट करने के लिए एक सख्त गणितीय नियम का उपयोग करता है। यदि एक "सुपर-ब्लॉक" को "ट्यूमर" के रूप में लेबल किया गया है, तो उसके अंदर का हर एक छोटा ब्लॉक "ट्यूमर" बन जाता है। परिणाम एक हाई-रिज़ॉल्यूशन इमेज है जो बिल्कुल मूल की तरह शार्प है, लेकिन कंप्यूटर को सारा कठिन काम केवल छोटे मैप पर करना पड़ा।

यह क्यों महत्वपूर्ण है (पेपर के अनुसार)

लेखकों ने तीन कठिन मेडिकल डेटासेट्स (ब्रेन ट्यूमर, किडनी ट्यूमर और लिवर ट्यूमर) पर इसका परीक्षण किया।

गति: इसने वस्तुओं की संख्या को जिसे कंप्यूटर को प्रोसेस करना था, 10,000 गुना कम कर दिया (मिलों ब्लॉकों से हजारों सुपर-ब्लॉक्स तक)।
सटीकता: इसने मानक विधियों की तुलना में बहुत बेहतर तरीके से छोटे, कठिन-से-देखने वाले ट्यूमर को खोजा।
निष्पक्षता: मानक विधियाँ अक्सर छोटे ट्यूमर को अनदेखा कर देती हैं क्योंकि वे बड़े बैकग्राउंड द्वारा "दबा" दिए जाते हैं। SEMIR विशेष रूप से लक्ष्य की संरचना पर ध्यान केंद्रित करता है, इसलिए यह खाली स्थान से विचलित नहीं होता है।

सारांश

SEMIR विशाल छवियों में छोटी वस्तुओं को खोजने के लिए कंप्यूटर विज़न को तेज़ और अधिक सटीक बनाने का एक तरीका है। हर एक पिक्सेल को घूरने के बजाय, यह एक स्मार्ट, सरलीकृत "सुपर-ब्लॉक" मैप बनाता है जो वस्तु के किनारों का सम्मान करता है। यह इस मैप को बनाने के लिए केवल कुछ उदाहरणों को देखकर सीखता है, और फिर उत्तर को पूर्ण सटीकता के साथ पूरी इमेज पर प्रोजेक्ट करता है।

तकनीकी सारांश: SEMIR – विजुअल सेगमेंटेशन के लिए ग्राफ पर सेमेंटिक माइनर-इंड्यूस्ड रिप्रेजेंटेशन लर्निंग

समस्या विवरण
बड़े पैमाने की मेडिकल इमेजेस (जैसे कि CT या MRI वॉल्यूम में ट्यूमर) में छोटे और विरल (sparse) स्ट्रक्चर्स का सेगमेंटेशन, कम्प्यूटेशनल स्केलेबिलिटी और स्ट्रक्चरल फिडेलिटी (संरचनात्मक सटीकता) के बीच एक मौलिक तनाव का सामना करता है। डेंस, वोक्सेल-वाइज इन्फरेंस (voxel-wise inference) इमेज रेजोल्यूशन के बजाय स्ट्रक्चरल कॉम्प्लेक्सिटी के साथ खराब तरीके से स्केल करता है, जो अक्सर $10^8$ वोक्सेल्स से अधिक हो सकता है जबकि चिकित्सकीय रूप से प्रासंगिक लक्ष्य कुल वॉल्यूम के 1% से भी कम स्थान घेर सकते हैं। यह अत्यधिक क्लास इम्बैलेंस (वर्ग असंतुलन) अल्पसंख्यक संरचनाओं के लिए ग्रेडिएंट सिग्नल को कम कर देता है। मौजूदा समाधान, जैसे कि पैच-आधारित प्रोसेसिंग, फिक्स्ड-ग्रिड डाउनसैंपलिंग, या हैंड-क्राफ्टेड सुपरपिक्सेल एक्सट्रैक्शन, इन्फरेंस रेजोल्यूशन को नेटिव लैटिस या पूर्व-निर्धारित क्षेत्रों से जोड़ देते हैं। ये दृष्टिकोण अक्सर ट्रैक्टेबिलिटी (व्यवहार्यता) के लिए बाउंड्री प्रिसिजन (सीमा सटीकता) का त्याग करते हैं, टास्क-अग्नोस्टिक रीजनलाइजेशन पर निर्भर करते हैं जो सेमेंटिक स्ट्रक्चर्स के अनुकूल नहीं होता है, और बाउंड्री एविडेंस (सीमा साक्ष्य) को मॉडल द्वारा उपयोग करने से पहले ही खो देते हैं। इसके अलावा, मल्टी-क्लास पाइपलाइन्स अलग-अलग स्थानिक विस्तार वाली संरचनाओं के बीच प्रतिस्पर्धी उद्देश्यों को संतुलित करने में संघर्ष करती हैं।

कार्यप्रणाली (Methodology)
लेखक SEMIR (सेमेंटिक माइनर-इंड्यूस्ड रिप्रेजेंटेशन लर्निंग) प्रस्तावित करते हैं, जो एक टास्क-एडेप्टेड, टोपोलॉजी-प्रिजर्विंग लेटेंट ग्राफ रिप्रेजेंटेशन को सटीक डिकोडिंग के साथ सीखकर इन्फरेंस कॉम्प्लेक्सिटी को इमेज रेजोल्यूशन से अलग करता है।

ग्राफ माइनर निर्माण: SEMIR नेटिव वोक्सेल लैटिस ग्राफ $G$ को एक कॉम्पैक्ट, बाउंड्री-अलाइन्ड ग्राफ माइनर $H \preceq G$ में बदल देता है। यह तीन पैरामीटराइज्ड ऑपरेशन्स के माध्यम से किया जाता है:
- एज कॉन्ट्रैक्शन (Edge Contraction): लो-कॉन्ट्रास्ट ट्रांजिशन को सिंगल रीजन में ढहने से रोकने के लिए एक सीड वोक्सेल से जुड़े हुए, तीव्रता थ्रेशोल्ड $\psi$ के आधार पर समान वोक्सेल्स को सुपरनोड्स में मिलाता है।
- नोड डिलीशन (Node Deletion): शोर (noise) और अत्यधिक बड़े बैकग्राउंड क्षेत्रों को हटाने के लिए आकार ( $\beta_{min}, \beta_{max}$ ) या तीव्रता ( $m_{min}, m_{max}$ ) बाधाओं का उल्लंघन करने वाले सुपरनोड्स को हटा देता है।
- एज डिलीशन (Edge Deletion): सेगमेंटेशन बाउंड्रीज़ को परिभाषित करने के लिए मजबूत तीव्रता ग्रेडिएंट्स (थ्रेशोल्ड $\alpha$ ) के पार कनेक्शन को काट देता है।
  निर्माण प्रक्रिया में डायरेक्शनल बायस (दिशात्मक पूर्वाग्रह) से बचने के लिए एक स्यूडो-रैंडम कोप्राइम ट्रैवर्सल का उपयोग किया गया है और इसे एक एक्सपैंडेड टेंसर रिप्रेजेंटेशन पर फ्लड-फिल एल्गोरिदम के माध्यम से लागू किया गया है, जो मेमोरी दक्षता सुनिश्चित करता है।
फ्यू-शॉट पैरामीटर ऑप्टिमाइजेशन: मैन्युअल ट्यूनिंग के बजाय, पैरामीटर सेट $\Theta = \{\psi, \alpha, \beta\}$ को ब्लैक-बॉक्स फ्यू-शॉट ऑप्टिमाइजेशन के माध्यम से अनुकूलित किया जाता है। लेबल किए गए उदाहरणों के एक छोटे समूह ( $D_{few}$ , आमतौर पर 5–20) को देखते हुए, एक ऑप्टिमाइज़र (एक ट्री-बेस्ड सरोगेट का उपयोग करके) इंड्यूस्ड माइनर की बाउंड्रीज़ और ग्राउंड-ट्रुथ सेमेंटिक एड्ज के बीच एक बाउंड्री एलाइनमेंट लॉस (इनवर्स डाइस-सोरेनसन कोएफिशिएंट) को कम करता है। यह एक ऐसा विभाजन संरचना सीखता है जो फिक्स्ड आर्किटेक्चर के भीतर हाइपरपैरामीटर्स को ट्यून करने के बजाय सेमेंटिक बाउंड्री रिस्क को कम करता है।
फीचर रिप्रेजेंटेशन:
- नोड फीचर्स: सुपरनोड्स को स्केल- और रोटेशन-इनवेरिएंट ज्योमेट्रिक डिस्क्रिप्टर्स (क्षेत्रफल, बाउंड्री लंबाई, कॉम्पैक्टनेस, एलॉन्गेशन, डोमिनेंट एक्सिस) और इंटेंसिटी स्टैटिस्टिक्स (मीन, स्टैंडर्ड डेविएशन, कोवेरिएंस) के साथ एनोटेट किया जाता है।
- एज फीचर्स: आस-पास के सुपरनोड्स के बीच के सापेक्ष अंतर को ज्योमेट्रिक डिस्क्रिप्टर्स के स्केल-इनवेरिएंट लॉग-रेशियो और नॉर्मलाइज्ड इंटेंसिटी डिफरेंस का उपयोग करके एनकोड किया जाता है, जो एनिसोट्रोपिक मेडिकल वॉल्यूम के प्रति इनवेरिएंस को बढ़ावा देता है।
डाउनस्ट्रीम इन्फरेंस और लिफ्टिंग: एक ग्राफ न्यूरल नेटवर्क (GNN), विशेष रूप से 3-लेयर GINE, कम किए गए ग्राफ माइनर $H$ पर नोड क्लासिफिकेशन करता है। महत्वपूर्ण रूप से, फ्रेमवर्क निर्माण प्रक्रिया से प्राप्त एक एक्जैक्ट लिफ्टिंग मैप का उपयोग करता है। सुपरनोड्स पर भविष्यवाणियों को बिना किसी इंटरपोलेशन या एप्रोक्सिमेशन के मूल वोक्सेल लैटिस पर बायजेक्टिवली मैप किया जाता है, जो सटीक वोक्सेल-लेवल रिकवरी की गारंटी देता है।

प्रमुख योगदान

लर्नड ग्राफ माइनर फ्रेमवर्क: एक अभिनव दृष्टिकोण जो इमेज रेजोल्यूशन से इन्फरेंस कॉम्प्लेक्सिटी को अलग करता है, जिससे नोड काउंट को कई गुना (उदाहरण के लिए, $\sim 10^7$ वोक्सेल्स से $\sim 10^3$ सुपरनोड्स तक) कम कर दिया जाता है, जबकि सटीक वोक्सेल-लेवल लिफ्टिंग गारंटी बनी रहती है।
फ्यू-शॉट बाउंड्री एलाइनमेंट: एक डेटा-ड्रिवन प्रक्रिया जो मैन्युअल पैरामीटर ट्यूनिंग को बदल देती है, जिसमें विशिष्ट क्लास आइडेंटिटीज से स्वतंत्र बाउंड्री एलाइनमेंट के लिए केवल 5–20 लेबल किए गए उदाहरणों की आवश्यकता होती है।
इनवेरिएंट डिस्क्रिप्टर्स: स्केल- और रोटेशन-इनवेरिएंट नोड और एज डिस्क्रिप्टर्स जो एनिसोट्रोपिक मेडिकल वॉल्यूम पर प्रभावी मैसेज पासिंग को सक्षम करते हैं।
टारगेट-स्पेसिफिक इन्फरेंस: एक ऐसा फॉर्मूलेशन जो प्रत्येक लक्षित संरचना के लिए एक अलग, अनुकूलित इन्फरेंस स्पेस बनाता है, जिससे समस्या को बाइनरी क्लासिफिकेशन में बदल दिया जाता है और जॉइंट मल्टी-क्लास सेगमेंटेशन में निहित बैलेंसिंग इश्यूज से बचा जा जाता है।

प्रायोगिक परिणाम
SEMIR का मूल्यांकन तीन चुनौतीपूर्ण ट्यूमर सेगमेंटेशन बेंचमार्क पर किया गया: BraTS 2021 (ब्रेन ग्लियोमा), KiTS23 (किडनी ट्यूमर), और LiTS (लिवर ट्यूमर)।

प्रदर्शन: SEMIR ने Swin UNETR और nnU-Net जैसे स्टेट-ऑफ-द-आर्ट तरीकों की तुलना में माइनॉरिटी स्ट्रक्चर्स (जैसे ट्यूमर कोर और एनहांसिंग ट्यूमर) के लिए डाइस स्कोर में निरंतर सुधार दिखाया। उदाहरण के लिए, BraTS पर, SEMIR ने ट्यूमर कोर (TC) के लिए 0.941 और एनहांसिंग ट्यूमर (ET) के लिए 0.894 का डाइस प्राप्त किया, जो पिछले बेंचमार्क से बेहतर प्रदर्शन करता है।
दक्षता: विधि ने इन्फरेंस कॉम्प्लेक्सिटी को लगभग $10^4\times$ कम कर दिया (लगभग $\sim 10^7$ वोक्सेल्स से $\sim 10^3$ सुपरनोड्स तक)। ट्रेनिंग और इन्फरेंस समय डेंस मेथड्स की तुलना में काफी कम था; SEMIR ने 16GB T4 GPU पर घंटों में ट्रेनिंग पूरी की, जबकि तुलनीय डेंस मेथड्स को A100-क्लास हार्डवेयर और दिनों की आवश्यकता थी।
एब्लेशन स्टडीज: प्रयोगों ने पुष्टि की कि एज कॉन्ट्रैक्शन फ्रैगमेंटेशन को रोकता है, एज डिलीशन माइनॉरिटी स्ट्रक्चर्स को अलग करता है, और नोड डिलीशन शोर को हटा देता है। फ्यू-शॉट ऑप्टिमाइजेशन ने फिक्स्ड मैन्युअल ट्यूनिंग की तुलना में काफी बेहतर प्रदर्शन किया। यह गैर-मेडिकल डोमेन (NWPU VHR-10 हवाई इमेजरी) के लिए भी सामान्यीकृत हुआ, छोटे ऑब्जेक्ट्स के लिए उच्च IoU प्राप्त किया।

महत्व और दावे
पेपर का दावा है कि SEMIR हाई-रेजोल्यूशन स्ट्रक्चर्ड विजुअल डेटा के लिए टास्क-एडेप्टेड, टोपोलॉजी-प्रिजर्विंग लेटेंट रिप्रेजेंटेशन सीखने के लिए एक सिद्धांत-आधारित फ्रेमवर्क स्थापित करता है। बाउंड्री एडहेरेंस, कॉम्पैक्टनेस और ट्रैक्टेबिलिटी के बीच के ट्रेड-ऑफ को लर्नबल पैरामीटर्स के रूप में औपचारिक रूप देकर, SEMIR फिक्स्ड रिप्रेजेंटेशन में छवियों को कंप्रेस करने के बजाय एक ऐसा इन्फरेंस स्पेस सीखने की ओर शिफ्ट करता है जो सेमेंटिक रूप से प्रासंगिक स्ट्रक्चर को सुरक्षित रखता है। लेखक का तर्क है कि यह दृष्टिकोण बाउंड्री-अवेयर सेगमेंटेशन के लिए एक स्केलेबल मार्ग प्रदान करता है, विशेष रूप से उन माइनॉरिटी स्ट्रक्चर्स के लिए जहाँ मल्टी-क्लास मेथड्स व्यवस्थित रूप से कम प्रदर्शन करते हैं। यह कार्य इस बात पर जोर देता है कि सीखा गया माइनर एक प्रीप्रोसेसिंग स्टेज के रूप में कार्य करता है जिसे विभिन्न डाउनस्ट्रीम प्रेडिक्टर्स के लिए अलग किया जा सकता है, जो मॉडुलैरिटी प्रदान करता है।