⚡ electrical engineering

GraphSeg: Segmented 3D Representations via Graph Edge Addition and Contraction

GraphSeg एक ऐसा फ्रेमवर्क है जो गहराई के डेटा के बिना विरल (sparse) 2D छवियों से सुसंगत 3D ऑब्जेक्ट सेगमेंटेशन उत्पन्न करता है, जो सेगमेंटेशन को ग्राफ एज एडिशन और कॉन्ट्रैक्शन समस्या के रूप में स्वरूपित करके असंरचित वातावरण में मजबूत रोबोटिक हेरफेर को सक्षम बनाता है।

मूल लेखक: Haozhan Tang, Tianyi Zhang, Oliver Kroemer, Matthew Johnson-Roberson, Weiming Zhi

प्रकाशित 2026-07-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Haozhan Tang, Tianyi Zhang, Oliver Kroemer, Matthew Johnson-Roberson, Weiming Zhi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट हैं जो एक बिखरी हुई मेज से कॉफी का मग उठाने की कोशिश कर रहे हैं। ऐसा करने के लिए, आपको यह जानने की जरूरत है कि मग वास्तव में कहाँ है और मेज कहाँ खत्म होती है और मग कहाँ शुरू होता है। लेकिन पेच यह है कि आपका रोबोटिक दिमाग केवल अलग-अलग कोणों से ली गई कई सपाट, 2D तस्वीरों को देखता है, और इसमें गहराई मापने के लिए कोई इन-बिल्ट रूलर (पैमाना) नहीं है।

यह वही समस्या है जिसे GraphSeg हल करता है।

"अति-उत्साही" कलाकार

सबसे पहले, आइए उन उपकरणों के बारे में बात करें जिनका उपयोग रोबोट आमतौर पर देखने के लिए करते हैं। ये बहुत ही स्मार्ट AI मॉडल होते हैं (जैसे कि एक प्रसिद्ध मॉडल जिसका नाम "सेगमेंट एनीथिंग" है) जो एक फोटो देखते हैं और हर चीज़ के चारों ओर रूपरेखा (outlines) खींचने की कोशिश करते हैं। वे बेहतरीन हैं, लेकिन उनकी एक अजीब आदत है: वे बहुत अधिक उत्साहित हो जाते हैं।

कल्पना कीजिए कि आप AI को एक लाल सोडा कैन की तस्वीर दिखाते हैं। पूरे कैन के चारों ओर एक साफ घेरा बनाने के बजाय, AI उसके चारों ओर दस छोटे, टेढ़े-मेढ़े घेरे बना सकता है, यह सोचकर कि चमकदार ऊपरी हिस्सा एक वस्तु है, लेबल दूसरी है, और निचला हिस्सा तीसरी है। यह वस्तु को "ओवर-सेगमेंट" कर देता है, यानी एक चीज़ को कई भ्रमित करने वाले टुकड़ों में तोड़ देता है।

इससे भी बुरा यह है कि यदि आप उसी कैन की दूसरी फोटो दूसरे कोण से लेते हैं, तो AI टुकड़ों का एक पूरी तरह से अलग और अस्त-व्यस्त सेट बना सकता है। यह एक पहेली को जोड़ने जैसा है जहाँ हर बार देखने पर टुकड़े अपना आकार बदलते रहते हैं। रोबोट भ्रमित हो जाता है: "क्या पहली फोटो का वह टुकड़ा दूसरी फोटो के इस टुकड़े के समान है? या क्या ये दो अलग-अलग कैन हैं?"

GraphSeg समाधान: कनेक्शन की एक पार्टी

इस शोध के लेखक, हाओज़ान तांग और उनकी टीम ने इस गड़बड़ी को ठीक करने का एक चतुर तरीका निकाला है। वे अपने तरीके को GraphSeg कहते हैं।

AI द्वारा बनाए गए हर छोटे, बिखरे हुए टुकड़े को एक पार्टी का मेहमान मान लें। शुरुआत में, हर कोई अकेला और भ्रमित खड़ा है। GraphSeg का काम यह पता लगाना है कि कौन से मेहमान वास्तव में एक ही व्यक्ति हैं जिन्होंने अलग-अलग टोपियाँ पहनी हुई हैं (या इस मामले में, एक ही वस्तु जिसे अलग-अलग कोणों से देखा गया है)।

वे इसे दो प्रकार के सुरागों का उपयोग करके एक "कनेक्शन पार्टी" आयोजित करके करते हैं:

"पिक्सेल-टू-पिक्सेल" हैंडशेक: सिस्टम 2D तस्वीरों को देखता है और पूछता है, "क्या इन दो टुकड़ों के पिक्सेल एक जैसे हैं?" यदि फोटो A के कैन का एक टुकड़ा फोटो B के एक टुकड़े के साथ पूरी तरह मेल खाता है, तो वे हाथ मिलाते हैं। शोध की भाषा में, यह उन्हें जोड़ने के लिए एक ग्राफ में एक "एज" (edge) जोड़ता है।
"3D स्ट्रक्चर" हग (गले मिलना): कभी-कभी 2D तस्वीरें कठिन होती हैं, और टुकड़े एक जैसे नहीं दिखते। इसलिए, GraphSeg एक विशेष "3D फाउंडेशन मॉडल" (एक जादुई उपकरण जो सपाट तस्वीरों से 3D आकार का अनुमान लगाता है) का उपयोग करता है ताकि उन सपाट टुकड़ों को 3D स्पेस में ऊपर उठा सके। अब, केवल फ्लैट पिक्सेल देखने के बजाय, यह जाँचता है कि क्या 3D आकार पहेली के टुकड़ों की तरह एक साथ फिट बैठते हैं। यदि दो टुकड़े 3D स्पेस में एक ही जगह घेरते हैं, तो वे एक बड़ा हग (गले मिलना) पाते हैं और उन्हें आपस में जुड़ने के लिए मजबूर किया जाता है।

महान विलय (The Great Merging)

एक बार जब ये सभी कनेक्शन (या "एजेस") बन जाते हैं, तो GraphSeg एक "कॉन्ट्रैक्शन" (संकुचन) करता है। कल्पना कीजिए कि हाथ मिलाने या गले मिलने वाले सभी मेहमानों को एक एकल, सुपर-मेहमान में विलीन होने के लिए कहा जाता है।

पहले: आपके पास एक सोडा कैन के लिए 50 छोटे, भ्रमित करने वाले मास्क हैं।
बाद में: वे सभी 50 मास्क कैन के एक साफ, ठोस 3D प्रतिनिधित्व में मिल जाते हैं।

शोध दिखाता है कि यह तरीका तब भी काम करता है जब आपके पास केवल इमेज का एक विरल सेट (sparse set) हो (जैसे केवल 3 या 5 फोटो)। जबकि अन्य तरीके विफल हो सकते हैं या कम फोटो होने पर हार मान सकते हैं, GraphSeg काम करना जारी रखता है क्योंकि यह अंतराल को भरने के लिए 2D सुरागों और 3D संरचनात्मक सुरागों दोनों का उपयोग करता है।

यह क्या सिद्ध करता है (और क्या नहीं)

लेखकों ने GrapNet-1Billion नामक एक विशाल डेटासेट पर इसका परीक्षण किया, जिसमें वस्तुओं की 97,280 से अधिक छवियां हैं। उन्होंने केवल अनुमान नहीं लगाया; उन्होंने परिणामों को मापा।

परिणाम: GraphSeg अंतिम 3D मॉडल में 93.05% उपयोगी पिक्सेल (पिक्सेल यूटिलिटी) को बनाए रखने में सक्षम था। इसकी तुलना 'मास्क क्लस्टरिंग' (MaskClustering) नामक एक अन्य विधि से करें, जिसने केवल 2.68% पिक्सेल रखे क्योंकि वह अनिश्चित क्षेत्रों पर भरोसा करने से डरती थी।
सटीकता: जब उन्होंने GraphSeg की तुलना 'ग्राउंड ट्रुथ' (परफेक्ट उत्तर) से की, तो इसने मुख्य डेटासेट पर 0.5945 का IoU (इंटरसेक्शन ओवर यूनियन) प्राप्त किया, जो पिछले सर्वोत्तम तरीकों को काफी पीछे छोड़ देता है।
वास्तविक दुनिया का परीक्षण: उन्होंने इसे केवल कंप्यूटर पर नहीं चलाया। उन्होंने इसे एक वास्तविक रोबोटिक आर्म (Unitree Z1) पर लगाया। रोबोट ने तस्वीरें लीं, वस्तुओं को खोजने के लिए GraphSeg का उपयोग किया, और हथौड़ा, बैटरी पैक और रिमोट कंट्रोल जैसी चीजों को सफलतापूर्वक पकड़ा।

वे क्या खारिज करते हैं

यह पेपर स्पष्ट रूप से बताता है कि GraphSeg क्या नहीं है। यह ऐसा तरीका नहीं है जिसके लिए रोबोट को दूरी मापने के लिए विशेष डेप्थ सेंसर (जैसे LiDAR) की आवश्यकता हो। यह केवल मानक RGB कैमरों के साथ काम करता है। यह उन तरीकों के विरुद्ध भी तर्क देता है जो "क्लोज्ड-सेट" लर्निंग पर निर्भर करते हैं, जहाँ रोबोट को केवल विशिष्ट, पूर्व-निर्धारित वस्तुओं को पहचानने के लिए सिखाया जाता है। GraphSeg एक "ओपन-वोकैबुलरी" दुनिया के लिए डिज़ाइन किया गया है, जिसका अर्थ है कि यह किसी भी वस्तु को संभाल सकता है जो वह देखता है, भले ही वह उससे पहले कभी न मिला हो।

निष्कर्ष

GraphSeg एक अराजक कमरे के स्मार्ट ऑर्गनाइज़र की तरह है। यह भ्रमित, खंडित नोट्स (ओवर-सेगमेंटेड 2D मास्क) के ढेर को लेता है और दृश्य सुरागों और 3D तर्क दोनों का उपयोग करके उन्हें व्यवस्थित फोल्डरों (सुसंगत 3D वस्तुओं) में व्यवस्थित करता है। लेखक प्रदर्शित करते हैं कि यह दृष्टिकोण रोबोटों को बहुत कम तस्वीरों के साथ भी दुनिया को अधिक स्पष्ट रूप से देखने में सक्षम बनाता है, और वास्तविक दुनिया में वस्तुओं को सफलतापूर्वक उठाने में मदद करता है।

हालाँकि यह पेपर सुझाव देता है कि भविष्य के कार्यों में रोबोटों द्वारा अनिश्चित होने पर अधिक तस्वीरें लेना शामिल हो सकता है (गुणवत्ता में सुधार के लिए), वर्तमान तरीका पहले से ही टेबलटॉप मैनिपुलेशन कार्यों के लिए मजबूत और प्रभावी दिखाया गया है।

तकनीकी सारांश: GraphSeg

समस्या विवरण

असंरचित वातावरण (unstructured environments) में काम करने वाले रोबोटों को ग्रैस्पिंग (grasping) और मोशन जनरेशन जैसे डाउनस्ट्रीम कार्यों को सुगम बनाने के लिए सटीक, सुसंगत, ऑब्जेक्ट-लेवल रिप्रजेंटेशन की आवश्यकता होती है। जबकि सेगमेंट एनीथिंग (SAM) जैसे हालिया फाउंडेशन मॉडल 2D इमेज सेगमेंटेशन में उत्कृष्ट हैं, वे सीधे भौतिक 3D दुनिया में अनुवादित नहीं होते हैं। जब इन्हें मल्टी-व्यू 2D इमेजेस पर लागू किया जाता है, तो ये मॉडल अक्सर ओवर-सेगमेंटेशन (एक ही सुसंगत ऑब्जेक्ट को कई मास्क में तोड़ना) से ग्रस्त होते हैं और विभिन्न दृश्यों (views) के बीच सुसंगत मास्क पत्राचार (correspondence) स्थापित करने में विफल रहते हैं। मौजूदा 3D इंस्टेंस सेगमेंटेशन विधियाँ अक्सर पूर्व-निर्धारित क्लास सेट (closed-set) पर निर्भर करती हैं, जिन्हें व्यापक 3D ट्रेनिंग डेटा की आवश्यकता होती है, या वे स्पार्स-व्यू (sparse-view) सेटिंग्स में संघर्ष करती हैं जहाँ इमेजेस के बीच विजुअल ओवरलैप सीमित होता है। इस पेपर द्वारा संबोधित मुख्य चुनौती यह है कि बिना डेप्थ सेंसर या पूर्व-निर्धारित ऑब्जेक्ट क्लास के, 2D RGB इमेजेस के एक स्पार्स सेट से सुसंगत, एकीकृत 3D ऑब्जेक्ट सेगमेंटेशन उत्पन्न करना है।

कार्यप्रणाली: GraphSeg

लेखक GraphSeg का प्रस्ताव करते हैं, जो मल्टी-व्यू 3D सेगमेंटेशन की समस्या को ग्राफ एज एडिशन (edge addition) और कॉन्ट्रैक्शन (contraction) की समस्या के रूप में मानता है। यह विधि एक रोबोट मैनिपुलेटर द्वारा कैप्चर की गई RGB इमेजेस के स्पार्स सेट पर कार्य करती है और डेप्थ सेंसर के बिना सीन ज्योमेट्री को रिकवर करने के लिए 3D फाउंडेशन मॉडल्स का लाभ उठाती है।

1. मुख्य ढांचा (Core Framework)

प्रक्रिया एक प्री-ट्रेंड ओपन-वोकैबुलरी मॉडल (जैसे SAM) का उपयोग करके प्रत्येक इनपुट इमेज के लिए 2D सेगमेंटेशन मास्क जेनरेट करने से शुरू होती है। इसके बाद फ्रेमवर्क इन संभावित रूप से ओवर-सेगमेंटेड 2D मास्क को एकीकृत 3D ऑब्जेक्ट्स में मर्ज करने के लिए डुअल कोरेस्पोंडेंस ग्राफ्स (dual correspondence graphs) का निर्माण करता है:

ग्राफ निर्माण (Graph Construction): प्रत्येक 2D मास्क को ग्राफ में एक वर्टेक्स (vertex) के रूप में माना जाता है।
एज एडिशन (Dual Correspondence):
- 2D पिक्सेल-लेवल ग्राफ ( $G_{2D}$ ): पिक्सेल-टू-पिक्सेल फीचर मैचिंग के आधार पर विभिन्न इमेजेस में मास्क के बीच एडजेस (edges) जोड़े जाते हैं। यदि दो मास्क के बीच मैचिंग पिक्सल्स का अनुपात एक थ्रेशोल्ड ( $\tau_{2D}$ ) से अधिक है, तो एक एज स्थापित किया जाता है।
- 3D स्ट्रक्चरल ग्राफ ( $G_{3D}$ ): सतह के विवरणों के कारण होने वाले ओवर-सेगमेंटेशन को संबोधित करने के लिए, यह विधि 2D इमेजेस को 3D पॉइंट क्लाउड्स में उठाने (lift) के लिए एक 3D फाउंडेशन मॉडल (जैसे DUST3R) का उपयोग करती है। उनके संबंधित 3D पॉइंट क्लाउड्स के बीच डायरेक्टेड चैमर डिस्टेंस (directed Chamfer distance) के आधार पर "सुपर-वर्टिसेस" (2D चरण से एकत्रित मास्क) के बीच एडजेस जोड़े जाते हैं। यदि दूरी एक थ्रेशोल्ड ( $\tau_{3D}$ ) से कम है, तो वर्टिसेस को कनेक्ट किया जाता है।
ग्राफ कॉन्ट्रैक्शन (Graph Contraction): निर्मित ग्राफ को रैंडमाइज्ड स्टार कॉन्ट्रैक्शन (Randomized Star Contraction) एल्गोरिदम का उपयोग करके कॉन्ट्रैक्ट किया जाता है। एडजेस द्वारा जुड़े हुए वर्टिसेस को "सुपर-वर्टिसेस" में मर्ज कर दिया जाता है। यह प्रक्रिया ग्राफ को तब तक इटरेटिवली कम करती है जब तक कि प्रत्येक सुपर-वर्टेक्स एक एकल, सुसंगत 3D ऑब्जेक्ट का प्रतिनिधित्व न करे।

2. कार्यान्वयन ह्यूरिस्टिक्स (Implementation Heuristics)

बैकग्राउंड फ़िल्टरिंग: टेबल की सतह और रोबोट की पहुंच से बाहर के क्षेत्रों को फ़िल्टर करने के लिए एक बैकग्राउंड क्लास को स्पष्ट रूप से परिभाषित किया गया है, जिससे दक्षता में सुधार होता है।
स्पार्स व्यू ऑप्टिमाइजेशन: अनावश्यक गणना से बचने के लिए, पिक्सेल-टू-पिक्सेल पत्राचार केवल "निकटवर्ती" कैमरा पोज़ से ली गई इमेजेस के बीच ही कंप्यूट किया जाता है, जिससे उन इमेजेस को फ़िल्टर किया जाता है जिनके व्यू पॉइंट्स बहुत अलग हैं जहाँ पत्राचार की संभावना कम होती है।

मुख्य योगदान

पेपर तीन प्राथमिक तकनीकी योगदानों को रेखांकित करता है:

GraphSeg फ्रेमवर्क: एक नवीन प्रणाली जो बिना डेप्थ जानकारी के 2D इमेजेस के स्पार्स सेट से स्वच्छ रूप से सेगमेंटेड 3D सीन रिप्रजेंटेशन उत्पन्न करने में सक्षम है।
ग्राफ फॉर्मूलेशन: 3D सेगमेंटेशन को ग्राफ एज एडिशन और कॉन्ट्रैक्शन समस्या के रूप में प्रस्तुत करना, साथ ही कॉन्ट्रैक्शन को हल करने के लिए कुशल एल्गोरिदम का उपयोग करना। यह दृष्टिकोण दृश्यों (views) के बीच मास्क के पत्राचार को स्पष्ट रूप से मॉडल करता है।
अनुभवजन्य सत्यापन (Empirical Validation): 3D सेगमेंटेशन में स्टेट-ऑफ-द-आर्ट प्रदर्शन का व्यापक मूल्यांकन और 3D सेगमेंटेशन के लिए पद्धति की उपयोगिता को सिद्ध करना।

प्रयोगात्मक परिणाम

लेखकों ने GraspNet-1Billion डेटासेट (main, similar, और unseen सबसेट्स) पर GraphSeg का मूल्यांकन किया और इसकी तुलना स्टेट-ऑफ-द-आर्ट बेसलाइन्स: MaskClustering और SAM3D से की।

सेगमेंटेशन गुणवत्ता: GraphSeg ने GraspNet-1B-main डेटासेट पर उच्चतम IoU (0.5945) और F1 स्कोर (0.7595) प्राप्त किया, जो SAM3D और MaskClustering से काफी बेहतर है। जबकि बिना 3D एज एडिशन वाला बेसलाइन GraphSeg ( $GraphSeg^-$ ) कम चैमर डिस्टेंस प्राप्त करता था, उसने यह काम ऑब्जेक्ट्स को ओवर-सेगमेंट करके किया था। पूर्ण GraphSeg पद्धति ने उच्च IoU बनाए रखते हुए कम चैमर डिस्टेंस (0.0142) रखने के साथ एक संतुलन बनाया।
पिक्सेल उपयोगिता (Pixel Utility): एक महत्वपूर्ण निष्कर्ष यह है कि GraphSeg, MaskClustering (जो अनिश्चित बिंदुओं को आक्रामक रूप से फ़िल्टर करता है, जिसके परिणामस्वरूप <3% उपयोगिता होती है) और SAM3D (~86%) की तुलना में काफी अधिक प्रतिशत नॉन-बैकग्राउंड पिक्सल्स (>90% मीडियन यूटिलिटी) को बनाए रखता है। इसके परिणामस्वरूप अधिक घने (dense), अधिक पूर्ण 3D पॉइंट क्लाउड्स मिलते हैं।
स्पार्स-व्यू मजबूती (Sparse-View Robustness): पद्धति का परीक्षण केवल 3 इमेजेस ( $N=3$ ) के साथ किया गया। GraphSeg ने इन स्पार्स स्थितियों में भी विश्वसनीय प्रदर्शन बनाए रखा जहाँ अन्य विधियाँ 3D स्थानिक संबंधों को खोजने में संघर्ष करती हैं।
डाउनस्ट्रीम मैनिपुलेशन: लेखकों ने वास्तविक दुनिया के Unitree Z1 मैनिपुलेटर पर सिस्टम का प्रदर्शन किया। सेगमेंट किए गए पॉइंट क्लाउड्स का उपयोग करते हुए, एक ग्रैस्प जनरेटर ने विभिन्न वस्तुओं (जैसे हथौड़ा, रिमोट कंट्रोलर, कप) के लिए व्यवहार्य ग्रैस्प सफलतापूर्वक उत्पन्न किए, जिसे रोबोट ने सफलतापूर्वक निष्पादित किया।

महत्व और दावे

पेपर का दावा है कि GraphSeg मल्टी-व्यू इमेजेस से सेगमेंटेड 3D सीन्स बनाने के लिए एक मजबूत समाधान प्रदान करता है, जो डायरेक्ट 2D-टू-3D ट्रांसलेशन की सीमाओं को दूर करता है। इसका महत्व निम्नलिखित में निहित है:

ओवर-सेगमेंटेशन के प्रति मजबूती: ग्राफ कॉन्ट्रैक्शन के रूप में समस्या को स्वरूपित करके, यह पद्धति खंडित 2D मास्क को सुसंगत 3D ऑब्जेक्ट्स में प्रभावी ढंग से मर्ज करती है।
डेटा दक्षता: यह बहुत कम इमेजेस (स्पार्स व्यू) के साथ प्रभावी ढंग से कार्य करता है और इसे डेप्थ सेंसर या 3D ट्रेनिंग डेटा की आवश्यकता नहीं होती है, बल्कि यह ज्योमेट्री रिकवरी के लिए 3D फाउंडेशन मॉडल्स पर निर्भर करता है।
व्यावहारिक उपयोगिता: उत्पन्न घने ऑब्जेक्ट-लेवल रिप्रजेंटेशन सीधे रोबोटिक मैनिपुलेशन के लिए लागू करने योग्य हैं, जो असंरचित टेबलटॉप वातावरण में सफल ग्रैस्पिंग को सक्षम बनाते हैं।

लेखक निष्कर्ष निकालते हैं कि हालांकि वर्तमान सिस्टम प्रभावी है, भविष्य के कार्यों में सिस्टम को अनसर्टेन्टी-अवेयर (uncertainty-aware) व्यवहारों से लैस करना शामिल हो सकता है, जिससे रोबोट अस्पष्ट क्षेत्रों के लिए अतिरिक्त फोटो लेने के लिए सक्रिय रूप से प्रेरित हो सके ताकि सेगमेंटेशन की गुणवत्ता को और सुधारा जा सके।