🤖 AI

GeoSAM-3D: Geodesic Prompt Propagation for Open-Vocabulary 3D Scene Segmentation from Monocular Video

GeoSAM-3D एक ऐसा सिस्टम है जो गॉसियन स्प्लेटिंग पुनर्निर्माण (Gaussian Splatting reconstruction) को एक डिफरेंशिएबल जियोडेसिक प्रोपेगेशन कर्नेल (differentiable geodesic propagation kernel) के साथ जोड़कर मोनोकुलर वीडियो से ओपन-वोकेबुलरी 3D सीन सेगमेंटेशन को सक्षम बनाता है, ताकि घुमावदार सतहों पर उपयोगकर्ता के प्रॉम्प्ट्स को सटीक रूप से स्थानांतरित किया जा सके और विच्छेदित वस्तुओं के बीच लीकेज को कम किया जा सके।

मूल लेखक: Arun Sharma

प्रकाशित 2026-06-02

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Arun Sharma

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ GeoSAM-3D पेपर का हिंदी अनुवाद दिया गया है:

मुख्य विचार: एक 2D क्लिक से एक 3D ऑब्जेक्ट तक

कल्पना कीजिए कि आप अपने स्मार्टफोन को पकड़े हुए अपने लिविंग रूम का एक वीडियो रिकॉर्ड कर रहे हैं। आप वीडियो रोकते हैं, एक विशिष्ट कुर्सी पर टैप करते हैं, और कहते हैं, "मैं इस कुर्सी को चुनना चाहता हूँ।"

अधिकांश वर्तमान प्रणालियों में, वह चयन केवल उस एक वीडियो फ्रेम पर एक सपाट स्टिकर की तरह होता है। यदि आप कैमरा घुमाते हैं, तो स्टिकर गिर जाता है, या वह कुर्सी के पीछे फर्श पर चिपक जाता है।

GeoSAM-3D एक नया टूल है जो इसे हल करने की कोशिश करता है। यह आपके एक साधारण वीडियो को लेता है, कमरे का एक 3D "क्लाउड" बनाता है, और फिर आपकी कुर्सी पर किए गए क्लिक को कुर्सी के चारों ओर एक 3D "स्किन" (त्वचा) की तरह लपेट देता है जो कैमरा हिलाने पर भी कुर्सी से चिपका रहता है।

समस्या: "यूक्लिडियन ट्रैप" (The Euclidean Trap)

यह समझने के लिए कि यह कठिन क्यों है, कल्पना कीजिए कि आप एक गलियारे में खड़े हैं। आपके बाईं ओर एक कुर्सी है और आपके दाईं ओर एक मेज है। वे एक-दूसरे के बहुत करीब हैं—शायद कुछ ही इंच की दूरी पर।

यदि आप कंप्यूटर को कहते हैं, "कुर्सी चुनें," और कंप्यूटर केवल 3D स्पेस में निकटतम बिंदुओं को ढूंढता है (जैसे कि एक चुंबक जो निकटतम धातु को खींचता है), तो यह गलती से मेज को भी पकड़ सकता है। गणितीय शब्दों में, इसे यूक्लिडियन दूरी (Euclidean distance) कहा जाता है: "इन दो बिंदुओं के बीच एक सीधी रेखा में कितनी दूरी है?"

समस्या यह है कि वास्तविक दुनिया में, स्थान (space) में पास होने का मतलब यह नहीं है कि आप एक ही वस्तु का हिस्सा हैं। कुर्सी और मेज अलग-अलग हैं, भले ही वे पड़ोसी हों।

समाधान: "हीट मैप" (Heat Map) का रूपक

GeoSAM-3D एक चतुर तकनीक का उपयोग करता है जिसे जियोडेसिक प्रोपेगेशन (Geodesic Propagation) कहा जाता है। यह पूछने के बजाय कि "इन दो बिंदुओं के बीच सीधी रेखा में कितनी दूरी है?", यह पूछता है, "यदि मैं पानी की एक बूंद या गर्मी की एक बूंद होता, तो मैं सतहों पर कैसे बहता?"

3D दृश्य को पहाड़ियों और घाटियों वाले परिदृश्य के रूप में सोचें:

परिदृश्य (The Landscape): कंप्यूटर "गौसियन स्प्लेटिंग" (Gaussian Splatting) का उपयोग करके कमरे का 3D मानचित्र बनाता है (कल्पना करें कि कमरा लाखों छोटे, धुंधले चमकते बिंदुओं से बना है)।
गर्मी की बूंद (The Drop of Heat): जब आप कुर्सी पर क्लिक करते हैं, तो सिस्टम उस कुर्सी पर "गर्मी की एक बूंद" गिराता है।
प्रवाह (The Flow): गर्मी फैलने की कोशिश करती है। यह कुर्सी की सतह के साथ-साथ आसानी से बहती है। लेकिन जब यह कुर्सी के किनारे पर पहुँचती है और मेज पर जाने की कोशिश करती है, तो इसे एक "अंतराल" (हवा का गैप) पार करना पड़ता है। गर्मी उस अंतराल को पार करने के लिए संघर्ष करती है।
परिणाम: गर्मी कुर्सी पर गर्म रहती है और मेज पर ठंडी रहती है। सिस्टम इस "तापमान मानचित्र" (temperature map) का उपयोग यह तय करने के लिए करता है कि कुर्सी कहाँ समाप्त होती है और मेज कहाँ शुरू होती है।

यह सीधी रेखा की दूरी मापने से कहीं अधिक स्मार्ट है क्योंकि यह वस्तुओं के आकार और जुड़ाव (connectivity) का सम्मान करता है।

यह कैसे काम करता है (विधि/रेसिपी)

पेपर एक ऐसी पाइपलाइन का वर्णन करता है जो तीन मौजूदा तकनीकों को एक नए वर्कफ़्लो में जोड़ती है:

इनपुट (The Input): आप अपने फोन से एक छोटा वीडियो अपलोड करते हैं (किसी विशेष 3D कैमरे की आवश्यकता नहीं है)।
3D बिल्डर (The 3D Builder): एक सिस्टम उस वीडियो को एक 3D "गौसियन" दृश्य (कमरे के बिंदुओं का एक क्लाउड) में बदल देता है।
2D विशेषज्ञ (The 2D Expert): SAM 2 (सेगमेंट एनीथिंग) नामक एक प्रसिद्ध AI आपके वीडियो के एक फ्रेम को देखता है और आपके द्वारा क्लिक किए गए ऑब्जेक्ट के चारों ओर एक सटीक आउटलाइन बनाता है।
पुल (The Bridge): GeoSAM-3D उस 2D आउटलाइन को लेता है और उसे 3D क्लाउड में "लिफ्ट" करता है।
फैलाव (The Spreader): यही मुख्य नवाचार है। यह एक ग्राफ (3D बिंदुओं के बीच कनेक्शन का जाल) और एक हीट कर्नेल (वह गणित जो गर्मी के प्रसार का अनुकरण करता है) का उपयोग करता है ताकि लेबल को 3D ऑब्जेक्ट पर पेंट किया जा सके। यह सुनिश्चित करता है कि लेबल वस्तु की सतह पर बना रहे और पास की अन्य वस्तुओं पर न फैले।

पेपर वास्तव में क्या दावा करता है (और क्या नहीं)

यह महत्वपूर्ण है कि हम उन बातों पर टिके रहें जो लेखकों ने वास्तव में इस विशिष्ट दस्तावेज़ में सिद्ध की हैं:

✅ उन्होंने क्या बनाया: उन्होंने एक सॉफ्टवेयर सिस्टम (एक GitHub रिपॉजिटरी और एक सार्वजनिक डेमो) बनाया है जो सफलतापूर्वक एक वीडियो लेता है, एक 3D दृश्य बनाता है, और इस "हीट" विधि का उपयोग करके लेबल को प्रसारित करता है।
✅ उन्होंने क्या परीक्षण किया: उन्होंने आंतरिक परीक्षण चलाकर यह सिद्ध किया कि गणित काम करता है। उन्होंने दिखाया कि सरल परीक्षण मामलों में, उनकी "हीट" विधि पुराने "सीधी-रेखा" (straight-line) तरीके की तुलना में लेबल को सही ऑब्जेक्ट पर रखने में बेहतर है।
✅ उन्होंने क्या स्वीकार किया: उन्होंने स्वीकार किया कि यदि 3D पुनर्निर्माण (reconstruction) खराब है (उदाहरण के लिए, यदि कंप्यूटर गलती से कुर्सी और मेज को एक बड़े गोले में मिला देता है), तो यह विधि विफल हो जाएगी। "गर्मी" उन चीजों को अलग नहीं कर सकती जो 3D मॉडल में पहले से ही आपस में जुड़ी हुई हैं।
❌ वे क्या दावा नहीं करते: वे यह दावा नहीं करते कि यह अभी दुनिया का "सर्वश्रेष्ठ" 3D सेगमेंटेशन सिस्टम है। वे यह दावा नहीं करते कि यह हर संभव वीडियो पर पूरी तरह से काम करता है। वे यह दावा नहीं करते कि यह आज चिकित्सा उपयोग या औद्योगिक रोबोटिक्स के लिए तैयार है। वे एक प्रोटोटाइप और एक विधि प्रस्तुत कर रहे हैं जिसे बड़े, वास्तविक दुनिया के डेटासेट (जैसे ScanNet) पर और अधिक परीक्षण की आवश्यकता है ताकि यह साबित हो सके कि यह बड़े पैमाने पर काम करता है।

"लीकेज" (Leakage) का रूपक

लेखक "लीकेज" शब्द का उपयोग उस मुख्य समस्या को समझाने के लिए करते हैं जिसे वे हल कर रहे हैं।

खराब विधि (Euclidean): कल्पना कीजिए कि आप एक कुर्सी पर पानी डालते हैं। यदि पानी केवल निकटतम पड़ोसी की तलाश कर रहा है, तो यह किनारे से बाहर निकल सकता है और फर्श या बगल की मेज को भिगो सकता है।
अच्छी विधि (GeoSAM-3D): कल्पना कीजिए कि पानी स्मार्ट है। वह जानता है कि कुर्सी की एक "स्किन" है। वह कुर्सी के ऊपर बहता है लेकिन किनारे पर रुक जाता है, फर्श या मेज पर लीक होने से इनकार कर देता है, भले ही वे छू रहे हों।

सारांश

GeoSAM-3D एक साधारण फोन वीडियो के क्लिक को एक स्थायी 3D ऑब्जेक्ट में बदलने का एक नया तरीका है। यह यह सुनिश्चित करने के लिए "हीट फ्लो" सिमुलेशन का उपयोग करता है कि 3D लेबल वस्तु पर बना रहे और गलती से उसके बगल की चीजों पर न चिपके। पेपर यह सिद्ध करता है कि गणित एक नियंत्रित वातावरण में काम करता है और कोड प्रदान करता है, लेकिन यह स्वीकार करता है कि वास्तविक दुनिया का 3D पुनर्निर्माण अभी भी अपूर्ण है, जो वर्तमान में इस प्रणाली के काम करने की क्षमता को सीमित करता है।

तकनीकी सारांश: GeoSAM-3D

समस्या का निरूपण (Problem Formulation)
GeoSAM-3D एक लघु मोनोगुलर वीडियो और एक एकल उपयोगकर्ता प्रॉम्प्ट (एक क्लिक, बॉक्स, या टेक्स्ट लेबल) के माध्यम से ओपन-वोकैबुलरी 3D सीन सेगमेंटेशन की चुनौती को संबोधित करता है। मौजूदा सिस्टम के विपरीत, जो RGB-D सेंसर, कैलिब्रेटेड मल्टी-व्यू इमेजरी, या पूर्व-पुनर्निर्मित मेश (meshes) पर निर्भर करते हैं, GeoSAM-3D केवल मोनोगुलर वीडियो से प्राप्त एक पुनर्निर्मित 3D गॉसियन स्प्लैटिंग (Gaussian Splatting) दृश्य पर कार्य करता है।

मुख्य तकनीकी समस्या ज्यामितीय रिसाव (geometric leakage) है। जब एक 2D प्रॉम्प्ट मास्क को 3D में प्रसारित किया जाता है, तो मानक यूक्लिडियन निकटतम-पड़ोसी (kNN) दृष्टिकोण अक्सर विफल हो जाते हैं क्योंकि वे दृश्य टोपोलॉजी (scene topology) की अनदेखी करते हैं। वे वस्तुएं जो स्थानिक रूप से निकट लेकिन अर्थपूर्ण रूप से भिन्न हैं (जैसे, फर्श के पास कुर्सी का पैर, या एक खुले दरवाजे के दो पक्ष), गलत तरीके से मर्ज हो सकती हैं यदि प्रसार केवल यूक्लिडियन दूरी पर निर्भर करता है। लक्ष्य पुनर्निर्मित गॉसियन प्रिमिटिव्स (primitives) पर प्रॉम्प्ट सीड को इस तरह प्रसारित करना है कि परिणामी 3D मास्क कच्चे स्थानिक निकटता के बजाय दृश्य की कनेक्टिविटी का सम्मान करे।

कार्यप्रणाली (Methodology)
यह प्रणाली फ्रोजन फाउंडेशन मॉडल्स को एक कस्टम डिफरिएबल ग्राफ प्रोपेगेशन लेयर के साथ एकीकृत करती है। पाइपलाइन के चार मुख्य चरण हैं:

3D पुनर्निर्माण (3D Reconstruction): एक मोनोगुलर पुनर्निर्माण स्टैक (जैसे, MonoGS) इनपुट वीडियो को एक 3D गॉसियन फील्ड में परिवर्तित करता है, जहाँ प्रत्येक गॉसियन $g_i$ एक केंद्र $\mu_i$ , कोवेरिएंस $\Sigma_i$ , ओपेसिटी $\alpha_i$ , और अपीयरेंस स्टैटिस्टिक्स $c_i$ द्वारा परिभाषित होता है।
2D पर्यवेक्षण (2D Supervision): एक एकल फ्रेम पर उपयोगकर्ता प्रॉम्प्ट SAM 2 का उपयोग करके एक उच्च-गुणवत्ता वाला 2D मास्क उत्पन्न करता है। इस मास्क को 3D दृश्य में "लिफ्ट" किया जाता है ताकि गॉसियन सेंट्रॉइड्स पर एक सीड वेक्टर $s$ बनाया जा सके, जो प्रारंभिक सकारात्मक नमूनों की पहचान करता है।
ग्राफ निर्माण (Graph Construction): गॉसियन सेंट्रॉइड्स पर एक निर्देशित $k$ -निकटतम-पड़ोसी (kNN) ग्राफ बनाया जाता है। एज वेट्स (edge weights) $w_{ij}$ को सेंट्रॉइड दूरी के गॉसियन फंक्शन द्वारा परिभाषित किया जाता है, जिसे एक अनडायरेक्टेड ग्राफ बनाने के लिए सिमेट्राइज़ किया जाता है। इन वेट्स से ग्राफ लैपलेसियन $L$ की गणना की जाती है।
हीट-कर्नेल जियोडेसिक प्रोपेगेशन (Heat-Kernel Geodesic Propagation): यूक्लिडियन दूरी का उपयोग करने के बजाय, GeoSAM-3D लेबल को हीट-कर्नेल जियोडेसिक सन्निकटन (approximation) का उपयोग करके प्रसारित करता है।
- यह एक इम्प्लिसिट हीट स्टेप को हल करता है: $(I + tL + \epsilon I)u = s$ , जहाँ $u$ हीट फील्ड को दर्शाता है।
- वारधान सन्निकटन (Varadhan approximation) का उपयोग करके हीट फील्ड को एक दूरी मीट्रिक में बदला जाता है: $d_i = \sqrt{\max(0, -4t \log(\max(u_i, \epsilon)))}$ ।
- अंतिम सॉफ्ट मास्क प्रोबेबिलिटी की गणना $p_i = \exp(-d_i^2 / 2\sigma_d^2)$ के रूप में की जाती है।
- यह दृष्टिकोण सुनिश्चित करता है कि लेबल जुड़ी हुई सतहों के साथ प्रसारित हों और अंतराल या कमजोर किनारों द्वारा बाधित हों, भले ही सेंट्रॉइड्स यूक्लिडियन रूप से निकट हों।
फीचर हेड (Feature Head): एक कॉम्पैक्ट ट्रांसफार्मर हेड प्रति-गॉसियन ज्यामिति और अपीयरेंस एट्रिब्यूट्स को नॉर्मलाइज्ड एम्बेडिंग्स में मैप करता है। इस हेड को एक कंट्रास्टिव ऑब्जेक्टिव का उपयोग करके प्रशिक्षित किया जाता है ताकि यह सुनिश्चित हो सके कि एक ही SAM-व्युत्पन्न मास्क के भीतर के गॉसियन समान फीचर्स साझा करते हैं, बिना फ्रोजन फाउंडेशन मॉडल्स को फाइन-ट्यून किए।

प्रमुख योगदान (Key Contributions)
पेपर निम्नलिखित विशिष्ट योगदान प्रस्तुत करता है:

प्रॉम्प्ट प्रोपेगेशन पाइपलाइन: एक प्रणाली जो SAM-शैली के वीडियो मास्क को मोनोगुलर 3D गॉसियन दृश्य में लिफ्ट करती है और ग्राफ टोपोलॉजी का उपयोग करके गॉसियन सेंट्रॉइड्स पर लेबल प्रसारित करती है।
डिफरिएबल हीट-कर्नेल लेयर: एक kNN ग्राफ लैपलेसियन और वारधान-शैली के डिस्टेंस एप्रोक्सिमेशन का उपयोग करके एक जियोडेसिक प्रोपेगेशन लेयर का कार्यान्वयन, जिसे नॉन-मैनिफोल्ड, स्पार्स ग्राफ्स पर स्थिर रहने के लिए डिज़ाइन किया गया है।
कंट्रास्टिव फीचर हेड: कंट्रास्टिव मास्क कंसिस्टेंसी के माध्यम से प्रशिक्षित प्रति-गॉसियन फीचर एक्सट्रैक्टर, न कि बड़े फाउंडेशन मॉडल्स को फाइन-ट्यून करके।
पुनरुत्पादनीय कार्यान्वयन (Reproducible Implementation): एक सार्वजनिक GitHub रिपॉजिटरी और Hugging Face Space जिसमें कोड, जियोडेसिक शुद्धता के लिए यूनिट टेस्ट, फीचर नॉर्मलाइजेशन चेक और एक CPU-सेफ इंटरैक्टिव डेमो शामिल है।

परिणाम और सत्यापन (Results and Validation)
पेपर स्पष्ट रूप से कहता है कि यह अभी तक मानक 3D सेगमेंटेशन बेंचमार्क (जैसे, ScanNet या Replica) पर स्टेट-ऑफ-द-आर्ट प्रदर्शन का दावा नहीं करता है। इसके बजाय, वर्तमान परिणाम इम्प्लीमेंटेशन वैलिडेशन और इंजीनियरिंग करेक्टनेस पर केंद्रित हैं:

यूनिट टेस्ट: कोडबेस में 15 पास होने वाले टेस्ट शामिल हैं जो हीट-जियोडेसिक कर्नेल, सीड डिस्टेंस व्यवहार, लेबल प्रोपेगेशन रेंज, फीचर हेड नॉर्मलाइजेशन और एप्लिकेशन इंटरफेस कॉन्ट्रैक्ट्स को कवर करते हैं।
वैलिडेशन चेक: सिस्टम सत्यापित करता है कि सीड डिस्टेंस गैर-ऋणात्मक (non-negative) हैं, टेस्ट ग्राफ्स पर मोनोटोनिक हैं, और फीचर हेड सही आकार के, L2-नॉर्मलाइज्ड एम्बेडिंग्स उत्पन्न करता है।
मूल्यांकन प्रोटोकॉल: पेपर भविष्य के बेंचमार्किंग के लिए एक कठोर प्रोटोकॉल की रूपरेखा तैयार करता है, जिसमें 3D mIoU, प्रॉम्प्ट रोबस्टनेस (सीड लोकेशन्स के बीच वेरिएंस), नजदीकी सतहों के बीच लीकेज रेट, और लेटेंसी के लिए मेट्रिक्स शामिल हैं। यह प्रोपेगेशन विफलताओं को पुनर्निर्माण त्रुटियों से अलग करने के लिए पुनर्निर्माण गुणवत्ता (जैसे, क्लीन ज्योमेट्री बनाम फ्यूज्ड सर्फेसेस) के आधार पर परिणामों को स्ट्रैटिफाई करने का प्रस्ताव करता है।

महत्व और दावे (Significance and Claims)
GeoSAM-3D वीडियो फाउंडेशन मॉडल्स, मोनोगुलर 3D पुनर्निर्माण और ग्राफ-आधारित ज्यामितीय तर्क के बीच एक इंजीनियरिंग ब्रिज के रूप में खुद को स्थापित करता है। इसका प्राथमिक महत्व है:

सुलभता (Accessibility): महंगे RGB-D हार्डवेयर या पूर्व-मौजूद मेश की आवश्यकता के बिना साधारण मोनोगुलर फोन वीडियो से 3D सेगमेंटेशन को सक्षम बनाना।
ज्यामितीय तर्क (Geometric Reasoning): यह प्रदर्शित करना कि प्रॉम्प्ट प्रोपेगेशन को (लीकेज को रोकने के लिए) यूक्लिडियन निकटता के बजाय दृश्य कनेक्टिविटी (जियोडेसिक्स) का पालन करना चाहिए।
पारदर्शी विफलता मोड (Transparent Failure Modes): पुनर्निर्मित दृश्य पर ग्राफ प्रोपेगेशन के रूप में समस्या को फ्रेम करके, सिस्टम व्याख्या योग्य विफलता मोड प्रदान करता है। यदि मोनोगुलर पुनर्निर्माण दो सतहों को फ्यूज कर देता है, तो ग्राफ जियोडेसिक उन्हें अलग नहीं कर सकता; पेपर तर्क देता है कि इन विफलताओं को छिपाने के लिए कर्नेल को ट्यून करने के बजाय उन्हें स्पष्ट रूप से रिपोर्ट किया जाना चाहिए।

पेपर निष्कर्ष निकालता है कि जबकि वर्तमान कार्यान्वयन कोर ग्राफ कर्नेल और इंटरफ़ेस को मान्य करता है, विधि की पूर्ण क्षमता भविष्य के बेंचमार्किंग और स्केलेबिलिटी के लिए स्पार्स सॉल्वर के एकीकरण पर निर्भर करती है।