🤖 machine learning

3D-DLP: Self-Supervised 3D Object-Centric Scene Representation Learning

यह शोध पत्र 3D-DLP पेश करता है, जो एक स्व-पर्यवेक्षित (self-supervised) मॉडल है जो RGB-D या वोक्सेल दृश्यों को अलग-अलग वस्तुओं का प्रतिनिधित्व करने वाले व्याख्यात्मक 3D लेटेंट पार्टिकल्स (latent particles) में विभाजित करता है, जिससे नियंत्रित दृश्य निर्माण सक्षम होता है और वस्तु-केंद्रित संरचना की कमी वाले बेसलाइनों की तुलना में रोबोटिक हेरफेर (robotic manipulation) के प्रदर्शन में सुधार होता है।

मूल लेखक: Ellina Zhang, Madhaven Iyengar, Amir Zadeh, Chuan Li, Deepak Pathak, David Held, Tal Daniel

प्रकाशित 2026-06-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ellina Zhang, Madhaven Iyengar, Amir Zadeh, Chuan Li, Deepak Pathak, David Held, Tal Daniel

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप खिलौनों, किताबों और फर्नीचर से भरे एक बिखरे हुए कमरे को देख रहे हैं। यदि आप उसकी एक फोटो लेते हैं, तो एक मानक कंप्यूटर विज़न सिस्टम उसे पिक्सेल के एक विशाल, उलझे हुए ढेर के रूप में देखता है। उसे यह समझने में कठिनाई होती है कि एक वस्तु कहाँ समाप्त होती है और दूसरी कहाँ शुरू होती है, या यह समझने में कि उसके बगल में रखे नीले ब्लॉक के बजाय लाल ब्लॉक एक अलग "चीज़" है।

यह शोध पत्र 3D-DLP पेश करता है, जो कंप्यूटर के दुनिया को देखने का एक नया तरीका है। पिक्सेल के एक बिखरे हुए ढेर के बजाय, 3D-DLP कंप्यूटर को दुनिया को व्यक्तिगत, तैरते हुए 3D "कणों" (particles) के संग्रह के रूप में देखना सिखाता है।

यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:

1. "लेगो ब्रिक" (Lego Brick) की उपमा

एक 3D दृश्य को मिट्टी के एक ठोस ब्लॉक के रूप में नहीं, बल्कि लेगो ब्रिक्स के एक डिब्बे के रूप में सोचें।

पुराना तरीका: पारंपरिक तरीके पूरे कमरे को डेटा के एक विशाल, घने बादल के रूप में मॉडल करने की कोशिश करते हैं। यह हवा में मौजूद हर एक नन्हे धूल के कण का रंग बताने की कोशिश करने जैसा है। यह भारी, धीमा और समझने में कठिन है।
3D-DLP का तरीका: यह मॉडल दृश्य को अलग-अलग लेगो ब्रिक्स में तोड़ देता है। मॉडल का प्रत्येक "कण" एक विशिष्ट वस्तु (जैसे कप, हथौड़ा, या ब्लॉक) का प्रतिनिधित्व करता है।
- प्रत्येक कण को अपनी 3D स्थिति (स्थान में वह कहाँ है) पता होती है।
- उसे अपना आकार (वह कितना बड़ा है) पता होता है।
- उसे अपना रंग (वह कैसा दिखता है) पता होता है।
- उसे अपनी पारदर्शिता (क्या वह वहाँ है या नहीं?) पता होती है।

2. बिना शिक्षक के सीखना (Self-Supervised)

आमतौर पर, कंप्यूटर को वस्तुओं को पहचानना सिखाने के लिए, इंसानों को हजारों तस्वीरों में हर वस्तु के चारों ओर बॉक्स बनाने पड़ते हैं (जैसे शिक्षक होमवर्क चेक करते हैं)। यह महंगा और धीमा है।

3D-DLP स्व-पर्यवेक्षित (Self-supervised) है। कल्पना कीजिए कि आप कंप्यूटर को लेगो ब्रिक्स का एक मिला-जुला डिब्बा देते हैं और कहते हैं, "महल को फिर से बनाओ।" कंप्यूटर इसे बनाने की कोशिश करता है, अपने ही काम को देखता है, देखता है कि उसने कहाँ गलतियाँ कीं, और फिर से कोशिश करता है। उसे यह बताने के लिए किसी इंसान की ज़रूरत नहीं है कि "यह एक कप है।" वह दृश्य को पूरी तरह से पुनर्गणना (reconstruct) करके खुद ही समझ जाता है कि "कप होने का गुण" क्या है। समय के साथ, वह सीख जाता है कि डेटा के कुछ समूह हमेशा एक साथ चलते हैं और एक विशिष्ट "कण" बनाते हैं।

3. "जादुई संपादन" (Magic Editing) फीचर

चूंकि कंप्यूटर दुनिया को अलग-अलग, संपादन योग्य कणों के रूप में देखता है, इसलिए आप उन कणों के भीतर की संख्याओं को बदलकर वास्तव में दृश्य को संपादित (edit) कर सकते हैं।

हिलाना (Moving): यदि आप कंप्यूटर को "कप कण" की "स्थिति" संख्या बदलने के लिए कहते हैं, तो पुनर्गठित दृश्य में कप भौतिक रूप से हिल जाता है।
आकार बदलना (Resizing): यदि आप "आकार" संख्या बदलते हैं, तो कप बड़ा या छोटा हो जाता है।
हटाना (Removing): यदि आप "पारदर्शिता" को बंद कर देते हैं, तो कप गायब हो जाता है।

यह साबित करता है कि कंप्यूटर केवल एक तस्वीर को याद नहीं कर रहा है; वह वस्तुओं की संरचना को समझता है।

4. रोबोट के लिए यह क्यों महत्वपूर्ण है

यह शोध पत्र उन रोबोट्स पर परीक्षण करता जिन्हें चीजें उठाने और हिलाने की आवश्यकता होती है (रोबोटिक मैनिपुलेशन)।

समस्या: रोबोट अक्सर अव्यवस्था से भ्रमित हो जाते हैं। यदि एक रोबोट 3D बिंदुओं के घने बादल को देखता है, तो वह किसी विशिष्ट वस्तु को पकड़ने के लिए कहाँ से शुरुआत करे, इसकी गणना करने में अभिभूत हो सकता है।
समाधान: 3D-DLP का उपयोग करके, रोबोट को बातचीत करने के लिए वस्तुओं की एक साफ, व्यवस्थित सूची मिलती है। एक धुंधले 3D बादल के माध्यम से नेविगेट करने के बजाय, वह अलग-अलग वस्तुओं की एक स्पष्ट सूची के माध्यम से नेविगेट करता है।
परिणाम: परीक्षणों में, 3D-DLP का उपयोग करने वाले रोबोट उन पुराने तरीकों का उपयोग करने वाले रोबोटों की तुलना में कार्य (जैसे ब्लॉक को स्टैक करना या मग को साफ करना) पूरा करने में बेहतर थे, जो वस्तुओं को अलग नहीं करते थे या भारी, असंरचित डेटा पर निर्भर थे।

सारांश

3D-DLP एक रोबोट को चश्मे देने जैसा है जो एक अराजक, बिखरे हुए कमरे को तैरती हुई, लेबल की गई 3D वस्तुओं की एक व्यवस्थित सूची में बदल देता है। यह इसे खुद से यह सीखने में मदद करता है कि कमरे को बार-बार बनाकर इसे कैसे किया जाए। यह रोबोट के लिए दुनिया को समझना, अपने मन में दृश्य को संपादित करना और सफलतापूर्वक सही वस्तुओं को पकड़ना और हिलाना बहुत आसान बना देता है।

तकनीकी सारांश: 3D-DLP: स्व-पर्यवेक्षित 3D ऑब्जेक्ट-सेंट्रिक सीन रिप्रेजेंटेशन लर्निंग

समस्या विवरण (Problem Statement)

रोबोटिक निर्णय लेना, विशेष रूप से हेरफेर (manipulation) कार्यों के लिए, स्थानिक संबंधों को संरक्षित करने और वास्तविक ज्यामिति को कैप्चर करने के लिए 3D रिप्रजेंटेशन पर तेजी से निर्भर हो रहा है, जो 2D प्रोजेक्शन अक्सर करने में विफल रहते हैं। हालांकि, कच्चा 3D सेंसर डेटा (RGB-D चित्र, पॉइंट क्लाउड्स, वोक्सेल्स) महत्वपूर्ण चुनौतियां पेश करता है: यह शोर युक्त (noisy), विरल (sparse), उच्च-आयामी होता है और इसमें अक्सर स्पष्ट ऑब्जेक्ट स्ट्रक्चर की कमी होती है। मौजूदा 3D ऑब्जेक्ट-सेंट्रिक दृष्टिकोण सीमित हैं; कुछ पर्यवेक्षित एनोटेशन (जैसे, GROOT) पर निर्भर करते हैं, जो स्केलेबिलिटी में बाधा डालते हैं, जबकि अन्य रंगहीन डेटा पर कार्य करते हैं, मेमोरी-गहन पुनरावृत्ति पाइपलाइनों का उपयोग करते हैं, या इनवर्स रेंडरिंग और न्यूरल फील्ड्स पर निर्भर करते हैं जो डाउनस्ट्रीम पॉलिसी लर्निंग के लिए व्यावहारिक निम्न-आयामी प्रतिनिधित्व प्रदान नहीं करते हैं। इसके अलावा, मौजूदा स्व-पर्यवेक्षित ऑब्जेक्ट-सेंट्रिक विधियां मुख्य रूप से 2D इनपुट तक सीमित हैं और छिपे हुए क्षेत्रों (occluded regions) को पुनः प्राप्त करने या सटीक 3D ज्यामिति को मॉडल करने में असमर्थ हैं जो संपर्क-समृद्ध (contact-rich) कार्यों के लिए आवश्यक है।

कार्यप्रणाली (Methodology)

लेखक 3D Deep Latent Particles (3D-DLP) पेश करते हैं, जो एक स्व-पर्यवेक्षित ढांचा है जो Deep Latent Particles (DLP) मॉडल को सीधे वास्तविक दुनिया के 3D अवलोकनों को संसाधित करने के लिए विस्तारित करता है। मुख्य उद्देश्य दृश्य-स्तरीय RGB-D या वोक्सेल अवलोकनों को $M$ 3D लेटेंट पार्टिकल्स के सेट में विघटित करना है, जहाँ प्रत्येक पार्टिकल एक अलग इकाई (entity) का प्रतिनिधित्व करता है जिसके विलगित (disentangled) गुण होते हैं।

आर्किटेक्चर और वेरिएंट्स

मॉडल एक वेरिएशनल ऑटोएनकोडर (VAE) के रूप में कार्य करता है जिसमें तीन चरणों वाली पाइपलाइन है: प्रायर (Prior), एनकोडर (Encoder), और डिकोडर (Decoder)। यह तीन इनपुट मोडलिटीज का समर्थन करता है:

3D-DLP-D: RGB-D छवियों ( $4 \times H \times W$ ) को संसाधित करता है।
3D-DLP-V: ऑक्यूपेंसी वोक्सेल ग्रिड्स ( $1 \times D \times H \times W$ ) को संसाधित करता है।
3D-DLP-VC: रंगीन RGB वोक्सेल ग्रिड्स ( $3 \times D \times H \times W$ ) को संसाधित करता है, जो सबसे सामान्य योगदान का प्रतिनिधित्व करता है।

मुख्य घटक

लेटेंट पार्टिकल रिप्रजेंटेशन: प्रत्येक फोरग्राउंड पार्टिकल $z_{fg}$ $z_{f g}$ निम्नलिखित को एनकोड करता है:
- 3D कीपॉइंट पोजीशन ( $z_p$ ): स्पष्ट 3D निर्देशांक।
- बाउंडिंग बॉक्स डायमेंशन्स ( $z_s$ ): स्केल एट्रिब्यूट्स।
- अपीयरेंस फीचर्स ( $z_f$ ): स्थानीय क्षेत्र की दृश्य विशेषताएं।
- ट्रांसपेरेंसी ( $z_t$ ): पार्टिकल की उपस्थिति को नियंत्रित करता है।
  (नोट: 2D DLP में उपयोग किया जाने वाला कंपोजिशन ऑर्डर $z_c$ 3D वेरिएंट्स में छोड़ दिया गया है क्योंकि 3D वॉल्यूमेट्रिक रेंडरिंग स्वाभाविक रूप से रुकावटों (occlusions) को हल करती है।)
अपीयरेंस-अवेयर K-मीन्स प्रायर (Appearance-Aware K-Means Prior): घने फीचर मैप्स पर स्पेशियल सॉफ्टमैक्स (SSM) का उपयोग करने वाले 2D DLP के विपरीत, 3D-DLP इनपुट वोक्सेल्स पर K-मीन्स क्लस्टरिंग प्रायर का उपयोग करता है। RGB वोक्सेल्स के लिए, यह क्लस्टरिंग एक संयुक्त अपीयरेंस-ज्यामिति स्पेस (CIELAB रंग और सामान्यीकृत 3D स्थिति का उपयोग करके) में लाइटनेस वेटिंग के साथ की जाती है। यह सुनिश्चित करता है कि पार्टिकल सेंटर ऑब्जेक्ट सतहों और रंग सीमाओं के साथ संरेखित हों, जो उन स्थानों की समस्या को हल करता है जहाँ SSM विफल रहता है।
एनकोडर और डिकोडर: एनकोडर 3D स्पेशियल ट्रांसफार्मर नेटवर्क (STN) का उपयोग करके निकाले गए स्थानीय क्रॉप्स से पार्टिकल एट्रिब्यूट्स का अनुमान लगाता है। डिकोडर प्रत्येक पार्टिकल को एक कैनोनिकल क्यूबिक RGBA पैच के रूप में रेंडर करता है, जिसे फिर वॉल्यूमेट्रिक कंपोजिटिंग (RGB के लिए अल्फा ब्लेंडिंग, ऑक्यूपेंसी के लिए नॉइजी-ओआर) का उपयोग करके ग्लोबल ग्रिड में संयोजित किया जाता है।
लॉस फंक्शन्स: मॉडल ELBO को अधिकतम करने के लिए प्रशिक्षित किया जाता है।
- रिकंस्ट्रक्शन लॉस: यह मीन स्क्वेर्ड एरर (MSE) को एक क्रोमा लॉस (ल्यूमिनेंस और क्रोमिनेंस को अलग करना) के साथ जोड़ता है जो केवल ऑक्यप्ड वोक्सेल्स पर लागू होता है। यह "ग्रे कोलैप्स" (gray collapse) को रोकता है, जहाँ मॉडल वास्तविक रंगों के बजाय ग्रे रंग का अनुमान लगाकर MSE को कम करने की कोशिश करता है।
- KL डाइवर्जेंस: लेटेंट पार्टिकल्स को फिक्स्ड प्रायर के विरुद्ध रेगुलराइज करता है।
- ऑब्जेक्ट स्पर्सिटी लॉस: पार्टिकल्स के स्पार्स उपयोग को प्रोत्साहित करता है।

मुख्य योगदान (Key Contributions)

प्रथम स्व-पर्यवेक्षित 3D ऑब्जेक्ट-सेंट्रिक डिकंपोजिशन: पेपर दावा करता है कि यह सीधे रंगीन 3D वोक्सेल्स पर कार्य करने वाला पहला स्व-पर्यवेक्षित ऑब्जेक्ट-सेंट्रिक सीन रिप्रजेंटेशन पेश करता है, जो RGB-D, ऑक्यूपेंसी, और RGB-वोक्सेल इनपुट्स के लिए एक एकीकृत ढांचा प्रदान करता है।
घने वोक्सेल्स के लिए पद्धतिगत नवाचार: लेखकों ने दो महत्वपूर्ण घटकों की पहचान और पुष्टि की है जो 3D-DLP को घने वोक्सेल दृश्यों पर काम करने के योग्य बनाते हैं:
- एक अपीयरेंस-अवेयर K-मीन्स कीपॉइंट प्रायर जो स्पार्स ग्रिड्स पर स्पेशियल सॉफ्टमैक्स (SSM) से बेहतर प्रदर्शन करता है।
- एक क्रोमा रिकंस्ट्रक्शन लॉस जो कलर फिडेलिटी सुनिश्चित करता है और ग्रे कोलैप्स को रोकता है।
कंट्रोलेबिलिटी और इंटरप्रिटेबिलिटी: सीखा गया लेटेंट स्पेस कंट्रोलेबल है; पार्टिकल पोजीशन और स्केल में हेरफेर सीधे सहज सीन एडिटिंग (ट्रांसलेशन और रीसाइज़िंग) में बदल जाता है, जिसके लिए किसी पर्यवेक्षण की आवश्यकता नहीं है।
डाउनस्ट्रीम रोबोटिक प्रदर्शन: लेखक एक एंटिटी-सेंट्रिक डिफ्यूजन पॉलिसी (EC-Diffuser) को अनुकूलित करते हैं ताकि यह दिखाया जा सके कि 3D-DLP पार्टिकल्स रोबोटिक मैनिपुलेशन कार्यों में 2D-पार्टिकल और वोक्सेल-ओनली बेसलाइन्स की तुलना में सुसंगत प्रदर्शन लाभ प्रदान करते हैं।

प्रयोगात्मक परिणाम (Experimental Results)

लेखक सिंथेटिक डेटासेट्स (GenericShapes, ShapeNetScenes), एक रोबोटिक सिमुलेशन डेटासेट (MimicGen), और एक वास्तविक दुनिया के बेंचमार्क (UW RGB-D Scenes Dataset v2) पर 3D-DLP का मूल्यांकन करते हैं।

सीन रिकंस्ट्रक्शन: 3D-DLP-VC, RGB वोक्सेल्स पर मास्कड PSNR में नॉन-ऑब्जेक्ट-सेंट्रिक बेसलाइन्स (डिटरमिनिस्टिक AE और VAE) को काफी पीछे छोड़ देता है। जबकि IoU स्कोर प्रतिस्पर्धी हैं, ऑब्जेक्ट-सेंट्रिक दृष्टिकोण अधिक विलगित (disentangled) और सिमेंटिक रूप से संरचित लेटेंट स्पेस प्रदान करता है, जो बेहतर एंटिटी सेपरेशन के लिए मामूली रिकंस्ट्रक्शन शार्पनेस का त्याग करता है।
एब्लेशन स्टडीज (Ablation Studies):
- स्पेशियल सॉफ्टमैक्स (SSM) को K-मीन्स प्रायर से बदलने पर स्पार्स वोक्सेल वॉल्यूम पर प्रदर्शन काफी गिर जाता है।
- क्रोमा लॉस को हटाने से "ग्रे कोलैप्स" होता है, जहाँ मॉडल वास्तविक रंगों को पुनरुत्पादित करने में विफल रहता है।
- एक निश्चित सीमा (जैसे, MimicGen के लिए 24) से अधिक पार्टिकल्स बढ़ाने पर घटते रिटर्न मिलते हैं, क्योंकि मॉडल स्वाभाविक रूप से अनावश्यक पार्टिकल्स को अनदेखा कर देता है।
इमिटेशन लर्निंग (रोबोटिक मैनिपुलेशन):
- MimicGen: 12 मल्टी-ऑब्जेक्ट कार्यों पर, 3D-DLP + EC-Diffuser ने उच्चतम औसत सफलता दर (48.1%) प्राप्त की, जिसने 2D-DLP वेरिएंट और एक डेंस वोक्सेल-ओनली बेसलाइन (EquiDiff) को पछाड़ दिया। इसने 12 में से 6 कार्यों में जीत हासिल की।
- RLBench: 10 लैंग्वेज-कंडीशन टास्क पर, 3D-DLP ने मैच-कंप्यूट बेसलाइन्स के मुकाबले 10 में से 9 कार्यों में जीत हासिल की और 10 में से 7 कार्यों पर प्रकाशित PerACT (लैंग्वेज-कंडीशन वोक्सेल) बेसलाइन को भी पछाड़ दिया।
- विफलता के मामले उन कार्यों में देखे गए जहाँ ऑब्जेक्ट्स को सीखे गए डिकंपोजिशन में स्पष्ट रूप से अलग नहीं किया गया था (जैसे, कॉफी प्रिपरेशन)।

महत्व और दावे (Significance and Claims)

यह पेपर 3D-DLP को स्व-पर्यवेक्षित 3D सीन डिकंपोजिशन और डाउनस्ट्रीम रोबोटिक कंट्रोल के बीच एक व्यावहारिक सेतु के रूप में स्थापित करता है। रंगीन 3D वोक्सेल्स पर सीधे काम करके, यह विधि बिना किसी पर्यवेक्षण के कॉम्पैक्ट, ऑब्जेक्ट-सेंट्रिक 3D लेटेंट पार्टिकल्स को सीखकर घने 3D इनपुट्स (मेमोरी तीव्रता) और 2D रिप्रजेंटेशन (ज्यामिति की कमी) की सीमाओं को संबोधित करती है। लेखक दावा करते हैं कि यह दृष्टिकोण सक्षम बनाता है:

इंटरप्रिटेबल सीन अंडरस्टैंडिंग: ऑब्जेक्ट्स और उनके 3D एट्रिब्यूट्स की स्पष्ट खोज।
कंट्रोलेबल लेटेंट एडिटिंग: पार्टिकल एट्रिब्यूट्स में हेरफेर करके नवीन सीन कॉन्फ़िगरेशन उत्पन्न करने की क्षमता।
बेहतर पॉलिसी लर्निंग: स्पष्ट 3D ऑब्जेक्ट स्ट्रक्चर की कमी वाले या मेमोरी-गहन डेंस इनपुट्स पर निर्भर बेसलाइन्स की तुलना में जटिल मल्टी-ऑब्जेक्ट मैनिपुलेशन कार्यों में प्रदर्शित लाभ।

लेखक अपनी सीमाओं को स्वीकार करते हैं, यह नोट करते हुए कि वोक्सेलाइजेशन पॉइंट क्लाउड्स की तुलना में उच्च मेमोरी मांग करता है और वर्तमान में यह विधि उन डेटासेट्स पर उत्कृष्ट है जिनमें आवर्ती ऑब्जेक्ट प्रकार और स्थिर बैकग्राउंड होते हैं, जबकि अत्यधिक गतिशील, विविध वास्तविक दुनिया के दृश्यों तक स्केल करना एक चुनौती बनी हुई है। वे भविष्य के कार्य के रूप में 3D-DLP को डायनेमिक्स और वर्ल्ड मॉडलिंग तक विस्तारित करने का सुझाव देते हैं।