💻 computer science

ParCo-SDF: Learning Prior-Free Partial-to-Complete Signed Distance Fields of Deformable Objects

यह शोध पत्र ParCo-SDF को प्रस्तुत करता है, जो एक दो-चरणीय ढांचा (two-stage framework) है जो मौजूदा प्रायर-डिपेंडेंट (prior-dependent) विधियों की सामान्यीकरण सीमाओं को दूर करने के लिए टेम्पोरल ज्योमेट्री एनकोडिंग और FiLM-कंडीशनड SDF प्रेडिक्शन का लाभ उठाते हुए, पॉइंट-क्लाउड अवलोकनों से विरूपित वस्तुओं (deformable objects) के प्रायर-मुक्त, उच्च-सटीक आंशिक-से-पूर्ण पुनर्निर्माण (partial-to-complete reconstruction) को प्राप्त करता है।

मूल लेखक: Deokmin Hwang, Minseok Song, Daehyung Park

प्रकाशित 2026-05-29

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Deokmin Hwang, Minseok Song, Daehyung Park

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि एक पूरा रबर बैंड कैसा दिखता है, लेकिन आप एक समय में उसका केवल एक छोटा सा, बिखरा हुआ हिस्सा ही देख पा रहे हैं। शायद आपका हाथ उसके कुछ हिस्से को ढक रहा है, या रबर बैंड इतना कसकर मुड़ा हुआ है कि उसके कुछ हिस्से दूसरों के पीछे छिपे हुए हैं। यह वह समस्या है जिसका सामना रोबोट तब करते हैं जब वे रबर बैंड, रस्सी या कपड़े जैसी नरम, लचीली वस्तुओं को नियंत्रित करने की कोशिश करते हैं।

यह शोध पत्र ParCo-SDF नामक एक नया टूल पेश करता है जो रोबोट को "खाली जगहों को भरने" (fill in the blanks) में मदद करता है ताकि वह पूरी वस्तु को देख सके, भले ही उसका अधिकांश हिस्सा छिपा हुआ हो।

यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

समस्या: "गायब टुकड़ों वाला पहेली (Puzzle)"

आमतौर पर, जब कोई रोबक रबर बैंड को देखता है, तो उसे केवल बिंदुओं का एक बिखरा हुआ समूह (जैसे हवा में उड़ते धूल के कण) दिखाई देता है, जो उन हिस्सों से आता है जो उसके अपने हाथ या वस्तु के अपने मोड़ों द्वारा बाधित नहीं हैं।

पुराने तरीके: पिछले प्रयास किसी पहेली के आकार का अनुमान लगाने के लिए पहेली की एक विशिष्ट तस्वीर को याद रखने जैसे थे। यदि रबर बैंड किसी ऐसे तरीके से मुड़ जाता जिसे रोबोट ने पहले नहीं देखा था, तो रोबोट भ्रमित हो जाता था। वे "चीट शीट्स" (आकार के पूर्व-निर्धारित ज्ञान/shape priors) पर निर्भर थे जो यह मान लेते थे कि वस्तु एक निश्चित तरीके से दिखेगी, जो अप्रत्याशित गतिविधियों के मामले में काम नहीं करता था।

समाधान: ParCo-SDF

लेखकों ने एक ऐसा सिस्टम बनाया है जिसे किसी चीट शीट की आवश्यकता नहीं है। इसके बजाय, यह एक फोटो के बजाय एक मूवी देखने वाले जासूस की तरह काम करता है।

1. "समय की यात्रा करने वाला जासूस" (Temporal Geometry Encoding)

केवल एक स्थिर क्षण को देखने के बजाय, ParCo-SDF रबर बैंड के हिलने-डुलने की एक छोटी वीडियो क्लिप देखता है।

उपमा: कल्पना कीजिए कि आप झाड़ी में छिपे एक सांप के आकार का अनुमान लगाने की कोशिश कर रहे हैं। यदि आप केवल एक सेकंड के लिए उसकी पूंछ देखते हैं, तो आपको लग सकता है कि वह एक छड़ी है। लेकिन यदि आप उसे पाँच सेकंड तक हिलते हुए देखते हैं, तो आपको एहसास होगा, "आह, यह एक सांप है!"
यह कैसे काम करता है: सिस्टम आंशिक दृश्यों (समय की एक स्लाइडिंग विंडो) का एक क्रम लेता है। यह इन झलकियों को जोड़ने के लिए एक विशेष "अटेंशन" तंत्र का उपयोग करता है। यह सीखता है कि सिर्फ इसलिए कि कोई हिस्सा अभी छिपा हुआ है, इसका मतलब यह नहीं है कि वह एक सेकंड पहले या एक सेकंड बाद दिखाई नहीं देगा। यह इसे बिना यह याद रखे कि वस्तु को कैसा "दिखना चाहिए", पूरे आकार को पुनर्गठित करने की अनुमति देता है।

2. "आकार बदलने वाली मिट्टी" (FiLM-Conditioned SDF)

एक बार जब सिस्टम वीडियो से सभी सुराग एकत्र कर लेता है, तो उसे 3D मॉडल बनाना होता है।

उपमा: एक मानक 3D प्रिंटर के बारे में सोचें जो केवल एक विशिष्ट आकार ही प्रिंट कर सकता है। अलग आकार प्रिंट करने के लिए, आपको आमतौर पर एक पूरी नई मशीन की आवश्यकता होती है। ParCo-SDF एक जादुई मिट्टी के पिंड की तरह है जो एक "रिमोट कंट्रोल" सिग्नल के आधार पर तुरंत अपना टेक्सचर और आकार बदल सकता है।
यह कैसे काम करता है: सिस्टम एक "रिमोट कंट्रोल" (जिसे लेटेंट कोड कहा जाता है) का उपयोग करता है जो "समय की यात्रा करने वाले जासूस" चरण से प्राप्त होता है। यह सिग्नल मिट्टी (न्यूरल नेटवर्क) को ठीक से बताता है कि उसे वर्तमान रबर बैंड के आकार में खुद को कैसे ढालना है।
यह बेहतर क्यों है: पुराने तरीके हर बार मिट्टी के लिए पूरा ब्लूप्रिंट (नक्शा) अनुमानित करने की कोशिश करते थे, जो धीमा और अस्थिर था। ParCo-SDF बस मिट्टी को कुछ "एडजस्टमेंट नॉब्स" (शिफ्ट पैरामीटर्स) भेजता है। यह सिस्टम को तेज़, स्थिर और जटिल घुमावों को बिना क्रैश हुए संभालने में सक्षम बनाता है।

परिणाम: कोहरे के पार देखना

शोधकर्ताओं ने कंप्यूटर सिमुलेशन में रबर बैंड के मुड़ने और खिंचने के एक डेटासेट पर इसका परीक्षण किया।

चुनौती: रबर बैंड अक्सर रोबोट के हाथ या उनके अपने लूप्स द्वारा भारी रूप से बाधित थे (गंभीर अवरोध/occlusion)।
परिणाम: ParCo-SDF ने रबर बैंड के पूर्ण, चिकने आकार को सफलतापूर्वक पुनर्गठित किया, भले ही उसका 80% हिस्सा छिपा हुआ था।
तुलना: पिछले सर्वश्रेष्ठ तरीके (INR-DOM) की तुलना में, ParCo-SDF ने कम गलतियाँ कीं। पुराना तरीका अक्सर एक निश्चित टेम्पलेट के आधार पर अनुमान लगाकर रबर बैंड के हिस्सों को गलत तरीके से आपस में "जोड़ने" की कोशिश करता था। ParCo-SDF ने, गति को देखकर, यह जान लिया कि टोपोलॉजी (लूप संरचना) बरकरार है और उसने नकली कनेक्शन नहीं बनाए।

संक्षेप में

ParCo-SDF एक रोबोट विज़न सिस्टम है जो "गायब टुकड़े" की समस्या को एक स्थिर तस्वीर को देखने के बजाय वस्तु की गति को समय के साथ देखकर हल करता है। यह एक लचीले, समायोजने योग्य 3D मॉडल का उपयोग करता है जो पिछले कुछ सेकंडों में जो देखा गया है, उसके आधार पर तुरंत अपना आकार बदल सकता है, जिससे यह पूरी तरह से छिपे होने पर भी पूरी वस्तु को देखने में सक्षम होता है।

तकनीकी सारांश: ParCo-SDF

समस्या विवरण (Problem Statement)
विकृत वस्तु हेरफेर (Deformable Object Manipulation - DOM) महत्वपूर्ण चुनौतियों का सामना करता है क्योंकि विकृत वस्तुओं (DOs) में अंतर्निहित अनंत डिग्री ऑफ फ्रीडम (degrees of freedom) और निरंतर ज्यामितीय परिवर्तन होते हैं। ये गुण अक्सर गंभीर स्व-अवरोधन (self-occlusions) और रोबोट-प्रेरित अवरोधन (robot-induced occlusions) की ओर ले जाते हैं, जिससे नियंत्रण के लिए आवश्यक महत्वपूर्ण अवस्था संबंधी जानकारी बाधित होती है। जबकि हालिया दृष्टिकोण निरंतर सतहों को मॉडल करने के लिए 'इम्प्लिसिट न्यूरल रिप्रेजेंटेशन' (Implicit Neural Representations - INRs) का उपयोग करते हैं, वे अक्सर पूर्ण ज्यामिति को आंशिक अवलोकनों से निकालने और प्रशिक्षण को स्थिर करने के लिए वस्तु-विशिष्ट आकार प्रायर (जैसे पूर्व-निर्धारित टेम्पलेट या समरूपता) पर निर्भर करते हैं। ऐसे प्रायर अनदेखे विरूपण परिदृश्यों में सामान्यीकरण (generalization) को सीमित करते हैं। इसके अलावा, मौजूदा कंडीशनिंग तंत्र, जैसे कि इनपुट कॉनकैटिनेशन (input concatenation) या हाइपरनेटवर्क्स, विविध उदाहरणों और निरंतर विरूपण अवस्थाओं को संभालने के दौरान स्केलेबिलिटी, प्रतिनिधित्व क्षमता या प्रशिक्षण स्थिरता के साथ संघर्ष करते हैं। संबोधित किया गया मुख्य मुद्दा यह है कि बिना किसी स्पष्ट आकार प्रायर पर निर्भर हुए, आंशिक, अस्थायी रूप से क्रमबद्ध पॉइंट-क्लाउड अवलोकनों से पूर्ण, उच्च-सटीकता वाले साइन्ड डिस्टेंस फील्ड्स (Signed Distance Fields - SDFs) का पुनर्निर्माण करना है।

कार्यप्रणाली (Methodology): ParCo-SDF
लेखक ParCo-SDF का प्रस्ताव करते हैं, जो एक दो-चरणीय फ्रेमवर्क है जिसे प्रायर-मुक्त (prior-free) आंशिक-से-पूर्ण SDF पुनर्निर्माण के लिए डिज़ाइन किया गया है। यह आर्किटेक्चर एक साझा इम्पलिसिट नेटवर्क को आंशिक अवलोकनों $\{P_{t-T+1}, \dots, P_t\}$ की एक स्लाइडिंग विंडो से प्राप्त लेटेंट कोड (latent code) पर आधारित करता है।

अस्थायी ज्यामिति एन्कोडिंग (Temporal Geometry Encoding - Stage 1):
कच्चे पॉइंट सेट्स को एकत्रित करने के बजाय, जो अनियमित सैंपलिंग के प्रति संवेदनशील है, एनकोडर अवलोकनों को एक संक्षिप्त लेटेंट स्पेस में बदल देता है।

पॉइंट-लेवल फीचर लिफ्टिंग (Point-level Feature Lifting): स्थानिक अभिव्यक्ति को बढ़ाने के लिए कच्चे निर्देशांकों (coordinates) को एक सीख योग्य फूरियर-फीचर मैपिंग का उपयोग करके उच्च-आयामी स्थान में मैप किया जाता है।
स्थानीय ज्यामितीय एन्कोडिंग (Local Geometric Encoding): एक डायनेमिक ग्राफ कन्वोल्यूशनल न्यूरल नेटवर्क (DGCNN) प्रत्येक लिफ्टेड ऑब्जर्वेशन को प्रोसेस करता है ताकि एक क्रम-अपरिवर्तनीय (permutation-invariant), ज्यामिति-जागरूक लेटेंट कोड ( $\tilde{z}_i$ ) उत्पन्न किया जा सके जो स्थानीय आंशिक संरचनाओं को कैप्चर करता है।
अस्थायी एकत्रीकरण (Temporal Aggregation): एक सेल्फ-अटेंशन तंत्र अवलोकन-स्तर के कोड्स के अनुक्रम को एकत्रित करता है ताकि समय $t$ पर विरूपण अवस्था का अनुमान लगाया जा सके, जिससे अंतिम लेटेंट कोड $z_t$ प्राप्त होता है। यह मॉडल को स्पष्ट प्रायर के बिना अनुक्रम में संरचनात्मक समानताओं को कैप्चर करने की अनुमति देता है।

FiLM-कंडीशन्ड SDF प्रेडिक्शन (FiLM-Conditioned SDF Prediction - Stage 2):
लेटेंट कोड $z_t$ , फीचर-वाइज लीनियर मॉड्यूलेशन (Feature-wise Linear Modulation - FiLM) के माध्यम से एक साझा इम्पलिसिट SDF नेटवर्क (SIREN आर्किटेक्चर पर आधारित) को कंडिशन करता है।

शिफ्ट-ओनली मॉड्यूलेशन (Shift-Only Modulation): अनुकूलन स्थिरता में सुधार करने और साइनुसोइडल प्री-एक्टिवेशन्स को बढ़ाने से बचने के लिए, मॉड्यूलेटर लेयर-वाइज शिफ्ट पैरामीटर्स ( $\beta^{(\ell)}$ ) की भविष्यवाणी करता है, न कि स्केलिंग फैक्टर्स की।
पैरामीटर दक्षता (Parameter Efficiency): हाइपरनेटवर्क्स के विपरीत जो पूरे वेट मैट्रिसेस (जिससे द्विघात पैरामीटर वृद्धि होती है) की भविष्यवाणी करते हैं, यह दृष्टिकोण शिफ्ट पैरामीटर्स की भविष्यवाणी करता है जो नेटवर्क की चौड़ाई के साथ रैखिक रूप से स्केल करते हैं। यह स्थिर प्रशिक्षण के साथ एक बड़े इम्पलिसिट नेटवर्क की क्षमता को सक्षम बनाता है।
प्रशिक्षण उद्देश्य (Training Objective): मॉडल को तीन लॉसों के भारित योग (weighted sum) का उपयोग करके प्रशिक्षित किया जाता है:
- सरफेस सुपरविजन ( $L_{surface}$ ): स्पार्स (sparse), अत्यधिक विकृत कॉन्फ़िगरेशन में क्लास असंतुलन को संभालने के लिए फोकल लॉस फॉर्मूलेशन का उपयोग करके ज़ीरो-लेवल सेट निरंतरता और सही सरफेस नॉर्मल्स को लागू करता है।
- ईकल रेगुलराइजेशन ( $L_{eik}$ ): ऑफ-सरफेस पॉइंट्स पर SDF प्रॉपर्टी $\|\nabla f_\theta(x)\| = 1$ को लागू करता है।
- लेटेंट स्पेस रेगुलराइजेशन ( $L_z$ ): अनबाउंडेड ग्रोथ को रोकने और सामान्यीकरण में सुधार के लिए लेटेंट कोड के यूक्लिडियन नॉर्म को दंडित करता है।

मुख्य योगदान (Key Contributions)

प्रायर-मुक्त पुनर्निर्माण (Prior-Free Reconstruction): यह विधि बिना किसी वस्तु-विशिष्ट आकार प्रायर पर निर्भर हुए मजबूत, आंशिक-से-पूर्ण ज्यामिति पुनर्निर्माण प्राप्त करती है, जिससे अनदेखी संरचनाओं और विरूपणों के लिए सामान्यीकरण संभव होता है।
अस्थायी ज्यामिति एन्कोडिंग (Temporal Geometry Encoding): सेल्फ-अटेंशन के माध्यम से आंशिक अवलोकनों के अनुक्रम को एकत्रित करके, फ्रेमवर्क उन अवरोधों (occlusions) को हल करने के लिए आवश्यक संरचनात्मक जानकारी कैप्चर करता है जो एकल फ्रेम में संदिग्ध हो सकते हैं।
स्थिर, अभिव्यंजक कंडीशनिंग (Stable, Expressive Conditioning): एक FiLM-आधारित शिफ्ट-ओनली मॉड्यूलेशन तंत्र का परिचय एक बड़े साझा इम्पलिसिट नेटवर्क को स्थिर प्रशिक्षण के साथ सक्षम करता है, जो हाइपरनेटवर्क-आधारित कंडीशनिंग की स्केलेबिलिटी और अस्थिरता की समस्याओं को दूर करता है।
अवरोध के प्रति मजबूती (Robustness to Occlusion): फ्रेमवर्क को विशेष रूप से विकृत वस्तु हेरफेर में होने वाले गंभीर स्व-अवरोधन और रोबोट-प्रेरित अवरोधन को संभालने के लिए डिज़ाइन किया गया है।

प्रायोगिक परिणाम (Experimental Results)
इस पद्धति का मूल्यांकन Isaac Sim में जनरेट किए गए रबर बैंड मैनिपुलेशन डेटासेट पर किया गया, जिसमें खिंचाव (elongation), झुकना (bending) और मरोड़ (twisting) वाले अनुक्रम शामिल थे। मॉडल को चार अनुक्रमों पर प्रशिक्षित किया गया और एक होल्ड-आउट अनुक्रम पर मूल्यांकन किया गया जिसमें अनदेखी विरूपण प्रक्षेपवक्र (deformation trajectories) थीं।

मेट्रिक्स (Metrics): प्रदर्शन को ज्यामितीय निष्ठा के लिए चैमर डिस्टेंस (Chamfer Distance - CD) और टोपोलॉजिकल शुद्धता (genus preservation) के लिए टोपोलॉजी सक्सेस रेट (Topology Success Rate - TSR) के माध्यम से मापा गया।
तुलना (Comparison): ParCo-SDF ने स्टेट-ऑफ-द-आर्ट बेसलाइन, INR-DOM (जो हाइपरनेटवर्क और स्केलेटन लॉस का उपयोग करता है) को पछाड़ दिया।
- ParCo-SDF ने CD को 23.6% कम किया और TSR में 21.9% सुधार किया।
- बेसलाइन (INR-DOM) ने पुनर्निर्माण त्रुटियों में उच्च विचरण (variance) प्रदर्शित किया, जो अलग-अलग अवरोध पैटर्न के तहत अस्थिरता का सुझाव देता है, जबकि ParCo-SDF ने काफी कम विचरण दिखाया।
एब्लेशन (Ablation): अस्थायी एकत्रीकरण परतों (Par-Co-SDF-T) को हटाने से प्रदर्शन में अंतर आया, जो आंशिक अवलोकनों से पूर्ण टोपोलॉजी का अनुमान लगाने के लिए अस्थायी संकेतों की महत्वपूर्ण भूमिका की पुष्टि करता है।
गुणात्मक (Qualitative): गंभीर अवरोध के मामलों में, ParCo-SDF ने रबर बैंड की टोरस टोपोलॉजी (torus topology) को सफलतापूर्वक पुनर्गठित किया, जबकि बेसलाइन अक्सर स्प्यूरियस कनेक्शन और सरफेस आर्टिफैक्ट्स उत्पन्न करता था।

महत्व और दावे (Significance and Claims)
पेपर का दावा है कि ParCo-SDF प्रायर-मुक्त विकृत ज्यामिति पुनर्निर्माण के लिए एक आशाजनक आधार प्रदान करता है। अस्थायी ज्यामिति एन्कोडिंग और FiLM-आधारित कंडीशनिंग का लाभ उठाकर, यह विधि गंभीर अवरोधों और पहले से अनदेखी विरूपण अवस्थाओं के तहत मजबूत, उच्च-सटीकता वाला पुनर्निर्माण प्राप्त करती है। लेखक नोट करते हैं कि हालांकि वर्तमान प्रयोग सिमुलेशन और एक एकल वस्तु श्रेणी (रबर बैंड) तक सीमित हैं, फ्रेमवर्क मौजूदा INR-आधारित दृष्टिकोणों में सामान्यीकरण और स्थिरता में पाई जाने वाली मौलिक सीमाओं को संबोधित करता है। भविष्य के कार्य के रूप में विविध विकृत वस्तुओं और वास्तविक दुनिया के रोबोटिक हेरफेर परिदृश्यों में सामान्यीकरण की जांच करने की पहचान की गई है।