CoGS: Compositional Dynamic Human-Object Scenes Gaussian Splatting from Monocular Video
CoGS एक कंपोजिशनल गॉसियन-स्प्लेटिंग फ्रेमवर्क है जो दृश्य को समन्वित आर्टिकुलेटेड मानव, रिजिड ऑब्जेक्ट और स्टैटिक बैकग्राउंड शाखाओं में विघटित करके मोनोक्यूलर वीडियो से डायनेमिक ह्यूमन-ऑब्जेक्ट इंटरेक्शन दृश्यों को पुनर्गठित करता है, जिससे मोशन एंटैंगलमेंट को रोका जाता है और एक विशेष मल्टी-स्टेज ऑप्टिमाइजेशन शेड्यूल के माध्यम से पुनर्निर्माण की सटीकता में सुधार किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक एकल वीडियो कैमरा से एक जटिल दृश्य को फिर से बनाने की कोशिश कर रहे हैं। इस वीडियो में, एक व्यक्ति एक लिविंग रूम के अंदर एक गेंद के साथ करतब (juggling) दिखाते हुए नाच रहा है।
समस्या यह है कि कैमरा पिक्सेल का एक उलझा हुआ ढेर देख रहा है। उसे यह नहीं पता कि कौन से पिक्सेल चलते हुए व्यक्ति के हैं, कौन से चलती हुई गेंद के हैं, और कौन से स्थिर कमरे के हैं। यदि आप कंप्यूटर को यह सब एक साथ सीखने के लिए सिखाने की कोशिश करते हैं, तो वह भ्रमित हो जाता है। कंप्यूटर यह सोच सकता है कि गेंद व्यक्ति के हाथ का हिस्सा है, या व्यक्ति दीवार में पिघल रहा है।
CoGS एक नया तरीका है जो इसे एक भ्रमित कैमरा ऑपरेटर के बजाय एक विशेषज्ञ फिल्म क्रू की तरह काम करके हल करता है। पूरे दृश्य को एक बड़े बकेट में सीखने के बजाय, CoGS काम को तीन अलग-अलग "अभिनेताओं" में विभाजित करता है, जिनमें से प्रत्येक की अपनी पटकथा और नियम हैं।
यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:
1. तीन अभिनेता (कंपोजिशनल ब्रान्चेस)
CoGS वीडियो को तीन स्वतंत्र परतों में विभाजित करता है:
मानव अभिनेता (लचीला डांसर):
मानव शरीर जटिल होता है; यह मुड़ता है, घूमता है और इसके कुछ हिस्से छिप जाते हैं (जैसे बॉक्स के पीछे हाथ)। CoGS इस अभिनेता को एक "मानसिक मानचित्र" (प्रायर) देता है कि एक मानव कैसा दिखता है।- उपमा: कल्पना कीजिए कि एक कठपुतली संचालक (puppeteer) जानता है कि मानव कंकाल कैसे चलता है। यदि कैमरा डिब्बे के पीछे होने के कारण कठपुतली का बायां हाथ नहीं देख पाता है, तो कठपुतली संचालक अंदाज़ा नहीं लगाता; वह शरीर रचना विज्ञान के अपने ज्ञान का उपयोग यह जानने के लिए करता है कि हाथ अभी भी वहीं है, बस छिपा हुआ है। CoSG इस "ज्ञान" का उपयोग उन रिक्त स्थानों को भरने के लिए करता है ताकि मानव एक पिघले हुए धब्बे जैसा न दिखे।
वस्तु अभिनेता (कठोर प्रॉप):
पकड़ी गई गेंद या वस्तु मानव से अलग तरह से चलती है। यह मुड़ती नहीं है; यह बस घूमती है और हवा में उड़ती है।- उपमा: यदि मानव अभिनेता वस्तु को "सोखने" की कोशिश करता है, तो गेंद ऐसी लग सकती है जैसे वह व्यक्ति की त्वचा से निकल रही हो। CoGS वस्तु को एक अलग, कठोर प्रॉप के रूप में मानता है। यह वस्तु के पथ को सख्ती से ट्रैक करता है, यह सुनिश्चित करता है कि गेंद एक गेंद बनी रहे और मानव की शर्ट या बैकग्राउंड की दीवार में न मिल जाए।
दृश्य अभिनेता (स्थिर मंच):
कमरा, फर्श और दीवारें नहीं हिलते।- उपमा: यह स्टेज सेट है। यह स्थिर रहता है जबकि अभिनेता इसके सामने चलते हैं। CoGS यह सुनिश्चित करता है कि अभिनेताओं के तेज़ी से चलने के कारण बैकग्राउंड खिंचा हुआ या विकृत न हो जाए।
2. रिहर्सल शेड्यूल (छह-चरणीय अनुकूलन)
आप एक पूर्ण ऑर्केस्ट्रा को तब तक मंच पर नहीं उतारेंगे जब तक कि संगीतकारों ने अपने व्यक्तिगत भाग का अभ्यास न कर लिया हो। CoGS चीजों को व्यवस्थित रखने के लिए एक छह-चरणीय रिहर्सल शेड्यूल का उपयोग करता है:
- सोलो प्रैक्टिस: पहले, मानव अभिनेता अपना आकार सही करने के लिए अकेले अभ्यास करता है। फिर, वस्तु अभिनेता अपना पथ सही करने के लिए अकेले अभ्यास करता है। वे अभी एक-दूसरे में हस्तक्षेप नहीं करते हैं।
- विलय (The Merge): एक बार जब वे स्थिर हो जाते हैं, तो उन्हें एक ही मंच (पूरे दृश्य) पर लाया जाता है।
- सुरक्षा जाल (The Safety Net): अंतिम प्रदर्शन के दौरान, यदि कैमरा मानव के हाथ को खो देता है, तो "मानसिक मानचित्र" (प्रायर) धीरे से हाथ को उसकी जगह पर बनाए रखता है ताकि वह गायब न हो जाए। यदि वस्तु अजीब दिखने लगती है, तो सिस्टम अपने कठोर पथ के आधार पर उसे ठीक करता है, न कि बिखरे हुए पिक्सेल के आधार पर।
3. यह बेहतर क्यों काम करता है
पिछले तरीकों ने पूरे वीडियो को एक बड़े, उलझे हुए ढेर के रूप में सीखने की कोशिश की। इससे अक्सर "घोस्टिंग" (दोहरी छवियां दिखना) या "लीकिंग" (गेंद का फर्श का हिस्सा लगना) जैसी समस्याएं हुईं।
CoGS एक विश्वास-पर-परख (trust-but-verify) प्रणाली की तरह है:
- यह छिपे हुए स्थानों को भरने के लिए मानव के "मानसिक मानचित्र" पर विश्वास करता है।
- यह सुचारू रूप से चलने के लिए वस्तु के कठोर पथ पर विश्वास करता है।
- यह सुनिश्चित करने के लिए कि रंग और प्रकाश वास्तविक दिखें, यह वास्तविक वीडियो पिक्सेल के विरुद्ध सब कुछ परखता (verify) है।
परिणाम
लेखकों ने इसे दो प्रकार के वीडियो पर परखा:
- वस्तुओं के साथ बातचीत करते लोग (जैसे टेनिस खेलना या सूटकेस ले जाना)।
- कमरे में चलते लोग (जैसे पार्क में जॉगिंग करना)।
दोनों ही मामलों में, CoSG ने पिछले तरीकों की तुलना में अधिक स्पष्ट, तीक्ष्ण और अधिक यथार्थवादी वीडियो बनाए। यह विशेष रूप से इसमें अच्छा था:
- व्यक्ति से वस्तु को अलग रखने में।
- यह सुनिश्चित करने में कि व्यक्ति के हिलने पर बैकग्राउंड विकृत न हो।
- शरीर के उन हिस्सों का पुनर्निर्माण करने में जो कैमरे से छिपे हुए थे।
संक्षेप में, CoGS कंप्यूटर को सभी टुकड़ों को आपस में मिला दिए बिना एक पहेली को हल करने के लिए मजबूर करना बंद कर देता है। इसके बजाय, यह टुकड़ों को तीन बक्सों (मानव, वस्तु, कमरा) में छाँटता है, प्रत्येक बॉक्स को हल करता है, और फिर उन्हें पूरी तरह से एक साथ जोड़ देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।