Generating Humanless Environment Walkthroughs from Egocentric Walking Tour Videos
यह शोध पत्र एक ऐसी जनरेटिव पद्धति प्रस्तुत करता है जो एक अर्ध-सिंथेटिक (semi-synthetic) डेटासेट और एक फाइन-ट्यून्ड वीडियो डिफ्यूजन मॉडल का उपयोग करके, ईगोसेंट्रिक वॉकिंग टूर वीडियो से मनुष्यों और उनकी छायाओं को यथार्थवादी रूप से हटाने के लिए किया जाता है, जिससे उच्च गुणवत्ता वाले मानव-रहित 3D/4D वातावरण मॉडल का निर्माण संभव हो पाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कैमरा पकड़े हुए हैं और टोक्यो के एक व्यस्त चौक, मराकेश के एक हलचल भरे बाजार, या पेरिस की एक शांत सड़क से गुजर रहे हैं। आप इस वीडियो को सहेजकर उस जगह का एक बेहतरीन, डिजिटल 3D मॉडल बनाना चाहते हैं—शायद किसी वीडियो गेम के लिए, किसी रोबोट के नेविगेशन के लिए, या वर्चुअल टूर के लिए।
लेकिन एक समस्या है: वीडियो लोगों से भरा हुआ है।
हर बार जब आप चलते हैं, तो अजनबी आपके रास्ते में आ जाते हैं, इमारतों, पेड़ों और ज़मीन को देखने के आपके दृश्य को बाधित करते हैं। यदि आप इस अव्यवस्थता से भरा फुटेज उपयोग करके 3D मॉडल बनाने की कोशिश करते हैं, तो कंप्यूटर भ्रमित हो जाता है। उसे लगता है कि लोग इमारत का हिस्सा हैं, या वह रास्ता भटक जाता है क्योंकि दृश्य बार-बार बदल रहा है। आप शहर के "कंकाल" (skeleton) की एक साफ तस्वीर नहीं ले पाते।
यह शोध पत्र एक समाधान पेश करता है जिसे CrowdEraser कहा जाता है। इसे एक "वीडियो के लिए जादुई फोटोशॉप" के रूप में समझें जो न केवल लोगों को काटता है, बल्कि उनके पीछे की दुनिया को इतनी सटीकता से पुनर्निर्मित (rebuild) करता है कि आपको कभी पता ही नहीं चलेगा कि वहां कभी कोई था भी।
इसे कैसे किया गया, यहाँ सरल चरणों में दिया गया है:
1. समस्या: "भीड़भाड़ वाला कमरा" वाली उपमा
कल्पना कीजिए कि आप दीवार पर लगी एक सुंदर पेंटिंग की फोटो लेने की कोशिश कर रहे हैं, लेकिन सौ लोग उसके सामने खड़े होकर हाथ हिला रहे हैं। यदि आप उन्हें हटाने की कोशिश करते हैं, तो आप शायद वहां एक खाली सफेद छेद या एक धुंधला सा धब्बा छोड़ देंगे।
मौजूदा AI उपकरण (जैसे कि इस अध्ययन से पहले उपयोग किए जाने वाले उपकरण) दूर खड़े एक अकेले व्यक्ति को हटाने में अच्छे होते हैं। लेकिन जब कैमरा ज़मीन के करीब होता है (जैसे कि चलते समय) और सड़क भीड़ से भरी होती है, तो वे उपकरण विफल हो जाते हैं। वे अजीब छायाएं, धुंधले धब्बे छोड़ देते हैं, या वे गलती से खाली स्थान में नकली लोग या वस्तुएं "कल्पना" (hallucinate) कर लेते हैं।
2. समाधान: "फ्रेंकेंस्टीन" डेटासेट
कंप्यूटर को यह सिखाने के लिए कि इसे कैसे ठीक किया जाए, आपको आमतौर पर एक "पहले" और एक "बाद" का वीडियो चाहिए होता है। आपको लोगों के साथ वाली एक सड़क का वीडियो चाहिए, और उसी सड़क का ठीक वैसा ही वीडियो जिसमें कोई न हो।
चुनौती: आप एक ही सड़क को दो बार शूट नहीं कर सकते। आप 100 लोगों को एक ही जगह स्थिर रहने, फिर गायब होने और फिर बिल्कुल उसी कैमरा मूवमेंट और लाइटिंग के साथ खाली सड़क को शूट करने के लिए नहीं कह सकते। यह असंभव है।
चतुर समाधान: शोधकर्ताओं ने एक Semi-Synthetic Dataset बनाया (आइए इसे "EgoCrowds" कहें)।
- बैकग्राउंड: उन्होंने दुनिया भर की खाली सड़कों (या बहुत कम लोगों वाली सड़कों) के सैकड़ों वीडियो खोजे।
- फोरग्राउंड: उन्होंने चलते हुए लोगों के वीडियो खोजे।
- जादुई मिश्रण: उन्होंने लोगों को खाली बैकग्राउंड पर "कट और पेस्ट" करने के लिए कंप्यूटर का उपयोग किया।
- शैडो ट्रिक (परछाई का कमाल): केवल एक व्यक्ति को पेस्ट करना नकली दिखता है क्योंकि वे परछाई नहीं डालते। शोधकर्ताओं ने वास्तविक दिखने वाली छायाओं को सिम्युलेट करने के लिए एक विशेष स्क्रिप्ट लिखी जो बिल्कुल असली धूप की तरह चलती और खिंचती है।
अब, कंप्यूटर के पास एक आदर्श शिक्षक है: वह "नकली" भीड़ वाला वीडियो देखता है और जानता है कि उसके नीचे वास्तव में खाली बैकग्राउंड कैसा दिखना चाहिए।
3. प्रशिक्षण: AI को लोगों को "अनदेखा" करना सिखाना
उन्होंने एक शक्तिशाली AI मॉडल (जिसे Casper कहा जाता है, जो एक बहुत ही स्मार्ट वीडियो एडिटर की तरह है) को इस "फ्रेंकेंस्टीन" डेटासेट पर प्रशिक्षित किया।
- पाठ: "यहाँ एक व्यक्ति और उसकी छाया वाला वीडियो है। अब, मुझे बताओ कि वह वीडियो कैसा दिखेगा यदि तुम उन्हें मिटा दो।"
- परिणाम: AI ने न केवल व्यक्ति को हटाना सीखा, बल्कि उनके पीछे की दुनिया का पुनर्निर्माण करना भी सीखा। इसने सीखा कि यदि कोई व्यक्ति ईंट की दीवार को रोकता है, तो दीवार उनके पीछे भी जारी रहती है। यदि कोई व्यक्ति फुटपाथ पर छाया डालता है, तो छाया हटने के बाद भी फुटपाथ वहीं रहता है।
4. जादुई टूल: CrowdEraser
अंतिम उत्पाद एक टूल है जिसे CrowdEraser कहा जाता है।
- इनपुट: आप इसे एक अव्यवस्थित वॉकिंग टूर वीडियो और एक मास्क (लोगों के स्थान का डिजिटल आउटलाइन) देते हैं।
- प्रक्रिया: AI कैमरे की गति और आसपास के पिक्सेल को देखकर अनुमान लगाता है कि क्या छिपा हुआ है।
- आउटपुट: यह आपको एक बिल्कुल नया वीडियो देता है जहाँ लोग और उनकी छायाएं गायब हैं, और उनकी जगह एक निर्बाध, यथार्थवादी खाली सड़क आ गई है।
5. यह क्यों महत्वपूर्ण है: "घोस्ट सिटी" (भूतिया शहर)
शोधकर्ताओं ने परीक्षण किया कि उनके नए "मानव-मुक्त" वीडियो को एक 3D पुनर्निर्माण प्रणाली में डालने पर क्या होता है।
- पहले: जब उन्होंने मूल भीड़भाड़ वाले वीडियो का उपयोग किया, तो 3D मॉडल टूटा हुआ, हिलता हुआ और छेदों से भरा था क्योंकि कंप्यूटर इस बात पर सहमत नहीं हो पा रहा था कि इमारतें कैसी दिखती हैं।
- बाद में: जब उन्होंने CrowdEraser वीडियो का उपयोग किया, तो 3D मॉडल ठोस, विस्तृत और स्थिर था। ऐसा लग रहा था जैसे वे एक "घोस्ट सिटी" से गुजरे हों जहाँ हर कोई गायब हो गया, और पीछे केवल वास्तुकला (architecture) रह गई।
सारांश
CrowdEraser को वीडियो के लिए एक टाइम मशीन के रूप में समझें। यह एक अराजक, भीड़भाड़ वाले क्षण को लेता है और लोगों को अस्तित्व से मिटा देता है, उन अंतरालों को उस पूर्ण वास्तविकता से भर देता है जो उनके नीचे छिपी हुई थी। यह हमें वास्तविक दुनिया के अव्यवस्थित YouTube वॉकिंग टूर को रोबोट, वीडियो गेम और वर्चुअल दुनिया के लिए साफ, उपयोगी ब्लूप्रिंट में बदलने की अनुमति देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।