MeSS: City Mesh-Guided Outdoor Scene Generation with Cross-View Consistent Diffusion
यह शोध पत्र MeSS को प्रस्तुत करता है, जो एक नवीन ढांचा है जो उच्च गुणवत्ता वाले, शैली-संगत बाहरी दृश्यों को वर्चुअल नेविगेशन और स्वायत्त ड्राइविंग के लिए उत्पन्न करने हेतु सिटी मेश मॉडल्स को ज्यामितीय पूर्ववृत्त (geometric priors) के रूप में उपयोग करता है और क्रॉस-व्यू कंसिस्टेंसी मॉड्यूल के साथ एक मल्टी-स्टेज इमेज डिफ्यूजन पाइपलाइन का उपयोग करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक वास्तविक शहर का एक आदर्श, चलने योग्य डिजिटल ट्विन (digital twin) बनाने की कोशिश कर रहे हैं। आपके पास ब्लूप्रिंट हैं—हर इमारत, सड़क और पेड़ के 3D आकार—लेकिन वे सभी एक सपाट, उबाऊ ग्रे रंग से रंगे हुए हैं। वे मिट्टी के उन मॉडलों की तरह दिखते हैं जिन्हें अभी पेंट करने की प्रतीक्षा है। यह "मेश मॉडल" (mesh models) की दुनिया है, जो शहरों के लिए आम होती जा रही है, लेकिन इनमें उन वास्तविक बनावटों (जैसे ईंट, कांच और ग्राफिटी) की कमी है जो एक शहर को जीवंत बनाती हैं। बिना इन टेक्सचर के, आप इनका उपयोग वर्चुअल रियलिटी टूर के लिए या सेल्फ-ड्राइविंग कारों को प्रशिक्षित करने के लिए नहीं कर सकते, क्योंकि इन प्रणालियों को दुनिया को ठीक वैसे ही देखने की आवश्यकता होती है जैसी वह वास्तव में दिखती है, न कि केवल आकारों के एक संग्रह के रूप में।
इसे ठीक करने के लिए, वैज्ञानिकों ने "जेनरेटिव एआई" (generative AI) का उपयोग करने की कोशिश की है, विशेष रूप से एक प्रकार के मॉडल का जिसे "डिफ्यूजन मॉडल" (diffusion model) कहा जाता है। इन मॉडल्स को ऐसे प्रतिभाशाली कलाकारों के रूप में सोचें जो एक साधारण विवरण से एक चित्र पेंट कर सकते हैं। हालाँकि, जब आप इन कलाकारों से एक पूरी शहर की सड़क को पेंट करने के लिए कहते हैं जब आप उसके माध्यम से चलते हैं, तो वे अक्सर भ्रमित हो जाते हैं। वे एक फ्रेम में इमारत के बाईं ओर एक दरवाजा पेंट कर सकते हैं, और फिर अगले फ्रेम में अचानक उसे दाईं ओर पेंट कर सकते हैं, या जैसे-जैसे आप आगे बढ़ते हैं, आसमान का रंग बदल सकते हैं। इसे "ड्रिफ्ट" (drift) कहा जाता है। दूसरी बड़ी समस्या यह है कि ये कलाकार अक्सर ब्लूप्रिंट को पूरी तरह से अनदेखा कर देते हैं, ऐसी इमारतें पेंट करते हैं जो हवा में तैरती हैं या जो शहर के वास्तविक आकार से मेल नहीं खातीं। लक्ष्य यह है कि एक एआई कलाकार को एक ऐसा शहर पेंट करना सिखाया जाए जो वास्तविक दिखे, चलते समय सुसंगत (consistent) रहे, और इमारतों के 3D आकारों के साथ पूरी तरह से चिपका रहे।
यहाँ आता है MeSS (Mesh-Guided Scene Synthesis), एक नई विधि जिसे हुवावे (Huawei), टेक्निकल यूनिवर्सिटी ऑफ म्यूनिख और अन्य शोधकर्ताओं द्वारा विकसित किया गया है। MeSS को एक बहुत ही स्मार्ट निर्माण दल (construction crew) के रूप में समझें जो केवल एक चित्र नहीं बनाता; बल्कि यह एक ऐसा 3D संसार बनाता है जिसके माध्यम से आप वास्तव में चल सकते हैं। शहर के "कंकाल" (skeleton)—टेक्सचरलेस मेश मॉडल—से शुरुआत करके, MeSS इसके बजाय एक सख्त मार्गदर्शक के रूप में कार्य करता है।
MeSS का असली रहस्य एक अवधारणा है जिसे लेखक "कंट्रोल-डिस्ट्रीब्यूशन मैच" (control-distribution match) कहते हैं। कल्पना कीजिए कि आप एक रोबोट को पेंट करना सिखा रहे हैं। यदि आप रोबोट को वास्तविक शहरों की तस्वीरों का उपयोग करके प्रशिक्षित करते हैं, तो वह सीखता है कि वास्तविक कैमरे दुनिया को कैसे देखते हैं। लेकिन यदि आप फिर उसे एक कंप्यूटर-जनरेटेड 3D मॉडल के आधार पर पेंट करने के लिए कहते हैं, तो वह भ्रमित हो जाता है क्योंकि "डेप्थ" (depth) और "शैडो" (shadows) अलग दिखते हैं। MeSS इस समस्या को हल करता है क्योंकि यह अपने "ControlNet" (रोबोट का निर्देश मैनुअल) को सीधे शहर के मेश के कंप्यूटर-जनरेटेड डेप्थ और आकारों पर प्रशिक्षित करता है। इसका मतलब है कि रोबोट शहर के विशिष्ट ब्लूप्रिंट की भाषा पढ़ने में विशेषज्ञ है। जब यह पेंट करना शुरू करता है, तो यह अनुमान नहीं लगाता; इसे पता होता है कि दीवारें और खिड़कियां कहाँ होनी चाहिए क्योंकि इसे उसी प्रकार के डेटा पर प्रशिक्षित किया गया है जिसका उपयोग यह पेंट करने के लिए कर रहा है।
शहर को एक लंबी सड़क पर यात्रा करते समय सुसंगत बनाए रखने के लिए (उस "ड्रिफ्ट" की समस्या से बचने के लिए), MeSS एक चतुर दो-चरणीय प्रक्रिया का उपयोग करता है। पहले, यह एक मास्टर पेंटर की तरह कार्य करता है जो "की फ्रेम्स" (key frames)—सड़क के हर 20 मीटर पर महत्वपूर्ण स्नैपशॉट—की एक श्रृंखला बनाता है। यह एक के बाद एक इन्हें पेंट करता है, यह सुनिश्चित करने के लिए कि पिछले पेंटिंग का उपयोग संदर्भ के रूप में किया जाए ताकि शैली न बदले। फिर, यह इन स्नैपशॉट्स के बीच के अंतराल को भरने के लिए "अपीयरेंस गाइडेड इनपेंटिंग" (Appearance Guided Inpainting) नामक तकनीक का उपयोग करता है। कल्पना कीजिए कि आपके पास सड़क के कोने की एक धुंधली फोटो है; यह टूल फोटो के धुंधले हिस्सों के आसपास के स्पष्ट हिस्सों को देखता है और उनका उपयोग धुंधले स्थानों को ठीक करने के लिए करता है, जिससे यह सुनिश्चित होता है कि टेक्सचर (जैसे ईंट की दीवार का पैटर्न) पूरी तरह से मेल खाते हैं।
अंत में, टीम एक "ग्लोबल कंसिस्टेंसी अलाइनमेंट" (Global Consistency Alignment) चरण जोड़ती है। कभी-कभी, अच्छी योजना के बावजूद, सड़क का एक हिस्सा दूसरे हिस्से की तुलना में थोड़ा अधिक चमकीला या गहरा हो सकता है, जैसे कि टुकड़ों में एडिट की गई कोई फोटो। यह चरण एक मूवी स्टूडियो के कलरिस्ट की तरह कार्य करता है, जो इन अंतरों को सुचारू बनाता है ताकि पूरी यात्रा एक निरंतर, निर्बाध वीडियो की तरह महसूस हो।
इसके परिणाम प्रभावशाली हैं। 200 मीटर के एक विशाल शहर के पथ पर एक परीक्षण में, MeSS ने मौजूदा सर्वोत्तम विधियों की तुलना में दृश्य विसंगतियों (visual inconsistencies) को 31% कम किया और उत्पन्न छवियों की समग्र गुणवत्ता में काफी सुधार किया। सबसे रोमांचक बात यह है कि शोधकर्ताओं ने बिना एआई को पुन: प्रशिक्षित किए, म्यूनिख के एक वास्तविक शहर मॉडल (एक "LoD3" मेश) पर MeSS का परीक्षण किया। सिस्टम ने वास्तविक इमारतों के दरवाजे और खिड़कियों के साथ पूरी तरह से संरेखित होने वाले यथार्थवादी अग्रभाग (facades) सफलतापूर्वक पेंट किए, जिससे यह साबित हुआ कि यह "मेश-गाइडेड" दृष्टिकोण वास्तविक शहरों पर भी काम करता है, न कि केवल कंप्यूटर सिमुलेशन पर।
संक्षेप में, MeSS दिखाता है कि यदि आप एक एआई कलाकार को सही ब्लूप्रिंट देते हैं और उसे उन्हें पढ़ना सिखाते हैं, तो वह एक ऐसा आभासी शहर बना सकता है जो न केवल सुंदर है बल्कि ज्यामितीय रूप से भी सटीक और सुसंगत है, जो बेहतर वर्चुअल टूर और सुरक्षित सेल्फ-ड्राइविंग कार ट्रेनिंग के द्वार खोलता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।