InfiniVerse: Occupancy Guided Unbounded Scene Generation for Autonomous Driving
इन्फिनीवर्स (InfiniVerse) एक एकीकृत पाइपलाइन है जो एकल फ्रेम से 3D ऑक्यूपेंसी को पुनर्गठित करके, इसे ऑटोरेग्रेसिव रूप से विस्तारित करके, और एक पदानुक्रमित स्केच-एंड-रिफाइन प्रतिमान के माध्यम से इसे परिष्कृत करके जो वीडियो डिफ्यूजन आउटपुट को 3D स्थानिक निरूपणों के साथ संरेखित करता है, स्वायत्त ड्राइविंग के लिए यथार्थवादी, नियंत्रणीय और सामयिक रूप से सुसंगत लंबी दूरी के शहरी दृश्यों को उत्पन्न करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक आर्किटेक्ट हैं जो एक सेल्फ-ड्राइविंग कार को सीखने के लिए एक शहर की सड़क का कभी न खत्म होने वाला, वास्तविक दिखने वाला मूवी बनाने की कोशिश कर रहे हैं। आमतौर पर, यह अविश्वसनीय रूप से कठिन होता है। यदि आप केवल कंप्यूटर से "वीडियो बनाना जारी रखो" कहते हैं, तो वह अंततः मतिभ्रम (hallucinate) करने लगता है—सड़कें असंभव आकृतियों में मुड़ सकती हैं, इमारतें गायब हो सकती हैं, या कार हवा में गाड़ी चलाने लग सकती है। यदि आप इसे एक सख्त मानचित्र का पालन करने के लिए मजबूर करते हैं, तो वीडियो कठोर और नकली दिखता है।
InfiniVerse एक नया सिस्टम है जो इसे हल करता है, यह एक मास्टर बिल्डर की तरह काम करता है जो एक रफ स्केच और एक हाई-डेफिनिशन कैमरे दोनों के साथ काम करता है।
यह यहाँ चरण-दर-चरण तरीके से काम करता है:
1. "3D कंकाल" (The Occupancy Grid)
सबसे पहले, सिस्टम सड़क के एक एकल स्नैपशॉट (जो कई कोणों से लिया गया है, जैसे कि कार के कैमरे) को देखता है। केवल एक सपाट तस्वीर देखने के बजाय, यह दुनिया का एक 3D "कंकाल" (skeleton) बनाता है। इसे एक विशाल, अदृश्य ग्रिड के रूप में सोचें जहाँ कंप्यूटर तय करता है: "यह ब्लॉक एक सड़क है, यह एक इमारत है, यह खाली हवा है।"
- यह क्यों मायने रखता है: यह सिस्टम को एक ठोस, भौतिक संरचना प्रदान करता है जिसे वह पकड़ कर रख सके, ताकि वह वीडियो लंबा होने पर अपना रास्ता न भटके।
2. "रफ स्केच" (Autoregressive Extension)
अब, कल्पना कीजिए कि आप एक ऐसी नई सड़क पर जाना चाहते हैं जो मूल फोटो में मौजूद नहीं है। आप एक नक्शे पर एक साधारण रेखा (एक "स्केच") खींचते हैं जो दिखाता है कि आप कहाँ जाना चाहते हैं।
- InfiniVerse इस स्केच का उपयोग अपने 3D कंकाल को आगे बढ़ाने के लिए करता है। यह आपके पथ के साथ शहर के नए ब्लॉक्स को भर देता है।
- इस स्तर पर, शहर अभी भी थोड़ा ब्लॉक जैसा और लो-रिज़ॉल्यूशन (जैसे कि माइनक्राफ्ट की दुनिया) है, लेकिन इसका आकार और लेआउट सही है।
3. "हाई-डेफ हाई-डेफिनिशन कैमरा" (Video Generation)
इसके बाद, सिस्टम उस ब्लॉक वाले 3D कंकाल को लेता है और एक शक्तिशाली AI वीडियो जनरेटर से पूछता है: "इसे एक असली, फोटोरियलिस्टिक मूवी जैसा दिखाओ।"
- यह रफ ब्लॉक्स को चिकनी डामर सड़क, चमकदार कारों और वास्तविक पेड़ों में बदल देता है।
- महत्वपूर्ण बात यह है कि यह यह सब तब करता है जब कैमरा ठीक उसी पथ पर चलता है जिसे आपने स्केच किया था।
4. "फीडबैक लूप" (The Secret Sauce)
यह सबसे महत्वपूर्ण हिस्सा है। आमतौर पर, AI वीडियो जनरेटर अपनी ही रचनात्मकता के कारण "नशे में" होकर कुछ समय बाद वास्तविकता से भटक जाते हैं। InfiniVerse इसे एक दो-तरफा बातचीत के साथ रोकता है:
- 3D गाइड करता है 2D को: रफ 3D कंकाल वीडियो जनरेटर को बताता है, "सड़क पर बने रहो; इमारत को तैरने मत दो।"
- 2D गाइड करता है 3D को: वीडियो बनने के बाद, सिस्टम उन सुंदर, वास्तविक छवियों को देखता है और उन्हें वापस 3D कंकाल में प्रोजेक्ट करता है। यह कहता है, "हे, वीडियो यहाँ एक पेड़ दिखा रहा है, इसलिए 3D कंकाल को अपडेट करें ताकि इसमें एक पेड़ शामिल हो सके।"
यह एक बंद लूप (closed loop) बनाता है। 3D संरचना वीडियो को अजीब होने से रोकती है, और वास्तविक वीडियो 3D संरचना को सटीक रखता है। वे लगातार एक-दूसरे के काम की जाँच करते हैं।
परिणाम
पेपर का दावा है कि यह सिस्टम लंबे, निरंतर ड्राइविंग वीडियो बना सकता है जो पिछले तरीकों की तुलना में बहुत लंबे समय तक यथार्थवादी और भौतिक रूप से सुसंगत रहते हैं।
- कोई जादुई मैप की आवश्यकता नहीं: इसे दुनिया के किसी पूर्व-निर्मित, पूर्ण मैप की आवश्यकता नहीं है। यह केवल एक शुरुआती फोटो के आधार पर दुनिया को खुद बनाते हुए विकसित करता है।
- स्थिरता: यह उस "ड्रिफ्ट" से ग्रस्त नहीं होता है जहाँ सड़क दीवार में मुड़ जाती है या आसमान हरा हो जाता है।
- नियंत्रण: आप इसे बाएं मुड़ने, सीधे जाने या दाएं मुड़ने के लिए कह सकते हैं, और यह आपके पथ का अनुसरण करने वाला एक वास्तविक शहर बनाएगा।
संक्षेप में, InfiniVerse एक स्व-सुधार करने वाले मूवी डायरेक्टर की तरह है जो सेट (3D) बनाता है और दृश्य (2D) को शूट करता है, और लगातार यह जाँचता रहता है कि अभिनेता अभी भी सेट पर खड़े हैं या नहीं और क्या सेट अभी भी मूवी जैसा दिखता है। यह इसे सेल्फ-ड्राइविंग कारों के अभ्यास के लिए अनंत, वास्तविक ड्राइविंग परिदृश्य बनाने की अनुमति देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।