कल्पना कीजिए कि आप एक फिल्म फिल्माने की कोशिश कर रहे हैं, लेकिन आपके पास केवल एक कैमरा है जो एक सड़क पर चल रही एक कार में लगा है। आप दर्शकों को यह दिखाना चाहते हैं कि दृश्य कैसा दिखता यदि दूसरा कैमरा ठीक उसी के बगल में चल रही एक दूसरी कार में होता, या शायद कुछ मीटर बाईं ओर होता। यह स्वायत्त ड्राइविंग (autonomous driving) की दुनिया में "नोवेल ट्राजेक्टरी सिंथेसिस" (novel trajectory synthesis) का सपना है: पुराने वीडियो से नए वीडियो परिप्रेक्ष्य (perspectives) बनाना। ऐसा करने के लिए, कंप्यूटर आमतौर पर दुनिया का एक 3D मॉडल बनाने की कोशिश करते हैं, जैसे कि एक डिजिटल मिट्टी की मूर्ति, और फिर उस पर नए चित्र पेंट करने की कोशिश करते हैं। हालाँकि, यह पेचीदा है। यदि कंप्यूटर बाद में अपने स्वयं के 3D मॉडल के बदसूरत हिस्सों को ठीक करने की कोशिश करता है, तो यह अक्सर अजीब, ग्लिच वाले आर्टिफैक्ट्स (artifacts) बना देता है जो समझ में नहीं आते। वैकल्पिक रूप से, यदि वह कैमरे को निर्देशित करने के लिए लेजर स्कैनर (LiDAR) का उपयोग करने की कोशिश करता है, तो वह अक्सर दूरी में या पेड़ों के पीछे के विवरणों को मिस कर देता है क्योंकि लेजर किरणें बहुत विरल (sparse) होती हैं, जैसे कि केवल कुछ बिखरे हुए बिंदुओं का उपयोग करके एक विस्तृत चित्र बनाने की कोशिश करना।

यहाँ ReCamDriving आता है, एक नया तरीका जो एक मास्टर डायरेक्टर की तरह काम करता है जिसे न तो लेजर स्कैनर की आवश्यकता है और न ही किसी जादुई सुधारक की। इसके बजाय, यह एक चतुर दो-चरणीय नृत्य (two-step dance) का उपयोग करता है ताकि कंप्यूटर को बिना किसी महंगे हार्डवेयर के वीडियो दृश्य के माध्यम से "चलना" सिखाया जा सके। शोधकर्ताओं ने पाया कि "3D गॉसियन स्प्लैटिंग" (3D Gaussian Splatting - सोचिए करोड़ों छोटे, चमकते हुए 3D पिक्सेल के बादल जो एक ठोस आकार बनाते हैं) नामक एक विशिष्ट प्रकार के 3D रेंडरिंग का उपयोग करके, वे AI को दुनिया की ज्यामिति (geometry) को पूरी तरह से समझने के लिए प्रशिक्षित कर सकते थे। उन्होंने केवल AI को सीधे काम में नहीं झोंका; पहले उन्होंने इसे चलना सिखाया और फिर दौड़ना। पहले, उन्होंने इसे सरल निर्देशों के आधार पर कैमरा हिलाना सिखाया। फिर, जब यह हिलना सीख गया, तो उन्होंने इसे "पिक्सेल के बादल" दिखाया ताकि यह समझ सके कि उस नए कोण से दुनिया वास्तव में कैसी दिखनी चाहिए। परिणाम? एक ऐसा सिस्टम जो एक सड़क से गुजरती कार का बिल्कुल नए कोण से, सहज और यथार्थवादी वीडियो बना सकता है, भले ही वह कोण पहले कभी फिल्माया न गया हो।

समस्या: ग्लिची रिपेयर्स और मिसिंग डॉट्स

पेपर यह बताते हुए शुरू होता है कि इन नए वीडियो को बनाने के मौजूदा तरीके थोड़े टूटे हुए फूलदान को डक्ट टेप से ठीक करने जैसे हैं। एक लोकप्रिय तरीका "रिकन्स्ट्रक्ट-देन-रिपेयर" (reconstruct-then-repair) दृष्टिकोण है। कल्पना कीजिए कि आप एक सड़क का 3D मॉडल बनाते हैं, लेकिन वह थोड़ा धुंधला या विकृत दिखता है। फिर, आप एक कंप्यूटर को उन धुंधले स्थानों को "ठीक करने" के लिए प्रशिक्षित करते हैं। समस्या यह है कि जब कंप्यूटर एक नया दृश्य देखने की कोशिश करता है जिसे उसने पहले कभी नहीं देखा है, तो वह अक्सर भ्रमित हो जाता है। वह उन्हीं पुराने दृश्यों से सीखी गई "डक्ट टेप" वाली लॉजिक को लागू करने की कोशिश करता है, जिससे अजीब, आउट-ऑफ-डिस्ट्रीब्यूशन ग्लिच पैदा होते हैं जहाँ कारें पिघल सकती हैं या सड़कें गायब हो सकती हैं।

एक अन्य तरीका LiDAR (लेजर स्कैनर) का उपयोग करने की कोशिश करता है ताकि कंप्यूटर को बता सके कि 3D स्पेस में चीजें वास्तव में कहाँ हैं। लेकिन LiDAR कोहरे वाले कमरे में एक टॉर्च की तरह है; यह अपने ठीक सामने की वस्तुओं को स्पष्ट रूप से देखता है, लेकिन दूर जाने पर बिंदु बहुत विरल हो जाते हैं और बाधाओं के पीछे गायब हो जाते हैं। इससे ऐसे वीडियो बनते हैं जहाँ बैकग्राउंड असंगत दिखता है या 3D संरचना बिखर जाती है।

समाधान: एक "बादल" गाइड के साथ दो-चरणीय नृत्य

लेखक ReCamDriving का प्रस्ताव देते हैं, एक ऐसा सिस्टम जो पूरी तरह से विजन (कैमरा) और एक विशेष प्रकार के 3D गाइड पर निर्भर करता है। यहाँ बताया गया है कि उन्होंने इस पहेली को कैसे सुलझाया:

1. "बादल" गाइड (3DGS रेंडरिंग्स)
विरल लेजर डॉट्स के बजाय, टीम 3D Gaussian Splatting (3DGS) का उपयोग करती है। कल्पना कीजिए कि एक दृश्य एक ठोस दीवार के रूप में नहीं, बल्कि लाखों छोटे, रंगीन, चमकते हुए 3D गोलों के एक घने बादल के रूप में है। जब आप इस बादल को एक नए कोण से रेंडर करते हैं, तो यह दुनिया की एक पूर्ण, सघन तस्वीर बनाता है, भले ही इसमें कुछ रेंडरिंग आर्टिफैक्ट्स हों। मुख्य अंतर्दृष्टि यह है कि भले ही यह "बादल की तस्वीर" एकदम सटीक न हो, लेकिन इसमें सही आकार और संरचना होती है। यह कंप्यूटर को बताता है, "कार यहाँ है, सड़क वहाँ है," जो एक विरल लेजर स्कैन की तुलना में बहुत अधिक विवरण प्रदान करता है।

2. दो-चरणीय प्रशिक्षण (पहले चलें, फिर दौड़ें)
यदि आप केवल कंप्यूटर को "बादल की तस्वीर" दिखाते हैं और उसे एक नया वीडियो बनाने के लिए कहते हैं, तो वह वास्तविक परिवर्तन सीखने के बजाय शॉर्टकट पर निर्भर हो सकता है। वह केवल बादल की तस्वीर को "ठीक करने" की कोशिश कर सकता है बजाय इसके कि वास्तव में एक नई जगह पर कैमरा ले जाना सीखे। इसे "शॉर्टकट लर्निंग" कहा जाता है।

इसे रोकने के लिए, लेखक एक दो-चरणीय प्रशिक्षण रणनीति का उपयोग करते हैं:

• चरण 1 (चलना): वे पहले मॉडल को केवल कैमरा मूवमेंट निर्देशों (poses) का उपयोग करके प्रशिक्षित करते हैं। वे AI को कहते हैं, "कैमरा 3 मीटर बाईं ओर ले जाओ।" AI यह सीखता है कि जब आप चलते हैं तो दुनिया कैसे बदलती है। यह एक छात्र को नाचने सिखाने से पहले चलना सिखाने जैसा है।
• चरण 2 (नाचना): एक बार जब AI हिलना सीख जाता है, तो वे उस मस्तिष्क के हिस्से को "फ्रीज" कर देते हैं और एक नया लेयर जोड़ते हैं। अब, वे "बादल की तस्वीर" (3DGS रेंडरिंग) को एक गाइड के रूप में फीड करते हैं। क्योंकि AI पहले से ही जानता है कि कैसे हिलना है, वह अब क्लाउड पिक्चर का उपयोग केवल कॉपी करने के लिए नहीं, बल्कि एक स्ट्रक्चरल स्कैफोल्ड (ढांचे) के रूप में करता है ताकि नया वीडियो ज्यामितीय रूप से सही दिखे। यह डांसर को मंच का नक्शा देने जैसा है ताकि वे चलते समय लड़खड़ाएं नहीं।

3. "पैरेलल" डेटासेट (ParaDrive)
इस सिस्टम को सिखाने के लिए, उन्हें भारी मात्रा में प्रशिक्षण डेटा की आवश्यकता थी। आमतौर पर, आप एक ही सड़क के दो अलग-अलग कारों के वीडियो नहीं प्राप्त कर सकते जो अगल-बगल चल रही हों। इसलिए, उन्होंने एक चतुर ट्रिक निकाली। उन्होंने सिंगल-कार वीडियो लिए, उस दृश्य का 3D मॉडल बनाया, और फिर एक "नकली" वीडियो रेंडर किया कि वह कैसा दिखता यदि दूसरी कार 3 मीटर बाईं ओर चल रही होती। उन्होंने इस नकली वीडियो को "शिक्षक" और असली वीडियो को "छात्र" के रूप में उपयोग किया। Waymo और Nuसेन्स (NuScenes) डेटासेट्स के 1,600 दृश्यों में से 110,000 वीडियो जोड़ों के लिए यह करने के बाद, उन्होंने ParaDrive नामक एक नया डेटासेट बनाया। इसने उन्हें AI को लैटरल (बगल की ओर) मूवमेंट पर प्रशिक्षित करने में सक्षम बनाया, जिसमें पिछले तरीके संघर्ष करते थे।

परिणाम: अधिक स्पष्ट, सुचारू और सटीक

जब उन्होंने ReCamDriving का परीक्षण किया, तो परिणाम प्रभावशाली थे।

• विजुअल क्वालिटी: नए वीडियो पहले के तरीकों की तुलना में अधिक शार्प थे और उनमें कम ग्लिच थे जो 3D मॉडल को "रिपेयर" करने की कोशिश करते हैं।
• निरंतरता (Consistency): 3D संरचना सुसंगत बनी रही। कारें पिघली नहीं, और सड़कें मुड़ी नहीं, भले ही कैमरा काफी अधिक चला हो (4 मीटर तक बगल में)।
• कैमरा कंट्रोल: सिस्टम कैमरा निर्देशों का पालन करने में बहुत बेहतर था। उदाहरण के लिए, जब कैमरा 4 मीटर दाईं ओर ले जाने को कहा गया, तो ReCamDriving उन तरीकों की तुलना में काफी सटीक था जो LiDAR का उपयोग करते हैं, क्योंकि LiDAR वाले तरीके अक्सर भटक जाते हैं या दूरी का गलत अनुमान लगाते हैं।

पेपर स्पष्ट रूप से इस विचार को खारिज करता है कि एक खराब 3D रेंडर को "रिपेयर" करना सबसे अच्छा तरीका है, यह दिखाते हुए कि यह तब विफल हो जाता है जब दृश्य उस दृश्य से बहुत भिन्न होता जिसे AI ने पहले देखा है। वे यह भी दिखाते हैं कि उच्च-फिडेलिटी, सुसंगत जनरेशन के लिए LiDAR पर निर्भर रहना एक मृत अंत है क्योंकि डेटा बहुत विरल है।

यह क्यों महत्वपूर्ण है

यह कार्य सुझाव देता है कि हमें स्वायत्त कारों के लिए पूर्ण 3D वीडियो सिमुलेशन बनाने के लिए महंगे लेजर स्कैनर की आवश्यकता नहीं है। एक स्मार्ट, दो-चरणीय प्रशिक्षण प्रक्रिया और 3D पिक्सेल के एक घने "बादल" का उपयोग करके, हम एक सिंगल कैमरा से उच्च-गुणवत्ता वाले, ज्यामितीय रूप से सुसंगत वीडियो उत्पन्न कर सकते हैं। यह स्वायत्त वाहनों को प्रशिक्षित करना बहुत सस्ता और आसान बना सकता है, क्योंकि वे बिना अगल-बगल चलने वाली कारों के बेड़े के, लाखों उत्पन्न "क्या-होता-अगर" (what-if) परिदृश्यों से सीख सकते हैं। लेखक नोट करते हैं कि हालांकि उनके तरीके के लिए 3D मॉडल बनाने के लिए एक प्रारंभिक चरण की आवश्यकता होती है, लेकिन यह एक बार की लागत है जो अनंत वीडियो जनरेशन की अनुमति देकर भविष्य में बहुत लाभदायक सिद्ध होगी, और जैसे-जैसे 3D रिकंस्ट्रक्शन तकनीक बेहतर होगी, यह प्रक्रिया और भी तेज हो जाएगी।