कल्पना कीजिए कि आप एक वास्तुकार (architect) हैं जो एक घर बनाने की कोशिश कर रहे हैं, लेकिन ब्लूप्रिंट के बजाय, आपके पास केवल एक नैपकिन पर बना एक एकल, डगमगाता हुआ रेखाचित्र (doodle) है। आपने छत के लिए कुछ रेखाएं, दरवाजे के लिए एक टेढ़ी-मेढ़ी रेखा और शायद सामने खड़ा एक स्टिक फिगर बनाया है। एक इंसान के लिए, यह रेखाचित्र घर को बगल से, पीछे से और ऊपर से देखने के लिए पर्याप्त है। आपका मस्तिष्क अपने आप गायब विवरणों को भर देता है, यह समझ जाता है कि छत नीचे की ओर ढलान वाली है और दरवाजे का पिछला हिस्सा भी है। लेकिन एक कंप्यूटर के लिए, यह एक बुरा सपना है। कंप्यूटर आमतौर पर बहुत शाब्दिक होते हैं; उन्हें गहराई समझने के लिए सटीक फोटो या सख्त गणितीय नियमों की आवश्यकता होती है। यदि आप एक मानक AI से उस नैपकिन के रेखाचित्र को देखने और आपको उस घर का दूसरा कोण दिखाने के लिए कहते हैं, तो वह अक्सर भ्रमित हो जाता है, जिससे एक सपाट, विकृत या पूरी तरह से अलग इमारत बन जाती है। यह "जेनरेटिव AI" की दुनिया है, जहाँ कंप्यूटर नई छवियां बनाने की कोशिश करते हैं। यहाँ बड़ी चुनौती "ज्यामितीय निरंतरता" (geometric consistency) है—यह सुनिश्चित करना कि यदि आप कंप्यूटर द्वारा उत्पन्न किसी वस्तु के चारों ओर घूमते हैं, तो वस्तु का पिछला हिस्सा सामने के हिस्से से मेल खाता हो, और खिड़कियां भी उसी स्थान पर रहें, भले ही कंप्यूटर ने केवल एक बिखरा हुआ 2D रेखाचित्र देखा हो।

यह शोध पत्र उस समस्या के एक बहुत ही विशिष्ट और कठिन संस्करण को संबोधित करता है: क्या हम पूरे दृश्य (जैसे कि कार और व्यक्ति के साथ एक सड़क) के एक एकल, फ्रीहैंड स्केच से तुरंत उस दृश्य का पूर्ण 360-डिग्री टूर बना सकते हैं, जहाँ हर कोण वास्तविक लगे और आपस में पूरी तरह फिट बैठे? लेखक कहते हैं कि हाँ, लेकिन उन्हें कंप्यूटर को यह सिखाने का एक नया तरीका विकसित करना पड़ा कि केवल 2D स्केच का उपयोग करके 3D में कैसे "सोचा" जाए। उन्होंने एक ऐसा सिस्टम बनाया जो केवल अनुमान नहीं लगाता; यह नियमों का एक विशेष सेट उपयोग करता है ताकि यह सुनिश्चित हो सके कि यदि आप सामने के दृश्य में कुत्ते की नाक देखते हैं, तो कुत्ते के सिर का पिछला हिस्सा पिछले दृश्य में दिखाई दे, और वे एक-दूसरे के संबंध में बिल्कुल सही स्थान पर हों। वे इसे "स्केच-टू-मल्टी-व्यू" (Sketch-to-Multi-View) जनरेशन कहते हैं।

नैपकिन-से-3D का जादू

शोधकर्ताओं ने, सैमसंग रिसर्च और यूनिवर्सिटी ऑफ सर्रे के साथ मिलकर, एक ऐसी विधि बनाई है जो एक एकल, डगमगाते हुए रेखाचित्र को एक पूर्ण 3D मूवी में बदल देती है। कल्पना कीजिए कि आप घोड़े पर बैठी एक लड़की का चित्र बनाते हैं। आमतौर पर, एक AI उस लड़की की केवल एक सुंदर तस्वीर बना सकता है। लेकिन यह नया सिस्टम उस एक ड्राइंग को लेता है और उसे चारों ओर घुमाता है, जिससे आपको लड़की और घोड़े को सामने, बगल, पीछे और यहाँ तक कि ऊपर या नीचे से भी दिखाया जाता है, वह भी एक ही बार में। परिणाम छवियों का एक सेट है जो ऐसा लगता है जैसे आप दृश्य के चारों ओर घूम रहे हैं, और महत्वपूर्ण बात यह है कि जैसे-जैसे आप कोने मुड़ते हैं, घोड़े के पैर गायब नहीं होते या जादुई रूप से अपना आकार नहीं बदलते।

यह इतना कठिन क्यों था?

लेखक बताते हैं कि फ्रीहैंड स्केच कंप्यूटर के लिए "सबसे कठिन" प्रकार के इनपुट हैं। एक फोटोग्राफ के विपरीत, जिसमें छाया और परिप्रेक्ष्य (perspective) होते हैं जो कंप्यूटर को बताती है कि चीजें 3D स्थान में कहाँ हैं, एक स्केच "शोर" (noise) से भरा होता है। रेखाएं टेढ़ी-मेढ़ी हो सकती हैं, अनुपात अजीब हो सकते हैं, और कलाकार ने शायद एक ऐसी कार बनाई हो जो सड़क के लिए बहुत बड़ी दिखती हो। पिछले तरीकों ने इसे पहले स्केच को एक आदर्श फोटो में बदलने और फिर उस फोटो को 3D में बदलने की कोशिश करके हल करने का प्रयास किया। लेकिन लेखक तर्क देते हैं कि यह एक कविता को पहले किराने की सूची में बदलने और फिर वापस कविता में बदलने जैसा है—इसमें उसकी आत्मा और विवरण खो जाते हैं। वे उस मध्य चरण के बिना सीधे बिखरे हुए स्केच से 3D दुनिया तक पहुँचना चाहते थे।

उन्होंने यह कैसे किया: तीन गुप्त सामग्रियाँ

इस काम को सफल बनाने के लिए, टीम ने एक रेसिपी तैयार की जिसमें तीन विशेष सामग्रियाँ थीं जो एक सुव्यवस्थित मशीन की तरह एक साथ काम करती हैं।

1. "प्रशिक्षण जिम" (डेटासेट)
सबसे पहले, उन्हें AI को सिखाने के लिए एक जगह चाहिए थी। "स्केच के साथ जुड़े 360-डिग्री दृश्यों" के कोई मौजूदा संग्रह नहीं थे क्योंकि उन्हें बनाना बहुत कठिन है। इसलिए, उन्होंने अपना खुद का जिम बनाया। उन्होंने लगभग 10,000 स्केच लिए और एक शक्तिशाली AI का उपयोग करके प्रत्येक स्केच के लिए पांच अलग-अलग "यथार्थवादी" फोटो जेनरेट किए। फिर, उन्होंने सख्त कला समीक्षकों की तरह काम किया, यह जाँचने के लिए कि कौन सी जेनरेट की गई फोटो स्केच से सबसे अच्छी तरह मेल खाती है (mIoU नामक स्कोर का उपयोग करके)। उन्होंने सबसे अच्छी फोटो चुनी और उसका उपयोग उस दृश्य के 33 अलग-अलग दृश्य बनाने के लिए किया। अंत में, उन्होंने 9,222 उच्च-गुणवत्ता वाले उदाहरणों का एक डेटासेट तैयार किया। इसे AI के लिए हजारों "क्या होगा अगर" वाले परिदृश्यों पर अभ्यास करने के रूप में समझें, इससे पहले कि वह वास्तव में किसी उपयोगकर्ता का ड्राइंग देखे।

2. "कंपास" (कैमरा-अवेयर अटेंशन एडेप्टर)
दूसरा घटक AI के मस्तिष्क में एक चतुर जुड़ाव (add-on) है। मानक AI मॉडल वास्तव में यह नहीं जानते कि "कैमरा एंगल" क्या होता है; वे केवल पिक्सेल का एक ग्रिड देखते हैं। शोधकर्ताओं ने एक हल्का "एडेप्टर" (एक छोटा अतिरिक्त मॉड्यूल) जोड़ा जो एक कंपास की तरह काम करता है। यह कंपास AI को बताता है, "हे, इमेज का यह हिस्सा सामने है, और वह हिस्सा पीछे है।" यह विभिन्न दृश्यों के बीच संबंध को समझने के लिए "प्रोजेक्टिव रोटरी पोजीशन एनकोडिंग" (PRoPE) नामक एक गणितीय ट्रिक का उपयोग करता है। यह AI को एक मानसिक मानचित्र देने जैसा है ताकि उसे पता हो कि यदि वह कुर्सी का पिछला हिस्सा बना रहा है, तो उसे गलती से सामने के पैर नहीं बनाने चाहिए। इस छोटे से जुड़ाव ने केवल लगभग 2.7% अधिक "मस्तिष्क शक्ति" (पैरामीटर्स) जोड़ी, लेकिन इसने बहुत बड़ा अंतर पैदा किया।

3. "स्पॉट चेक" (कोरेस्पोंडेंस सुपरविजन लॉस)
तीसरा घटक एक सख्त शिक्षक है। कंपास होने के बावजूद, AI अभी भी इस बारे में भ्रमित हो सकता है कि सामने के दृश्य के कौन से विशिष्ट बिंदु पीछे के दृश्य के बिंदुओं से मेल खाते हैं। इसे ठीक करने के लिए, टीम ने "स्ट्रक्चर-फ्रॉम-मोशन" (SfM) तकनीक का उपयोग किया। उन्होंने अपने जेनरेट किए गए 3D दृश्यों को लिया और विभिन्न कोणों से मिलान करने वाले बिंदुओं (जैसे नाक की नोक या पहिया) को खोजने के लिए एक टूल का उपयोग किया। फिर, उन्होंने AI को एक "लॉस फंक्शन" (गलतियों को मापने का एक तरीका) सिखाया जो उसे दंडित करता था यदि वे मिलान करने वाले बिंदु आपस में मेल नहीं खाते थे। यह एक छात्र के सामने और बगल से बनाए गए घन (cube) के चित्र की जाँच करने वाले शिक्षक जैसा है, जो कहता है, "यदि छत का कोना सामने यहाँ है, तो यह बगल के दृश्य में यहाँ होना ही चाहिए, अन्यथा तुम्हें लाल निशान मिलेगा।" इसने AI को स्पष्ट रूप से 3D ज्यामिति के नियमों को सीखने के लिए मजबूर किया।

परिणाम: तेज़, वास्तविक और सुसंगत

जब उन्होंने अपने नए तरीके का परीक्षण किया, तो परिणाम प्रभावशाली थे। उन्होंने अपने "वन-स्टेप" दृष्टिकोण (स्केच से सीधे 3D) की तुलना पुराने "टू-स्टेप" तरीकों (स्केच से फोटो, फिर फोटो से 3D) से की।

• गति: उनका तरीका बहुत तेज़ था, जिसे दृश्यों का एक पूर्ण सेट जेनरेट करने में केवल लगभग 50 सेकंड लगे, जबकि पुराने तरीकों में मिनटों या आधे घंटे तक लग जाते थे।
• यथार्थवाद: छवियां अधिक वास्तविक लग रही थीं। FID (जो यह मापता है कि छवियां वास्तविक फोटो के कितने करीब हैं) नामक एक परीक्षण में, उनके तरीके ने 18.49 स्कोर किया, जबकि अगले सर्वश्रेष्ठ का स्कोर 46 से अधिक था। कम स्कोर बेहतर है, जिसका अर्थ है कि उनकी छवियां वास्तविकता के बहुत करीब थीं।
• निरंतरता: सबसे महत्वपूर्ण बात यह है कि 3D संरचना बनी रही। उनके तरीके ने 0.199 का "Corr-Acc" (ज्यामितीय निरंतरता) स्कोर प्राप्त किया, जो अन्य तरीकों को पीछे छोड़ गया। इसका मतलब है कि जेनरेट किए गए दृश्यों में वस्तुएं सही स्थान पर रहीं जब कैमरा चारों ओर घूम रहा था।

उन्होंने क्या नहीं किया (और यह क्यों मायने रखता है)

लेखक कुछ सामान्य शॉर्टकट को खारिज करने में सावधान रहे। उन्होंने दिखाया कि केवल "LoRA" (AI मॉडल को ट्यून करने का एक मानक तरीका) जोड़ने से काम नहीं चलेगा; उनके विशेष "कंपास" और "स्पॉट चेक" के बिना, 3D दृश्य बिखर जाते। उन्होंने यह भी साबित किया कि उनका तरीका केवल उन विशिष्ट स्केच पर काम नहीं करता जिन पर उन्हें प्रशिक्षित किया गया था। जब उन्होंने अन्य डेटासेट्स (जैसे TU-Berlin डेटासेट, जिसमें ड्राइंग की बहुत अलग शैली है) से स्केच का परीक्षण किया, तब भी AI ने सुसंगत 3D दृश्य बनाने में सफलता प्राप्त की। यह सुझाव देता है कि AI ने वास्तव में 3D स्थान के नियमों को सीखा है, न कि केवल ड्राइंग को याद किया है।

निष्कर्ष

यह शोध पत्र बताता है कि हम अंततः एक पूर्ण 3D दुनिया बनाने के लिए एक आदर्श फोटो या धीमी, चरण-दर-चरण प्रक्रिया की आवश्यकता के बिना, एक साधारण, बिखरे हुए रेखाचित्र को बदल सकते हैं। एक विशाल नए डेटासेट, कैमरा कोणों के लिए एक स्मार्ट "कंपास" और मिलान करने वाले बिंदुओं के लिए एक सख्त "स्पॉट चेक" को जोड़कर, लेखकों ने एक ऐसा सिस्टम बनाया है जो पिछले प्रयासों की तुलना में तेज़ और अधिक सटीक है। हालाँकि यह सिस्टम अभी भी पूर्ण नहीं है (यह 480x480 रिज़ॉल्यूशन पर सबसे अच्छा काम करता है और जेनरेटेड ट्रेनिंग डेटा पर निर्भर करता है), यह एक ऐसे भविष्य के द्वार खोलता है जहाँ कोई भी अपने नैपकिन पर एक दृश्य को स्केच कर सकता है और तुरंत उसे 3D में एक्सप्लोर कर सकता है, जिससे हमारे सबसे विचित्र रेखाचित्र आभासी दुनिया में बदल जाते हैं।