Volumetric Inverse Rendering via Neural Radiative Transfer

कल्पना कीजिए कि आप धुंध के एक घने, घूमते हुए बादल, एक कप मलाईदार कॉफी, या एक धूल भरे कमरे में छनकर आती सूरज की रोशनी को देख रहे हैं। आप जो देख रहे हैं वह केवल एक ठोस सतह से टकराकर परावर्तित होने वाला प्रकाश नहीं है; यह वह प्रकाश है जो उस पदार्थ के माध्यम से यात्रा करते समय खो जाता है, बिखर जाता है और अवशोषित हो जाता है। यह "पार्टिसिपेटिंग मीडिया" (participating media) की दुनिया है, जहाँ प्रकाश और पदार्थ एक जटिल, अदृश्य उलझाव में एक साथ नृत्य करते हैं। दशकों से, वैज्ञानिक और कंप्यूटर ग्राफिक्स कलाकार इस नृत्य को रिवर्स-इंजीनियर करने के लिए संघर्ष कर रहे हैं। यदि आप धुंधले जंगल की एक फोटो लेते हैं, तो क्या आप सटीक रूप से पता लगा सकते हैं कि धुंध कितनी घनी है, वह लाल प्रकाश को नीले प्रकाश की तुलना में कितना अवशोषित करती है, और वह हर दिशा में प्रकाश को कैसे बिखेरती है? यह एक चम्मच सूप चखकर उसकी रेसिपी का अनुमान लगाने जैसा है, लेकिन यहाँ सूप प्रकाश से बना है, और उसके घटक अदृश्य हैं। इसे सही ढंग से करना महत्वपूर्ण है क्योंकि यह हमें अति-यथार्थवादी फिल्में बनाने, जलवायु मॉडल के लिए मौसम का अनुकरण करने, या यहाँ तक कि डॉक्टरों को बिना चीर-फाड़ के मानव शरीर के अंदर देखने में मदद करने की अनुमति देता है।

आप जिस शोध पत्र को पढ़ने जा रहे हैं, वह इस पेचीदा पहेली को एक चतुर नए तरीके से सुलझाता है। हर एक फोटॉन के इधर-उधर टकराने का अनुकरण करने के बजाय (जो समुद्र तट को समझने के लिए रेत के हर एक कण को गिनने जैसा है), लेखक एक ऐसी विधि प्रस्तावित करते हैं जो पूरे दृश्य को एक विशाल, सीखने योग्य गणितीय समस्या के रूप में मानती है। वे "न्यूरल फील्ड्स" (neural fields) का उपयोग करते हैं, जो मूल रूप से सुपर-स्मार्ट, लचीले फंक्शन हैं जो प्रकाश और पदार्थ दोनों का एक साथ वर्णन कर सकते हैं। इन फंक्शन्स को भौतिकी के मौलिक नियमों (विशेष रूप से, रेडिएटिव ट्रांसफर इक्वेशन) का पालन करने के लिए मजबूर करके, वे धुंध या धुएं के छिपे हुए गुणों का पता लगा सकते हैं। परिणाम एक ऐसा सिस्टम है जो न केवल बादलों वाले दृश्य के 3D आकार और रंग का पुनर्निर्माण कर सकता है, बल्कि इसे "री-लाइट" (re-light) भी कर सकता है, जिससे आप सूरज को चाँद या नियॉन साइन में बदल सकते हैं और देख सकते हैं कि धुंध वास्तविक रूप से कैसे प्रतिक्रिया करती है।

समस्या: धुंध का रहस्य

कल्पना कीजिए कि आप एक घने, घूमते हुए कोहरे के भीतर एक रहस्य सुलझाने की कोशिश कर रहे हैं। आपके पास विभिन्न कोणों से ली गई कुछ तस्वीरें हैं, लेकिन कोहरा सच्चाई को छिपा रहा है। आप प्रकाश स्रोत (शायद सूरज) को जानते हैं, लेकिन आप यह नहीं जानते कि कोहरा कितना घना है, यह कितना प्रकाश अवशोषित करता है, या यह इसे कैसे बिखेरता है। अतीत में, इस "इनवर्स रेंडरिंग" (inverse rendering) समस्या को हल करना बॉक्सिंग ग्लव्स पहनकर हेडफ़ोन की उलझन को सुलझाने जैसा था।

पिछले तरीकों ने इसे मुख्य रूप से दो तरीकों से करने की कोशिश की, और दोनों में बड़ी कमियां थीं। पहला तरीका "स्टोकेस्टिक पाथ सैंपलिंग" (stochastic path sampling) नामक तकनीक का उपयोग करके प्रकाश के हर एक उछाल का अनुकरण करने का था। इसे कोहरे के माध्यम से लाखों छोटे, अदृश्य संदेशवाहकों को भेजने के रूप में सोचें ताकि यह देखा जा सके कि वे कहाँ समाप्त होते हैं। यह सटीक तो है, लेकिन अविश्वसनीय रूप से धीमा और गणनात्मक रूप से महंगा है, जैसे तूफान की तीव्रता मापने के लिए बारिश की हर एक बूंद को गिनना। दूसरा तरीका सरल मॉडलों का उपयोग करना था जो प्रकाश के जटिल उछाल (ग्लोबल इल्यूमिनेशन) को अनदेखा करते थे। यह तेज़ था, जैसे केवल बादलों को देखकर तूफान की तीव्रता का अनुमान लगाना, लेकिन यह उस जटिल भौतिकी को पकड़ने में विफल रहा कि प्रकाश वास्तव में कैसे व्यवहार करता है। यह उस "ग्लोबल" प्रभाव को संभालने में असमर्थ था जहाँ प्रकाश कोहरे के एक हिस्से से टकराकर दूसरे हिस्से को रोशन करता है।

नया दृष्टिकोण: भौतिकी से युक्त न्यूरल नेट

इस शोध पत्र के लेखकों ने एक अलग रास्ता चुना। उन्होंने पूछा: "क्या होगा यदि हम संदेशवाहकों का अनुकरण न करें, बल्कि एक न्यूरल नेटवर्क को एक ही समय में कोहरे और प्रकाश होने के लिए सिखाएं?"

उन्होंने एक ऐसा सिस्टम बनाया जहाँ दो "न्यूरल फील्ड्स" (एक जादुğı मानचित्र की तरह) एक साथ काम करते हैं। एक मानचित्र माध्यम के ऑप्टिकल गुणों (यह कितना अवशोषित करता है, कितना बिखेरता है, और किस दिशा में प्रकाश बिखेरता है) का वर्णन करता है। दूसरा मानचित्र लाइट फील्ड (प्रकाश हर बिंदु पर और हर दिशा में कितना चमकीला है) का वर्णन करता है।

यहाँ जादू का तरीका है: भारी सिमुलेशन चलाने के बजाय, वे रेडिएटिव ट्रांसफर इक्वेशन (RTE) का उपयोग करते हैं। यह एक प्रसिद्ध भौतिकी सूत्र है जो बताता है कि प्रकाश किसी माध्यम से गुजरते समय कैसे बदलता है। लेखक इस सूत्र को एक सिमुलेशन टूल के रूप बजाय, नियमों या "कानूनों" के एक सेट के रूप में देखते हैं जिनका उनके न्यूरल नेटवर्क को पालन करना चाहिए।

उन्होंने तीन मुख्य लक्ष्यों के साथ एक ऑप्टिमाइज़ेशन गेम सेट किया:

1. भौतिक नियम: न्यूरल नेटवर्क को वॉल्यूम के यादृच्छिक बिंदुओं पर RTE का पालन करना चाहिए। यह सुनिश्चित करता है कि प्रकाश और कोहरा भौतिकी के नियमों के अनुसार व्यवहार करें।
2. बाउंड्री नियम: कोहरे के बाहर से प्रवेश करने वाला प्रकाश ज्ञात वातावरण (जैसे आकाश या कमरा) से मेल खाना चाहिए।
3. फोटो नियम: कोहरे से निकलकर कैमरे से टकराने वाला प्रकाश दृश्य की वास्तविक तस्वीरों से मेल खाना चाहिए।

हालाँकि, एक पेच था। न्यूरल नेटवर्क की एक आदत होती है कि वे "आलसी" होते हैं और स्पष्ट, विस्तृत उत्तरों के बजाय सुचारू, धुंधले उत्तरों को पसंद करते हैं। इसे "लो-फ्रीक्वेंसी बायस" (low-frequency bias) कहा जाता है। इसे ठीक करने के लिए, लेखकों ने एक विशेष सामग्री जोड़ी: वॉल्यूम रेंडरिंग इक्वेशन (VRE) पर आधारित एक टर्म। यह टर्म नेटवर्क को कैमरे से वस्तु तक प्रकाश के वास्तविक पथ को देखने के लिए मजबूर करता है, जो एक शार्पनर की तरह काम करता है और धुंधले विवरणों को स्पष्टता प्रदान करता है।

उन्होंने क्या पाया

टीम ने 50 सिंथेटिक दृश्यों पर अपने तरीके का परीक्षण किया, जिनमें हल्के, कम घनत्व वाले बादलों से लेकर घने, अपार कोहरे तक शामिल थे। उन्होंने अपने दृष्टिकोण की तुलना दो पुराने तरीकों से की: धीमा, भारी "स्टोकेस्टिक पाथ सैंपलिंग" (विशेष रूप से डिफरेंशियल रेशियो ट्रैकिंग नामक विधि) और तेज़ लेकिन गलत "लर्नड रिप्रेजेंटेशन" (learned representation) विधियाँ।

परिणाम प्रभावशाली थे। उनके तरीके ने अवशोषण (प्रकाश कितना खाया जाता है), स्कैटरिंग (प्रकाश कितना उछलता है), और एक्सटिंक्शन (प्रकाश की कुल हानि) को उच्च सटीकता के साथ पुनर्गठित किया।

• संख्यात्मक रूप से, उनके तरीके ने एब्जॉर्प्शन के लिए 1.33 का मीन स्क्वेर्ड एरर (MSE) और स्कैटरिंग के लिए 1.66 प्राप्त किया, जो स्टोकेस्टिक पद्धति के स्कैटरिंग के लिए 4.06 की तुलना में काफी बेहतर था।
• वे एनिसोट्रोपिक स्कैटरिंग (anisotropic scattering) को भी संभाल सकते थे, जिसका अर्थ है कि कोहरा एक दिशा में दूसरी दिशा की तुलना में अधिक प्रकाश बिखेर सकता है (जैसे कोहरा जो सामने से देखने पर अलग और बगल से देखने पर अलग दिखता है)। पुराने तरीके यह बिल्कुल नहीं कर सके।

शायद सबसे शानदार हिस्सा वह है जो वे पुनर्निर्माण के बाद कर सकते हैं। क्योंकि उन्होंने वास्तविक भौतिक गुणों को पुनः प्राप्त कर लिया था, वे प्रकाश व्यवस्था को बदल सकते थे। उन्होंने धूप वाले आकाश से प्रकाशित एक दृश्य लिया और उसे तीन रंगीन स्थानीय लाइटों (लाल, हरा, नीला) और एक नए एनवायरनमेंट मैप के साथ "री-लिट" किया। कोहरे ने वास्तविक रूप से प्रतिक्रिया दी, यह दिखाया कि नई स्थितियों में प्रकाश कैसे बिखरेगा और अवशोषित होगा, कुछ ऐसा जिसे सरलीकृत मॉडल करने में विफल रहे।

उन्होंने यह भी दिखाया कि यह दृष्टिकोण जेनरेटिव मॉडलिंग के लिए कैसे काम करता है। कई दृश्यों पर प्रशिक्षण देकर, उनके सिस्टम ने सीखा कि वास्तविक कोहरा कैसा दिखता है। वे फिर एक रैंडम "लेटेंट कोड" (एक गुप्त नंबर जो दृश्य को परिभाषित करता है) चुनकर पूरी तरह से नए, भौतिक रूप से प्रशंसनीय क्लाउड सीन उत्पन्न कर सकते थे। ये नए दृश्य केवल सुंदर चित्र नहीं थे; उनमें वास्तविक, सुसंगत भौतिकी थी, जिससे उन्हें वास्तविक चीज़ की तरह ही नए तरीकों से री-लाइट किया जा सकता था।

यह क्यों मायने रखता है

लेखक सुझाव देते हैं कि यह दृष्टिकोण एक गेम-चेंजर है क्योंकि यह प्रकाश परिवहन की जटिल भौतिकी को विशेष, धीमी सिमुलेशन की आवश्यकता से अलग करता है। न्यूरल फील्ड्स पर एक कंस्ट्रेंड ऑप्टिमाइज़ेशन के रूप में समस्या को फ्रेम करके, उन्होंने साबित किया कि आपको वॉल्यूम में ग्लोबल इल्यूमिनेशन को समझने के लिए भारी-भरत रेंडरर की आवश्यकता नहीं है। आपको बस सही गणित और सही नियमों की आवश्यकता है।

हालाँकि शोध पत्र नोट करता है कि उनके वर्तमान प्रयोग सिंथेटिक डेटा (कंप्यूटर द्वारा उत्पन्न दृश्य) पर हैं और अभी तक वास्तविक दुनिया की तस्वीरों पर नहीं, फिर भी यह विधि फिल्मों, खेलों और वैज्ञानिक सिमुलेशन के लिए भौतिक रूप से सटीक 3D वॉल्यूम बनाने का मार्ग खोलती है। यह एक ऐसे भविष्य का संकेत देता है जहाँ हम धुंधले परिदृश्य की एक फोटो देखकर तुरंत हवा के घनत्व, रंग और स्कैटरिंग गुणों को जान सकते हैं, जिससे हमें उस दुनिया में कदम रखने और अपनी इच्छानुसार मौसम बदलने की अनुमति मिलती है।