A Query-Efficient Stochastic Volume Rendering Framework for Time-Varying Implicit Neural Volumes

कल्पना कीजिए कि आप एक वैज्ञानिक हैं जो किसी जटिल घटना की फिल्म देखना चाह रहे हैं, जैसे कि घूमता हुआ तूफान या धड़कता हुआ दिल, लेकिन वह फिल्म फ्रेमों से नहीं बनी है। इसके बजाय, यह एक जादुई, निरंतर रेसिपी (विधि) है जो किसी भी क्षण में उस दृश्य का वर्णन कर सकती है, यहाँ तक कि फ्रेमों के बीच के सूक्ष्म सेकंडों में भी। यह इम्प्लिसिट न्यूरल रिप्रेजेंटेशन (INRs) की दुनिया है। इसे केवल फोटो के ढेर के रूप में नहीं, बल्कि एक सुपर-स्मार्ट, कॉम्पैक्ट न्यूरल नेटवर्क के रूप में सोचें जो किसी भी निर्देशांक $(x, y, z)$ और किसी भी समय $(t)$ पर किसी वस्तु के आकार और रंग को जानता है। पेच यह है कि इस ऑब्जेक्ट को देखने के लिए, आपको इस न्यूरल नेटवर्क से एक सवाल पूछना होगा: "यहाँ रंग क्या है?" फिर इस नेटवर्क को जवाब देने के लिए बहुत सारी भारी मानसिक गणित करनी पड़ती है। अतीत में, स्क्रीन के हर पिक्सेल के लिए यह सवाल पूछना इतना धीमा और महंगा था कि इन फिल्मों को रियल-टाइम में देखना असंभव था। वैज्ञानिक धुंधले, कम-गुणवत्ता वाले दृश्यों में फंस कर रह गए थे या उन्हें एक सिंगल फ्रेम दिखने के लिए मिनटों का इंतजार करना पड़ता था।

यह पेपर इन "न्यूरल मूवीज़" को रियल-टाइम में देखने का एक चतुर तरीका पेश करता है, जो एक शक्तिशाली गेमिंग कंप्यूटर पर सुचारू 30 से 40 फ्रेम्स प्रति सेकंड प्राप्त करता है। लेखकों, अल्पेर साहिस्तान और उनकी टीम ने महसूस किया कि इन वॉल्यूमों को देखने का पुराना तरीका—प्रकाश की किरण के साथ हर बिंदु की जाँच करना, जैसे कि एक धीमा और व्यवस्थित चलने वाला व्यक्ति हो—बहुत अधिक बर्बादी है, जब "चलने वाले" को हर कदम पर न्यूरल नेटवर्क से मदद माँगनी पड़ती है। इसके बजाय, उन्होंने एक क्वेरी-एफिशिएंट स्टोकेस्टिक वॉल्यूम रेंडरिंग फ्रेमवर्क बनाया। वे रेंडरिंग प्रक्रिया को डेल्टा ट्रैकिंग नामक तकनीक का उपयोग करके "अनुमान और जाँच" (guess and check) के खेल की तरह देखते हैं। कल्पना कीजिए कि आप एक धुंधले जंगल में चल रहे हैं जहाँ कोहरे का घनत्व बदल रहा है। हर इंच पर छोटे-छोटे बराबर कदम उठाने के बजाय, आप बड़े, यादृच्छिक (random) छलांग लगाते हैं। यदि आप एक घने हिस्से में उतरते हैं, तो आप रुककर उसे पेंट करते हैं; यदि आप एक पतले हिस्से में उतरते हैं, तो आप बस छलांग लगाते रहते हैं। ऐसा करने से, वे न्यूरल नेटवर्क से बहुत कम सवाल पूछते हैं।

इसे और भी तेज़ बनाने के लिए, उन्होंने ग्राफिक्स कार्ड के दो अलग-अलग प्रकार के "कंप्यूटर दिमागों" के बीच काम को विभाजित किया। "ट्रैवर्सल" (कहाँ छलांग लगानी है, यह तय करना) वाला हिस्सा विशेष रे ट्रेसिंग कोर्स (RT Cores) का उपयोग करता है, जबकि "इवैल्यूएशन" (न्यूरल नेटवर्क से पूछना) वाला हिस्सा टेंसर कोर्स (Tensor Cores) का उपयोग करता है जो भारी गणित के लिए डिज़ाइन किए गए हैं। उन्होंने उन क्षेत्रों में सवाल पूछने से पूरी तरह बचने के लिए स्मार्ट रणनीतियाँ (होमोजेनिटी प्रूनिंग) और केवल उन पिक्सेल को फिर से जाँचने के लिए भी जोड़ी जो बदल रहे हैं (एडैप्टिव रे बजटिंग) जो कि समान दिखते हैं। परिणाम एक ऐसा सिस्टम है जो एक विकृत, समय-परिवर्तित ऑब्जेक्ट को रे-ट्रेस्ड शैडो के साथ 1024² रिज़ॉल्यूशन पर रेंडर कर सकता है, जो केवल 1 से 2 मिलीसेकंड में टाइम स्टेप को अपडेट कर देता है। पेपर सुझाव देता है कि यह दृष्टिकोण वैज्ञानिकों को बिना न्यूरल नेटवर्क को फिर से प्रशिक्षित किए या हर क्षण के लिए विशाल डेटा स्टोर किए, सीधे निरंतर समय (continuous time) को एक्सप्लोर करने की अनुमति देता है, जिससे अदृश्य को दृश्यमान बनाना वास्तव में इंटरैक्टिव महसूस होता है।

"कूदने वाली" किरण का जादू

यह समझने के लिए कि यह कैसे काम करता है, आइए प्रकाश की किरण को एक जिज्ञासु खोजकर्ता के रूप में देखें जो एक रहस्यमय, अदृश्य वस्तु का रंग खोजने की कोशिश कर रहा है। पुराने दिनों में, यह खोजकर्ता एक सीधी रेखा के साथ बहुत छोटे-छोटे कदम लेता, और हर कदम पर एक लाइब्रेरियन (न्यूरल नेटवर्क) से पूछता, "यहाँ रंग क्या है?" यदि ऑब्जेक्ट बहुत बड़ा है और कदम बहुत छोटे हैं, तो खोजकर्ता लाखों बार सवाल पूछता है। चूंकि लाइब्रेरियन जटिल गणित करने में व्यस्त है, इसलिए खोजकर्ता फंस जाता है और मूवी फ्रीज हो जाती है।

लेखकों की नई विधि, डेल्टा ट्रैकिंग, खोजकर्ता की रणनीति को बदल देती है। बेबी स्टेप्स के बजाय, खोजकर्ता बड़ी, यादृच्छिक छलांग लगाता है। उनके पास एक नियम है: "मुझे पता है कि कोहरा इस अधिकतम सीमा से अधिक घना नहीं हो सकता।" इसलिए, वे एक ऐसी दूरी तक कूदते हैं जो उस अधिकतम सीमा पर सुरक्षित होगी। जब वे उतरते हैं, तो वे लाइब्रेरियन से पूछते हैं, "क्या कोहरा वास्तव में यहाँ इतना घना है?"

• यदि उत्तर है "हाँ, यह घना है," तो वे रुकते हैं और रंग भरते हैं।
• यदि उत्तर है "नहीं, यह वास्तव में पतला है," तो वे लैंडिंग स्पॉट को अनदेखा करते हैं और एक और बड़ी छलांग लगाते हैं।

यह एक ऐसे खेल की तरह है जहाँ आप केवल तभी स्कोर चेक करते हैं जब आप एक "विशेष" टाइल पर उतरते हैं। अधिकांश समय, आप बस हवा में उड़ते रहते हैं। क्योंकि न्यूरल नेटवर्क ही धीमा हिस्सा है, इसलिए जहाँ उत्तर "कुछ खास नहीं" है, वहाँ सवालों को छोड़ देने से बहुत समय बचता है।

दो-दिमागों की टीम

पेपर एक महत्वपूर्ण अंतर्दृष्टि को उजागर करता है: कंप्यूटर जिस तरह से "चलने" (ट्रैवर्सल) और "गणित" (न्यूरल इन्फरेंस) को संभालते हैं, वह बहुत अलग है। चलना एक व्यक्ति द्वारा मानचित्र पर कदम-दर-कदम जाँच करने जैसा है, जबकि जटिल गणित करना एक कोरस (choir) के पूर्ण सामंजस्य में गाने जैसा है। यदि आप कोरस को एक बार में एक नोट गाने के लिए मजबूर करते हैं, तो यह अक्षम है।

लेखकों ने एक चार-चरणीय पाइपलाइन बनाई है जो एक सुव्यवस्थित फैक्ट्री की तरह काम करती है:

1. रे इनिशियलाइजेशन (Ray Initialization): फैक्ट्री कैमरे के लिए खोजकर्ताओं (किरणों) को सेटअप करती है।
2. ट्रैवर्सल (RT Cores): "चलने" के विशेषज्ञ (रे ट्रेसिंग कोर्स) खोजकर्ताओं को लेते हैं और उन्हें वर्चुअल स्पेस में छलांग लगाने के लिए भेजते हैं। वे लैंडिंग स्पॉट्स ढूंढ लेते हैं लेकिन अभी तक लाइब्रेरियन से नहीं पूछते। वे बस पते (addresses) लिख लेते हैं।
3. इवैल्यूएशन (Tensor Cores): "गणित" के विशेषज्ञ (टेंसर कोर्स) एक साथ पतों की एक बड़ी सूची लेते हैं और लाइब्रेरियन से एक साथ सभी उत्तर पूछते हैं। यहीं पर जादू होता है; न्यूरल नेटवर्क को सवालों का एक बैच दिया जाता है और वह अपनी पूरी शक्ति का उपयोग करके एक साथ सभी के जवाब देता है।
4. फाइनलाइजेशन (Finalization): परिणामों को वापस लाया जाता है, और खोजकर्ता तय करते हैं कि वे रुकेंगे या फिर से कूदेंगे।

यह "वेवफ्रंट" दृष्टिकोण सुनिश्चित करता है कि कंप्यूटर का दिमाग कभी खाली न रहे। जब एक समूह चल रहा होता है, तो दूसरा गणित कर रहा होता है। पेपर दिखाता है कि यह विधि एक 'नेइव' (naive) दृष्टिकोण की तुलना में लगभग 125 गुना तेज़ है जो सब कुछ एक-एक करके करने की कोशिश करता है, और उन पुराने तरीकों की तुलना में 2 गुना से अधिक तेज़ है जो विशेष रे-ट्रेसिंग हार्डवेयर का उपयोग नहीं करते हैं।

स्मार्ट स्किपिंग: हर सवाल पूछने से बचना

इस लीप-एंड-चेक विधि के साथ भी, लाइब्रेरियन से पूछना अभी भी महंगा है। लेखकों ने इसे और भी तेज़ बनाने के लिए दो "स्मार्ट स्किप" फीचर्स जोड़े हैं:

1. "बोरिंग ज़ोन" स्किप (होमोजेनिटी-बेस्ड क्वेरी प्रूनिंग):
   कल्पना कीजिए कि खोजकर्ता एक ऐसे कमरे में उतरता है जो पूरी तरह से सफेद और खाली दिखता है। यदि कमरा ज्ञात रूप से एक समान (uniform) है, तो लाइब्रेरियन से क्यों पूछना? सिस्टम यह जाँचता है कि क्या क्षेत्र "बोरिंग" (एक समान) है। यदि यह है, तो यह बस औसत रंग का अनुमान लगाता है और आगे बढ़ जाता है। इससे एक सवाल बच जाता है। हालाँकि, पेपर नोट करता है कि यदि आप बहुत आक्रामक तरीके से अनुमान लगाते हैं, तो आप छोटे विवरणों को मिस कर सकते हैं, इसलिए वे इन बोरिंग ज़ोन के किनारों के पास सावधान रहने के लिए एक "स्टोकेस्टिक फॉलऑफ" का उपयोग करते हैं।

2. "केवल वही बदलें जो हिल रहा है" स्किप (एडैप्टिव रे बजटिंग):
   कल्पना कीजिए कि आप एक वीडियो देख रहे हैं। यदि बैकग्राउंड एक स्थिर दीवार है, तो आपको इसे हर सेकंड फिर से बनाने की आवश्यकता नहीं है। आपको केवल उन हिस्सों को फिर से बनाने की आवश्यकता है जहाँ एक पक्षी उड़ रहा है। सिस्टम पिछले फ्रेम को देखता है और पूछता है, "क्या यह पिक्सेल बदला है?"

• यदि पिक्सेल स्थिर है (दीवार), तो यह उसे फिर से बनाने के बजाय पुराने रंग का उपयोग करता है।
• यदि पिक्सेल बदल रहा है (पक्षी), तो यह उसे फिर से बनाने के लिए अपना "बजट" खर्च करता है।
  उन्होंने यह तय करने के लिए तीन तरीकेों का परीक्षण किया: एक जो रंग परिवर्तन को देखता है (रेसिड्यूअल-हिस्टोग्राम), एक जो एक यादृच्छिक पैटर्न का उपयोग करता है (STBN), और दोनों का मिश्रण। उन्होंने पाया कि "चेंज डिटेक्शन" के साथ यादृच्छिक पैटर्न को मिलाने से सबसे अच्छे परिणाम मिले, जिससे कई पिक्सेल को छोड़ने के बावजूद भी इमेज स्मूथ और नेचुरल दिखती रही।

परिणाम: सुचारू, रियल-टाइम विज्ञान

टीम ने छह अलग-अलग डेटासेट्स पर अपने सिस्टम का परीक्षण किया, जिसमें विकृत वस्तुओं के एक्स-रे स्कैन और फ्लूइड फ्लो के सिमुलेशन शामिल हैं। उन्होंने सब कुछ एक NVIDIA RTX 4090 GPU पर 1024² रिज़ॉल्यूशन पर चलाया।

• गति (Speed): सिस्टम मानक रेंडरिंग के लिए 30 से 40 फ्रेम्स प्रति सेकंड (FPS) और जटिल शैडो जोड़ने पर भी लगभग 30 FPS प्राप्त करता है। यह एक सुचारू, इंटरैक्टिव अनुभव के लिए पर्याप्त तेज़ है।
• प्रतिक्रियाशीलता (Responsiveness): जब उपयोगकर्ता समय (रेसिपी में "t") बदलता है, तो सिस्टम लगभग 1 से 2 मिलीसेकंड में अपडेट हो जाता है। इसका मतलब है कि आप एक स्लाइडर को खींच सकते हैं और ऑब्जेक्ट को तुरंत बदलते हुए देख सकते हैं, बिना इंतज़ार किए।
• मेमोरी (Memory): सिस्टम आश्चर्यजनक रूप से कुशल है। न्यूरल नेटवर्क स्वयं बहुत छोटा है (केवल 1–2 MB), और सभी अतिरिक्त संरचनाओं के साथ भी, कुल मेमोरी उपयोग लगभग 600 MB रहता है, जो पारंपरिक वैज्ञानिक विज़ुअलाइज़ेशन सिस्टमों की तुलना में बहुत कम है।

पेपर स्पष्ट रूप से इस विचार को खारिज करता है कि आपको न्यूरल नेटवर्क को फिर से प्रशिक्षित करने या डेटा को वोक्सेल (voxels) के ग्रिड में बदलने की आवश्यकता है। वे दिखाते हैं कि आप नेटवर्क को सीधे वैसे ही रेंडर कर सकते हैं जैसा इसे प्रशिक्षित किया गया था। वे यह भी तर्क देते हैं कि जबकि कैशिंग (बाद के लिए उत्तर सहेजना) स्थिर छवियों के लिए काम करती है, यह समय-परिवर्तित डेटा के लिए विफल हो जाती है क्योंकि समय आगे बढ़ते ही उत्तर गलत हो जाते हैं। उनका तरीका इसे ऑन-द-फ्लाई गणना करके कुशलतापूर्वक हल करता है।

यह क्यों मायने रखता है

उन वैज्ञानिकों के लिए जो हृदय की धड़कन, तूफान के घूमने या तनाव के तहत सामग्री के विरूपण (deformation) का अध्ययन कर रहे हैं, डेटा को रियल-टाइम में देखना एक गेम-चेंजर है। इससे पहले, उन्हें एक सिंगल फ्रेम के लिए मिनटों का इंतजार करना पड़ता था या कम-गुणवत्ता वाले दृश्य से समझौता करना पड़ता था। अब, वे डेटा के साथ इंटरैक्ट कर सकते हैं, उसे घुमा सकते हैं और उसे निरंतर विकसित होते देख सकते हैं। लेखक सुझाव देते हैं कि यह ढांचा इन कॉम्पैक्ट न्यूरल रिप्रेजेंटेशन के लिए इंटरैक्टिव वैज्ञानिक विज़ुअलाइज़ेशन के द्वार खोलता है, जिससे शोधकर्ता अपने डेटा के "निरंतर समय" को एक्सप्लोर कर सकते हैं।

पेपर निष्कर्ष निकालता है कि हालांकि अभी भी कुछ सीमाएँ हैं—जैसे कि "बोरिंग ज़ोन" थ्रेशोल्ड के लिए सावधानीपूर्वक सेटअप की आवश्यकता या यह तथ्य कि सिस्टम वर्तमान में विशिष्ट NVIDIA हार्डवेयर पर निर्भर है—लेकिन यह दृष्टिकोण न्यूरल रिप्रेजेंटेशन की कॉम्पैक्टनेस और इंटरैक्टिव, उच्च-गुणवत्ता वाले विज़ुअलाइज़ेशन की आवश्यकता के बीच के अंतर को सफलतापूर्वक पाटता है। यह साबित करता है कि आपको डेटा की "न्यूरल" प्रकृति को बनाए रखने के लिए उसे तेज़ बनाने की ज़रूरत नहीं है; आपको बस सही क्रम में सही सवाल पूछने और उन सवालों को छोड़ देने की ज़रूरत है जिनकी आपको आवश्यकता नहीं है।