कल्पना कीजिए कि आप एक बिल्कुल अंधेरे कमरे में फोटो खींचने की कोशिश कर रहे हैं, जिसमें एक ऐसा कैमरा है जो बहुत संवेदनशील है लेकिन थोड़ा अनाड़ी भी है। एक स्पष्ट तस्वीर पाने के लिए, आपको शटर को लंबे समय तक खुला छोड़ना होगा, जिससे प्रकाश के लाखों सूक्ष्म कण अंदर आ सकें। लेकिन यदि आप केवल कुछ ही कणों को आने देते हैं, तो तस्वीर एक पुराने टीवी के स्टैटिक (static) की तरह दिखेगी—दानेदार, चितकबरी और यादृच्छिक चमकीले धब्बों से भरी हुई। यह बिल्कुल वैसा ही है जैसा कंप्यूटर ग्राफिक्स की दुनिया में होता है जब कलाकार वास्तविक दिखने वाली 3D फिल्में या गेम बनाने की कोशिश करते हैं। वे "मोंटे कार्लो रेंडरिंग" (Monte Carlo rendering) नामक एक तकनीक का उपयोग करते हैं, जो मूल रूप से इस बात का अनुमान लगाने का एक शानदार तरीका है कि प्रकाश एक दृश्य में कैसे घूमता है। वे जितने अधिक अनुमान (या "किरणें/rays") लगाते हैं, चित्र उतना ही स्पष्ट होता जाता है, लेकिन इसमें उतना ही अधिक समय लगता है। यदि उनके पास पर्याप्त समय नहीं है, तो परिणाम एक शोर भरा, अस्त-व्यस्त ढेर जैसा होता है जो किसी वास्तविक फोटो जैसा बिल्कुल नहीं दिखता।

वर्षों तक, समाधान या तो लंबा इंतजार करना था (जो महंगा और धीमा है) या दृश्य को सुचारू बनाने के लिए चतुर गणितीय युक्तियों का उपयोग करना था। लेकिन हाल ही में, एक विशेष प्रकार का AI जिसे "डिफ्यूजन मॉडल" (diffusion model) कहा जाता है, रैंडम स्टैटिक को सुंदर चित्रों में बदलने के लिए प्रसिद्ध हुआ है। इसे एक मास्टर पेंटर की तरह समझें जिसने अरबों तस्वीरें देखी हैं और जानता है कि एक छाया, एक चमकदार सेब, या एक रोएँदार बादल कैसा दिखना चाहिए। यह शोध पत्र एक बड़ा सवाल पूछता है: क्या हम इस मास्टर पेंटर को उन बिखरे हुए, शोर वाले कंप्यूटर-जनित चित्रों को ठीक करने के लिए प्रशिक्षित कर सकते हैं? लेखक सुझाव देते हैं कि यदि हम AI को 3D दृश्य के बारे में अतिरिक्त जानकारी का एक "चीट शीट" (cheat sheet) दें (जैसे कि दीवारें कहाँ हैं या वस्तुओं का रंग क्या है), तो यह शोर को पहले के किसी भी तरीके की तुलना में बेहतर तरीके से साफ कर सकता है, जिससे ऐसी छवियां बन सकती हैं जो इतनी वास्तविक लगें कि आपकी आंखों को धोखा दे सकें।

शोध पत्र का बड़ा विचार: बिखरी हुई 3D कला को ठीक करने के लिए AI को सिखाना

शोधकर्ताओं ने, जो इलिनोइस विश्वविद्यालय की एक टीम है, ने एक विशिष्ट प्रकार के AI जिसे पिक्सेल-स्पेस डिफ्यूजन मॉडल कहा जाता है, का उपयोग करके "रेंडर शोर" (render noise) की समस्या को हल करने का निर्णय लिया। आप एक डिफ्यूजन मॉडल को एक जासूस के रूप में देख सकते हैं जो पूरी तरह से बिखरी हुई, शोर वाली छवि से शुरू करता है और धीरे-धीरे उसे चरण दर चरण अनस्क्रैम्बल (unscramble) करता है, जब तक कि एक स्पष्ट चित्र उभर न आए। आमतौर पर, ये जासूस वास्तविक दुनिया की तस्वीरों पर प्रशिक्षित होते हैं, इसलिए उनकी एक बहुत मजबूत "अंतर्ज्ञान" (prior) होती है कि एक वास्तविक छवि कैसी दिखती है।

टीम की मुख्य खोज यह है कि वे इस "अंतर्ज्ञान" का उपयोग करके शोर से भरी कंप्यूटर-जनित छवियों को ठीक कर सकते हैं। हालांकि, उन्हें एहसास हुआ कि केवल AI को शोर वाली तस्वीर दिखाना पर्याप्त नहीं था। AI को एक मार्गदर्शक की आवश्यकता थी। इसलिए, उन्होंने एक विशेष "कंट्रोल मॉड्यूल" (Control Module) बनाया (जो ControlNet जैसे टूल के समान है) जो AI को 3D दृश्य से अतिरिक्त सुराग प्रदान करता है। इन सुरागों में शामिल हैं जैसे अल्बेडो (albedo - वस्तुओं का वास्तविक रंग), नॉर्मल्स (normals - सतह किस दिशा में है), और डेप्थ (depth - चीजें कितनी दूर हैं)। यह एक जासूस को अपराध सुलझाने की कोशिश करते समय एक नक्शा और संदिग्धों की सूची देने जैसा है।

यह शोध पत्र दिखाता है कि यह तरीका अविश्वसनीय रूप से अच्छा काम करता है। जब उन्होंने बहुत कम प्रकाश किरणों (विशेष रूप से प्रति पिक्सेल 4, 16 और 64 किरणें) के साथ रेंडर की गई छवियों पर अपने सिस्टम का परीक्षण किया, तो उनके AI ने वर्तमान सर्वोत्तम तरीकों की तुलना में अधिक साफ और स्पष्ट चित्र बनाए। वास्तव में, अपने परीक्षणों में, उनके तरीके का त्रुटि दर (जिसे L1 मीट्रिक द्वारा मापा जाता है) सबसे कम था और दृश्य गुणवत्ता स्कोर (FoVVDP) सबसे अधिक था। उदाहरण के लिए, प्रति पिक्सेल 4 किरणों वाले एक परीक्षण पर, उनके तरीके ने 39.13 का PSNR (छवि गुणवत्ता का एक माप) प्राप्त किया, जो अगले सबसे अच्छे प्रतिस्पर्धी को पछाड़ गया जिसका स्कोर 38.82 था।

उन्होंने क्या खारिज किया और यह क्यों महत्वपूर्ण है

लेखकों ने बहुत सावधानी से उन लोकप्रिय विचारों को खारिज किया जो अच्छे समाधान लग सकते हैं लेकिन वास्तव में इस विशिष्ट कार्य के लिए विफल हो जाते हैं।

सबसे पहले, उन्होंने लेटेंट वेरिएबल मॉडल्स (latent variable models - जैसे कि Stable Diffusion में उपयोग किए जाने वाले) के उपयोग के खिलाफ तर्क दिया। ये मॉडल प्रोसेसिंग से पहले एक छवि को एक छोटे, छिपे हुए कोड में संकुचित (compress) कर देते हैं। शोध पत्र प्रदर्शित करता है कि यह संपीड़न 3D रेंडर को ठीक करने के लिए एक आपदा है। क्योंकि छवि को सिकोड़ दिया जाता है, तीक्ष्ण छाया या स्पष्ट बनावट जैसे सूक्ष्म विवरण धुंधले हो जाते या हमेशा के लिए खो जाते हैं। लेखकों ने दिखाया कि भले ही आप छवि को वापस खींचने की कोशिश करें, नुकसान हो चुका होता है। उन्होंने यह सिद्ध करने के लिए कि एक मानक लेटेंट मॉडल तीक्ष्ण काले पैच को धुंधले धब्बों में बदल देता है और रंगों को गलत तरीके से बदल देता है, यह प्रमाण दिया। इसलिए, उन्होंने "संकुचित" दृष्टिकोण को खारिज कर दिया और पूर्ण, उच्च-रिज़ॉल्यूशन पिक्सेल के साथ काम करने पर जोर दिया।

दूसिला, उन्होंने तर्क दिया कि बिना किसी अतिरिक्त मदद के केवल एक पूर्व-प्रशिक्षित AI का उपयोग करना काम नहीं करता है। जब उन्होंने अपने विशेष "कंट्रोल मॉड्यूल" के बिना आधार AI मॉडल (DeepFloyd Stage II) का उपयोग करने का प्रयास किया, तो परिणाम बहुत खराब थे। AI यह नहीं जानता था कि 3D दृश्य के भौतिकी का सम्मान कैसे किया जाए और उसने यादृच्छिक, अवास्तविक पैटर्न बना दिए। यह सिद्ध करता है कि अतिरिक्त सुराग (रेंडर बफर्स) अत्यंत आवश्यक हैं; AI केवल अनुमान लगाकर अच्छा परिणाम नहीं दे सकता।

यथार्थवाद का "जादू"

उनकी खोजों का सबसे रोमांचक हिस्सा यह है कि चित्र कैसे दिखते हैं। जबकि अन्य तरीके केवल शोर को सुचारू बना सकते हैं, वे अक्सर अजीब आर्टिफैक्ट्स (artifacts) छोड़ देते हैं, जैसे कि "धब्बेदार" पैच या टूटी हुई रेखाएं। लेखक सुझाव देते हैं कि चूंकि उनके AI को अरबों वास्तविक तस्वीरों पर प्रशिक्षित किया गया है, इसलिए वह जानता है कि एक "वास्तविक" छवि कैसी महसूस होनी चाहिए।

उदाहरण के लिए, यदि एक दीवार पर छाया पड़ती है, तो एक वास्तविक छाया की एक सीधी, साफ किनारी होती है। शोध पत्र नोट करता है कि उनका तरीका लगातार इन सीधी रेखाओं को उत्पन्न करता है, जबकि अन्य तरीके अक्सर उन्हें धुंधला या धब्बेदार बना देते हैं। इसी तरह, यदि चाय के कप पर कोई चमक (highlight) है, तो AI जानता है कि इसे तीक्ष्ण और साफ होना चाहिए, धुंधला नहीं। लेखक बताते हैं कि उनका AI "फ्लाईफ्लीज़" (fireflies)—वे परेशान करने वाले, एकल चमकीले पिक्सेल जो चिंगारी की तरह दिखते हैं—को भी अनदेखा करके संभालता है क्योंकि वे एक यथार्थवादी फोटो में फिट नहीं होते। AI को उन्हें हटाने के लिए स्पष्ट रूप से बताने की आवश्यकता नहीं है; वह बस जानता है कि वे वास्तविकता की तस्वीर में फिट नहीं बैठते।

ट्रेड-ऑफ: गति बनाम गुणवत्ता

शोध पत्र इसकी लागत के बारे में ईमानदार है। यह विधि कोई "एक-क्लिक" समाधान नहीं है जो तुरंत होता है। लेखक नोट करते हैं कि उनके सिस्टम को एक छोटे 256x256 इमेज को साफ करने में लगभग 2.8 सेकंड और एक शक्तिशाली GPU पर एक बड़े HD इमेज के लिए लगभग 63 सेकंड का समय लगता है। यह वर्तमान "तेज" तरीकों की तुलना में बहुत धीमा है, जो इसे एक सेकंड के अंश में कर सकते हैं।

हालांकि, लेखक तर्क देते हैं कि यह गति अभी भी सार्थक है। वे बताते हैं कि एक उच्च-गुणवत्ता वाली 3D फिल्म का एक सिंगल फ्रेम रेंडर करने में सुपरकंप्यूटर पर घंटों या दिनों तक का समय लग सकता है। एक आदर्श चित्र के लिए घंटों इंतजार करने की तुलना में, एक शोर वाले चित्र को साफ करने के लिए एक मिनट इंतजार करना एक बहुत छोटी कीमत है। वे यह भी सुझाव देते हैं कि प्रक्रिया को AI के कुछ "सोचने के चरणों" (लगभग आधे) को छोड़कर तेज किया जा सकता है, जिससे भविष्य में यह और भी तेज हो सकता है।

निष्कर्ष

संक्षेप में, यह शोध पत्र सुझाव देता है कि हम एक शक्तिशाली AI का उपयोग करके बिखरे हुए, शोर वाले 3D कंप्यूटर ग्राफिक्स को ठीक कर सकते हैं जिसने अरबों वास्तविक तस्वीरें देखी हैं, बशर्ते हम इसे 3D दृश्य का एक नक्शा दें। परिणाम ऐसी छवियां हैं जो अधिक वास्तविक दिखती हैं, जिनमें तीक्ष्ण छाया और साफ हाइलाइट्स होती हैं, जो गणितीय स्कोर और मानवीय धारणा दोनों में वर्तमान सर्वोत्तम तरीकों को पछाड़ देती हैं। हालांकि इसे चलाने में पुराने तरीकों की तुलना में थोड़ा अधिक समय लगता है, लेखकों का मानना है कि गुणवत्ता में यह उछाल उन सभी के लिए गेम-चेंजर है जो कंप्यूटर के काम पूरा होने का अनंत इंतजार किए बिना वास्तविक दिखने वाली 3D दुनिया बनाना चाहते हैं।