TDiR: Transformer based Diffusion for Image Restoration Tasks
यह शोध पत्र TDiR को प्रस्तुत करता है, जो एक ट्रांसफार्मर-आधारित डिफ्यूजन मॉडल है जो अंडरवॉटर एन्हांसमेंट, डीनॉइज़िंग और डीरेनिंग के पांच बेंचमार्क में 18 अत्याधुनिक तकनीकों से बेहतर प्रदर्शन करता है, जो डाउनस्ट्रीम कार्यों के लिए खराब हुई छवि गुणवत्ता को प्रभावी ढंग से पुनर्स्थापित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुंदर पेंटिंग को देखने की कोशिश कर रहे हैं, लेकिन किसी ने उस पर धुंध छिड़क दी है, कीचड़ के छींटे मार दिए हैं, या उसे बारिश की एक मोटी परत से ढक दिया है। कंप्यूटर की दुनिया में, इसे "इमेज डिग्रेडेशन" (image degradation) कहा जाता है। जब कोई कैमरा अंधेरी गुफा, पानी के नीचे, या तूफान के दौरान फोटो खींचता है, तो परिणामी तस्वीर अक्सर धुंधली, शोर भरी (noisy), या गलत रंग की होती है। यह केवल फोटोग्राफरों के लिए एक परेशानी नहीं है; यह रोबोटों, स्वायत्त वाहनों (self-driving cars) और डॉक्टरों के लिए एक बहुत बड़ी समस्या है जिन्हें निर्णय लेने के लिए स्पष्ट रूप से देखने की आवश्यकता होती है। वर्षों से, कंप्यूटर इन तस्वीरों को ठीक करने के लिए "डिस्क्रिमिनेटिव" (discriminative) मॉडल्स का उपयोग करने की कोशिश करते रहे हैं। इन्हें एक सख्त कला शिक्षक की तरह समझें जो एक कीचड़ भरी पेंटिंग को देखता है और अनुमान लगाने की कोशिश करता है कि मूल कला वास्तव में क्या रही होगी, जवाब तक पहुँचने के लिए एक ही, कठोर पथ का पालन करते हुए। लेकिन वास्तविक दुनिया की अव्यवस्था इतनी सरल नहीं होती। कभी-कभी, एक धुंधले धब्बे को कई अलग-अलग तरीकों से ठीक किया जा सकता है, और एक एकल कठोर अनुमान चूक जाता है।
यहाँ एक नया, अधिक रचनात्मक दृष्टिकोण आता है जिसे "डिफ्यूजन मॉडल्स" (diffusion models) कहा जाता है। यदि पुराना तरीका एक सख्त शिक्षक है, तो डिफ्यूजन मॉडल मिट्टी के साथ काम करने वाले एक मूर्तिकार की तरह है। अंतिम आकार का तुरंत अनुमान लगाने के बजाय, मूर्तिकार यादृच्छिक शोर (जैसे कि मिट्टी के धूल का एक अराजक ढेर) के एक ढेर से शुरू करता है और धीरे-धीरे, चरण-दर-चरण, शोर को हटाकर नीचे छिपी हुई छवि को प्रकट करता है। यह शोध पत्र एक नया टूल पेश करता है जिसे TDiR (ट्रांसफॉर्मर-आधारित डिफ्यूजन फॉर इमेज रिस्टोरेशन) कहा जाता है। यह डिफ्यूजन मॉडल्स की चरण-दर-चरण "मूर्तिकला" की शक्ति को एक "ट्रांसफॉर्मर" आर्किटेक्चर के साथ जोड़ता है—जो कि एक प्रकार का कंप्यूटर मस्तिष्क है जो वास्तव में यह समझने में बहुत अच्छा है कि एक छवि के विभिन्न हिस्से एक-दूसरे से कैसे संबंधित हैं, ठीक वैसे ही जैसे हम शब्दों के जुड़ाव को देखकर एक वाक्य को समझते हैं। लेखकों ने यह देखने के लिए इस संयोजन का उपयोग किया कि क्या यह तीन बहुत ही खराब तरह की तस्वीरों को ठीक कर सकता है: पानी के नीचे के शॉट (जो अक्सर हरे और धुंधले होते हैं), बारिश से ढकी तस्वीरें, और शोर (static noise) से भरी तस्वीरें।
शोधकर्ताओं ने मौजूदा स्मार्ट नेटवर्क PromptIR को "नॉइज़-कंडीशन्ड" (noise-conditioned) अपग्रेड देकर TDiR बनाया। उन्होंने एक विशेष डिकोडर पाथवे जोड़ा जो कंप्यूटर को बताता है, "हे, हम सफाई प्रक्रिया के इस विशिष्ट चरण पर हैं, और शोर का स्तर इतना उच्च है।" यह मॉडल को काम करते समय अपनी रणनीति को समायोजित करने की अनुमति देता है। उन्होंने इस नए सिस्टम का परीक्षण पांच अलग-अलग मानक बेंचमार्क पर किया, जिसमें 18 अन्य शीर्ष-स्तरीय तकनीकों के साथ तुलना की गई। परिणाम प्रभावशाली थे। अंडरवॉटर श्रेणी में, TDiR ने PSNR (एक माप कि बहाल की गई छवि मूल के कितने करीब है) में 22.90 dB और SSIM (संरचनात्मक समानता का एक माप) में 0.8724 का स्कोर प्राप्त किया, जो निकटतम प्रतिस्पर्धी MetaUE को 0.89dB और 0.011 SSIM अंकों से पीछे छोड़ देता है। बारिश हटाने के मामले में, इसने Rain100L डेटासेट पर 37.43 dB का स्कोर प्राप्त किया, जो विशेष रूप से उसी कार्य के लिए पुन: प्रशिक्षित मॉडल (PromptIR*) को 0.40dB से मामूली रूप से पीछे छोड़ गया।
हालाँकि, यह शोध पत्र इस बात के प्रति सावधान है कि यह इसे एक पूर्ण, हल की गई समस्या नहीं कहता है। लेखकों ने पाया कि जबकि TDiR एक "जनरलिस्ट" (generalist) है जो शोर, बारिश और पानी के नीचे की समस्याओं को एक साथ संभाल सकता है, यह हमेशा उन "स्पेशलिस्ट" (specialist) मॉडल्स को नहीं हरा पाता जो केवल एक ही काम करते हैं। वास्तव में, कम शोर के स्तर पर डिनोइजिंग (denoising) के लिए, केवल उस कार्य के लिए प्रशिक्षित एक मॉडल अभी भी बेहतर प्रदर्शन करता है। उन्होंने एक विशिष्ट विचित्रता भी नोट की: क्योंकि मॉडल छवियों को छोटे पैच (जैसे कि एक मोज़ेक) में संसाधित करता है, इसलिए यह कभी-कभी पैच के मिलन स्थल पर किनारों पर हल्के "ब्लॉकिंग" आर्टिफैक्ट्स छोड़ देता है, जो तकनीकी स्कोर को थोड़ा कम कर सकता है भले ही छवि मानवीय आंखों को शानदार दिखे। इसके अलावा, यह प्रक्रिया पुरानी विधियों की तुलना में धीमी और अधिक कम्प्यूटेशनल रूप से महंगी है क्योंकि इसे छवि को वापस जीवंत करने के लिए कई चरणों की आवश्यकता होती है।
अंततः, यह अध्ययन सुझाव देता है कि डिफ्यूजन मॉडल्स को ट्रांसफॉर्मर्स के साथ मिलाना खराब हुई छवियों को बहाल करने का एक शक्तिशाली तरीका है, जो अक्सर ऐसे परिणाम देता है जो अधिक प्राकृतिक दिखते हैं और पुराने तरीकों की तुलना में जटिल, बहु-परतीय अव्यवस्थाओं को बेहतर ढंग से संभालते हैं। यह सुझाव देता है कि पानी के नीचे के अन्वेषण या स्वायत्त ड्राइविंग जैसे कार्यों के लिए, जहाँ "सही" उत्तर हमेशा स्पष्ट नहीं होता है, यह लचीला, चरण-दर-चरण दृष्टिकोण दृश्य गुणवत्ता में एक महत्वपूर्ण अपग्रेड प्रदान करता है, भले ही इसके साथ कंप्यूटिंग पावर की उच्च लागत और कुछ मामूली तकनीकी समझौते आते हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।