PixRestore: Unified Image Restoration via Pixel Diffusion Transformer

हर दिन, हमारे कैमरे दुनिया को अपूर्ण तरीकों से कैद करते हैं। अचानक हुई मूसलाधार बारिश लेंस पर धारियां छोड़ देती है; घना कोहरा एक दूर स्थित पर्वत को धुंधला कर देता है; एक कम रोशनी वाला कमरा एक चेहरे को छाया में बदल देता है। दशकों से, वैज्ञानिक ऐसे कंप्यूटर प्रोग्राम बनाने की कोशिश कर रहे हैं जो इन क्षतिग्रस्त छवियों को ठीक कर सकें, जिससे एक धुंधली, शोर वाली या अस्पष्ट फोटो को फिर से स्पष्ट और तीक्ष्ण बनाया जा सके। इमेज रेस्टोरेशन (छवि बहाली) के रूप में ज्ञात यह क्षेत्र लंबे समय से दो मुख्य रणनीतियों पर निर्भर रहा है। पहली रणनीति इस समस्या को एक सरल गणितीय पहेली की तरह मानती है, जो क्षतिग्रस्त चित्र के आधार पर सबसे संभावित मूल चित्र की गणना करने का प्रयास करती है। हालांकि यह तेज़ है, लेकिन इन तरीकों से अक्सर ऐसे परिणाम मिलते हैं जो बहुत चिकने (smooth) दिखते हैं, जिससे वे सूक्ष्म बनावट (textures) खो जाती हैं जो एक फोटो को वास्तविक बनाती हैं। दूसरी रणनीति शक्तिशाली जनरेटिव मॉडल का उपयोग करती है, जिन्हें मूल रूप से टेक्स्ट विवरणों के आधार पर नए चित्र बनाने के लिए डिज़ाइन किया गया है। ये मॉडल यथार्थवादी विवरणों का आविष्कार करने में उत्कृष्ट हैं, लेकिन वे कभी-कभी ऐसी चीजें भी बना देते हैं जो वहां थीं ही नहीं, या वे उन विशिष्ट विवरणों को भूल सकते हैं जिन्हें संरक्षित करने की आवश्यकता है क्योंकि वे इसे ठीक करने से पहले एक छिपे हुए, अमूर्त कोड में संकुचित (compress) कर देते हैं।

हांगकांग पॉलिटेक्निक यूनिवर्सिटी और OPPO रिसर्च इंस्टीट्यूट के शोधकर्ताओं ने PixRestore नामक एक नया दृष्टिकोण विकसित किया है जो इस अंतर को पाटता है। कला बनाने के लिए उपयोग किए जाने वाले भारी, जटिल सिस्टमों, या विवरणों को चिकना करने वाले सरल गणित पर निर्भर रहने के बजाय, उन्होंने एक ऐसा सिस्टम बनाया है जो छवि के कच्चे पिक्सल (raw pixels) पर सीधे काम करता है। एक छवि को एक संकुचित फ़ाइल के रूपude, बल्कि रंगीन बिंदुओं के एक विशाल ग्रिड के रूप में कल्पना करें। अधिकांश आधुनिक बहाली उपकरण समय बचाने के लिए इन बिंदुओं को एक छोटे, अमूर्त प्रतिनिधित्व में सिकोड़ देते हैं, ठीक वैसे ही जैसे एक लंबी किताब का सारांश कुछ बुलेट पॉइंट्स में बनाना। समस्या यह है कि सारांश बनाने में, आप अक्सर कहानी की विशिष्ट बारीकियों को खो देते हैं। PixRestore इस सारांश प्रक्रिया को पूरी तरह से छोड़ देता है। यह रंगीन बिंदुओं के पूर्ण ग्रिड पर सीधे काम करता है, जिससे काम करते समय हर सूक्ष्म किनारे और बनावट को सुरक्षित रखा जा सके। यह सिस्टम को अविश्वसनीय रूप से कुशल बनाता है, जिससे यह अपने प्रतिस्पर्धियों की तुलना में बहुत कम कंप्यूटिंग शक्ति का उपयोग करते हुए भी ऐसे परिणाम देता है जो तीक्ष्ण और वास्तविक जीवन के करीब दिखते हैं।

इस नई प्रणाली का मूल एक प्रकार का आर्टिफिशियल इंटेलिजेंस आर्किटेक्चर है जिसे डिफ्यूजन ट्रांसफॉर्मर (Diffusion Transformer) कहा जाता है। सरल शब्दों में, यह मॉडल क्षरण (degradation) की प्रक्रिया को उलटने के लिए सीखता है। यह एक शोर युक्त, क्षतिग्रस्त छवि से शुरू होता है और धीरे-धीरे शोर, बारिश या धुंध को चरण दर चरण हटाना सीखता है, जब तक कि एक साफ तस्वीर उभर न आए। जो PixRestore को अद्वितीय बनाता है वह है कि यह इस प्रक्रिया को कैसे निर्देशित करता है। शोधकर्ताओं ने महसूस किया कि विभिन्न प्रकार के नुकसान के लिए अलग-अलग प्रकार के ध्यान की आवश्यकता होती है। उदाहरण के लिए, बारिश की धारियों को हटाने के लिए महीन, तीखी रेखाओं को देखने की आवश्यकता होती है, जबकि एक अंधेरे, कम रोशनी वाले फोटो को ठीक करने के लिए दृश्य की समग्र आकृति और चमक को समझने की आवश्यकता होती है। इसे संभालने के लिए, सिस्टम एक पूर्व-प्रशिक्षित "विज़न एक्सपर्ट" (दृष्टि विशेषज्ञ) का उपयोग करता है जो अलग-अलग स्तर के फोकस वाले नेत्रों की तरह कार्य करता है। यह विशेषज्ञ क्षतिग्रस्त छवि को देखता है और बहाली मॉडल को बताता है कि छवि के कौन से हिस्से अभी भी विश्वसनीय हैं और कौन से हिस्से इतने क्षतिग्रस्त हैं कि उन पर भरोसा नहीं किया जा सकता। यदि छवि की एक परत अभी भी स्पष्ट है, तो सिस्टम इसे एक मजबूत मार्गदर्शक के रूप में उपयोग करता है। यदि कोई परत अत्यधिक क्षतिग्रस्त है, तो सिस्टम जान जाता है कि उसे इसे अनदेखा करना चाहिए और एक स्वच्छ छवि कैसी दिखनी चाहिए, इसके अपने ज्ञान पर अधिक भरोसा करना चाहिए। यह अनुकूल मार्गदर्शन (adaptive guidance) सुनिश्चित करता है कि मॉडल उस नुकसान से भ्रमित न हो जिसे वह हटाने की कोशिश कर रहा है।

इस दृष्टिकोण के परिणाम आश्चर्यजनक हैं। शोधकर्ताओं ने अपने मॉडल का परीक्षण आठ अलग-अलग प्रकार के छवि नुकसान पर किया, जिसमें बारिश, बर्फ, कोहरा, धुंध और कम रोशनी शामिल है। इन परीक्षणों में, PixRestore ने पिछले तरीकों की तुलना में छवि विवरणों को तीक्ष्ण रखते हुए नुकसान को अधिक प्रभावी ढंग से हटाया। शायद सबसे आश्चर्यजनक बात यह है कि इसने यह सब केवल लगभग 50 मिलियन पैरामीटर्स के मॉडल के साथ किया। इसे समझने के लिए, कई प्रतिस्पर्धी सिस्टम जो भारी टेक्स्ट-टू-इमेज तकनीक का उपयोग करते हैं, वे अरबों गुना बड़े होते हैं, जिन्हें एक एकल छवि बनाने के लिए भारी मात्रा में कंप्यूटिंग शक्ति और समय की आवश्यकता होती है। इसके विपरीत, PixRestore एक ही चरण में एक बहाल छवि उत्पन्न कर सकता है, जो मानक हार्डवेयर पर एक सेकंड से भी कम समय लेता है। यह गति और दक्षता का अर्थ है कि यह तकनीक अंततः स्मार्टफोन जैसे रोजमर्रा के उपकरणों पर चल सकती है, न कि केवल बड़े डेटा केंद्रों तक सीमित रहेगी।

टीम ने यह भी पाया कि केवल मॉडल को बड़ा बनाने से यह और भी बेहतर हो सकता है। उन्होंने अपने सिस्टम के बड़े संस्करणों का परीक्षण किया, और इन बढ़े हुए मॉडलों ने और भी उच्च गुणवत्ता वाले परिणाम दिए, जो सुझाव देते हैं कि उनका डिज़ाइन कंप्यूटिंग शक्ति बढ़ने के साथ बढ़ने के लिए तैयार है। हालाँकि, शोधकर्ता नोट करते हैं कि जबकि उनका सिस्टम एक महत्वपूर्ण प्रगति है, यह पूर्ण नहीं है। यह उन छवियों के साथ संघर्ष करता है जो इतनी क्षतिग्रस्त हैं कि उनमें लगभग कोई उपयोगी जानकारी नहीं बची है, और वर्तमान में यह एक विशिष्ट छवि रिज़ॉल्यूशन पर सबसे अच्छा काम करता है। इन सीमाओं के बावजूद, यह कार्य प्रदर्शित करता है कि छवियों को प्रभावी ढंग से बहाल करने के लिए आपको विशाल, जटिल प्रणालियों की आवश्यकता नहीं है। कच्चे पिक्सल के साथ सीधे काम करके और स्मार्ट, अनुकूल मार्गदर्शन का उपयोग करके, ऐसे उपकरण बनाना संभव है जो तेज़ और मूल दृश्य के प्रति वफादार दोनों हों। यह दृष्टिकोण छवि बहाली के लिए एक नया मार्ग प्रदान करता है, जो शुद्ध आकार और जटिलता के बजाय स्पष्टता और दक्षता को प्राथमिकता देता है।