Towards Adaptive Super-Resolution and Quality Assessment via Test-Time Adaptation

कल्पना कीजिए कि आप एक ऊबड़-खाबड़ बस की सवारी करते समय अपने फोन पर अपनी पसंदीदा फिल्म देखने की कोशिश कर रहे हैं। स्क्रीन छोटी है, कनेक्शन अस्थिर है, और वीडियो ब्लॉक जैसा, धुंधला और अजीब डिजिटल शोर से भरा हुआ दिख रहा है। यह दुनिया भर के अरबों लोगों के लिए वीडियो स्ट्रीमिंग करने, ऑनलाइन कक्षाएं लेने या वीडियो कॉल में शामिल होने की दैनिक वास्तविकता है। कंप्यूटर विज्ञान की दुनिया में, "सुपर-रेज़ोल्यूशन" (Super-Resolution) नामक एक क्षेत्र है जो एक डिजिटल जादू की तरह काम करता है। इसका काम एक छोटे, धुंधले, कम-गुणवत्ता वाले चित्र को यह अनुमान लगाना है कि उसमें छूटे हुए विवरण कैसे दिखते हैं, और उसे एक स्पष्ट, हाई-डेफिनिशन चित्र में बदलना है।

लंबे समय तक, ये डिजिटल जादू के नुस्खे लैब में बहुत अच्छे से काम करते थे, जहाँ वैज्ञानिक उन्हें धुंधले और स्पष्ट चित्रों के आदर्श उदाहरण अगल-बगल में दे सकते थे। लेकिन वास्तविक दुनिया में, चीजें अव्यवस्थित होती हैं। वीडियो अजीब संपीड़न (compression), मोशन ब्लर और विभिन्न प्रकार के कैमरों के कारण विकृत हो जाते हैं जिन्हें कंप्यूटर ने पहले कभी नहीं देखा था। यह एक शेफ को केवल ताजी और बेहतरीन सामग्री के साथ खाना पकाने के लिए सिखाने जैसा है, और फिर उसे एक कैंपसाइट पर भेज देना जहाँ उसके पास केवल डिब्बाबंद बीन्स और गंदा पानी है। उन्हें चलते-फिरते अनुकूलित होने के तरीके की आवश्यकता है। यहीं पर "टेस्ट-टाइम अडैप्टेशन" (Test-Time Adaptation) आता है—एक चतुर विचार जहाँ कंप्यूटर उस विशिष्ट भोजन को पकाते समय ही अपना नुस्खा सीखता है और उसे समायोजित करता है जिसे वह अभी बना रहा है, न कि बाद में किसी नई क्लास के इंतजार में।

यह शोध पत्र, अजीत कुमार वर्मा द्वारा लिखा गया है, यह पता लगाता है कि हम इन वीडियो-बढ़ाने वाले कंप्यूटरों को कैसे अधिक स्मार्ट, मजबूत और अनुकूलनीय बना सकते हैं। लेखक एक ऐसे सिस्टम का प्रस्ताव देते हैं जो न केवल विवरणों का अनुमान लगाता है बल्कि अपने काम का खुद मूल्यांकन करना भी सीखता है, जिससे यह सुनिश्चित होता है कि अंतिम परिणाम मानवीय आंखों को अच्छा लगे, न कि केवल गणितीय रूप से सटीक।

समस्या: जब नियम बदल जाते हैं

आज के अधिकांश वीडियो सुपर-रेज़ोल्यूशन मॉडल उन छात्रों की तरह हैं जिन्होंने एक पाठ्यपुस्तक को पूरी तरह से रट लिया है लेकिन जब शिक्षक ऐसा प्रश्न पूछता है जो किताब में नहीं है, तो वे विफल हो जाते हैं। उन्हें साफ, नियंत्रित डेटा पर प्रशिक्षित किया जाता है जहाँ "धुंधलापन" हमेशा एक जैसा होता है। लेकिन वास्तविक जीवन अराजक है। एक वीडियो हाथ के हिलने के कारण धुंधला हो सकता है, खराब इंटरनेट कनेक्शन के कारण दानेदार हो सकता है, या भारी संपीड़न के कारण विकृत हो सकता है। जब ये मॉडल ऐसे वीडियो को ठीक करने की कोशिश करते हैं, तो वे अक्सर चीजों को और बिगाड़ देते हैं: वे टेक्स्ट जैसे महत्वपूर्ण विवरणों को इतना चिकना कर देते हैं कि वे अपठनीय हो जाते हैं, या वे नकली बनावट (textures) बना लेते हैं जो शोर की तरह दिखती हैं।

इसके अलावा, यह जांचना कि कंप्यूटर ने अच्छा काम किया है या नहीं, कठिन है। आमतौर पर, आपको तुलना करने के लिए वीडियो के एक पूर्ण, उच्च-गुणवत्ता वाले संस्करण की आवश्यकता होती है। लेकिन वास्तविक दुनिया में, हमारे पास अक्सर वह पूर्ण संस्करण नहीं होता है। हमारे पास केवल वह अस्त-व्यस्त वीडियो होता है और हमें उसे बेहतर बनाने की आवश्यकता होती है। पेपर का तर्क है कि हमें एक ऐसे सिस्टम की आवश्यकता है जो बिना किसी शिक्षक (या पूर्ण संदर्भ छवि) के मार्गदर्शन के इन अज्ञात समस्याओं के अनुकूल हो सके।

समाधान: एक स्व-सुधारने वाला, तीन-भाग का सिस्टम

लेखक एक डॉक्टरेट शोध परियोजना प्रस्तुत करते हैं जो इस चुनौती से निपटने के लिए तीन मुख्य उपकरणों के साथ काम करती है, जो सभी "टेस्ट-टाइम अडैप्टेशन" (TTA) के विचार के इर्द-गिर्द केंद्रित हैं। TTA को एक कंप्यूटर को दर्पण और स्वयं को ठीक करने के निर्देश देने के रूप में सोचें, जो आपको अंतिम चित्र दिखाने से ठीक पहले खुद को ठीक करता है।

1. स्व-मूल्यांकन करने वाला आलोचक (RW-VSR-QA)
सबसे पहले, लेखक एक "गुणवत्ता जज" बनाते हैं जो मौके पर सीख सकता है। कल्पना कीजिए कि एक फूड क्रिटिक है जो आमतौर पर एक विशिष्ट रेस्टोरेंट के व्यंजनों का स्वाद लेता है। यदि अचानक आपको उन्हें एक पूरी तरह से अलग शैली के खाना पकाने वाले स्ट्रीट फूड स्टॉल पर ले जाया जाता है, तो शायद उन्हें अब नहीं पता होगा कि "अच्छा" स्वाद क्या होता है। यह सिस्टम क्रिटिक को नए स्टाइल के अनुकूल तुरंत ढाल देता है।
पेपर दिखाता है कि टेस्ट वीडियो को देखते समय कंप्यूटर के मस्तिष्क के एक बहुत छोटे हिस्से (विशेष रूप से नॉर्मलाइजेशन लेयर्स) को बदलकर, सिस्टम यह अनुमान लगाने में सीख सकता है कि इंसान गुणवत्ता को कैसे रेट करेंगे। यह दो विशेष "लर्निंग गेम्स" (जिन्हें क्वालिटी-बेस्ड ग्रुप कॉन्ट्रास्टिव लॉस और क्वालिटी-अवेयर रैंक लॉस कहा जाता है) का उपयोग करता है ताकि यह पता लगाया जा सके कि कौन से वीडियो बिना किसी पूर्ण स्कोरकार्ड के बेहतर दिखते हैं।

• परिणाम: जब इस स्व-अनुकूलित क्रिटिक का उपयोग वीडियो एन्हांसमेंट के लिए किया गया, तो गुणवत्ता स्कोर में सुधार हुआ। उदाहरण के लिए, SAMA नामक एक मॉडल ने वीडियो को सही ढंग से रैंक करने की अपनी क्षमता में 7.24% की छलांग लगाई। इसका मतलब है कि सिस्टम यह जानने में बहुत बेहतर हो गया कि क्या अच्छा दिखता है, भले ही वीडियो अत्यधिक विकृत हो।

2. टेक्स्ट-संरक्षण विशेषज्ञ (ScrVSR)
इसके बाद, लेखक एक बहुत ही विशिष्ट और कठिन प्रकार के वीडियो पर ध्यान केंद्रित करते हैं: स्क्रीन कंटेंट। इसमें पावरपॉइंट स्लाइड्स, स्क्रीन पर दिखने वाला कोड, या वीडियो कॉल शामिल हैं जहाँ लोग अपने डेस्कटॉप साझा कर रहे होते हैं। इन वीडियो में, टेक्स्ट ही सब कुछ है। यदि कंप्यूटर अक्षरों को धुंधला कर देता है, तो पूरा उद्देश्य ही खत्म हो जाता है।
लेखक ने एक नया मॉडल ScrVSR (स्क्रीन कंटेंट वीडियो सुपर-रेज़ोल्यूशन) बनाया है। अन्य मॉडलों के विपरीत जो हर चीज़ को "सुंदर" या "प्राकृतिक" बनाने की कोशिश करते हैं, यह मॉडल अक्षरों को तीक्ष्ण (sharp) और किनारों को स्पष्ट रखने के प्रति जुनूनी है। यह एक विशेष "टेक्स्ट-अवेयर" लॉस फंक्शन का उपयोग करता है, जो इमेज के लिए स्पेलचेकर की तरह है। यह जांचता है कि क्या एन्हांस्ड इमेज में अक्षर वैसे ही हैं जैसे उन्हें होना चाहिए।

• परिणाम: मॉडल का परीक्षण विभिन्न स्तरों के संपीड़न (जिसे "क्वांटाइजेशन पैरामीटर" या QP द्वारा मापा जाता है) वाले वीडियो पर किया गया। एक मध्यम संपीड़न स्तर (QP-22) पर, ScrVSR ने 29.17 का PSNR और 0.9568 का SSIM प्राप्त किया, जो पिछले तरीकों को पीछे छोड़ देता है। इससे भी अधिक प्रभावशाली बात यह है कि इसने "कैरेक्टर एरर रेट" (कि कंप्यूटर ने कितने अक्षर गलत किए) को 0.2973 (अगली सर्वश्रेष्ठ विधि के मुकाबले) से घटाकर 0.2089 कर दिया। इसका मतलब है कि वीडियो बहुत धुंधला होने पर भी टेक्स्ट पठनीय रहा। लेखक नोट करते हैं कि इस दृष्टिकोण ने उन्हें वीडियो कॉन्फ्रेंसिंग सुपर-रेज़ोल्यूशन के एक प्रमुख वैश्विक चैलेंज में Rank-2 स्थान दिलाने में मदद की।

3. क्षेत्र-विशिष्ट ट्यूनर (SCISR-TTA)
अंत में, लेखक को एहसास हुआ कि "एक ही आकार सबके लिए उपयुक्त" (one-size-fits-all) वाला दृष्टिकोण स्क्रीन कंटेंट के लिए काम नहीं करता है। किसी व्यक्ति के चेहरे की फोटो को चिकना और प्राकृतिक दिखने की आवश्यकता है, लेकिन उसके बगल में मौजूद टेक्स्ट को एकदम तीक्ष्ण होना चाहिए। यदि आप दोनों के लिए समान सेटिंग्स का उपयोग करते हैं, तो या तो टेक्स्ट धुंधला हो जाएगा या चेहरा शोरपूर्ण (noisy) हो जाएगा।
समाधान SCISR-TTA है, जो एक दो-चरणीय अनुकूलन प्रक्रिया है।

• चरण 1: सिस्टम टेक्स्ट वाले क्षेत्रों को ढूंढता है और उन अक्षरों को तीक्ष्ण और सटीक बनाने के लिए मॉडल को विशेष रूप से अनुकूलित करता है। यह यह भी जांचने के लिए कि जो टेक्स्ट यह देख रहा है वह समझ में आता है या नहीं, एक "स्मॉल लैंग्वेज मॉडल" का उपयोग करता है, जो दूसरी जोड़ी आँखों की तरह काम करता है।
• चरण 2: सिस्टम फिर गैर-टेक्स्ट वाले हिस्सों (जैसे बैकग्राउंड या चेहरे) की ओर बढ़ता है और मॉडल को विवरणों को खराब किए बिना शोर और संपीड़न आर्टिफैक्ट्स को हटाने के लिए अनुकूलित करता है।
• परिणाम: इस लक्षित दृष्टिकोण ने कमाल कर दिया। ITSRN नामक एक मॉडल के लिए, अनुकूलन के बाद टेक्स्ट एरर रेट 0.5762 से घटकर 0.5621 हो गया, जबकि धारणात्मक गुणवत्ता स्कोर (जैसे DFSS) 46.7358 से बढ़कर 47.6527 हो गया। पेपर दिखाता है कि टेक्स्ट और इमेज के साथ अलग-अलग व्यवहार करके, सिस्टम ऐसे वीडियो बना सकता है जो पठनीय और दृष्टिगत रूप से सुखद दोनों हों, और यह सब बिना किसी पूर्ण-रिज़ॉल्यूशन वीडियो के तुलना किए।

इसका क्या अर्थ है और आगे क्या है

पेपर निष्कर्ष निकालता है कि ये अनुकूलन विधियाँ वास्तविक दुनिया के उपयोग के लिए वीडियो एन्हांसमेंट को बहुत अधिक मजबूत बनाती हैं। कंप्यूटर को उस वीडियो के विशिष्ट बिखराव के अनुसार खुद को समायोजित करने की अनुमति देकर, हम पूरे सिस्टम को फिर से प्रशिक्षित किए बिना या पूर्ण संदर्भ डेटा की आवश्यकता के बिना बेहतर परिणाम प्राप्त कर सकते हैं।

हालाँकि, लेखक उनकी सीमाओं के बारे में ईमानदार हैं। वर्तमान विधियाँ मुख्य रूप से एक बार में एक फ्रेम को देखती हैं। वे पूरी तरह से यह नहीं समझते कि वीडियो एक सेकंड से दूसरे सेकंड में कैसे चलता है, जिससे कभी-कभी "फ्लिकरिंग" प्रभाव हो सकता है जहाँ इमेज उछलती हुई दिखाई देती है। लेखक सुझाव देते हैं कि अगला बड़ा कदम इन सिस्टम्स को समय और गति को समझना सिखाना है, जिससे वीडियो न केवल स्पष्ट, बल्कि सुचारू और स्थिर भी बने।

संक्षेप में, यह शोध वीडियो सुपर-रेज़ोल्यूशन को एक "स्वयं की समझ" (sense of self) देता है। यह कंप्यूटर को एक बिखरे हुए वीडियो को देखना, यह समझना कि उसमें क्या गलत है, और इसे इस तरह से ठीक करना सिखाता है जो मानवीय आंखों और टेक्स्ट पढ़ने के महत्व दोनों का सम्मान करता है, और यह सब काम के दौरान सीखते हुए करता है।