💻 computer science

The First Challenge on Mobile Real-World Image Super-Resolution at NTIRE 2026: Benchmark Results and Method Overview

यह शोध पत्र NTIRE 2026 मोबाइल रियल-वर्ल्ड इमेज सुपर-रिज़ॉल्यूशन चुनौती के परिणामों और कार्यप्रणालियों की समीक्षा करता है, जहाँ 16 टीमों ने अज्ञात डिग्रेडेशन से उच्च-रिज़ॉल्यूशन वाली छवियों को पुनर्प्राप्त करने के लिए कुशल मॉडल विकसित करने हेतु प्रतिस्पर्धा की, जिसमें छवि की गुणवत्ता और मोबाइल निष्पादन गति के बीच संतुलन बनाया गया।

मूल लेखक: Jiatong Li, Zheng Chen, Kai Liu, Jingkai Wang, Zihan Zhou, Xiaoyang Liu, Libo Zhu, Jue Gong, Radu Timofte, Yulun Zhang, Congyu Wang, Zihao Wang, Ke Wu, Xinzhe Zhu, Fengkai Zhang, Zhongbao Yang, Long S

प्रकाशित 2026-04-21

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jiatong Li, Zheng Chen, Kai Liu, Jingkai Wang, Zihan Zhou, Xiaoyang Liu, Libo Zhu, Jue Gong, Radu Timofte, Yulun Zhang, Congyu Wang, Zihao Wang, Ke Wu, Xinzhe Zhu, Fengkai Zhang, Zhongbao Yang, Long Sun, Jiangxin Dong, Jinshan Pan, Jiachen Tu, Yaokun Shi, Guoyi Xu, Yaoxin Jiang, Jiajia Liu, Renyuan Situ, Yixin Yang, Zhaorun Zhou, Junyang Chen, Yuqi Li, Chuanguang Yang, Weilun Feng, Chuanyue Yan, Yuedong Tan, Yingli Tian, Zhenzhong Chen, Tongqi Guo, Ruhan Liu, Sangzi Shi, Huazhang Deng, Jie Yang, Wenzhuo Ma, Yuantong Zhang, Daiqin Yang, Tianrun Chen, Deyi Ji, Yuxiao Jiang, Qi Zhu, Lanyun Zhu, Yuwen Pan, Runze Tian, Mingyu Shi, Zhanfeng Feng, Yuanfei Bao, Jiaming Guo, Renjing Pei, Xin Di, Long Peng, Linfeng Jiang, Xueyang Fu, Yang Cao, Zhengjun Zha, Choulhyouc Lee, Shyang-En Weng, Yi-Cheng Liao, Jorge Tyrakowski, Yu-Syuan Xu, Wei-Chen Chiu, Ching-Chun Huang, Yoonjin Im, Jihye Park, Hyungju Chun, Hyunhee Park, MinKyu Park, Xiaoxuan Yu, Jianxing Zhang, Yuxuan Jiang, Chengxi Zeng, Tianhao Peng, Fan Zhang, David Bull, Watchara Ruangsang, Supavadee Aramvith, JiaHao Deng, Wei Zhou, Hongyu Huang, Shaohui Lin, Zihan Wang, Yilin Chen, Yunchen Li, Junbo Qiao, Wei Li, Jiao Xie, Gaoqi He, Wenxi Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके फोन में एक धुंधली, पिक्सेलेटेड फोटो है—शायद परिवार की छुट्टियों की कोई पुरानी तस्वीर या किसी कम गुणवत्ता वाले वीडियो का स्क्रीनशॉट। आप विवरणों को स्पष्ट रूप से देखने के लिए ज़ूम करना चाहते हैं, लेकिन जब आप ऐसा करते हैं, तो यह केवल एक ब्लॉक जैसा दिखने लगता है।

इमेज सुपर-रेज़ोल्यूशन (SR) उस जादुई ट्रिक की तरह है जो आपकी धुंधली फोटो को लेकर उसमें गायब विवरणों को "गढ़ती" है ताकि वह फिर से शार्प और हाई-डेफिनिशन दिख सके।

हालाँकि, इसमें एक पेंच है: यह जादू करने के लिए आमतौर पर एक सुपरकंप्यूटर की आवश्यकता होती है। यह एक विशाल औद्योगिक ओवन का उपयोग करके एक शानदार केक बनाने की कोशिश करने जैसा है। आपका फोन एक छोटा, बैटरी से चलने वाला टोस्टर है; यह इतनी गर्मी या जटिलता को नहीं संभाल सकता।

यह पेपर NTIRE 2026 चैलेंज का रिपोर्ट कार्ड है, जो एक वैश्विक प्रतियोगिता है जहाँ दुनिया के सबसे स्मार्ट इंजीनियरों ने इस विशिष्ट समस्या को हल करने की कोशिश की: हम एक साधारण स्मार्टफोन पर बैटरी खत्म किए बिना या फोन को फ्रीज किए बिना धुंधली तस्वीरों को शानदार कैसे बना सकते हैं?

यहाँ क्या हुआ, इसका विवरण कुछ रोजमर्रा के उदाहरणों के माध्यम से दिया गया है:

1. लक्ष्य: "नन्हा शेफ" चुनौती

आयोजकों ने एक बहुत ही सख्त नियम रखा: समाधान इतना तेज़ और हल्का होना चाहिए कि वह एक मोबाइल फोन (विशेष रूप से मीडियाटेक चिप) पर चल सके।

पुराना तरीका: पिछले तरीके एक पूरी ऑर्केस्ट्रा को साइकिल की सीट में फिट करने की कोशिश करने जैसे थे। वे बहुत बड़े और धीमे थे।
नया लक्ष्य: एक ऐसा "नन्हा शेफ" बनाना जो केवल एक पोर्टेबल कैंपिंग स्टोव (मोबाइल फोन) का उपयोग करके 5-स्टार भोजन (उच्च-गुणवत्ता वाली छवि) पका सके।

2. प्रतियोगी

108 टीमों ने साइन अप किया, लेकिन केवल 16 ही फाइनल लीडरबोर्ड तक पहुँच पाईं। वे दुनिया भर के विश्वविद्यालयों, बड़ी टेक कंपनियों (जैसे सैमसंग) और रिसर्च लैब्स से आए थे।

3. उन्होंने कैसे जीता: शीर्ष रणनीतियाँ

पेपर में बताया गया है कि विजेताओं ने केवल नई गणितीय विधियाँ नहीं खोजीं; उन्होंने भारी उपकरणों को हल्के उपकरणों पर काम करने के लायक बनाने के लिए चतुर ट्रिक्स का उपयोग किया। यहाँ मुख्य "रेसिपी" दी गई हैं:

"एक-चरण" का शॉर्टकट (डिफ्यूजन मॉडल्स):
कल्पना कीजिए कि एक चित्रकार जो एक पोर्ट्रेट पूरा करने के लिए आमतौर पर 50 कदम उठाता है, धीरे-धीरे विवरण जोड़ता है। इसमें बहुत समय लगता है। विजेताओं ने एक नई तकनीक का उपयोग किया जिसे वन-स्टेप डिफ्यूजन कहा जाता है। यह चित्रकार को एक "जादुई ब्रश" देने जैसा है जो पूरे पोर्ट्रेट को एक ही, सटीक स्ट्रोक में पूरा कर सकता है। उन्होंने पहले से प्रशिक्षित "प्रतिभाशाली" मॉडल्स (जैसे स्टेबल डिफ्यूजन) का उपयोग किया, लेकिन उन्हें धीमे चरणों को छोड़कर सीधे परिणाम तक पहुँचने के लिए प्रशिक्षित किया।
"शिक्षक-छात्र" का तरीका (नॉलेज डिस्टिलेशन):
कुछ टीमों ने एक विशाल, भारी AI मॉडल (जो "शिक्षक" है) लिया जो छवियों के बारे में सब कुछ जानता है लेकिन फोन में फिट होने के लिए बहुत बड़ा है। फिर उन्होंने एक छोटे, हल्के मॉडल (जो "छात्र" है) को शिक्षक के उत्तरों की नकल करने के लिए प्रशिक्षित किया।
- उदाहरण: यह एक जीनियस प्रोफेसर द्वारा एक छात्र के लिए चीट शीट लिखने जैसा है। छात्र को पूरी किताब जानने की ज़रूरत नहीं है; उन्हें बस सही उत्तर जल्दी प्राप्त करने के लिए चीट शीट की आवश्यकता है।
"ब्लेंडेड स्मूदी" (हाइब्रिड दृष्टिकोण):
कुछ टीमों ने महसूस किया कि एक विधि एकदम सही नहीं थी।
- विधि A (GANs): फोटो की संरचना बनाए रखने में बेहतरीन है (चेहरा चेहरे जैसा दिखता है) लेकिन थोड़ा नकली या प्लास्टिक जैसा लग सकता है।
- विधि B (Diffusion): वास्तविक बनावट (त्वचा के रोम छिद्र, बालों के रेशे) जोड़ने में बेहतरीन है लेकिन कभी-कभी संरचना को गलत कर देता है।
- समाधान: उन्होंने दोनों आउटपुट को एक स्मूदी की तरह आपस में मिला दिया। आपको विधि A की संरचनात्मक स्थिरता और विधि B की वास्तविक बनावट दोनों प्राप्त होते हैं।
"फाइन-ट्यूनिंग" की चमक:
विजेताओं ने अपने मॉडल्स को केवल सामान्य तस्वीरों पर प्रशिक्षित नहीं किया। उन्होंने विशेष रूप से उन्हें इस बात पर ध्यान केंद्रित करने के लिए प्रशिक्षित किया कि इंसान कैसे देखते हैं। उन्होंने "परसेप्चुअल मेट्रिक्स" (जैसे एक डिजिटल टेस्ट-टेस्टर) का उपयोग किया ताकि यह सुनिश्चित हो सके कि फोटो केवल गणितीय रूप से सही ही नहीं, बल्कि मानवीय आंखों को वास्तव में अच्छी भी दिखे।

4. परिणाम

प्रतियोगिता कड़ी थी।

विजेता (VIPSL): उन्होंने एक कॉम्पैक्ट मॉडल का उपयोग किया और इसे जजों के विशिष्ट स्कोरिंग मानदंडों के साथ "ट्यून" करने पर बहुत अधिक ध्यान केंद्रित किया। उन्होंने साबित किया कि शानदार परिणाम पाने के लिए आपको विशाल मॉडल की आवश्यकता नहीं है; आपको बस सही सेटिंग्स की आवश्यकता है।
रनर-अप्स: Antman और SamsungAICamera जैसी टीमों ने दिखाया कि आप भारी, शक्तिशाली AI मॉडल्स को छोटा कर सकते हैं (टीचर-स्टूडेंट ट्रिक का उपयोग करके) ताकि वे फोन पर सुचारू रूप से चल सकें।

5. यह क्यों मायने रखता है

यह केवल तस्वीरों को कूल बनाने के बारे में नहीं है। यह तकनीक मोबाइल कंप्यूटिंग के भविष्य की कुंजी है।

वास्तविक दुनिया पर प्रभाव: कल्पना कीजिए कि आप एक अंधेरे कमरे में फोटो लेते हैं, और आपका फोन बिना इंटरनेट कनेक्शन के शोर (noise) को साफ करता है और विवरणों को शार्प करता है।
दक्षता: इसका मतलब है कि हम अपने फोन पर शक्तिशाली AI फीचर्स रख सकते हैं बिना एक घंटे में बैटरी खत्म हुए।

निचोड़

NTIRE 2026 चैलेंज ने साबित कर दिया है कि हम आखिरकार मोबाइल AI का कोड क्रैक कर रहे हैं। हम "भारी, धीमे और शक्तिशाली" से "हल्के, तेज़ और स्मार्ट" की ओर बढ़ रहे हैं। विजेताओं ने हमें दिखाया कि सही ट्रिक्स (जैसे वन-स्टेप शॉर्टकट और टीचर-स्टूडेंट लर्निंग) के साथ, हम सुपर-कंप्यूटर जैसी इमेज एन्हांसमेंट क्वालिटी को सीधे अपनी जेबों में ला सकते हैं।

यहाँ पेपर "The First Challenge on Mobile Real-World Image Super-Resolution at NTIRE 2026: Benchmark Results and Method Overview" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह पेपर उच्च-प्रदर्शन इमेज सुपर-रिज़ॉल्यूशन (SR) और मोबाइल डिप्लॉयबिलिटी (मोबाइल पर तैनाती) के बीच के महत्वपूर्ण अंतर को संबोधित करता है।

मुख्य चुनौती: अज्ञात, वास्तविक दुनिया के डिग्रेडेशन (जैसे सेंसर नॉइज़, कंप्रेशन आर्टिफैक्ट्स, अज्ञात ब्लर) के तहत $\times4$ स्केलिंग फैक्टर के साथ लो-रिज़ॉल्यूशन (LR) इनपुट से हाई-रिज़ॉल्यूशन (HR) इमेज का पुनर्निर्माण करना।
प्रतिबंध: पारंपरिक SR बेंचमार्क के विपरीत, जो सरल बायक्यूबिक डाउनसैंपलिंग मानकर चलते हैं, यह चुनौती मोबाइल उपकरणों को लक्षित करती है। मॉडल्स को संसाधन-सीमित हार्डवेयर (विशेष रूप से मीडियाटेक डाइमेंशन 8400) पर चलाने के लिए पर्याप्त हल्का होना चाहिए, जिसमें पैरामीटर्स, FLOPs और इन्फरेंस लेटेंसी की सख्त सीमाएं हों, जबकि उच्च बोधगम्य गुणवत्ता (perceptual quality) बनाए रखनी हो।
ट्रेड-ऑफ (Trade-off): आधुनिक जनरेटिव मॉडल्स (डिफ्यूजन, GANs) बेहतर बोधगम्य यथार्थवाद प्रदान करते हैं, लेकिन वे अक्सर रियल-टाइम मोबाइल इन्फरेंस के लिए बहुत भारी होते हैं। यह चुनौती बोधगम्य गुणवत्ता (perceptual quality) और कंप्यूटेशनल दक्षता के बीच संतुलन बनाने वाले समाधानों की तलाश करती है।

2. कार्यप्रणाली और मूल्यांकन ढांचा (Methodology & Evaluation Framework)

डेटासेट

प्रशिक्षण डेटा (Training Data): DIV2K (800 इमेज) और LSDIR (84,991 इमेज)। प्रतिभागी बाहरी डेटा (जैसे Flickr2K) का उपयोग कर सकते थे।
डिग्रेडेशन (Degradation): वास्तविक दुनिया की स्थितियों का अनुकरण करने के लिए जटिल, अज्ञात डिग्रेडेशन पाइपलाइनों का उपयोग करके $\times4$ डाउनसैंपलिंग फैक्टर के साथ LR-HR जोड़े बनाए गए थे।
परीक्षण (Testing): DIV2K वैलिडेशन सेट से 100 LR इमेज (HR ग्राउंड ट्रुथ छिपा हुआ है) और LSDIR से 100 इमेज।

मूल्यांकन मेट्रिक्स (Evaluation Metrics)

अंतिम स्कोर बोधगम्य गुणवत्ता (Perceptual Quality) और इन्फरेंस स्पीड का एक भारित संयोजन (weighted combination) है:

बोधगम्य स्कोर (Perceptual Score): छह इमेज क्वालिटी असेसमेंट (IQA) एल्गोरिदम पर आधारित एक मिश्रित मीट्रिक:
- फुल-रेफरेंस: LPIPS, DISTS।
- नो-रेफरेंस: CLIP-IQA, MANIQA, MUSIQ, NIQE।
- फॉर्मूला: $Score = (1-LPIPS) + (1-DISTS) + CLIP-IQA + MANIQA + \frac{MUSIQ}{100} + \max(0, \frac{10-NIQE}{10})$ ।
स्पीडअप रेशियो (Speedup Ratio): मीडियाटेक डाइमेंशन 8400 (FP16 प्रिसिजन) पर मापा गया।
- $Speedup = \frac{t_{OSEDiff}}{t_{current\_model}}$ , जहाँ $OSEDiff$ एक बेसलाइन है।
अंतिम स्कोर (Final Score): $FinalScore = 2 \times Score \times Speedup^{0.2}$ ।

3. प्रमुख योगदान और रुझान (Key Contributions & Trends)

पेपर 16 वैध टीमों का विश्लेषण करता है और उन पांच प्रमुख तकनीकी रुझानों की पहचान करता है जो मोबाइल SR समस्या को हल करने के लिए उभरे:

वन-स्टेप डिफ्यूजन का प्रभुत्व (One-Step Diffusion Dominance):
- टीमें मल्टी-स्टेप डिफ्यूजन (जो बहुत धीमा है) से हटकर वन-स्टेप डिफ्यूजन फ्रेमवर्क (जैसे OSEDiff, TADSR, PiSA-SR) की ओर बढ़ीं।
- ये मॉडल्स प्री-ट्रेन्ड स्टेबल डिफ्यूजन प्रायर्स (priors) का लाभ उठाते हैं, लेकिन जनरेशन प्रक्रिया को एक सिंगल इन्फरेंस स्टेप में संकुचित कर देते हैं।
नॉलेज डिस्टिलेशन और कंप्रेशन (Knowledge Distillation & Compression):
- मोबाइल बाधाओं को पूरा करने के लिए, टीमों ने डिस्टिलेशन रणनीतियों का उपयोग किया, जिससे भारी "टीचर" मॉडल्स से ज्ञान को हल्के "स्टूडेंट" नेटवर्क्स में स्थानांतरित किया जा सके।
- तकनीकों में एडवर्सरियल डिफ्यूजन कंप्रेशन, आक्रामक UNet प्रूनिंग और लाइटवेट डिकोडर्स (जैसे TAESD) शामिल थे।
लेटेंट स्पेस और टाइमस्टेप ऑप्टिमाइजेशन (Latent Space & Timestep Optimization):
- वन-स्टेप डिफ्यूजन को स्थिर करने के लिए, टीमों ने लेटेंट-टाइमस्टेप एलाइनमेंट (LSA) और एसिंक्रोनस कंडिशनल स्कोर डिस्टिलेशन (ACSD) पेश किया।
- ये विधियाँ लो-क्वालिटी इनपुट्स को डिफ्यूजन मैनिफोल्ड के साथ अधिक सटीक रूप से जोड़ती हैं, जिससे मतिभ्रम (hallucinations) और संरचनात्मक विरूपण कम होता है।
हाइब्रिड आर्किटेक्चर (Hybrid Architectures):
- टीमों ने GANs (जैसे Real-ESRGAN) की संरचनात्मक स्थिरता को डिफ्यूजन मॉडल्स की टेक्सचर समृद्धि के साथ जोड़ा।
- मजबूती बनाए रखते हुए बोधगम्य मेट्रिक्स को अधिकतम करने के लिए एन्सेम्बल मेथड्स (जैसे GAN और डिफ्यूजन आउटपुट का वेटेड ब्लेंडिंग) का उपयोग किया गया।
IQA-अवेयर ट्रेनिंग करिकुलम (IQA-Aware Training Curricula):
- ट्रेनिंग पिक्सेल-लेवल लॉस (L1/L2) से बदलकर परसेप्चुअल मेट्रिक्स द्वारा निर्देशित मल्टी-स्टेज फाइन-ट्यूनिंग की ओर स्थानांतरित हो गई।
- पाइपलाइनों में अक्सर शामिल था: (1) सिंथेटिक डेटा पर बेस अडैप्टेशन, (2) सिमेंटिक LoRA फाइन-ट्यूनिंग, और (3) डिफरेंशिएबल IQA लॉस (MANIQA, MUSIQ, आदि) का उपयोग करके स्कोर-ओरिएंटेड रिफाइनमेंट।

4. परिणाम (Results)

भागीदारी: 108 रजिस्ट्रेंट, जिनमें से 16 टीमों ने वैध स्कोर प्राप्त किए।
शीर्ष प्रदर्शन करने वाले (Top Performers):
- प्रथम स्थान (VIPSL): IQA-अवेयर ऑप्टिमाइजेशन और मल्टी-स्टेज फाइन-ट्यूनिंग के साथ एक कॉम्पैक्ट PLKSR-Rep बैकबोन का उपयोग किया।
- द्वितीय स्थान (Antman): एक साधारण RRDBNet (ESRGAN) का उपयोग किया, लेकिन बोधगम्य स्कोर गाइडेंस के साथ ऑब्जेक्टिव फंक्शन को अनुकूलित किया।
- तृतीय स्थान (SamsungAICamera): एक प्रूनड स्टूडेंट में एक वन-स्टेप डिफ्यूजन टीचर (OSEDiff) को डिस्टिल किया, जिसमें एक शैलो डिटेल एनहांसमेंट मॉड्यूल (DEM) था।
प्रदर्शन: शीर्ष टीमों ने एक महत्वपूर्ण ट्रेड-ऑफ हासिल किया, जहाँ विजेता (VIPSL) ने 4.03 का बोधगम्य स्कोर और बेसलाइन पर 113.85x का स्पीडअप प्राप्त किया, जिसके परिणामस्वरूप 42.21 का अंतिम स्कोर प्राप्त हुआ।

5. महत्व (Significance)

अंतर को पाटना: इस चुनौती ने सफलतापूर्वक प्रदर्शित किया कि विशाल, अव्यवहारिक मॉडल्स पर निर्भर हुए बिना मोबाइल हार्डवेयर पर उच्च-स्तरीय बोधगम्य गुणवत्ता प्राप्त की जा सकती है।
नया प्रतिमान (New Paradigm): इसने पारंपरिक CNNs और GANs से आगे बढ़ते हुए, मोबाइल रियल-वर्ल्ड SR के लिए वन-स्टेप डिफ्यूजन को नॉलेज डिस्टिलेशन के साथ एक नए मानक के रूप में स्थापित किया।
व्यावहारिक तैनाती: सख्त हार्डवेयर बाधाओं (मीडियाटेक डाइमेंशन 8400) को लागू करके और वास्तविक दुनिया के डिग्रेडेशन का उपयोग करके, इसके परिणाम उपभोक्ता स्मार्टफोन और एज डिवाइसेज में AI इमेज एन्हांसमेंट को तैनात करने के लिए एक यथार्थवादी बेंचमार्क प्रदान करते हैं।
कम्युनिटी रिसोर्स: यह पेपर विधियों, कोड और प्री-ट्रेन्ड मॉडल्स का एक व्यापक अवलोकन प्रदान करता है, जो कुशल जनरेटिव विजन में आगे के शोध को बढ़ावा देता है।

संक्षेप में, NTIRE 2026 मोबाइल रियल-वर्ल्ड SR चुनौती ने सिद्ध किया कि आर्किटेक्चरल कंप्रेशन, डिस्टिलेशन और परसेप्चुअल-अवेयर ट्रेनिंग के माध्यम से, हाई-फिडेलिटी इमेज रिस्टोरेशन को मोबाइल उपकरणों पर कुशलतापूर्वक निष्पादित किया जा सकता है।