💻 computer science

The First Challenge on Mobile Real-World Image Super-Resolution at NTIRE 2026: Benchmark Results and Method Overview

Ce papier présente les résultats et les solutions proposées lors du premier défi NTIRE 2026 sur la super-résolution d'images réelles pour mobile, qui visait à reconstruire des images haute résolution à partir de versions dégradées tout en garantissant l'exécution des modèles sur des appareils mobiles.

Auteurs originaux : Jiatong Li, Zheng Chen, Kai Liu, Jingkai Wang, Zihan Zhou, Xiaoyang Liu, Libo Zhu, Jue Gong, Radu Timofte, Yulun Zhang, Congyu Wang, Zihao Wang, Ke Wu, Xinzhe Zhu, Fengkai Zhang, Zhongbao Yang, Long S

Publié 2026-04-21

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Jiatong Li, Zheng Chen, Kai Liu, Jingkai Wang, Zihan Zhou, Xiaoyang Liu, Libo Zhu, Jue Gong, Radu Timofte, Yulun Zhang, Congyu Wang, Zihao Wang, Ke Wu, Xinzhe Zhu, Fengkai Zhang, Zhongbao Yang, Long Sun, Jiangxin Dong, Jinshan Pan, Jiachen Tu, Yaokun Shi, Guoyi Xu, Yaoxin Jiang, Jiajia Liu, Renyuan Situ, Yixin Yang, Zhaorun Zhou, Junyang Chen, Yuqi Li, Chuanguang Yang, Weilun Feng, Chuanyue Yan, Yuedong Tan, Yingli Tian, Zhenzhong Chen, Tongqi Guo, Ruhan Liu, Sangzi Shi, Huazhang Deng, Jie Yang, Wenzhuo Ma, Yuantong Zhang, Daiqin Yang, Tianrun Chen, Deyi Ji, Yuxiao Jiang, Qi Zhu, Lanyun Zhu, Yuwen Pan, Runze Tian, Mingyu Shi, Zhanfeng Feng, Yuanfei Bao, Jiaming Guo, Renjing Pei, Xin Di, Long Peng, Linfeng Jiang, Xueyang Fu, Yang Cao, Zhengjun Zha, Choulhyouc Lee, Shyang-En Weng, Yi-Cheng Liao, Jorge Tyrakowski, Yu-Syuan Xu, Wei-Chen Chiu, Ching-Chun Huang, Yoonjin Im, Jihye Park, Hyungju Chun, Hyunhee Park, MinKyu Park, Xiaoxuan Yu, Jianxing Zhang, Yuxuan Jiang, Chengxi Zeng, Tianhao Peng, Fan Zhang, David Bull, Watchara Ruangsang, Supavadee Aramvith, JiaHao Deng, Wei Zhou, Hongyu Huang, Shaohui Lin, Zihan Wang, Yilin Chen, Yunchen Li, Junbo Qiao, Wei Li, Jiao Xie, Gaoqi He, Wenxi Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

📱 Le Défi : Redonner vie aux photos floues, mais dans la poche

Imaginez que vous avez pris une photo magnifique avec votre smartphone, mais que le résultat est flou, petit ou de mauvaise qualité. Vous voulez la rendre grande et nette (c'est ce qu'on appelle la Super-Résolution).

Le problème ? Les méthodes actuelles pour faire cela sont comme des géants de la cuisine : elles sont incroyablement puissantes et peuvent créer des images parfaites, mais elles sont si grosses et complexes qu'elles ne rentrent pas dans votre cuisine (votre téléphone) et prennent des heures à cuisiner un seul plat.

Le défi NTIRE 2026 posé par les auteurs de ce papier était simple : "Comment créer un chef cuisinier capable de faire des plats de 5 étoiles, mais qui tient dans un petit four à micro-ondes et qui cuisine en 2 secondes ?"

🏆 La Compétition : Une course de Formule 1

Pour résoudre ce problème, les organisateurs ont lancé un concours mondial.

Les participants : 108 équipes de chercheurs du monde entier (des étudiants, des ingénieurs de Samsung, des labos universitaires, etc.).
La règle d'or : Il ne suffisait pas de faire une belle image. Le modèle devait être léger (pour ne pas vider la batterie du téléphone) et rapide (pour que vous puissiez voir le résultat tout de suite).
Le terrain de jeu : Des images réelles, pas des images parfaites d'ordinateur. C'était comme demander de réparer une voiture abîmée par la pluie et la boue, pas juste une voiture neuve en plastique.

🥇 Les Gagnants et leurs Astuces

Sur les 108 équipes, 16 ont réussi à envoyer une solution qui fonctionne vraiment. Voici comment les meilleurs ont fait, avec des analogies simples :

Les "Distillateurs de Savoir" (L'équipe SamsungAICamera)
- L'analogie : Imaginez un professeur de mathématiques très brillant mais très lent (le modèle géant). Il explique tout à un élève très rapide mais moins intelligent (le petit modèle). L'élève apprend à faire les mêmes exercices, mais beaucoup plus vite.
- La technique : Ils ont pris un modèle énorme et l'ont "compressé" pour qu'il rentre dans un téléphone, tout en gardant son intelligence.
Les "Mélangeurs de Styles" (L'équipe YuFans)
- L'analogie : C'est comme mélanger deux sauces. L'une est très crémeuse et colorée (le modèle "Diffusion" qui crée de belles textures) mais parfois bizarre. L'autre est très structurée et solide (le modèle "GAN" qui garde les formes) mais un peu terne.
- La technique : Ils ont mélangé les deux résultats pour avoir le meilleur des deux mondes : une image à la fois nette et vivante.
Les "Architectes de la Vitesse" (L'équipe VIPSL)
- L'analogie : Au lieu de construire une maison en béton armé (trop lourd), ils ont construit une maison en bois préfabriqué, mais avec un design si intelligent qu'elle est aussi solide et belle.
- La technique : Ils ont utilisé des modèles existants mais ont ajusté leur entraînement pour qu'ils apprennent exactement ce que les juges (les algorithmes de qualité) aiment voir.

📊 Le Résultat : Un nouveau standard

Le papier montre que l'année 2026 marque un tournant.

Avant : On choisissait entre une image magnifique (mais lente) ou une image rapide (mais moche).
Maintenant : Grâce à ces nouvelles techniques, on commence à avoir les deux. Les gagnants ont prouvé qu'on peut avoir des images super nettes qui s'affichent instantanément sur un téléphone.

🚀 Pourquoi c'est important pour vous ?

Ce papier n'est pas juste une liste de chiffres. Il annonce le futur de votre smartphone :

Plus besoin d'attendre 10 secondes pour voir une photo agrandie.
Vos vieilles photos floues de vacances pourront être restaurées directement sur votre appareil, sans envoyer vos données vers un serveur lointain.
Les applications de retouche photo deviendront magiques, rapides et gratuites.

En résumé : Ce papier raconte l'histoire d'une course où les chercheurs ont réussi à transformer des géants lourds en petits athlètes rapides, capables de faire de la magie avec les photos de notre quotidien. C'est une victoire pour la technologie mobile !

1. Problématique et Contexte

L'article présente les résultats du premier défi organisé lors de l'atelier NTIRE 2026 (conjointement à CVPR 2026) sur la super-résolution d'images réelles pour appareils mobiles.

Le Défi : Reconstruire des images haute résolution (HR) à partir d'images basse résolution (LR) dégradées de manière inconnue (bruit de capteur, artefacts de compression, flou, etc.) avec un facteur d'échelle de ×4.
La Contrainte Majeure : Contrairement aux benchmarks traditionnels qui se concentrent uniquement sur la qualité de reconstruction, ce défi impose des contraintes mobiles strictes. Les modèles doivent être exécutables sur des appareils mobiles (plateforme MediaTek Dimensity 8400) avec une latence faible, une empreinte mémoire réduite et une efficacité énergétique optimale.
Le Conflit : Il existe une tension fondamentale entre les modèles de super-résolution (SR) les plus performants (souvent des modèles génératifs massifs comme les GANs, les Transformers ou les modèles de diffusion) et les ressources limitées des appareils mobiles. Les modèles génératifs récents peuvent prendre plusieurs secondes pour traiter une image sur un mobile, ce qui les rend inutilisables en temps réel.

2. Méthodologie et Évaluation

Le défi a été structuré autour d'une approche d'optimisation conjointe de la qualité perceptive et de la vitesse d'inférence.

A. Données et Protocole

Ensembles de données : Utilisation de DIV2K et LSDIR pour l'entraînement, avec des paires LR-HR générées par sous-échantillonnage ×4. Les participants avaient accès à des données externes.
Évaluation de la Qualité (IQA) : Six métriques perceptuelles ont été utilisées pour éviter les biais des métriques pixel-à-pixel (comme le PSRM) : LPIPS, DISTS, CLIP-IQA, MANIQA, MUSIQ et NIQE. Un score perceptuel global a été calculé comme une combinaison pondérée de ces métriques.
Évaluation de la Vitesse : La vitesse d'inférence a été mesurée sur un processeur mobile spécifique (MediaTek Dimensity 8400) en précision FP16. Le rapport de vitesse (Speedup) est défini par rapport à un modèle de base (OSEDiff).
Score Final : Le classement final repose sur une formule combinant le score perceptuel et le rapport de vitesse :
$\text{FinalScore} = 2 \times \text{Score}_{\text{perceptuel}} \times \text{Speedup}^{0.2}$
Cette formule récompense les solutions qui offrent un bon compromis entre une haute qualité visuelle et une faible latence.

B. Approches Techniques Dominantes

L'analyse des solutions des 16 équipes finalistes révèle cinq tendances techniques majeures :

Modèles de Diffusion en une étape (One-step Diffusion) : La majorité des solutions de haut niveau s'appuient sur des architectures de diffusion en une étape (basées sur Stable Diffusion, OSEDiff, TADSR, PiSA-SR). Cela permet de contourner la lenteur des processus itératifs traditionnels tout en conservant les priors génératifs riches.
Distillation de Connaissances et Compression : Pour respecter les contraintes de paramètres et de FLOPs, plusieurs équipes (ex: SamsungAICamera) ont utilisé la distillation. Elles transfèrent les connaissances de modèles enseignants lourds (Teacher) vers des étudiants légers (Student) via des techniques de compression de réseau, de pruning (élagage) et de décodage auto-encodeur léger (TAESD).
Alignement Latent et Temporel : Pour stabiliser la diffusion et réduire les artefacts hallucinés, des mécanismes d'alignement ont été introduits (ex: équipe TODSR). Cela inclut l'alignement des statistiques latentes et l'adaptation des pas de temps (timesteps) pour ancrer précisément l'entrée de mauvaise qualité sur la trajectoire de diffusion.
Architectures Hybrides : Certaines équipes (ex: YuFans) ont combiné la stabilité structurelle des GANs (comme Real-ESRGAN) avec la richesse texturale des modèles de diffusion via des ensembles (ensembles) ou des fusions pondérées, cherchant à équilibrer fidélité structurelle et réalisme perceptuel.
Curriculum d'Entraînement Multi-étapes : Les stratégies d'entraînement ont évolué vers des phases progressives : adaptation de base sur des dégradations synthétiques, suivi d'un ajustement fin (fine-tuning) ciblant les dégradations réelles et l'optimisation directe des métriques IQA (perceptuelles).

3. Résultats Clés

Participation : 108 participants inscrits, avec 16 équipes ayant soumis des modèles valides et classés.
Performance : L'équipe VIPSL a remporté le premier rang, suivie par Antman et SamsungAICamera.
Observations :
- Les modèles basés sur la diffusion en une étape (OSEDiff) ont démontré une supériorité en termes de réalisme textural et de qualité perceptive.
- La distillation et la compression sont devenues des étapes obligatoires pour rendre ces modèles viables sur mobile.
- L'optimisation directe des métriques IQA (LPIPS, MUSIQ, etc.) durant l'entraînement s'est avérée cruciale pour améliorer le score final, au-delà de la simple minimisation de l'erreur pixel.

4. Contributions Principales

Benchmark Unifié Mobile-Réel : Création d'un benchmark rigoureux qui évalue simultanément la qualité perceptive et l'efficacité computationnelle sur du matériel mobile réel, comblant le fossé entre la recherche académique et le déploiement industriel.
État de l'Art (SOTA) Mobile : Établissement de nouvelles références pour la super-résolution sur mobile, démontrant qu'il est possible d'obtenir des résultats proches des modèles génératifs lourds avec des architectures optimisées.
Analyse des Tendances : Identification claire de la transition vers les modèles de diffusion en une étape et l'importance critique de la distillation et de l'alignement latent pour les applications embarquées.
Ressources Ouvertes : Mise à disposition du code, des modèles pré-entraînés et des scripts d'évaluation pour la communauté (GitHub).

5. Signification et Impact

Ce travail marque un tournant important dans le domaine de la restauration d'images. Il démontre que la complexité croissante des modèles génératifs (GANs, Diffusion) ne doit pas nécessairement exclure leur utilisation sur des appareils à ressources limitées. En imposant des contraintes réalistes de déploiement mobile, le défi NTIRE 2026 oriente la recherche vers des solutions pratiques, efficaces et perceptuellement réalistes.

Les résultats suggèrent que l'avenir de la super-résolution sur mobile réside dans l'hybridation des priors génératifs puissants avec des techniques de compression avancées et une optimisation directe des métriques de qualité perceptive, ouvrant la voie à des améliorations d'images en temps réel sur smartphones et appareils edge.