💻 computer science

NTIRE 2026 The 3rd Restore Any Image Model (RAIM) Challenge: Multi-Exposure Image Fusion in Dynamic Scenes (Track 2)

Ce papier présente le défi NTIRE 2026 sur la fusion d'images multi-exposition dans des scènes dynamiques, qui a réuni 114 équipes pour relever le défi difficile de la fusion HDR en présence de mouvements et de variations d'éclairage, aboutissant à des méthodes améliorées pour éliminer les artefacts et restituer les détails fins.

Auteurs originaux : Lishen Qu, Yao Liu, Jie Liang, Hui Zeng, Wen Dai, Guanyi Qin, Ya-nan Guan, Shihao Zhou, Jufeng Yang, Lei Zhang, Radu Timofte, Xiyuan Yuan, Wanjie Sun, Shihang Li, Bo Zhang, Bin Chen, Jiannan Lin, Yuxu

Publié 2026-04-13

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Lishen Qu, Yao Liu, Jie Liang, Hui Zeng, Wen Dai, Guanyi Qin, Ya-nan Guan, Shihao Zhou, Jufeng Yang, Lei Zhang, Radu Timofte, Xiyuan Yuan, Wanjie Sun, Shihang Li, Bo Zhang, Bin Chen, Jiannan Lin, Yuxu Chen, Qinquan Gao, Tong Tong, Song Gao, Jiacong Tang, Tao Hu, Xiaowen Ma, Qingsen Yan, Sunhan Xu, Juan Wang, Xinyu Sun, Lei Qi, He Xu, Jiachen Tu, Guoyi Xu, Yaoxin Jiang, Jiajia Liu, Yaokun Shi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

📸 Le Grand Défi : "La Photo Parfaite en Mouvement"

Imaginez que vous essayez de prendre une photo magnifique d'un coucher de soleil avec des enfants qui courent partout.

Si vous prenez la photo trop vite (pour figer le mouvement), le ciel sera noir et les enfants seront bien vus.
Si vous prenez la photo trop lentement (pour voir le ciel), le ciel sera magnifique, mais les enfants seront flous et il y aura des "fantômes" partout.

C'est le problème classique de la Haute Dynamique (HDR). Les appareils photo modernes essaient de résoudre ça en prenant plusieurs photos à la suite (une rapide, une lente, une moyenne) et en les collant ensemble.

Le problème ? Dans la vraie vie, tout bouge. Les enfants courent, le vent agite les arbres, et votre main tremble un peu. Résultat : quand on essaie de coller les photos, ça fait des taches bizarres, des contours flous et des "fantômes" (ghosting).

🏆 La Compétition : NTIRE 2026 (Le "Super Bowl" de la Photo)

Pour aider les chercheurs à résoudre ce casse-tête, l'organisation NTIRE a lancé un défi spécial (appelé Track 2 ou "Piste 2"). C'est comme une course de Formule 1, mais pour les algorithmes qui réparent les photos.

L'objectif : Créer un logiciel capable de fusionner ces photos tremblantes et en mouvement pour en faire une seule image parfaite, sans fantômes, avec tous les détails (ombres et lumières).
Les participants : 114 équipes de chercheurs du monde entier (des universités, des laboratoires comme OPPO, etc.) ont envoyé 987 tentatives différentes !
Le terrain de jeu : Ils ont utilisé un "bac à sable" spécial avec 100 scènes réalistes (des rues, des parcs, des intérieurs) où tout bouge.

🧠 Comment les équipes ont gagné ? (Les Astuces)

Voici comment les vainqueurs ont réussi à faire de la magie, expliqués avec des analogies simples :

L'équipe WHU-VIP (Les Vainqueurs) : "Les Architectes Prudents"
- Au lieu de tout prendre en compte, ils ont décidé de ne regarder que 3 photos clés parmi les 7 disponibles. C'est comme si, pour réparer un mur, vous choisissiez seulement les 3 meilleures briques au lieu de tout mélanger.
- Ils ont ajouté un "filtre de confiance" : si une partie de la photo semble trop floue ou décalée, l'algorithme dit "Non, on ne regarde pas ça, on utilise l'autre photo". C'est intelligent et rapide.
L'équipe SHL : "Le Guide Global"
- Imaginez que vous essayez de dessiner un détail très précis (comme un œil) mais que vous êtes trop zoomé pour voir l'ensemble du visage.
- Cette équipe a créé une "mini-copie" de toute la photo en arrière-plan pour guider le dessin. Cela aide l'algorithme à ne pas se perdre et à garder les contours nets, même quand on zoome sur les détails.
L'équipe untrafusion : "Le Maçon Progressif"
- Au lieu de construire tout le mur d'un coup, ils ont commencé par réparer de petits carreaux (256x256 pixels), puis ont agrandi la zone petit à petit jusqu'à couvrir toute la photo.
- C'est comme apprendre à nager : d'abord dans la petite piscine, puis dans la grande. Cela évite les erreurs de "mauvaise colle" entre les photos.
L'équipe NTR : "Le Chef d'Orchestre"
- Ils ont utilisé une technique très moderne (l'IA générative) qui apprend à "deviner" ce qui devrait être là, en se basant sur ce qui a fonctionné dans le passé. C'est comme si l'ordinateur avait vu des millions de photos et savait exactement à quoi ressemblerait une photo parfaite.

🏅 Les Résultats : Qui a gagné ?

À la fin de la course, l'équipe WHU-VIP a remporté la première place.

Pourquoi ? Leur méthode a trouvé le meilleur équilibre. Elle n'était pas seulement précise mathématiquement (chiffres parfaits), mais elle donnait aussi une image qui semblait naturelle à l'œil humain, sans ces effets de "fantômes" qui gâchent une photo.
Les autres équipes (SHL, nunucccb, etc.) ont aussi fait des choses incroyables, mais WHU-VIP a mieux géré les situations où tout bougeait trop vite.

💡 Pourquoi c'est important pour vous ?

Ce n'est pas juste de la théorie. Ces recherches vont directement dans les smartphones que vous utilisez demain.

Plus de photos floues quand vous prenez une photo de votre chien qui court.
Plus de photos où le ciel est noir ou les visages sont blancs.
Des photos de vacances qui ressemblent à ce que vos yeux ont vu, même dans des conditions difficiles.

En résumé, ce papier raconte comment une armée de chercheurs a travaillé ensemble pour apprendre aux ordinateurs à devenir des photographes experts, capables de gérer le chaos du monde réel pour vous offrir des souvenirs parfaits.

Résumé Technique : Défi NTIRE 2026 RAIM Track 2

1. Problématique et Contexte

Le défi se concentre sur la fusion d'images multi-exposition (MEF) dans des scènes dynamiques, un problème critique pour la photographie computationnelle moderne, notamment sur les appareils mobiles.

Défi principal : Contrairement aux environnements statiques contrôlés, les scènes réelles impliquent des objets en mouvement, des variations d'éclairage locales et des tremblements de caméra (jitter). Ces facteurs provoquent des désalignements sévères et des artefacts de fantômes (ghosting) lors de la fusion de plusieurs expositions.
Objectif : Développer des modèles capables de fusionner des séquences d'images à différentes expositions (bracketing) pour reconstruire une image HDR (High Dynamic Range) de haute qualité, tout en préservant les détails fins, en supprimant les artefacts de mouvement et en garantissant une efficacité de calcul pour un déploiement réel.
Écart Recherche/Déploiement : Le défi vise à combler le fossé entre les méthodes académiques (souvent lentes ou sensibles aux mouvements) et les pipelines de caméras réels qui nécessitent rapidité, stabilité et gestion de la mémoire limitée.

2. Données et Protocole d'Évaluation

Dataset :
- Ensemble d'entraînement : 100 séquences avec 7 niveaux d'exposition.
- Ensemble de test : 100 séquences avec 5 niveaux d'exposition (plus contraignant, simulant des scénarios où moins d'informations sont disponibles).
- Caractéristiques : Les données incluent des mouvements d'objets, des changements d'illumination, du jitter de caméra et des zones de saturation/sous-exposition.
Métriques d'Évaluation :
- Le score final est une combinaison pondérée de PSNR, SSIM et LPIPS (perception) :
  $Score = 30 \cdot \frac{PSNR}{50} + 22.5 \cdot \frac{SSIM - 0.5}{0.5} + 30 \cdot \left(1 - \frac{LPIPS}{0.4}\right)$
- Des critères supplémentaires incluent l'efficacité (temps d'exécution, FLOPs), la reproductibilité du code et la qualité subjective.
Participation : 114 équipes ont participé, avec 987 soumissions.

3. Méthodologies Clés des Équipes Gagnantes

Le papier détaille plusieurs approches innovantes ayant mené au podium :

WHU-VIP (1er Rang) :
- Architecture : Basée sur AFUNet (Swin Transformer) avec des modules d'adaptation.
- Innovations :
  - Utilisation de seulement 3 trames (0 EV, ±2 EV) pour l'entrée afin de réduire les artefacts de mouvement.
  - Module SFT (Spatial Feature Transform) pour une modulation adaptative des caractéristiques selon l'éclairage local.
  - Module DCM-RG (Data Consistency Module with Reliability Gating) : Un mécanisme de "gating" qui prédit des masques de fiabilité pixel par pixel pour supprimer les régions non alignées ou peu fiables.
  - Apprentissage par curriculum : Entraînement en 4 étapes (alignement de base, généralisation dynamique, amélioration perceptive, entraînement quantifié).
SHL (2ème Rang) :
- Stratégie : Guidance globale légère.
- Mécanisme : Concaténation de l'image complète (sous-échantillonnée) à l'entrée du modèle pour fournir des priors structurels globaux.
- Perte NPR (Neighboring Pixel Relationships) : Une fonction de perte spécifique conçue pour contraindre la cohérence des structures locales et préserver les détails haute fréquence, évitant ainsi le flou.
- Ensemble : Combinaison pondérée de trois modèles (Restormer, Uformer, MST++).
nunucccb (3ème Rang) :
- Architecture : Basée sur HDR-Transformer (Vision Transformer sensible au contexte).
- Mécanisme : Extraction de caractéristiques indépendantes suivie d'une attention spatiale pour supprimer les désalignements avant la fusion. Utilisation de blocs CA-ViT pour modéliser les dépendances globales complexes.
Autres approches notables :
- untrafusion : Utilisation d'un alignement d'exposition guidé par la luminance et une stratégie d'apprentissage progressive par tuiles (patchs).
- I2 Group & Transsion : Approche basée sur les ondelettes (DWT), séparant les branches basse et haute fréquence pour traiter structure et détails distinctement.
- NTR : Utilisation d'un auto-encodeur de diffusion conditionné par le temps, adapté via un fine-tuning supervisé aligné sur les métriques du défi.

4. Résultats

Performance Quantitative :
- L'équipe WHU-VIP a remporté la première place avec un score final de 58.889.
- Bien que l'équipe SHL ait obtenu les meilleurs scores bruts en PSNR et SSIM, WHU-VIP a surpassé les autres grâce à un score LPIPS inférieur (meilleure qualité perceptive) et une meilleure stabilité entre les deux étapes de test.
- Les trois premiers classés ont démontré une grande robustesse face aux variations de conditions de test.
Performance Qualitative :
- Les méthodes gagnantes produisent des structures plus nettes, moins d'artefacts de fantômes et une meilleure préservation des détails dans les zones dynamiques (mouvements, changements d'exposition) par rapport aux méthodes de base.

5. Contributions et Signification

Nouveau Benchmark : Introduction d'un dataset réaliste et difficile pour la fusion MEF en scènes dynamiques, comblant le manque de données réalistes dans la littérature académique.
Avancées Algorithmiques : Démonstration que l'efficacité et la robustesse peuvent être améliorées par des mécanismes de "gating" de fiabilité, des priors globaux et des stratégies d'apprentissage par curriculum, plutôt que par de simples augmentations de la complexité du réseau.
Impact Industriel : Les solutions proposées sont conçues pour être efficaces et reproductibles, répondant aux contraintes des smartphones modernes (latence, mémoire).
Ressources Ouvertes : Le dataset, le code des équipes et les modèles sont disponibles publiquement, favorisant la recherche future sur l'imagerie computationnelle HDR.

En conclusion, ce défi a établi un nouvel état de l'art pour la fusion d'images multi-exposition dans des conditions réelles, prouvant que des architectures hybrides (Transformers, ondelettes, diffusion) combinées à des stratégies d'entraînement avancées peuvent surmonter les défis majeurs du mouvement et du désalignement.