💻 computer science

ExpoMotion: A Large-Scale Benchmark and A Householder Projection Network for Multi-Exposure Fusion

Ce document introduit ExpoMotion, un benchmark à grande échelle avec une vérité terrain vérifiée par des experts pour évaluer la fusion multi-exposition dans des scènes dynamiques, et propose le réseau Householder Orthogonal Projection (HOP), qui utilise des transformations de Householder pour découpler efficacement l'alignement d'exposition et la suppression des fantômes afin d'obtenir une restauration de détails supérieure et sans artéfacts.

Auteurs originaux : Yao Liu, Lishen Qu, Shihao Zhou, Jie Liang, Hui Zeng, Yabin Peng, Huipeng Lin, Lei Zhang, Jufeng Yang

Publié 2026-07-07

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yao Liu, Lishen Qu, Shihao Zhou, Jie Liang, Hui Zeng, Yabin Peng, Huipeng Lin, Lei Zhang, Jufeng Yang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Le « Fantôme » dans la Machine

Imaginez que vous essayiez de prendre une photo parfaite d'une rue animée. Vous voulez capturer la lumière vive du soleil frappant les bâtiments et les détails sombres dans les zones d'ombre. Mais votre appareil photo a une limite : si vous le réglez pour voir les ombres sombres, le soleil brillant devient un pâté blanc. Si vous le réglez pour voir le soleil, les ombres deviennent des trous noirs.

Pour corriger cela, les photographes prennent généralement trois photos à la fois : une sombre, une normale et une lumineuse. Ils tentent ensuite de les fusionner. C'est ce qu'on appelle la Fusion Multi-Exposition (MEF).

Le Piège : Si quoi que ce soit bouge pendant que vous prenez ces trois photos — une personne qui marche, une voiture qui roule, ou même votre main qui tremble — les trois photos ne s'alignent pas parfaitement. Lorsque vous essayez de les fusionner, vous obtenez des « fantômes ». Cela ressemble à une image double, transparente et floue de la personne en mouvement.

Jusqu'à présent, la plupart des programmes informatiques essayant de corriger cela ont échoué parce que :

Ils ont été entraînés sur des photos statiques et ennuyeuses (où rien ne bouge).
Ils n'avaient pas de « corrigé parfait » (Vérité Terrain / Ground Truth) pour apprendre quand les choses bougent.

La Solution : Un Nouveau Terrain d'Entraînement (ExpoMotion)

Les auteurs ont réalisé qu'ils avaient besoin d'une meilleure salle de sport pour l'entraînement de leur IA. Ils ont construit ExpoMotion, un nouveau jeu de données massif.

L'Analogie : Considérez les jeux de données précédents comme un terrain d'entraînement où les joueurs ne bougent jamais. L'IA a appris à marquer des buts, mais elle se fige dès que le ballon commence à bouger. ExpoMotion est comme un match d'entraînement avec contact réel, avec de vrais joueurs qui courent, esquivent et changent de vitesse.
Qu'y a-t-il dedans ? Il contient plus de 1 700 séquences vidéo et près de 11 000 images. Cela inclut tout, des mouvements contrôlés en laboratoire (comme un bras robotique en mouvement) aux scènes chaotiques du monde réel (des gens marchant dans un restaurant, des voitures dans une rue).
Le « Corrigé » : Le plus grand défi dans les scènes dynamiques est de savoir à quoi devrait ressembler la photo « parfaite ». Les auteurs ne se sont pas contentés de laisser un ordinateur deviner. Ils ont fait appel à une équipe de photographes professionnels et d'experts pour organiser manuellement les images de « Vérité Terrain ». Ils ont agi comme des directeurs artistiques, s'assurant que le résultat final paraisse naturel et sans fantômes, plutôt que simplement mathématiquement correct.

Le Nouvel Outil : Le Miroir Householder (Réseau HOP)

Pour résoudre le problème des fantômes, les auteurs ont créé un nouveau réseau d'IA appelé HOP (Projection Orthogonale de Householder).

Au lieu d'essayer de forcer les images en mouvement à s'aligner parfaitement (ce qui revient à essayer de coller deux pièces de puzzle mal assorties), HOP utilise une astuce mathématique ingénieuse basée sur des miroirs.

L'Analogie : Imaginez que vous regardez un reflet dans un miroir. Si vous bougez la main, le reflet bouge. Mais si vous avez un type de miroir spécifique (un « réflecteur de Householder »), vous pouvez mathématiquement « retourner » le reflet de sorte que les parties en mouvement s'annulent, ne laissant derrière elles que l'image statique et claire.
Comment ça marche :
1. Le Correcteur de Lumière (GPIA) : D'abord, le réseau s'assure que la photo lumineuse et la photo sombre ont des niveaux de luminosité similaires, afin qu'elles ne s'affrontent pas.
2. L'Effaceur de Fantômes (HOA) : C'est la magie centrale. Le réseau identifie les parties « fantômes » (les artefacts de mouvement) comme une direction spécifique dans l'espace mathématique. Il utilise ensuite une « transformation de Householder » pour projeter ces fantômes hors de l'image, comme si l'on projetait une lumière sous un angle spécifique pour faire disparaître l'ombre. Il conserve les détails nets (comme la texture d'un mur de briques) mais élimine les doubles images floues et mouvantes.
3. L'Affinement des Détails (GGFN) : Enfin, il utilise un filtre spécial pour s'assurer que les bords et les textures restent nets, et non flous.

Les Résultats : Un Nouveau Champion

Les auteurs ont testé leur nouvelle IA face aux meilleures méthodes actuelles.

Le Tableau des Scores : Sur les tests standards, leur nouvelle méthode (HOP) a obtenu un score plus élevé que tous les anciens champions. Elle produit des images plus claires avec moins de fantômes.
Le Test en Conditions Réelles : Lorsqu'ils l'ont testée sur des photos qu'elle n'avait jamais vues auparavant (en utilisant le nouveau jeu de données ExpoMotion), les anciennes méthodes ont été déroutées et ont produit des images floues et fantomatiques. La nouvelle méthode HOP a géré le chaos magnifiquement, en gardant les détails nets et en supprimant les fantômes.
Efficacité : Elle a obtenu ces résultats sans avoir besoin d'un supercalculateur ; elle est en fait assez efficace comparée à d'autres modèles d'IA très lourds.

Résumé

En bref, l'article dit : « Nous avons construit une immense bibliothèque d'entraînement réaliste appelée ExpoMotion parce que les anciennes bibliothèques étaient trop ennuyeuses. Ensuite, nous avons créé un nouvel outil d'IA appelé HOP qui utilise un "tour de miroir" mathématique pour effacer les fantômes en mouvement des photos tout en gardant les détails nets. Cette combinaison fonctionne mieux que tout ce qui est actuellement disponible. »

Résumé Technique : ExpoMotion et le Réseau de Projection de Householder

1. Énoncé du Problème

La fusion multi-exposition (MEF - Multi-Exposure Fusion) est une technique critique pour étendre la plage dynamique des capteurs d'imagerie standards, qui échouent souvent à capturer des scènes couvrant plus de 10 ordres de grandeur (de la lumière stellaire à la lumière directe du soleil). Bien que la MEF offre une voie directe vers des images de haute qualité dans le domaine de l'affichage sans les artefacts secondaires (ex: halos) associés aux opérateurs de tonemap de la reconstruction HDR, elle se heurte à des obstacles importants dans les environnements dynamiques.

Les principaux défis sont :

Artefacts de mouvement : Le tremblement de la caméra et les objets en mouvement provoquent de graves désalignements entre les cadres d'exposition, entraînant des effets de « fantôme » (ghosting) ou de déchirement.
Rareté des benchmarks : Les benchmarks existants se concentrent largement sur les scènes statiques. Les jeux de données dynamiques actuels manquent soit de vérité de terrain (Ground Truth - GT) fiable en raison du mouvement réel, soit de réalisme en raison de la génération synthétique. De plus, les méthodes actuelles de génération de GT reposent souvent sur des reconstructions HDR par tonemapping, qui héritent de distorsions de contraste et ne s'alignent pas sur les préférences perceptuelles humaines.
Limitations algorithmiques : Les approches standard reposant sur le flux optique ou les mécanismes d'attention basés sur la similitude peinent avec la MEF. Le déformage (warping) basé sur le flux introduit des distorsions géométriques dans les régions occultées, tandis que l'attention standard ne parvient pas à distinguer les détails complémentaires utiles (ex: textures dans les ombres surexposées) des artefacts de désalignement.

2. Méthodologie Proposée

Les auteurs proposent une solution à deux volets : un nouveau jeu de données à grande échelle (ExpoMotion) et une nouvelle architecture de réseau (HOP).

A. Le Jeu de Données ExpoMotion

Pour remédier au manque de benchmarks dynamiques de haute qualité, les auteurs ont construit ExpoMotion, un jeu de données comprenant 1 738 séquences et 10 909 images.

Stratégie d'acquisition : Le jeu de données intègre trois protocoles :
1. Mouvement contrôlé : Scènes statiques avec échange de cadres de référence pour simuler le mouvement tout en maintenant une GT exempte d'artefacts.
2. Mouvement en laboratoire : Capturé dans un laboratoire de mouvement professionnel pour manipuler précisément la dynamique et l'illumination.
3. Mouvement en conditions réelles : Captures « in-the-wild » pour une évaluation perceptuelle sans référence.
Génération de la Vérité de Terrain (GT) : Un pipeline impliquant l'humain dans la boucle a été employé. Des GT candidates ont été générées via plusieurs algorithmes et logiciels commerciaux (ex: Lightroom, Photomatix). Celles-ci ont ensuite été examinées par des évaluateurs et méticuleusement affinées par des photographes professionnels pour garantir le photoréalisme, une qualité exempte d'artefacts et un alignement avec la perception humaine.
Échelle et Diversité : Le jeu de données est nettement plus grand que les benchmarks existants (ex: 19 fois plus grand que Kalantari17) et couvre une gamme plus large de luminance, de résolution (moyenne de 2563 × 1896) et de diversité sémantique.

B. Le Réseau de Projection Orthogonale de Householder (HOP)

Les auteurs proposent HOP, qui recadre le déghosting de la MEF sous un angle mathématique, en décomposant la tâche en Pré-alignement d'Exposition et Filtrage de Fantômes.

Alignement d'Illumination par Priors Globaux (GPIA) :
- Objectif : Rectifier les écarts drastiques de plage dynamique avant l'agrégation de caractéristiques.
- Mécanisme : Inspiré de la théorie de Retinex, le GPIA extrait des priors d'illumination globaux via un pooling moyen. Il calcule une carte de ratio d'illumination pour moduler les cadres auxiliaires, alignant leurs niveaux d'exposition avec le cadre de référence. Cela découple la correction d'illumination de la gestion du mouvement.
Attention Orthogonale de Householder (HOA) :
- Objectif : Supprimer les artefacts de mouvement (fantômes) tout en préservant les détails de haute fréquence.
- Mécanisme : Au lieu de l'attention standard basée sur la similitude, l'HOA modélise les artefacts comme des perturbations orthogonales.
  - Il construit un vecteur de conflit ( $v$ ) basé sur la différence entre les caractéristiques de référence et les caractéristiques auxiliaires.
  - Il emploie une transformation de Householder ( $H = I - 2vv^T$ ) pour réfléchir géométriquement les caractéristiques auxiliaires.
  - En projetant les caractéristiques sur un hyperplan défini par le vecteur de conflit, le réseau rejette efficacement les composantes fantômes désalignées tout en préservant le sous-espace du signal.
  - Un facteur d'échelle adaptatif et une porte d'intensité permettent au réseau d'affiner la force de rejet et d'éviter de supprimer les détails utiles.
Réseau de Propagation Avant Guidé par le Gradient (GGFN) :
- Objectif : Améliorer la préservation des détails de haute fréquence (bords, textures).
- Mécanisme : Ce module combine une branche de convolution de profondeur (depth-wise) apprenable avec une branche de l'Opérateur Laplacien Discret fixe. La branche Laplacienne agit comme un filtre passe-haut codé en dur, forçant le réseau à prêter attention aux limites structurelles. Les deux branches sont fusionnées via un paramètre apprenable, régularisant le processus d'apprentissage avec des informations de bord explicites.

3. Contributions Clés

Jeu de données ExpoMotion : Un benchmark MEF dynamique à grande échelle présentant des motifs de mouvement diversifiés (contrôlés, laboratoire et réels) et une Vérité de Terrain affinée par des experts, conçu spécifiquement pour une évaluation rigoureuse du déghosting.
Réseau HOP : Une architecture novatrice qui utilise les transformations de Householder pour décomposer mathématiquement l'harmonisation de l'exposition et le filtrage des fantômes, offrant une alternative géométrique aux mécanismes d'attention standard.
Performance : Des expériences approfondies démontrant que HOP surpasse les méthodes de l'état de l'art tant en termes de métriques quantitatives (PSNR/SSIM) que de qualité perceptuelle (métriques sans référence), particulièrement dans des conditions dynamiques et d'éclairage extrême.

4. Résultats Expérimentaux

Performance Quantitative : Sur les ensembles de tests Kalantari17, RealHDRV et les tests à mouvement contrôlé des auteurs, le modèle HOP-B a atteint des résultats de l'état de l'art. Par exemple, sur Kalantari17, il a atteint 28,804 dB PSNR, surpassant le fort concurrent Restormer d'environ 0,5 dB tout en n'utilisant qu'environ 60 % des paramètres (15,69M contre 26,10M).
Généralisation : Lorsqu'il est entraîné sur ExpoMotion et testé sur des jeux de données réels externes (Sen et Tursen), HOP-B surpasse significativement les modèles entraînés sur d'autres jeux de données (ex: +4,9 points dans le score MUSIQ par rapport à un entraînement sur Kalantari17). Cela valide la capacité du jeu de données à apprendre aux modèles à généraliser à travers divers scénarios de mouvement et d'éclairage.
Qualité Visuelle : Les comparaisons qualitatives montrent que HOP élimine efficacement les artefacts de fantôme autour des objets en mouvement (ex: poteaux de lampadaires, personnes) et récupère les détails dans les ombres et les hautes lumières extrêmes là où les autres méthodes échouent ou introduisent du bruit.
Études d'Ablation : La suppression de l'un des composants de base (GPIA, HOPU ou GGFN) a entraîné une baisse de performance d'environ 0,4 à 1,0 dB, confirmant la nécessité et la synergie de ces modules.

5. Signification et Revendications

L'article affirme qu'ExpoMotion et HOP répondent au goulot d'étranglement critique de la MEF en scène dynamique, où les méthodes actuelles peinent à équilibrer la restauration des détails et la suppression des artefacts.

Impact du Jeu de Données : En fournissant un benchmark avec une GT fiable pour les scènes dynamiques, les auteurs permettent à la communauté d'évaluer rigoureusement les capacités de déghosting, dépassant les limitations des données statiques ou synthétiques.
Changement Méthodologique : L'introduction des transformations de Householder offre une approche mathématiquement fondée pour le déghosting, traitant cela comme un problème de projection géométrique plutôt que comme une simple tâche de mise en correspondance de caractéristiques. Cela permet une gestion plus robuste des désalignements sans les distorsions géométriques typiques du déformage par flux.
Efficacité : La méthode proposée atteint une performance supérieure avec une grande efficacité computationnelle, ce qui la rend adaptée à un déploiement pratique.

Limitations : Les auteurs reconnaissent que le cadre actuel est conçu pour une fusion à trois entrées (surexposée, référence, sous-exposée). Cela limite l'applicabilité immédiate aux appareils ou aux jeux de données fournissant un nombre variable d'expositions, un défi identifié pour les recherches futures.