S2R-HDR: A Large-Scale Rendered Dataset for HDR Fusion

Ce papier présente S2R-HDR, le premier jeu de données synthétique à grande échelle pour la fusion HDR, accompagné d'une méthode d'adaptation de domaine nommée S2R-Adapter qui améliore la généralisation des modèles sur des données réelles.

L'essentiel

🌟 Le Problème : Prendre des photos de rêve est difficile

Imaginez que vous voulez prendre une photo magnifique d'un coucher de soleil avec une voiture qui passe devant.

• Le défi : Si vous réglez votre appareil pour voir les détails dans le ciel (les nuages), la voiture et les arbres deviennent noirs comme du charbon. Si vous réglez pour voir la voiture, le ciel devient blanc aveuglant.
• La solution HDR : La technologie "HDR" (Haute Dynamique) consiste à prendre plusieurs photos à la fois (une très sombre, une normale, une très claire) et à les fusionner pour avoir une image parfaite partout.

Mais il y a un gros souci : Pour entraîner les intelligences artificielles (les "robots" qui font cette fusion), il faut des millions d'exemples de photos parfaites. Or, dans la vraie vie, c'est un cauchemar :

• Il faut que le soleil soit exactement au bon endroit.
• Il faut que les voitures et les gens bougent de manière précise.
• Il faut que la météo soit parfaite.
• C'est long, cher et impossible à contrôler parfaitement.

C'est comme essayer d'entraîner un chef cuisinier à faire un plat complexe en lui donnant seulement 10 recettes, alors qu'il en faudrait 10 000 pour maîtriser tous les ingrédients.

---

🎮 La Solution Magique : S2R-HDR (Le Monde Virtuel)

Les chercheurs ont eu une idée géniale : au lieu de tourner des films dans la vraie rue, créons un monde virtuel ultra-réaliste !

Ils ont utilisé un moteur de jeu vidéo de pointe (Unreal Engine 5, le même que pour les jeux les plus réalistes) pour construire un gigantesque studio de cinéma numérique.

1. Le Studio (S2R-HDR) : Ils ont créé 24 000 scènes différentes.

   • Des rues avec des voitures, des piétons, des chiens qui courent.
   • Des intérieurs, des extérieurs, de jour, de nuit, sous la pluie.
   • Le tout avec une qualité d'image incroyable.
   • L'analogie : C'est comme avoir un zoo virtuel où vous pouvez faire courir des lions, des voitures et des humains exactement comme vous le voulez, sans jamais vous soucier de la météo ou de la fatigue des animaux.

2. Le Problème du "Faux" : Même si le monde virtuel est beau, il y a une petite différence avec la réalité. Les textures (la peau, l'herbe, le métal) ne sont pas exactement les mêmes. C'est comme si vous appreniez à conduire sur un simulateur de jeu vidéo : vous savez conduire, mais la vraie route a des vibrations et des odeurs que le jeu ne sent pas.

---

🧩 Le Pont : S2R-Adapter (Le Traducteur)

Pour combler cet écart entre le "monde virtuel" et le "monde réel", ils ont inventé un petit outil intelligent appelé S2R-Adapter.

• L'analogie du Traducteur : Imaginez que votre robot a appris à parler "Virtuel" grâce aux 24 000 scènes. Maintenant, il doit parler "Réalité".
  • Le S2R-Adapter est comme un traducteur en temps réel. Il écoute ce que le robot a appris dans le jeu et lui dit : "Attends, dans la vraie vie, la texture de l'asphalte est un peu plus rugueuse, ajuste-toi."
• Deux cerveaux en un : Cet outil fonctionne avec deux parties :
  1. Le Mémoriste : Il garde toutes les connaissances apprises dans le jeu (les règles de base).
  2. L'Ajusteur : Il apprend les petites subtilités de la vraie vie au fur et à mesure.

Le résultat ? Le robot devient un expert à la fois théorique (grâce au jeu) et pratique (grâce à l'ajusteur).

---

🏆 Les Résultats : Pourquoi c'est génial ?

Les chercheurs ont testé leur méthode sur de vraies photos prises dans la rue.

• Avant : Les robots entraînés sur de petits jeux de données faisaient des erreurs (des "fantômes" flous quand les gens bougeaient, ou des zones brûlées par le soleil).
• Avec S2R-HDR + S2R-Adapter : Les résultats sont bien meilleurs.
  • Plus de fantômes flous.
  • Les zones très lumineuses (comme le soleil direct) sont parfaitement récupérées.
  • Cela fonctionne même si on n'a pas de "réponse correcte" (pas de photo parfaite de référence) pour entraîner le robot sur la nouvelle photo. Le robot s'adapte tout seul en temps réel !

En résumé

C'est comme si, pour apprendre à un enfant à nager :

1. On ne le jette pas tout de suite dans l'océan (trop dangereux, trop de variables).
2. On l'entraîne dans une immense piscine virtuelle ultra-réaliste (S2R-HDR) où il peut faire des milliers de brasses sans risque.
3. On lui met un petit gilet intelligent (S2R-Adapter) qui lui donne les dernières corrections pour s'adapter aux vagues de la vraie mer.
4. Résultat : Il nage mieux que quiconque, même dans les conditions les plus difficiles.

Ce papier ouvre la voie à de meilleures photos et vidéos pour nos téléphones, nos voitures autonomes et nos caméras de surveillance, en utilisant la puissance du jeu vidéo pour résoudre des problèmes du monde réel.

Résumé technique

1. Problématique

La fusion d'images à haute dynamique (HDR) basée sur l'apprentissage profond est essentielle pour des applications comme la photographie computationnelle et la conduite autonome. Cependant, la généralisation des modèles actuels est sévèrement limitée par le manque de données d'entraînement de grande qualité.

• Limitations des données réelles : La collecte de jeux de données HDR réels à grande échelle pour des scènes dynamiques est coûteuse, longue et techniquement difficile. Les éléments incontrôlables (météo, objets dynamiques comme les véhicules ou les animaux) et les conditions lumineuses extrêmes (lumière directe du soleil) rendent l'acquisition de vérité terrain (ground truth) complexe.
• Taille insuffisante : Les jeux de données existants sont petits (par exemple, 89 à 144 échantillons), ce qui entraîne un surapprentissage (overfitting) et une mauvaise généralisation sur des scènes complexes avec de grands mouvements.
• Écart de domaine (Domain Gap) : Bien que les données synthétiques puissent être générées en masse, elles présentent souvent un écart de distribution par rapport aux données réelles (textures, éclairage naturel), ce qui dégrade les performances des modèles entraînés uniquement sur du synthétique lorsqu'ils sont appliqués au monde réel.

2. Méthodologie

Pour surmonter ces défis, les auteurs proposent une approche en deux volets : la création d'un nouveau jeu de données et une méthode d'adaptation de domaine.

A. Le Jeu de Données S2R-HDR

Les auteurs ont créé S2R-HDR, le premier jeu de données synthétique à grande échelle et haute qualité dédié à la fusion HDR.

• Génération : Utilisant le moteur de rendu Unreal Engine 5 (UE5), ils ont généré 24 000 images HDR (1 000 séquences de 24 images).
• Qualité et Réalisme :
  • Pipeline de rendu personnalisé pour éviter le "baking" du tonemapping, garantissant que les données restent dans l'espace linéaire HDR (format EXR).
  • Simulation d'imperfections de capture (tremblements de caméra, bruit) pour imiter les conditions réelles.
  • Diversité extrême : environnements intérieurs et extérieurs, conditions lumineuses variées (jour, crépuscule, nuit, soleil direct), et objets dynamiques (humains, animaux, véhicules).
• Échelle : Le jeu de données est environ 166 fois plus grand que les jeux de données standards précédents.

B. S2R-Adapter : Adaptation de Domaine

Pour combler l'écart entre les données synthétiques (S2R-HDR) et les données réelles, les auteurs proposent S2R-Adapter, une méthode d'adaptation de domaine "plug-and-play".

• Architecture : L'adapter se compose de deux branches insérées dans les couches pré-entraînées du modèle :
  1. Branches Partagées (Share Branch) : Utilise un adaptateur à faible rang (Low-Rank) pour préserver les connaissances apprises sur les données synthétiques et éviter l'oubli catastrophique (catastrophic forgetting).
  2. Branche de Transfert (Transfer Branch) : Utilise un adaptateur à haut rang (High-Rank) pour apprendre les connaissances spécifiques au domaine réel (textures, détails).
• Stratégies d'entraînement :
  • Avec étiquettes (Supervisé) : Ajustement fin (fine-tuning) des facteurs d'échelle ($\alpha_s, \alpha_t$) pour équilibrer le partage et le transfert de connaissances.
  • Sans étiquettes (Test-Time Adaptation - TTA) : Pour les données réelles sans vérité terrain, le système utilise une architecture Mean-Teacher. Il ajuste dynamiquement les facteurs d'échelle en fonction de l'incertitude du modèle (mesurée par la variance des augmentations d'entrée comme l'exposition ou le bruit). Cela permet au modèle de s'adapter à chaque échantillon testé sans nécessiter de labels.

3. Contributions Clés

1. S2R-HDR : Un jeu de données synthétique massif (24k échantillons) de haute fidélité, couvrant une diversité de mouvements et d'éclairages inégalée, permettant un entraînement robuste.
2. S2R-Adapter : Une méthode d'adaptation de domaine efficace qui fonctionne à la fois avec des données étiquetées et non étiquetées, permettant de transférer les connaissances d'un domaine synthétique vers un domaine réel tout en minimisant l'oubli des connaissances initiales.
3. Performance SOTA : Démonstration que l'entraînement sur S2R-HDR suivi de l'adaptation via S2R-Adapter dépasse les méthodes entraînées directement sur de petits jeux de données réels.

4. Résultats Expérimentaux

Les expériences ont été menées sur les jeux de données réels SCT et Challenge123, en utilisant des architectures basées sur CNN (SAFNet) et Transformers (SCTNet, HDR-Transformer).

• Performance avec vérité terrain : La méthode proposée a atteint des performances State-of-the-Art (SOTA). Par exemple, sur le jeu de données Challenge123, l'approche a amélioré le PSNR-$\mu$ de plus de 2 dB par rapport aux modèles de base entraînés directement sur les données réelles.
• Généralisation sans vérité terrain (TTA) : Même sans accès aux labels réels lors du test, l'adaptation en temps réel a permis des gains significatifs (ex: +1.1 dB en PSNR-$\mu$ et +8.46 dB en PSNR-$\ell$ sur SCT par rapport aux meilleures bases).
• Qualité visuelle : Les résultats montrent une réduction significative des artefacts de mouvement (ghosting) et une meilleure récupération des hautes lumières (saturations) dans des scènes complexes (soleil direct, nuit).
• Études d'ablation : Elles confirment que la combinaison des deux branches (partagée et transfert) et l'ajustement dynamique des facteurs d'échelle sont essentiels pour la performance.

5. Signification et Impact

Ce travail adresse un goulot d'étranglement majeur dans le domaine de la vision par ordinateur : la pénurie de données d'entraînement de haute qualité pour des tâches complexes comme la fusion HDR dynamique.

• Solution viable : Il démontre qu'il est possible de générer des données synthétiques de grande qualité et de les adapter efficacement au monde réel, réduisant la dépendance à la collecte de données coûteuses.
• Généralisation : La méthode S2R-Adapter offre une voie prometteuse pour la généralisation dans d'autres domaines où l'acquisition de données réelles est difficile.
• Ressources ouvertes : Le jeu de données et le code sont publics, favorisant la reproductibilité et les recherches futures dans le domaine de l'imagerie HDR.

En résumé, S2R-HDR et S2R-Adapter constituent une avancée majeure en fournissant une infrastructure de données massive et un mécanisme d'adaptation robuste, permettant aux modèles d'apprentissage profond de performer de manière optimale dans des scénarios HDR réels complexes.