UniLight: A Unified Representation for Lighting

Le papier propose UniLight, une représentation unifiée de l'éclairage sous forme d'espace latent commun qui aligne contrastivement divers modes (texte, images, irradiance et cartes d'environnement) pour permettre un transfert intermodal et une manipulation flexible dans des tâches telles que la recherche, la génération et le contrôle de l'éclairage.

L'essentiel

Imaginez que la lumière est comme la mélodie d'une chanson. Elle définit l'ambiance, l'émotion et la façon dont nous voyons les choses. Mais jusqu'à présent, les ordinateurs avaient du mal à comprendre cette mélodie parce qu'ils la recevaient sous des formes totalement différentes et incompatibles :

• Parfois, c'était une photo de la scène (l'image).
• Parfois, c'était une carte 360° du ciel et des murs (la carte d'environnement).
• Parfois, c'était une description textuelle ("soleil chaud à droite").
• Parfois, c'était une carte de chaleur mathématique (irradiance).

C'est comme si vous essayiez de faire jouer un piano, un violon et une trompette ensemble, mais que chaque instrument parlait une langue différente. Le résultat était chaotique, et on ne pouvait pas facilement passer de l'un à l'autre.

Voici comment UniLight change la donne, expliqué simplement :

🌟 Le Concept : La "Traductrice Universelle" de la Lumière

Les chercheurs (Zitian Zhang et son équipe) ont créé un nouvel outil appelé UniLight. Imaginez-le comme une grande salle de réunion secrète (un "espace latent") où toutes ces formes de lumière se rencontrent.

Au lieu de laisser chaque type de lumière parler sa propre langue, UniLight les force à se traduire dans une langue commune.

• Si vous entrez avec une photo, UniLight la traduit en "langue lumière".
• Si vous entrez avec un texte ("lumière douce du matin"), il le traduit dans la même "langue lumière".
• Si vous entrez avec une carte 360°, elle est aussi traduite.

L'analogie du passeport :
Avant, pour changer l'éclairage d'une photo, il fallait un passeport spécifique (une carte 360°). Si vous aviez juste une description textuelle, vous étiez bloqué à la frontière. Avec UniLight, tout le monde a le même passeport. Vous pouvez prendre une description textuelle, la transformer en carte 360°, et l'appliquer sur une photo, ou l'inverse. Tout le monde se comprend parfaitement.

🛠️ Comment ça marche ? (La Cuisine de la Lumière)

Pour créer cette "langue commune", l'équipe a utilisé une méthode intelligente :

1. L'Entraînement par l'Exemple (Contraste) : Ils ont montré au système des milliers d'exemples où une photo, une carte 360° et un texte décrivaient exactement la même lumière. Le système a appris : "Ah, quand je vois ces mots et cette photo ensemble, ils doivent être très proches dans ma mémoire."
2. Le Compas Magique (Harmoniques Sphériques) : Pour s'assurer que le système ne se trompe pas sur la direction de la lumière (est-ce que le soleil est à gauche ou à droite ?), ils ont ajouté un petit exercice de géométrie. Le système doit deviner la position des étoiles (les coordonnées de la lumière) comme un compas. Cela l'oblige à être très précis sur l'orientation.

🚀 À quoi ça sert ? (Les Super-Pouvoirs)

Grâce à cette invention, on peut maintenant faire des choses magiques :

• La Recherche par Lumière : Vous avez une photo avec une lumière magnifique, mais vous ne savez pas comment la décrire ? Vous pouvez chercher dans une base de données d'images et trouver d'autres photos qui ont exactement la même "ambiance lumineuse", même si les objets sur la photo sont différents. C'est comme chercher une chanson par son rythme, pas par son titre.
• La Génération de Cartes 360° : Vous avez une photo d'une pièce et vous voulez savoir à quoi ressemble le ciel au-dessus ? UniLight peut "deviner" et dessiner la carte complète du ciel (la carte d'environnement) juste en regardant la photo.
• Le Remodelage de Lumière (Relighting) : C'est le plus cool. Vous prenez une photo prise en intérieur avec une lumière triste, et vous lui dites : "Change la lumière pour qu'elle ressemble à un coucher de soleil chaud venant de la fenêtre de droite". L'ordinateur recrée les ombres et les reflets comme si la lumière avait vraiment changé, en utilisant n'importe quelle description (texte, autre photo, etc.).

En Résumé

UniLight, c'est comme avoir créé un dictionnaire universel de la lumière. Avant, les ordinateurs étaient aveugles aux nuances lumineuses quand on changeait de format. Maintenant, ils comprennent que "un rayon de soleil doré" (texte), "une carte 360° avec un point brillant" (image) et "une carte de chaleur" (donnée) sont tous la même chose.

Cela ouvre la porte à des créations artistiques plus libres, où l'on peut manipuler la lumière aussi facilement que l'on change de filtre sur Instagram, mais avec une précision physique réelle.

Résumé technique

1. Problématique

L'éclairage est un facteur déterminant de l'apparence visuelle des images, mais sa représentation et son contrôle restent des défis majeurs en vision par ordinateur et en infographie. Actuellement, il existe de nombreuses représentations de l'éclairage (cartes d'environnement, cartes d'irradiance, harmoniques sphériques, descriptions textuelles, images de référence), mais elles sont incompatibles entre elles.

Cette incompatibilité limite considérablement le transfert inter-modalité. Par exemple, les méthodes d'estimation ou de contrôle de la lumière sont généralement conçues autour d'une seule représentation et ne peuvent pas s'adapter facilement aux autres. De plus, les approches récentes basées sur des réseaux de neurones implicites (comme les NeRF) sont souvent spécifiques à une tâche et ne permettent pas une manipulation flexible ou une recherche croisée entre différents types de données (texte, image, carte 360°).

2. Méthodologie : UniLight

Les auteurs proposent UniLight, un espace latent conjoint qui unifie plusieurs modalités d'éclairage dans un seul embedding partagé. L'objectif est d'apprendre une représentation commune où des données décrivant la même condition d'éclairage (qu'elles soient sous forme de texte, d'image, de carte d'irradiance ou de carte d'environnement) soient proches les unes des autres dans l'espace latent.

Architecture et Pipeline

• Encodage Multimodal : Le système utilise des encodeurs spécifiques à chaque modalité :
  • Images (Cartes d'environnement, Images, Irradiance) : Basés sur DINOv2-B (Vision Transformer). Pour les cartes d'environnement HDR, l'entrée combine une version LDR (tonemapping Reinhard), un encodage logarithmique et des coordonnées directionnelles explicites (x, y, z).
  • Texte : Basé sur Qwen3 Embedding (modèle de langage de 0,6B de paramètres), finetuné pour capturer la sémantique de l'éclairage (direction, température de couleur, intensité).
• Module de Fusion : Les sorties des encodeurs sont projetées dans un espace latent commun via un module de fusion léger basé sur des query tokens apprenables (8 tokens par défaut) et une couche d'attention multi-têtes.
• Objectif d'Entraînement Contrastif : Un objectif de perte contrastive (Cross-Entropy) est utilisé pour aligner les embeddings de différentes modalités décrivant la même scène. Cela force le modèle à rapprocher les représentations de paires correspondantes (ex: une image et sa description textuelle).
• Tâche Auxiliaire (Harmoniques Sphériques) : Pour renforcer la compréhension de la direction de la lumière, une tête de prédiction estime les coefficients des harmoniques sphériques (SH) jusqu'au degré 3 à partir de l'embedding latent. Une perte de régression (MSE) est appliquée pour aligner ces prédictions avec les coefficients réels extraits des cartes d'environnement. Cela assure que l'espace latent encode correctement la géométrie directionnelle de la lumière.

Création du Dataset

Les auteurs ont construit un nouveau dataset multimodal à partir de 8 020 cartes d'environnement HDR (intérieures et extérieures). Pour chaque carte, ils génèrent 72 180 échantillons comprenant :

1. La carte d'environnement elle-même.
2. Une image perspective extraite.
3. La carte d'irradiance correspondante (estimée via Prism).
4. Une description textuelle générée par un modèle VLM (InternVL3-38B) en se basant sur la détection des sources lumineuses dominantes.
5. Une carte d'environnement estimée à partir de l'image (via DiffusionLight-Turbo) pour améliorer la robustesse.

3. Contributions Clés

1. Pipeline de données multimodal : Une infrastructure permettant l'apprentissage et l'évaluation unifiée de l'éclairage à travers texte, images, irradiance et cartes d'environnement.
2. Cadre contrastif : Un mécanisme d'alignement qui rend les représentations d'éclairage interchangeables entre les modalités.
3. Perte auxiliaire d'harmoniques sphériques : Une innovation cruciale qui améliore la précision de l'encodage directionnel de la lumière dans l'espace latent.
4. Applications polyvalentes : Démonstration de la flexibilité de la représentation sur trois tâches distinctes : recherche inter-modale, génération de cartes d'environnement et contrôle de l'éclairage pour la synthèse d'images.

4. Résultats Expérimentaux

Les expériences valident l'efficacité de UniLight sur trois tâches principales :

• Recherche Inter-Modale (Retrieval) :

  • Le modèle permet de rechercher des cartes d'environnement à partir d'une image, d'un texte, ou inversement, avec une grande précision.
  • Les métriques (Recall@1, MRR) montrent que UniLight surpasse largement les modèles de base comme CLIP ou Qwen3-VL (version 2B) pour les tâches liées à l'éclairage.
  • L'ablation montre que l'utilisation de 8 tokens et l'inclusion de la supervision SH (degré 3) sont essentielles pour les performances optimales.

• Génération de Cartes d'Environnement :

  • En conditionnant un modèle de diffusion (Stable Diffusion 3.5) avec l'embedding UniLight, les auteurs génèrent des cartes d'environnement 360° cohérentes à partir de texte, d'images ou de cartes d'irradiance.
  • Les résultats surpassent significativement DiffusionLight-Turbo en termes de qualité visuelle et de métriques quantitatives (PSNR, SSIM, LPIPS).

• Contrôle de l'Éclairage (Relighting) :

  • Intégré dans le pipeline X→RGB (basé sur la diffusion), UniLight permet de modifier l'éclairage d'une image en utilisant n'importe quelle modalité d'entrée (texte, carte d'environnement, etc.).
  • Contrairement aux méthodes basées sur des modèles de langage génériques (qui laissent souvent les ombres statiques lors de la rotation de la lumière), UniLight permet un contrôle physique cohérent, adaptant correctement les ombres et les reflets.

5. Signification et Impact

UniLight représente une avancée majeure vers une représentation unifiée de la lumière. En brisant les silos entre les différentes modalités d'éclairage, ce travail ouvre la voie à :

• Des applications de synthèse d'images plus flexibles et physiquement fondées.
• Des outils d'édition d'images permettant de changer l'éclairage via du texte naturel ou des exemples visuels, avec une cohérence géométrique et directionnelle élevée.
• Une meilleure compréhension de la lumière par les IA, facilitant le contrôle précis des modèles génératifs pour des scénarios intérieurs et extérieurs complexes.

Bien que le modèle actuel ne capture pas encore les variations spatiales fines de la lumière (nécessaires pour des scènes intérieures très complexes), il pose les bases pour un contrôle unifié et évolutif de l'éclairage dans les systèmes génératifs.