Résumé Technique : PIXLRelight

Définition du Problème

Le rééclairage d'une seule image vise à modifier l'éclairage d'une photographie pour qu'il corresponde à une condition d'éclairage cible spécifiée par l'utilisateur. Bien que les moteurs de rendu physiquement fondés (PBR) (par exemple, Blender, Unreal Engine) offrent un contrôle précis sur le type, la position, la couleur et l'intensité de la lumière, appliquer ce contrôle à des photographies « in-the-wild » est fondamentalement difficile en raison du défi consistant à récupérer la géométrie, les matériaux et le transport de la lumière à partir d'une seule image.

Les approches existantes souffrent de trois limitations principales :

1. Contrôle Limité : Les méthodes conditionnées par des cartes d'environnement HDR, du texte ou des images de référence peinent à exprimer un éclairage multi-source spatialement localisé, courant dans les scènes intérieures.
2. Accumulation d'Erreurs : Les pipelines inverses puis directs qui estiment des G-buffers et les réécrivent échouent souvent à encoder les indices nécessaires (par exemple, la transparence, la diffusion sous-surface), ce qui fait que les erreurs s'accumulent à travers les étapes.
3. Coût Computations : Les approches combinant le PBR au rendu neuronal (par exemple, Careaga et Aksoy [5]) nécessitent souvent des optimisations coûteuses de rendu différentiel par image pour ajuster les environnements d'éclairage 3D, limitant ainsi la diversité des données d'entraînement et la vitesse d'inférence.

Méthodologie

Les auteurs proposent PIXLRelight, une approche feed-forward basée sur des transformateurs qui fait le pont entre la contrôlabilité PBR et la synthèse d'images apprise via une interface de conditionnement intrinsèque partagée. L'idée centrale est de découpler ce que l'éclairage cible devrait être de comment il est appliqué à une photographie réelle.

1. Interface de Conditionnement Intrinsèque

La méthode utilise un modèle de formation d'image intrinsèque où une image $I$ est décomposée en :
$$I = A \odot S + R$$
Où $A$ est l'albédo diffus, $S$ est l'ombrage diffus, et $R$ est le résidu non diffus (reflets spéculaires, transparence, etc.).

La condition d'éclairage cible est représentée non pas par une image RVB, mais par la concaténation canal par canal des cartes intrinsèques cibles : $C_T = [A_T; S_T; R_T]$. Cette interface est cohérente à la fois pour l'entraînement et l'inférence :

• Entraînement : $C_T$ est extrait de photographies réelles appariées multi-éclairages en utilisant un modèle de décomposition intrinsèque figé (Marigold-IID-Lighting [20]).
• Inférence : $C_T$ est généré en effectuant un path-tracing d'une reconstruction 3D grossière de la scène d'entrée sous des lumières PBR spécifiées par l'utilisateur. Crucialement, le modèle ne voit jamais l'image RVB rendue ; il ne voit que les tampons intrinsèques, qui portent des indices précis pour l'éclairage désiré tout en absorbant les imperfections de la reconstruction 3D sous-jacente.

2. Architecture

PIXLRelight est un transformateur feed-forward conçu pour la prédiction dense :

• Encodeurs Asymétriques : L'image source ($I_S$), dominée par des détails haute fréquence, est tokenisée par un Vision Transformer (ViT). La pile intrinsèque ($C_T$), dominée par des structures lisses et basse fréquence, est tokenisée par un ConvNeXt.
• Fusion : Les jetons source et de conditionnement sont fusionnés par emplacement spatial via un petit MLP avant d'entrer dans un tronc de transformateur partagé.
• Tête de Modulation : Au lieu de régresser directement l'image RVB cible, le réseau prédit une modulation affine par pixel de l'image source. La sortie est calculée comme $\hat{I}_T = \text{clip}((1 + g) \odot I_S + b, 0, 1)$, où $g$ (gain) et $b$ (biais) sont des cartes apprises. Le réseau est initialisé pour produire l'identité ($g=0, b=0$), n'apprenant que la transformation d'éclairage résiduelle. Cela préserve les détails photoréalistes de la source par construction.

3. Stratégie d'Entraînement et d'Inférence

• Entraînement : Le modèle est entraîné de bout en bout sur des ensembles de données appariés multi-éclairages (MIIW, BigTime, VIDIT) en utilisant des pertes photométriques et perceptuelles. Aucun pipeline de rendu inverse puis direct ni aucune optimisation par image n'est requis. Pour simuler les artefacts au moment de l'inférence, le pipeline d'entraînement applique des augmentations de corruption stochastique au conditionnement intrinsèque $C_T$.
• Inférence :
  1. Estimer la profondeur métrique (Depth Anything 3) et les matériaux (Marigold-IID-Appearance) à partir de l'image source.
  2. Construire un maillage texturé et l'importer dans Blender.
  3. Créer l'éclairage désiré en utilisant des lumières PBR arbitraires.
  4. Rendre la scène dans Cycles pour extraire les tampons intrinsèques cibles ($A_T, S_T, R_T$).
  5. Nourrir l'image source et les tampons intrinsèques dans PIXLRelight pour générer l'image rééclairée en une seule passe avant.

Contributions Clés

1. Interface de Conditionnement Intrinsèque : Un mécanisme de conditionnement unifié utilisant la décomposition de l'apparence cible (albédo, ombrage, résidu) qui sert de pont entre les photographies réelles et les rendus PBR.
2. Stratégie d'Entraînement Direct : Une approche d'entraînement de bout en bout sur des photographies appariées multi-éclairages qui élimine le besoin de pipelines de rendu inverse puis direct ou d'optimisation par image.
3. Modèle PIXLRelight : Un transformateur feed-forward atteignant une qualité de rééclairage de l'état de l'art avec un temps d'inférence inférieur à 0,1 seconde, permettant une création d'éclairage interactive.

Résultats

Performance Quantitative

Évalué sur la division de test des Images Multi-Éclairages du MIT dans la nature (MIIW), PIXLRelight surpasse significativement les bases existantes (DiffusionRenderer, UniRelight, RGBX, Ouroboros, V-RGBX) :

• PSNR : 29,18 dB (contre 19,38 dB pour le suivant, Ouroboros).
• SSIM : 0,893 (contre 0,763).
• LPIPS : 0,195 (contre 0,438).
• Vitesse : 0,09 seconde par image, ce qui est au moins un ordre de grandeur plus rapide que toutes les bases (la suivante étant à 0,62 s).

Performance Qualitative

• Contrôlabilité : Dans les expériences utilisant un éclairage tracé par chemin et créé par l'utilisateur (Blender), PIXLRelight transfère avec succès des effets d'éclairage complexes (par exemple, ombres latérales, lueurs intérieures chaudes, projecteurs focalisés) tout en préservant les détails photographiques de l'image source.
• Robustesse : Contrairement aux bases qui dérivent de la source ou échouent à représenter des sources de champ proche, PIXLRelight maintient la fidélité de l'identité. Il est robuste aux erreurs de géométrie grossière et de matériaux inhérentes à la reconstruction 3D d'une seule image car l'image RVB source et les intrinsèques cibles sont traitées via des branches séparées.

Signification et Revendications

L'article revendique que PIXLRelight réussit à apporter le contrôle physique de l'éclairage de l'informatique graphique aux photographies « in-the-wild ». En séparant la spécification de l'éclairage cible de son application, la méthode permet un contrôle d'éclairage arbitraire de style PBR sans la surcharge computationnelle de l'optimisation par image. Les auteurs soulignent que cette approche atteint une qualité de l'état de l'art tout en s'exécutant en moins d'un dixième de seconde, rendant la création d'éclairage interactive sur des photographies réelles réalisable. La méthode repose sur l'hypothèse que la décomposition intrinsèque fournit un pont suffisant entre les domaines réel et synthétique, permettant au modèle d'absorber les artefacts de reconstruction tout en transférant avec précision les indices d'éclairage.