💻 computer science

LumiTokens: 3D Relighting via Token-Space Lighting Transformation

LumiTokens est un nouveau cadre de rééclairage 3D qui contourne la décomposition explicite des matériaux et les équations de rendu en transformant directement des jetons de scène latents compacts en images rééclairées grâce à un éditeur basé sur l'auto-attention, permettant des modifications d'éclairage unifiées, progressives et composables pour diverses sources de lumière.

Auteurs originaux : Yiwen Chen, Matheus Gadelha, Huaizu Jiang

Publié 2026-08-20

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yiwen Chen, Matheus Gadelha, Huaizu Jiang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez prendre la photographie d'un personnage dans un studio de cinéma ou d'un produit dans un laboratoire et vouloir le placer dans un monde complètement différent. Vous pourriez vouloir qu'un personnage se tienne sous l'éclat chaleureux d'un coucher de soleil ou qu'un produit soit posé sur un comptoir de cuisine éclairé par une fenêtre matinale. Pendant des décennies, l'infographie a lutté contre cette tâche. Pour qu'un objet 3D paraisse réel sous une nouvelle lumière, les méthodes traditionnelles nécessitaient un processus laborieux de rétro-ingénierie de l'objet. Les artistes et les algorithmes devaient déshabiller les couches de l'image pour comprendre la forme de l'objet, sa texture, et sa brillance ou sa rugosité de surface. Ce n'est qu'après avoir résolu ce puzzle complexe qu'ils pouvaient réassembler l'image sous une nouvelle lumière. Cette approche était lente, nécessitait souvent des centaines de photos pour fonctionner correctement, et était limitée par la capacité de l'ordinateur à deviner les propriétés physiques du matériau.

Une nouvelle vague de technologie a tenté de résoudre cela en utilisant l'intelligence artificielle pour simplement deviner à quoi devrait ressembler la nouvelle image, un peu comme un peintre improvisant une scène. Bien que ces méthodes puissent produire des résultats magnifiques, elles ont souvent du mal à maintenir la cohérence de l'objet lorsqu'il est vu sous différents angles. Si vous déplacez votre caméra autour de l'objet, l'éclairage peut paraître correct d'un côté mais faux de l'autre, brisant l'illusion d'un monde 3D solide. De plus, changer la lumière signifiait généralement recommencer tout le processus de peinture de zéro. Il n'y avait aucun moyen de sauvegarder l'état de l'objet et simplement d'ajouter une nouvelle lampe ou de déplacer le soleil sans tout régénérer.

Des chercheurs de l'Université Northeastern et d'Adobe Research ont introduit une nouvelle approche appelée LumiTokens qui change notre façon de concevoir ce problème. Au lieu d'essayer de comprendre la forme physique d'un objet ou de deviner l'image finale pixel par pixel, leur système traite l'ensemble de la scène 3D comme un ensemble compact de jetons numériques (tokens). Considérez ces jetons comme un résumé numérique hautement efficace de l'objet qui contient toute sa géométrie et son apparence, mais sans être lié à une description physique spécifique telle qu'un modèle 3D ou une grille de points. Les chercheurs ont découvert qu'ils pouvaient manipuler ce résumé directement. En fournissant au système la description d'une nouvelle source de lumière, ils pouvaient transformer ces jetons pour refléter les nouvelles conditions d'éclairage, puis décoder le résultat en une image fraîche et de haute qualité.

Le cœur de cette méthode est un outil qu'ils appellent Scene Token Editor (Éditeur de Jetons de Scène). Ce composant prend le résumé compressé de la scène et la description de la nouvelle lumière, et les fusionne en utilisant un mécanisme similaire à la façon dont un moteur de recherche connecte des idées liées. Le système n'a pas besoin de connaître les coordonnées 3D exactes de l'objet ou la physique de la façon dont la lumière rebondit sur une surface. Au lieu de cela, il apprend à ajuster les jetons afin que, lorsqu'ils sont transformés à nouveau en image, les ombres tombent correctement, les reflets brillent aux endroits appropriés et les éclats paraissent naturels. Crucialement, ce processus fonctionne pour de nombreux types de lumières différents, qu'il s'agisse d'un ciel vaste, d'une ampoule ponctuelle unique ou d'un grand panneau lumineux. Le système convertit toutes ces sources de lumière différentes en un langage commun de rayons lumineux, ce qui lui permet de les traiter uniformément.

L'une des capacités les plus significatives de ce nouveau système est qu'il permet une édition progressive. Parce que le système travaille sur le résumé compressé plutôt que sur l'image finale, un utilisateur peut construire une scène d'éclairage une source à la fois. On peut commencer par un environnement de base, ajouter une lumière principale, puis ajouter une lumière de remplissage, chaque étape modifiant le même résumé sous-jacent. Le système se souvient des changements effectués à l'étape précédente, de sorte que l'utilisateur n'a pas besoin de repartir de zéro ou de recalculer l'ensemble de la scène pour chaque nouvel ajout. Cela crée un flux de travail fluide où l'éclairage peut être conçu de manière incrémentale, un peu comme l'ajout d'ingrédients à un plat, tout en maintenant un aspect cohérent sous tous les angles.

Les chercheurs ont testé leur système sur des milliers d'objets 3D, allant de formes simples à des modèles complexes avec des surfaces brillantes et transparentes. Ils ont constaté que leur méthode produisait des images aussi nettes et précises que les meilleures techniques existantes, et dans de nombreux cas, supérieures. Lorsqu'ils ont comparé leurs résultats à d'autres méthodes qui reposent sur la supposition de l'image finale ou sur celles qui tentent de rétro-concevoir la physique, LumiTokens a montré moins d'erreurs dans la façon dont la lumière interagissait avec l'objet. Il a évité des erreurs courantes comme des ombres incohérentes ou un éclairage qui semblait différent selon l'angle de la caméra. Le système a été capable de prendre seulement une poignée de photos d'un objet et de le rééclairer sous des conditions qu'il n'avait jamais vues auparavant, produisant des résultats qui semblaient physiquement plausibles.

Ce travail suggère une nouvelle voie pour la création d'actifs 3D pour les films, les jeux vidéo et la réalité virtuelle. En s'éloignant de la nécessité de définir explicitement les matériaux physiques ou de lancer de lourdes simulations physiques, les chercheurs ont montré que l'éclairage peut être traité comme une transformation directe de l'essence numérique d'une scène. Le système ne prétend pas comprendre la physique de la lumière comme le ferait un physicien humain, mais il a appris à imiter le résultat visuel si efficacement que la différence est invisible à l'œil nu. Cette approche offre une façon plus rapide et plus flexible de faire entrer des objets numériques dans de nouveaux mondes, permettant aux créateurs d'ajuster l'ambiance et l'atmosphère d'une scène avec un niveau de contrôle qui était auparavant difficile à atteindre.

Résumé Technique : LumiTokens : Rééclairage 3D via la Transformation de l'Éclairage dans l'Espace des Tokens

Énoncé du Problème

Le rééclairage 3D — la capacité de rendre une scène reconstruite sous une illumination cible arbitraire — est une étape critique pour le déploiement d'actifs 3D dans des applications pratiques telles que la production cinématographique, les jeux vidéo et le commerce électronique. Les approches existantes à ce problème se classent généralement en trois catégories, chacune présentant des compromis importants :

Rendu Inverse (Inverse Rendering) : Ces méthodes récupèrent des représentations 3D explicites (géométrie, normales, albédo, rugosité) et réévaluent les équations de rendu. Bien qu'elles soient cohérentes multi-vues, elles nécessitent des captures denses, une optimisation coûteuse par scène, et sont limitées par l'expressivité de leurs modèles BRDF choisis.
Génération basée sur la Diffusion : Ces méthodes exploitent les modèles de diffusion comme des priors d'apparence pour synthétiser des vues rééclairées. Bien qu'elles produisent des effets réalistes, elles opèrent généralement dans l'espace des vues ou de la vidéo sans représentation de scène partagée et persistante. Par conséquent, chaque changement d'éclairage nécessite un passage génératif complet, et les modifications d'éclairage ne sont pas cumulables.
Approches Hybrides : Elles combinent l'encodage de géométrie par propagation directe (feed-forward) avec la synthèse d'apparence générative. Bien qu'elles évitent l'optimisation par scène, elles reposent toujours sur des paramétrisations 3D explicites (comme 3DGS) et des branches génératives qui doivent être réexécutées pour chaque nouvelle condition d'éclairage.

Une limitation commune à tous les paradigmes existants est que les modifications d'éclairage ne sont pas maintenues comme des mises à jour incrémentielles d'une représentation de scène persistante. Cet article observe que les récentes représentations de scènes latentes, qui encodent des images multi-vues en tokens compacts sans sémantique physique fixe, offrent un nouvel espace de conception où le rééclairage peut être formulé comme une transformation directe dans l'espace latent.

Méthodologie

Les auteurs proposent LumiTokens, un cadre basé sur les transformers qui effectue le rééclairage 3D entièrement au sein d'un espace de tokens latents appris, contournant les représentations 3D explicites, les équations de rendu et la décomposition physique.

Aperçu de l'Architecture

Le cadre se compose de trois composants principaux :

Encodeur : Un transformer qui mappe un ensemble épars d'images multi-vues posées (et leurs plongements de rayons Plücker) en un ensemble compact et de taille fixe de tokens de scène unidimensionnels non structurés ( $z$ ).
Éditeur de Tokens de Scène (Scene Token Editor) : Un module transformer qui effectue l'opération de rééclairage. Il prend en entrée les tokens de scène ( $z$ ) et un ensemble de tokens de rayons lumineux ( $\ell$ ). Grâce à l'auto-attention, l'éditeur traite conjointement les tokens de scène et de lumière pour produire des tokens de scène mis à jour ( $z'$ ). Crucialement, la sortie reste dans le même espace latent que l'entrée, permettant une édition persistante.
Décodeur : Un transformer conditionné par les rayons qui rend des vues nouvelles à partir des tokens de scène. Il utilise une tête DPT pour réassembler les tokens de sortie en images denses à haute résolution, garantissant des textures nettes et des détails à haute fréquence.

Tokenisation du Signal Lumineux

Pour supporter divers types d'éclairage via une interface unifiée, tous les signaux d'illumination sont paramétrés comme des tokens de rayons Plücker. L'illumination est discrétisée en une collection de rayons lumineux échantillonnés depuis la source vers la scène. Chaque token de lumière est défini par sa géométrie de rayon (coordonnées de Plücker), son intensité spectrale et sa puissance radiante. Cette représentation unifiée permet d'accommoder :

Cartes d'environnement (Environment Maps) : Modélisées comme des rayons directionnels avec un moment nul.
Sources de lumière ponctuelle (Point Lights) : Modélisées comme des rayons émanant d'une position 3D spécifique.
Sources de lumière de surface (Area Lights) : Modélisées comme des rayons échantillonnés à travers une surface émettrice.

Cette tokenisation permet une interaction utilisateur 3D native (par exemple, placer une lumière ponctuelle à une coordonnée spécifique) malgré le fait que l'espace latent manque de structure spatiale explicite.

Rééclairage Progressif

Une caractéristique clé de LumiTokens est le rééclairage progressif. Parce que la sortie de l'éditeur ( $z'$ ) reste dans le même espace latent que son entrée ( $z$ ), les utilisateurs peuvent construire de manière incrémentielle l'illumination, une source lumineuse à la fois. Le processus d'édition suit une récurrence :
$z^{(s)} = T(z^{(s-1)}, \ell^{(s)})$
où $z^{(s)}$ est l'état de la scène après $s$ éditions. Cela permet aux modifications d'éclairage de se composer dans l'espace des tokens sans nécessiter de ré-encodage, de ré-évaluation des équations de rendu, ou de régénération des vues à chaque étape.

Objectifs d'Entraînement

Le modèle est entraîné en optimisant l'encodeur et l'Éditeur de Tokens de Scène conjointement, tout en gardant un décodeur pré-entraîné gelé. La perte d'entraînement combine :

Perte de Rendu ( $\mathcal{L}_{render}$ ) : Une combinaison de perte $\ell_2$ par pixel et de perte perceptuelle LPIPS, supervisant la sortie décodée par rapport aux images rééclairées de vérité terrain. Pour supporter l'édition progressive, le modèle est entraîné sur des chaînes aléatoires de signaux d'éclairage, appliquant la perte à chaque étape de la séquence pour éviter la dérive de distribution.
Perte d'Invariance de l'Éclairage ( $\mathcal{L}_{inv}$ ) : Cette perte pénalise les différences de tokens encodés lorsque la même scène est capturée sous différentes illuminations sources. Cela encourage l'encodeur à isoler les effets de l'éclairage source, garantissant que les tokens de scène capturent l'identité persistante (géométrie et matériaux) tandis que l'éditeur gère les variations dépendantes de la lumière.

Principales Contributions

Rééclairage par Tokens Latents : L'article démontre que le rééclairage 3D peut être effectué comme une transformation directe dans un espace de tokens latents appris, éliminant le besoin de représentations 3D explicites, d'équations de rendu ou de décomposition basée sur la physique.
Éditeur de Tokens de Scène : L'introduction d'un module transformer qui effectue le rééclairage via l'auto-attention entre les tokens de scène et les tokens de rayons Plücker. Cela supporte une interface unifiée pour les cartes d'environnement, les lumières ponctuelles et les lumières de surface, permettant une interaction utilisateur 3D native.
Édition Progressive et Composable : La formulation supporte le rééclairage progressif où les modifications d'éclairage se composent dans l'espace des tokens. Cela permet une conception d'éclairage incrémentale, une capacité que les paradigmes existants ne peuvent atteindre que par une recomputation complète à chaque étape.

Résultats Expérimentaux

Les auteurs évaluent LumiTokens sur un jeu de données synthétique à grande échelle (20k objets provenant d'Objaverse) et le comparent aux méthodes de pointe.

Rééclairage Multi-vues : LumiTokens atteint des performances quantitatives supérieures par rapport aux bases de comparaison basées sur la diffusion (Neural Gaffer, DiffusionRenderer, LightSwitch) en termes de PSNR, SSim et LPIPS. Il préserve l'apparence et les effets d'éclairage de manière cohérente à travers les vues, là où les bases de comparaison présentent des artefacts tels qu'une illumination résiduelle de la source et des reflets incohérents.
Rééclairage de Nouvelles Vues : Lors de l'évaluation sur des points de vue non vus, LumiTokens surpasse les méthodes de rendu inverse (TensoIR, NVDiffrecMC) et la méthode de diffusion multi-vues (LightSwitch). Notamment, LumiTokens atteint ces résultats en utilisant significativement moins de vues d'entrée (8) par rapport aux bases de comparaison de rendu inverse (50 vues) et à la base de comparaison de diffusion LightSwitch (16 vues).
Performance Qualitative : Les comparaisons visuelles montrent que LumiTokens gère avec succès des scénarios d'éclairage complexes, incluant les ombres entre objets et les réflexions, et supporte l'ajout progressif de sources lumineuses (par exemple, ajouter une carte d'environnement, puis une lumière ponctuelle, puis une lumière de surface) avec une haute fidélité.

Signification et Revendications

L'article affirme que LumiTokens représente un changement fondamental dans les paradigmes de rééclairage. En traitant le rééclairage comme une transformation sur des tokens de scène latents plutôt que comme un problème de décomposition ou de génération, la méthode atteint :

Persistance : Les modifications d'éclairage s'accumulent dans un état de scène réutilisable sans régénération.
Efficacité : Elle évite le coût computationnel de l'optimisation par scène ou des passages de diffusion complets pour chaque changement d'éclairage.
Flexibilité : Elle supporte divers types de lumière et une édition progressive grâce à une interface de tokens unifiée.

Les auteurs notent que bien que des travaux antérieurs aient utilisé des tokens latents pour la synthèse de vues, il s'agit du premier travail démontrant que de telles représentations peuvent supporter le rééclairage via des transformations directes et composables dans l'espace des tokens. L'approche répond au défi de maintenir des transformations d'éclairage cohérentes dans un espace où la géométrie et l'apparence sont entremêlées, permettant une nouvelle forme d'édition 3D interactive.