💻 computer science

VENI: Variational Encoder for Natural Illumination

L'article propose VENI, un autoencodeur variationnel équivariant par rotation qui utilise un nouveau Transformer de Vision à Neurones Vectoriels et un champ neuronal conditionnel pour modéliser l'illumination naturelle sur une sphère sans projections 2D, atteignant ainsi un espace latent bien structuré avec une interpolation plus fluide par rapport aux méthodes existantes.

Auteurs originaux : Paul Walker, James A. D. Gardner, Andreea Ardelean, William A. P. Smith, Bernhard Egger

Publié 2026-06-25

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Paul Walker, James A. D. Gardner, Andreea Ardelean, William A. P. Smith, Bernhard Egger

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de faire de la rétro-ingénierie sur une photographie. Vous avez l'image d'une scène, mais vous ne savez pas à quoi ressemblait le soleil, où se trouvaient les nuages, ni quelle était l'heure de la journée. C'est ce qu'on appelle l'« inverse rendering » (rendu inverse), et c'est un puzzle complexe car de nombreuses configurations d'éclairage pourraient créer exactement la même image.

Pour résoudre cela, les ordinateurs ont généralement besoin d'un « manuel de règles » ou d'un prior — un ensemble d'attentes apprises sur la façon dont la lumière naturelle se comporte habituellement. Par exemple, nous savons que le soleil est généralement en haut, pas en bas, et que la lumière provient d'une gamme de couleurs limitée.

Le document présente un nouvel outil appelé VENI (Variational Encoder for Natural Illumination). Voici comment il fonctionne, expliqué à travers des analogies simples :

Le problème de l'ancienne méthode (RENI++)

Avant VENI, le meilleur outil pour ce travail était appelé RENI++. Considérez RENI++ comme un sculpteur aveugle essayant de recréer une statue à partir d'une photo.

Le problème : Chaque fois que le sculpteur commence une nouvelle statue (une nouvelle image), il ramasse un morceau de terre cuite aléatoire (un « code latent » aléatoire) et commence à ciseler.
La faille : Parce qu'il commence avec un morceau de terre aléatoire à chaque fois, deux photos très similaires pourraient finir avec des morceaux de terre totalement différents. Pire encore, le sculpteur pourrait accidentellement faire en sorte que la même statue ressemble à deux morceaux de terre totalement différents. Cela rend la « bibliothèque d'argile » désordonnée et confuse. Si vous essayez de mélanger deux morceaux de terre pour créer une nouvelle statue, le résultat pourrait être un mélange bizarre et déformé.

La solution VENI : Une bibliothèque intelligente et organisée

VENI change la donne en agissant comme un bibliothécaire intelligent plutôt que comme un sculpteur aveugle.

L'encodeur (Le Bibliothécaire) : Quand VENI voit une photo, il ne devine pas. Il possède un système spécial qui examine instantanément l'image et trouve le bon « morceau de terre » (code latent) exact dans sa bibliothèque organisée pour représenter cet éclairage spécifique.
Le décodeur (Le Sculpteur) : Une fois qu'il a le bon morceau de terre, il utilise une imprimante 3D spéciale (un champ neuronal) pour recréer parfaitement l'environnement lumineux.

La recette secrète : Rotation et pensée 3D

Le document souligne deux astuces principales que VENI utilise pour être meilleur que la concurrence :

1. La règle du « Toupie » (Équivariance de rotation)
Imaginez une toupie. Si vous la faites tourner, la toupie semble différente de côté, mais c'est toujours la même toupie. La lumière naturelle fonctionne de la même manière. Si vous faites pivoter une pièce de 90 degrés, l'éclairage change, mais les règles de comportement de la lumière restent les mêmes.

Les anciens modèles devaient souvent prendre une sphère de lumière en 3D, l'écraser à plat sur une feuille de papier 2D (comme une carte), puis essayer d'apprendre à partir de cela. Cet écrasement crée des distorsions (comme le fait que le Groenland paraisse immense sur une carte plate).
VENI travaille directement dans l'espace 3D. Il traite la lumière comme une toupie. Il utilise un cerveau spécial de « Neurones Vectoriels » qui comprend que si vous faites pivoter l'entrée, la sortie doit simplement pivoter aussi, sans devenir confuse ou déformée. C'est comme apprendre à danser en tournant réellement, plutôt que d'essayer d'apprendre des pas de danse à partir d'un dessin plat.

2. La « Boussole Magique » (Équivariance SO(2))
Les auteurs ont réalisé que, bien que la lumière puisse tourner autour de l'axe vertical (comme l'aiguille d'une boussole), il n'est pas logique que la lumière se renverse ou s'incline sur le côté dans une scène extérieure naturelle.

Ils ont construit une couche spéciale dans leur IA qui est assez intelligente pour savoir : « D'accord, tourner de gauche à droite est possible, mais ne laissez pas les couleurs ou la direction « haut » être perturbées. » Cela rend le modèle beaucoup plus efficace et précis.

Pourquoi VENI est meilleur

Le document prouve que VENI gagne de deux manières principales :

Une bibliothèque soignée (Unicité) : Dans l'ancienne méthode, deux photos similaires pouvaient obtenir deux « codes d'argile » totalement différents. Dans VENI, deux photos similaires obtiennent deux codes très similaires. Cela signifie que la « bibliothèque » est organisée. Si vous cherchez un code, vous savez exactement quelle lumière il représente.
Un mélange fluide (Interpolation) : Parce que la bibliothèque est organisée, vous pouvez prendre le code d'un « Lever de soleil » et le code de « Midi » et les mélanger.
- Ancienne méthode : Les mélanger pourrait créer un artefact étrange, comme un soleil apparaissant de nulle part au milieu du ciel.
- VENI : Mélanger les deux crée une transition fluide et réaliste où le soleil se déplace naturellement à travers le ciel et les couleurs passent doucement de l'orange au bleu.

Résumé

VENI est un nouveau système d'IA qui apprend comment la lumière naturelle fonctionne en la traitant comme un objet 3D qui peut tourner, plutôt que comme une image plate et déformée. Il organise ses connaissances de manière à ce que des lumières similaires aient des « identifiants » similaires, ce qui lui permet de passer en douceur entre différents moments de la journée sans créer de glitchs visuels bizarres. C'est une façon plus fiable, organisée et mathématiquement rigoureuse pour les ordinateurs de comprendre l'éclairage de notre monde.

Résumé Technique : VENI : Variational Encoder for Natural Illumination

Énoncé du Problème

Le rendu inverse est un problème mal posé, car une seule image peut être générée par de multiples combinaisons de forme, de matériau et d'éclairage. Bien que les humains utilisent des priors appris puissants sur les espaces d'illumination pour résoudre ce problème, les approches computationnelles actuelles échouent souvent à modéliser de manière adéquate l'illumination naturelle. Les méthodes de pointe actuelles font face à deux limitations principales :

Manque d'équivariance de rotation : De nombreux modèles négligent la nature sphérique et l'équivariance de rotation des environnements d'illumination. Bien que certains travaux récents (par exemple, RENI++) tentent d'aborder ce point, ils reposent souvent sur des projections 2D (équirectangulaires ou cartes cubiques) qui introduisent des distorsions, ou ils échouent à maintenir l'équivariance dans l'encodeur.
Mauvaises propriétés de l'espace latent : Les priors équivariants à la rotation existants, tels que RENI++, utilisent une architecture d'« autodecodeur ». Dans cette configuration, les codes latents sont initialisés aléatoirement pour chaque image et optimisés conjointement avec le modèle. Cela conduit à un espace latent non unique où des images similaires peuvent être représentées par des codes latents très différents. De plus, cette approche ne passe pas à l'échelle pour les grands jeux de données car un nouveau code latent doit être optimisé pour chaque image.

Méthodologie

Les auteurs proposent VENI (Variational Encoder for Natural Illumination), un auto-encodeur variationnel (VAE) équivariant à la rotation, conçu pour modéliser l'illumination naturelle sur la sphère sans recourir aux projections 2D. L'architecture se compose de trois composants principaux :

1. Couche Totalement Connectée SO(2)-Équivariante

Pour gérer les symétries spécifiques de l'illumination naturelle en extérieur, les auteurs étendent le cadre des Vector Neurons. Alors que les Vector Neurons standards fournissent une équivariance SO(3), les environnements d'illumination naturels possèdent une direction « haut » canonique, rendant seules les rotations autour de l'axe vertical (SO(2)) physiquement significatives. Les auteurs conçoivent une nouvelle couche totalement connectée SO(2)-équivariante qui :

Sépare l'entrée en composantes équivariantes (dimensions x, y) et invariantes (dimension z et couleur).
Combine les opérations invariantes et équivariantes au sein d'un même neurone.
Garantit que les dimensions invariantes (couleur, axe vertical) restent invariantes aux rotations du plan xy tout en influençant toujours les dimensions équivariantes.
Cette couche s'avère plus performante que les Vector Neurons standards lorsqu'elle est appliquée au sein d'un modèle SO(2)-équivariant.

2. Encodeur Vector Neuron Vision Transformer (VN-ViT)

Le cœur de l'encodeur est un Vision Transformer adapté aux données sphériques et à l'équivariance de rotation :

Représentation d'entrée : Au lieu de projections 2D, le modèle opère directement dans le domaine 3D. Les patchs sont échantillonnés sous forme de bandes verticales sur la sphère. Pour maintenir l'équivariance sans encodage de position (ce qui la briserait), les valeurs de couleur sont concaténées avec les vecteurs de direction 3D des pixels échantillonnés.
Architecture : Tous les composants standards des ViT sont remplacés par leurs homologues Vector Neuron. Un « class token » apprenable est pré-ajouté aux plongements de patchs ; ce jeton n'est apprenable que dans les dimensions invariantes pour préserver l'équivariance.
Sortie : La sortie du transformer est projetée via deux couches totalement connectées SO(2)-équivariantes pour produire la moyenne ( $\mu$ ) et la variance ( $\sigma$ ) du code latent.

3. Échantillonnage Variationnel et Décodeur Équivariants à la Rotation

Échantillonnage : Pour garantir que l'espace latent est équivariant à la rotation, les auteurs échantillonnent à partir d'une distribution normale sphérique isotrope en 3D définie par un vecteur moyen en 3D et une variance en 1D, plutôt que de l'échantillonnage de trois distributions 1D indépendantes.
Décodeur : Le modèle adopte le décodeur de RENI++, un champ neuronal conditionnel équivariant à la rotation. Il prend un vecteur de direction et le vecteur latent 3D en entrée pour produire la couleur. Le conditionnement est réalisé en encodant la direction par rapport au code latent et en utilisant des couches invariantes de type Vector Neuron.

Stratégie d'Entraînement

Le modèle est entraîné sur une combinaison de jeux de données pour gérer la plage dynamique complète de la lumière naturelle :

Jeu de données RENI++ : 1 694 images équirectangulaires HDR de haute qualité (scènes extérieures).
Jeu de données StreetLearn : 43 310 images LDR à 360° de Google Street View, converties en HDR.
Apprentissage par Curriculum : Le modèle est d'abord pré-entraîné sur le grand jeu de données StreetLearn, puis affiné sur le jeu de données plus petit et de plus haute qualité RENI++.
Fonctions de Perte : L'entraînement utilise une perte en espace logarithmique pour correspondre à la perception visuelle humaine, une erreur de gradient absolue moyenne (MAGE) pour capturer les détails de haute fréquence, une perte invariante d'échelle, une perte de similitude cosinus pour la précision des couleurs, et un terme de divergence de Kullback-Leibler (KLD) ajusté pour les distributions isotropes 3D.

Principales Contributions

Nouvelle Architecture d'Encodeur : Un Vision Transformer panoramique équivariant à la rotation (VN-ViT) rendu possible par une nouvelle extension SO(2) des Vector Neurons, permettant le traitement direct de signaux sphériques sans la distorsion des projections 2D.
Espace Latent Bien Comporté : Un prior d'illumination naturelle équivariant à la rotation qui produit un espace latent unique, surmontant les problèmes de non-unicité des approches par autodecodeur comme RENI++.
Passage à l'Échelle (Scalability) : En encodant les images via une passe avant plutôt qu'en optimisant les codes latents par image, la méthode passe à l'échelle pour de grands jeux de données.
Évaluation Complète : Évaluation extensive utilisant des métriques intuitives pour l'unicité de l'espace latent et la cohérence de la reconstruction.

Résultats

Le papier évalue VENI par rapport à RENI++ à travers diverses dimensions latentes ( $D=27, 147, 300$ ) :

Qualité de Reconstruction : VENI surpasse RENI++, particulièrement dans les configurations de faible dimension ( $D=27$ ), atteignant des scores PSNR et SSIM plus élevés, et des scores LPIPS plus bas, tant dans les espaces tonés LDR que dans les espaces linéaires HDR.
Unicité de l'Espace Latent : Les auteurs démontrent que l'espace latent de VENI est nettement plus unique. Lorsque deux codes latents sont optimisés pour la même image, l'interpolation entre eux donne des résultats cohérents pour VENI, alors que RENI++ montre une divergence significative (MSE de 0,04 contre 1,46 pour $D=27$ ).
Interpolation : Les résultats qualitatifs montrent que VENI permet des interpolations fluides et sémantiquement significatives (par exemple, la transition du lever du soleil vers le milieu de journée) sans introduire d'artefacts comme des sources de lumière parasites ou du bruit, qui sont observés dans les interpolations de RENI++.
Passage à l'Échelle : Les expériences montrent que VENI maintient ses performances lors de l'entraînement sur le grand jeu de données StreetLearn, alors que RENI++ (qui nécessite une optimisation par image) ne peut pas passer à l'échelle efficacement sur de tels jeux de données.

Signification

L'article affirme que VENI répond aux limitations critiques des priors d'illumination naturelle actuels en combinant l'équivariance de rotation avec un espace latent bien structuré et unique. En s'éloignant du paradigme de l'autodecodeur au profit d'un encodeur variationnel, le modèle garantit que des images similaires sont mappées vers des codes latents similaires, facilitant ainsi l'interpolation fluide et permettant l'utilisation de jeux de données à grande échelle. Cela aboutit à un prior plus robuste pour les tâches de rendu inverse, capable de gérer les régularités statistiques complexes de l'illumination naturelle extérieure tout en respectant les contraintes physiques de la géométrie sphérique.