🤖 AI

Intrinsic decomposition and editing of 3D Gaussian splats

Cet article propose une méthode de décomposition intrinsèque et d'édition de Gaussian splats 3D en modélisant des primitives gaussiennes indépendantes pour l'albédo et l'ombrage, en optimisant leur désentrelacement via des prédictions fondées sur les données, et en permettant des éditions de texture sur des surfaces planes qui maintiennent un éclairage plausible à travers des vues arbitraires.

Auteurs originaux : Alexandre Lanvin, Jeffrey Hu, Simon Lucas, Adrien Bousseau, George Drettakis

Publié 2026-07-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Alexandre Lanvin, Jeffrey Hu, Simon Lucas, Adrien Bousseau, George Drettakis

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une photographie 3D magique et ultra-réaliste d'une pièce. Vous pouvez vous déplacer autour, l'observer sous tous les angles, et le résultat est parfait. Mais il y a un piège : les couleurs et les ombres sont « cuites » (intégrées). Si vous vouliez changer un mur rouge en bleu, il faudrait repeindre toute la pièce, y compris les ombres projetées par les meubles. Si vous vous contentiez de repeindre par-dessus les ombres, celles-ci auraient l'air étranges et plates.

Ce document présente une nouvelle façon de construire ces photographies 3D en utilisant le « 3D Gaussian Splatting » (un terme sophistiqué pour désigner une collection de minuscules points 3D flous qui créent l'image). Les auteurs ont trouvé comment séparer la couleur des objets de l'éclairage et des ombres, vous permettant ainsi de changer la couleur sans gâcher les ombres.

Voici comment ils ont procédé, expliqué avec des analogies simples :

1. Le problème : Le « gâteau cuit »

Habituellement, lorsque vous créez une scène 3D, la couleur (l'albédo) et l'éclairage (l'ombrage) sont mélangés comme les ingrédients d'un gâteau. Une fois le gâteau cuit, vous ne pouvez pas retirer les pépites de chocolat (la texture) sans abîmer le gâteau. Les méthodes précédentes tentaient de les séparer, mais elles utilisaient souvent un seul ensemble de points 3D pour tout. C'est comme essayer de décrire une texture haute définition (comme un mur de briques) et une ombre douce (comme un nuage) en utilisant exactement le même nombre de minuscules points. C'est un compromis : soit vous obtenez des textures floues, soit des ombres pixélisées.

2. La solution : Trois couches distinctes

Les auteurs ont décidé de construire la scène en utilisant trois ensembles distincts de points 3D au lieu d'un seul grand mélange :

La couche d'Albédo (La peinture) : Cette couche ne contient que la couleur pure et la texture des objets, comme une peinture plate sans ombres ni reflets.
La couche d'Ombrage (L'ombre et la lumière) : Cette couche contient uniquement les informations d'éclairage — là où le soleil frappe et là où les ombres tombent. C'est comme une carte en niveaux de gris de la lumière.
La couche Résiduelle (L'éclat) : Elle capture les effets brillants et complexes qui changent selon l'endroit où vous vous trouvez, comme un reflet sur un sol mouillé ou un éclat sur une cuillère en métal.

En gardant ces trois « peintures » séparées, le système peut utiliser plus de points pour les textures détaillées (les briques) et moins de points pour les ombres lisses, ce qui le rend plus efficace et plus réaliste.

3. Comment ils l'ont construit : Le « montage vidéo magique »

Pour séparer ces couches pour la première fois, l'ordinateur doit deviner à quoi ressemble la « peinture pure » avant de savoir où se trouvent les ombres.

Le jeu de devinettes : L'équipe a utilisé une IA puissante (un modèle de diffusion vidéo) qui agit comme un critique d'art super intelligent. Vous lui donnez une vidéo de la pièce, et elle prédit l'apparence des murs et des objets si le soleil ne brillait pas sur eux.
La colle : Comme la supposition de l'IA peut être un peu floue ou incohérente, l'équipe a utilisé une « carte de profondeur » (un plan 3D de la forme de la pièce) pour coller les prédictions de l'IA dans le bon espace 3D. Cela garantit que la couche de « peinture pure » reste cohérente, quel que soit l'angle sous lequel on la regarde.

4. Le super-pouvoir de l'édition

Une fois la scène divisée en ces trois couches, l'édition devient un jeu d'enfant.

Le scénario : Imaginez que vous vouliez transformer une table en bois en une table en métal rouge brillant.
L'ancienne méthode : Vous devriez repeindre tout le modèle 3D, et les ombres seraient incorrectes car la « peinture » et la « lumière » étaient mélangées.
La nouvelle méthode : Il vous suffit de saisir la « Couche d'Albédo » (la peinture) et de remplacer la texture du bois par du métal rouge. La « Couche d'Ombrage » (les ombres) reste exactement là où elle est.
Le résultat : Lorsque vous circulez dans la scène 3D, la table ressemble à du métal rouge, mais les ombres qu'elle projette sur le sol sont parfaitement naturelles, comme si le vrai soleil frappait réellement une table en métal rouge.

5. Comment ils maintiennent la cohérence

La partie délicate est que si vous ne peignez la table que sous un certain angle, l'ordinateur pourrait être confus lorsque vous la regardez de côté. Pour corriger cela, le système utilise un « plan proxy » (une feuille plate temporaire et invisible) pour projeter votre travail de peinture sur les points 3D sous plusieurs angles à la fois. Cela garantit que lorsque vous tournez autour de l'objet, la nouvelle couleur reste cohérente et ne scintille pas ou ne bugue pas.

Résumé

En bref, ce document apprend aux ordinateurs comment prendre une photo 3D, séparer la « couleur de l'objet » de « l'éclairage », et vous permettre de changer la couleur de l'objet tout en gardant l'éclairage et les ombres parfaitement réalistes. C'est comme avoir une photo 3D où vous pouvez changer le papier peint sans avoir à reconstruire la maison ou à repeindre les ombres.

Résumé Technique : Décomposition Intrinsèque et Édition de 3D Gaussian Splats

1. Énoncé du Problème

La décomposition d'image intrinsèque, qui sépare les couleurs d'une image en albédo diffus (texture) et en ombrage (éclairage/ombres), est une tâche fondamentale pour l'édition d'images. Elle permet aux utilisateurs de modifier les couleurs et les textures d'un objet sans altérer les conditions d'éclairage sous-jacentes. Bien que cela ait été largement étudié pour les images 2D, les vidéos et les Neural Radiance Fields (NeRF), l'extension de cette méthode aux 3D Gaussian Splatting (3DGS) présente des défis uniques.

Les approches existantes de décomposition intrinsèque dans la 3DGS augmentent généralement un ensemble unique de primitives gaussiennes avec des quantités intrinsèques (albédo, ombrage, résidus). Cependant, cette approche monolithique peine car les différents composants intrinsèques nécessitent des résolutions spatiales différentes et présentent des caractéristiques distinctes :

L'albédo contient souvent des détails à haute fréquence (textures) mais manque d'indices géométriques dans les régions uniformes.
L'ombrage contient des bords nets (ombres portées) mais est souvent lisse ailleurs.
Les résidus capturent les effets dépendants de la vue.

Un ensemble unique de Gaussiennes ne peut pas s'adapter simultanément aux exigences spatiales variables de ces couches, ce qui conduit à une reconstruction et des capacités d'édition sous-optimales. De plus, l'édition directe de la 3DGS peut entremêler l'éclairage et la texture, rendant difficile le changement de la couleur d'une surface sans déformer les ombres ou les reflets.

2. Méthodologie

Les auteurs proposent un pipeline qui découple le champ de radiance en trois ensembles indépendants de primitives gaussiennes : un pour l'Albédo ( $G_A$ ), un pour l'Ombrage ( $G_S$ ) et un pour les Résidus dépendants de la vue ( $G_R$ ). Le modèle de formation de l'image est défini comme :
$I = A \times S + R$
où $I$ est l'image observée, $A$ est l'albédo, $S$ est l'ombrage et $R$ est le résidu.

2.1 Modélisation

Contrairement à la 3DGS standard qui utilise des Harmoniques Sphériques (SH) pour la couleur dépendante de la vue dans toutes les primitives, cette méthode adapte la représentation :

Gaussiennes d'Albédo et d'Ombrage ( $G_A, G_S$ ) : Utilisent des triplets RGB simples ( $c \in \mathbb{R}^3$ ) car elles représentent des quantités indépendantes de la vue.
Gaussiennes de Résidus ( $G_R$ ) : Utilisent les Harmoniques Sphériques pour modéliser les effets dépendants de la vue.
Optimisation Séparée : Chaque ensemble est optimisé indépendamment, permettant au nombre et à la distribution des primitives de s'adapter aux besoins de fréquence et de géométrie spécifiques de chaque couche.

2.2 Pipeline de Reconstruction

Le processus de reconstruction se déroule en trois étapes principales :

Estimation de l'Albédo Pilotée par les Données :
- La vidéo d'entrée est traitée par DiffusionRenderer (un modèle de diffusion vidéo) pour prédire des cartes d'albédo temporellement cohérentes pour toutes les images.
- Pour gérer les vidéos longues, les auteurs emploient la Brick Diffusion, en échelonnant le processus de débruitage sur des segments (chunks) se chevauchant afin d'assurer des transitions fluides et d'éviter les artefacts de bordure.
- La vidéo est sous-échantillonnée pour créer un ensemble de données multi-vues pour la reconstruction 3D.
Reconstruction du Champ d'Albédo ( $G_A$ ) :
- Les gaussiennes d'albédo sont optimisées en utilisant les images d'albédo prédites.
- Défi : Les images d'albédo manquent souvent d'indices géométriques (couleurs constantes par morceaux), ce qui rend le placement 3D difficile.
- Solution : L'optimisation est régularisée à l'aide d'estimations de profondeur monoculaire (issues de Depth Anything V2) et d'un terme de régularisation d'échelle pour encourager les primitives à s'aplatir et à former des bords nets. Cela garantit que le champ d'albédo respecte la géométrie de la scène malgré l'absence de texture dans les cartes d'albédo d'entrée.
Reconstruction de l'Ombrage et des Résidus ( $G_S, G_R$ ) :
- Une fois $G_A$ gelé, le champ d'ombrage est optimisé en premier en utilisant le modèle $I = A \times S$ .
- Le champ de résidus est ensuite optimisé pour capturer les effets non diffus.
- Régularisation : Pour éviter que l'ombrage ne devienne arbitrairement important dans les zones d'albédo sombre, une régularisation de "grisaille" est appliquée pour encourager les gaussiennes d'ombrage à rester de couleur neutre.
- Initialisation : Les gaussiennes de résidus sont générées aux emplacements présentant des différences élevées entre l'image d'entrée et le rendu diffus composite.

2.3 Flux de Travail d'Édition

Le système permet l'édition interactive de la couche d'albédo tout en préservant l'éclairage :

Entrée Utilisateur : L'utilisateur sélectionne une surface et peint une nouvelle texture ou couleur sur une vue spécifique.
Surface Proxy : Comme la profondeur de la 3DGS est peu fiable pour la reprojection, le système ajuste un plan proxy à la surface sélectionnée en utilisant RANSAC sur les gaussiennes contributrices.
Synthèse Multi-vues : La texture éditée est rendue sur le plan proxy à partir de plusieurs points de vue proches pour générer un ensemble d'images d'albédo "éditées".
Ré-optimisation : Les gaussiennes d'albédo ( $G_A$ ) sont ré-optimisées en utilisant ces vues synthétisées. De nouvelles gaussiennes sont générées sur le plan proxy pour capturer les détails à haute fréquence introduits par l'édition.
Résultat : La scène finale peut être parcourue depuis des points de vue arbitraires avec la nouvelle texture, tandis que l'ombrage et les ombres d'origine (stockés dans $G_S$ et $G_R$ ) restent intacts.

3. Contributions Clés

Représentations Gaussiennes Séparées : Une nouvelle représentation des champs de radiance utilisant trois ensembles distincts de gaussiennes pour l'albédo, l'ombrage et les résidus, permettant à chaque couche d'adapter la distribution de ses primitives aux caractéristiques du signal.
Reconstruction Basée sur la Diffusion Vidéo : Une méthode pour reconstruire les champs intrinsèques à partir de photographies multi-vues en utilisant un prior de diffusion vidéo (DiffusionRenderer) pour assurer la cohérence temporelle, régularisée par des contraintes de profondeur et d'échelle pour gérer l'ambiguïté de la reconstruction d'albédo.
Flux de Travail d'Édition Intrinsèque : Un système qui permet aux utilisateurs d'éditer les textures et les couleurs de surface dans une scène 3D tout en préservant un éclairage et des ombres réalistes, grâce au découplage des composants intrinsèques et à l'utilisation de la reprojection basée sur des proxys pour la cohérence multi-vues.

4. Résultats et Évaluation

La méthode a été évaluée sur trois scènes réelles et une scène synthétique (avec vérité terrain).

Qualité de la Décomposition : Sur la scène synthétique, la méthode a atteint une qualité de reconstruction d'albédo supérieure (PSNR 29,4 contre 13,7 pour GI-GS) par rapport aux méthodes de rendu inverse de pointe (GI-GS, R3GS), bien qu'elle nécessite plus de primitives. Elle a réussi à séparer la texture de l'ombrage, là où les méthodes concurrentes conservent souvent des artefacts d'ombrage dans la couche d'albédo.
Capacités d'Édition : Dans des tâches d'édition comparatives contre ReCoGS et SplatShop, la méthode proposée a démontré une capacité supérieure à modifier les textures sans altérer les ombres.
- ReCoGS a préservé les informations de texture lors du changement de couleur, échouant à supprimer le motif original.
- SplatShop a écrasé à la fois la texture et les ombres.
- La méthode proposée a réussi à supprimer la texture originale et à appliquer une nouvelle tout en maintenant les effets d'ombrage et de lumière originaux.
Performance : La méthode est plus lente que la 3DGS classique en raison de la nécessité de rendre trois champs séparés pendant l'optimisation et l'inférence. Cependant, elle atteint des vitesses de rendu en temps réel (environ 96–128 FPS) sur le résultat composé final.

5. Signification et Revendications

L'article affirme qu'en découplant l'albédo et l'ombrage en ensembles de gaussiennes indépendants, il est possible d'effectuer une édition physiquement plausible de scènes 3D. La signification réside dans :

Cohérence Multi-vues : Contra à les méthodes d'édition mono-vue, le flux de travail proposé garantit que les éditions restent cohérentes à travers différents angles de caméra en exploitant la reprojection basée sur la profondeur et l'optimisation multi-vues.
Préservation de l'Éclairage : La séparation permet la modification de la texture sans le "lavage" ou la distorsion des ombres qui survient typiquement lors de l'édition de champs de radiance entremêlés.
Praticité : L'approche évite le coût computationnel prohibitif du rendu inverse complet pour des scènes complexes en s'appuyant sur des modèles de diffusion pré-entraînés pour la décomposition initiale, rendant l'édition de scènes entières réalisable plutôt que de se limiter à des objets isolés.

Les auteurs reconnaissent des limites, notamment la nature "floue" de la 3DGS rendant l'édition non planaire complexe, la dépendance à la qualité des priors de diffusion (qui peuvent être flous), et l'incapacité actuelle à effectuer un ré-éclairage complet (changer les sources lumineuses), se concentrant plutôt sur la modification de l'albédo.