💻 computer science

InvSplat: Inverse Feed-Forward Scene Splatting

InvSplat est un cadre de reconstruction multi-vues par propagation directe qui prédit directement une représentation de Gaussiennes 3D structurée avec des attributs de matériaux intrinsèques, permettant un rendu inverse physiquement fondé, une récupération précise des matériaux et une synthèse de vues inédites stable en une seule passe directe.

Auteurs originaux : Polina Karpikova, Wenjing Bian, Haofei Xu, Hendrik Lensch, Andreas Geiger

Publié 2026-07-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Polina Karpikova, Wenjing Bian, Haofei Xu, Hendrik Lensch, Andreas Geiger

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un ensemble de photos prises d'une pièce sous différents angles. Habituellement, si vous voulez créer un modèle 3D à partir de ces photos, vous avez deux choix :

La méthode lente et parfaite : Vous passez des heures (voire des jours) à peaufiner manuellement le modèle 3D jusqu'à ce qu'il soit parfait. C'est comme sculpter une statue à la main, en retirant des éclats lentement. C'est précis, mais cela prend une éternité pour chaque nouvelle pièce.
La méthode rapide et « plate » : Vous utilisez une IA intelligente qui regarde les photos et vous recrache instantanément un modèle 3D. Mais ce modèle n'est souvent qu'une « peau » peinte avec des couleurs. Il ne comprend pas réellement qu'une boule brillante est faite de métal ou qu'un mur est en plâtre rugueux. Si vous essayez de déplacer la caméra ou de changer l'éclairage, le modèle devient bizarre ou se dégrade.

InvSplat est une nouvelle méthode qui combine la rapidité de la seconde approche avec la compréhension profonde de la première. Considérez cela comme un sculpteur 3D ultra-rapide et instantané qui comprend aussi la physique.

Voici comment cela fonctionne, en utilisant des analogies de la vie quotidienne :

1. Le « Nuage Magique » de petites orbes

Au lieu de construire un modèle 3D à partir de triangles (comme un personnage de jeu vidéo en low-poly), InvSplat construit la scène à partir de millions de petits nuages 3D invisibles (appelés Gaussiennes).

Imaginez une pièce brumeuse où chaque goutte de brouillard sait exactement où elle se trouve, quelle est sa taille et comment elle tourne sur elle-même.
Par le passé, ces « nuages » savaient seulement comment réfléchir la lumière pour ressembler à une image.
Le twist d'InvSplat : Chacun de ces petits nuages est désormais « intelligent ». Il porte une carte d'identité complète avec des propriétés spécifiques :
- Albédo : Quelle est la couleur de l'objet s'il n'y avait pas d'ombres ? (Comme la vraie couleur d'une pomme rouge).
- Métallicité : Est-ce brillant comme une voiture ou mat comme un rocher ?
- Rugosité : Est-ce lisse comme du verre ou granuleux comme du papier de verre ?
- Géométrie : Où se trouve l'objet et quelle est sa forme ?

2. La recette en « un clic »

Les anciennes méthodes qui tentaient de déterminer ces propriétés (comme savoir si quelque chose est brillant ?) devaient effectuer un calcul lent, étape par étape, pour chaque scène. C'était comme un chef qui goûte une soupe, ajoute du sel, goûte à nouveau, et recommence pendant une heure.

InvSplat est comme un micro-ondes haute technologie. Vous mettez les photos dans l'appareil (les « ingrédients »), vous appuyez sur un bouton et, en 1,5 seconde, il vous sert un repas 3D entièrement cuit. Il ne procède pas par tests de goût ; il utilise une immense bibliothèque de connaissances (entraînée sur des milliers de scènes) pour deviner la recette instantanément.

3. Pourquoi la « cohérence » est importante

Si vous regardez une cuillère brillante dans une photo, une IA « plate » pourrait peindre le reflet sur la cuillère. Mais si vous bougez la tête, le reflet devrait bouger. Les IA plates se trompent souvent ici, faisant en sorte que le reflet ressemble à un autocollant qui ne bouge pas correctement.

Parce qu'InvSplat construit un véritable objet 3D avec de vrais matériaux, les reflets et les ombres se comportent correctement, peu importe où vous vous trouvez.

L'analogie : Imaginez une peinture plate représentant un miroir par rapport à un vrai miroir. Si vous passez devant la peinture, le reflet dans la peinture reste le même. Si vous passez devant un vrai miroir, le reflet change. InvSplat construit le « vrai miroir », de sorte que les reflets se mettent à jour naturellement lorsque vous bougez.

4. Le super-pouvoir du « Relighting » (Rééclairage)

Parce qu'InvSplat sépare le matériau (ce dont l'objet est fait) de l'éclairage (d'où vient la lumière), vous pouvez faire quelque chose de magique : le Relighting.

Imaginez que vous avez pris une photo d'une pièce avec une lampe allumée. InvSplat comprend que le mur est de la « peinture blanche » et que la lampe est « jaune vif ».
Une fois qu'il connaît cela, vous pouvez dire à l'ordinateur : « D'accord, éteignez cette lampe et allumez un néon bleu ».
L'ordinateur recalcule instantanément la façon dont la lumière bleue frappe la peinture blanche, créant une nouvelle image qui semble physiquement réelle, sans avoir besoin de prendre une nouvelle photo.

Résumé de ce qu'il fait

Entrée : Quelques photos d'une scène avec des positions de caméra connues.
Processus : Un seul passage rapide à travers un réseau neuronal (pas d'attente lente).
Sortie : Une scène 3D composée de « nuages intelligents » qui connaissent leur propre couleur, leur brillance et leur rugosité.
Résultat : Vous pouvez explorer cette scène 3D, changer les lumières et voir des reflets et des ombres réalistes, le tout généré en temps réel.

En résumé, InvSplat est le premier outil capable de regarder quelques photos et de construire instantanément un monde 3D physiquement précis que l'on peut éditer et explorer, accomplissant en quelques secondes ce qui prenait autrefois des heures ou était impossible à réaliser de manière cohérente.

Résumé Technique : InvSplat : Inverse Feed-Forward Scene Splatting

Énoncé du Problème

Le rendu inverse vise à récupérer la géométrie 3D et la réflectance de surface physiquement significative à partir d'images, une condition préalable pour des applications telles que le rééclairage, l'édition de matériaux et l'insertion de contenu AR/VR réaliste. Les méthodes existantes font face à un compromis entre efficacité, interprétabilité physique et cohérence multi-vues :

Les approches basées sur l'optimisation (ex. : IRIS) atteignent une haute fidélité mais nécessitent un ajustement par scène coûteux en calcul, ce qui limite leur utilité pratique.
Les approches basées sur l'apprentissage (ex. : DiffusionRenderer, MVInverse) offrent une inférence plus rapide mais opèrent principalement dans l'espace image. Elles manquent de représentations de scènes 3D explicites, ce qui entraîne des incohérences multi-vues et une incapacité à supporter une synthèse de vues nouvelles robuste ou une édition physiquement fondée.
Les méthodes de reconstruction 3D feed-forward (ex. : pixelSplat, MVSplat) génèrent des représentations 3D explicites (comme les 3D Gaussians) efficacement, mais se concentrent sur la synthèse de l'apparence RGB plutôt que sur le désenchevêtrement des propriétés intrinsèques des matériaux (albédo, métallicité, rugosité). Elles échouent souvent à reproduire des éclats spéculaires nets ou à permettre un rééclairage explicite.

Méthodologie

InvSplat introduit un cadre feed-forward qui prédit directement une représentation 3D de Gaussiennes structurées avec des attributs de matériaux intrinsèques à partir d'images multi-vues posées en une seule passe directe (forward pass).

Représentation de la Scène

La scène est représentée par $M$ primitives de Gaussiennes 3D. Contrairement aux 3DGS standards qui utilisent des harmoniques sphériques pour l'apparence, chaque Gaussienne $j$ dans InvSplat est paramétrée par :

Géométrie : Moyenne ( $\mu_j$ ), Rotation ( $q_j$ ), Échelle ( $s_j$ ), Opacité ( $\sigma_j$ ) et Normale de surface ( $n_j$ ).
Matériaux Intrinsèques : Albédo diffus ( $a_j$ ), Métallicité ( $m_j$ ) et Rugosité ( $r_j$ ).

Cela permet une représentation désenchevêtrée et physiquement fondée où l'illumination est séparée des propriétés des matériaux.

Architecture

Le modèle emploie un réseau feed-forward à double branche :

Branche Géométrie : Inspirée de ReSplat, elle utilise un backbone ResNet pour extraire des caractéristiques multi-échelles. Un encodeur de géométrie multi-vues (transformer) agrège les informations inter-vues, suivi d'un module de mise en correspondance de caractéristiques multi-vues qui construit un volume de coût de candidats de profondeur.
Branche Intrinsèque : Utilise un backbone DINOv2 ViT-L/14 pour encoder les vues d'entrée. Un traducteur d'intrinsèques multi-vues (un transformer à 36 blocs) affine ces caractéristiques par attention auto et inter-vues pour extraire des caractéristiques intrinsèques multi-vues.
Têtes de Décodage : Les caractéristiques des deux branches sont traitées par six têtes de décodage :
- Profondeur : Estimée via une tête DPT utilisant des caractéristiques combinées.
- Paramètres de Gaussienne : La rotation, l'échelle et l'opacité sont affinées à l'aide d'un Point Transformer qui élève les caractéristiques 2D dans un contexte 3D basé sur la profondeur prédite.
- Matériaux et Normales : L'albédo, la métallicité, la rugosité et les normales sont prédits via des têtes DPT. La prédiction de l'albédo inclut des connexions de saut (skip connections) vers des indices d'image à plus haute résolution.
Déprojection et Rendu : Les cartes de profondeur prédites sont déprojetées en 3D pour former les centres des Gaussiennes. La scène est rendue à l'aide d'un rasteriseur de Gaussiennes différentiable pour produire des cartes pour l'albédo, la métallicité, la rugosité, la normale et la profondeur.

Entraînement

Le modèle est entraîné sur le jeu de données InteriorVerse en combinant des pertes pixel à pixel et perceptuelles :

Supervision des Matériaux : Pertes $L_1$ et LPIPS pour l'albédo, la métallicité et la rugosité.
Supervision de la Profondeur : Une perte invariante par affinité (inspirée de MoGe) pour gérer l'ambiguïté d'échelle.
Supervision des Normales : Perte de similitude cosinus.
L'entraînement optimise conjointement l'encodeur de géométrie, le traducteur d'intrinsèques et les têtes de décodage.

Contributions Clés

Premier Cadre de Rendu Inverse Feed-Forward : InvSplat est la première méthode capable de prédire des primitives de Gaussiennes 3D physiquement basées avec des paramètres de matériaux intrinsèques à partir d'images multi-vues en une seule passe directe, éliminant le besoin d'optimisation par scène.
Représentation 3D Unifiée : En intégrant des priors provenant de modèles d'estimation de matériaux basés sur l'image et de reconstruction 3D, il produit des propriétés de matériaux 3D de haute qualité avec une forte généralisation aux données réelles.
Permettre le Rééclairage et la NVS Cohérente : La représentation de Gaussiennes 3D désenchevêtrée supporte la synthèse de vues nouvelles avec des matériaux décomposés, permettant un rééclairage physiquement basé et une modélisation d'effets dépendants de la vue qui est cohérente à travers les points de vue.

Résultats

Les expériences ont été menées sur des jeux de données synthétiques (InteriorVerse, Structured3D) et réels (RealEstate10K, DL3DV).

Performance Quantitative : Sur le test set d'InteriorVerse, InvSplat atteint des performances comparables aux baselines 2D (comme MVInverse) en termes de PSNR, SSIM et LPIPS pour l'albédo et les normales, tout en fournissant une représentation 3D explicite.
Cohérence Multi-Vues : Sur le jeu de données Structured3D, InvSplat démontre une cohérence inter-vues supérieure (RMSE de reprojection plus faible) par rapport aux méthodes 2D, particulièrement pour des attributs complexes comme la métallicité et la rugosité.
Résultats Qualitatifs : Les visualisations montrent qu'InvSplat évite de "cuire" (bake) les réflexions dans l'albédo, produisant des détails plus fins et des prédictions plus cohérentes entre les vues par rapport aux baselines 2D qui présentent souvent une dérive autour des surfaces réfléchissantes.
Efficacité : La méthode réalise la reconstruction en environ 1,5 seconde, permettant un rendu en temps réel.

Signification

L'article affirme qu'InvSplat comble le fossé entre l'inférence feed-forward efficace et le rendu inverse de haute fidélité. En passant de prédictions dans l'espace image à une représentation de Gaussiennes 3D explicite avec des paramètres intrinsèques, la méthode surmonte les problèmes d'incohérence multi-vues des approches d'apprentissage antérieures et les goulots d'étranglement computationnels des méthodes d'optimisation. Cela permet une décomposition de scène instantanée, facilitant les applications en aval telles que le rééclairage et l'édition de matériaux, qui étaient auparavant difficiles à réaliser avec des modèles feed-forward.