🤖 AI

UniqueSplat: View-conditioned 3D Gaussian Splatting for Generalizable 3D Reconstruction

UniqueSplat est un nouveau modèle de Gaussian Splatting 3D à propagation directe conditionné par la vue qui emploie un hyperréseau à deux branches pour ajuster dynamiquement les Gaussiennes en fonction de vues cibles spécifiques, atteignant ainsi une qualité de généralisation et de reconstruction supérieure par rapport aux méthodes existantes qui reposent sur des Gaussiennes fixes.

Auteurs originaux : Haixu Song, Xiaoke Yang, Shengjun Zhang, Jiwen Lu, Yueqi Duan

Publié 2026-08-04

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Haixu Song, Xiaoke Yang, Shengjun Zhang, Jiwen Lu, Yueqi Duan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous tenez un appareil photo, mais qu'au lieu de simplement prendre une photo plate, vous vouliez capturer le monde entier d'une manière qui vous permette de déambuler à l'intérieur de la photo. C'est le rêve de la « synthèse de vues inédites » (novel view synthesis), une branche de la vision par ordinateur qui tente d'apprendre aux machines comment comprendre l'espace 3D à partir d'images 2D. Pendant longtemps, les ordinateurs ont eu du mal à faire cela rapidement ou de manière réaliste. Soit ils mettaient un temps infini à calculer chaque minuscule détail (comme essayer de construire une maison brique par brique pour chaque photo), soit ils produisaient des résultats flous et glitchés qui ressemblaient à un miroir brisé. Récemment, une astuce ingénieuse appelée « 3D Gaussian Splatting » est arrivée, qui représente une scène non pas comme un objet solide, mais comme un nuage de millions de petites boules colorées et floues (des Gaussiennes). Ces boules peuvent être projetées sur un écran super rapidement, créant de magnifiques vues 3D en temps réel. Mais il y avait un hic : la plupart des méthodes existantes construisaient un nuage statique de ces boules pour toute une scène et espéraient qu'il soit beau sous tous les angles. C'était comme essayer de porter une seule paire de chaussures pour courir un marathon, faire un tour de bassin et faire une randonnée en montagne ; cela peut fonctionner moyennement pour l'un, mais ce n'est jamais parfait pour tous.

C'est là que le papier « UniqueSplat » intervient avec une idée fraîche. Les chercheurs, dirigés par Haixu Song et ses collègues de l'Université Tsinghua, ont réalisé que pour obtenir une vue parfaite, l'ordinateur ne devrait pas seulement construire un nuage statique de boules. Au lieu de cela, il devrait construire un nuage de boules personnalisé pour chaque nouvel angle que vous voulez voir. Ils appellent leur méthode « conditionnée par la vue » (view-conditioned), ce qui est une façon sophistiquée de dire que le modèle change d'avis en fonction de l'endroit où vous regardez. Ils ont introduit un système à « double branche ». Imaginez que c'est comme un chef étoilé (l'IA) qui dispose de deux sources d'information : un livre de cuisine général (la branche « view-agnostic ») qui enseigne les règles de base de la cuisine pour n'importe quel plat, et un ticket de commande spécifique (la branche « view-specific ») qui dit exactement ce que le client veut en ce moment — peut-être plus épicé, ou sans oignons. En mélangeant ces deux éléments, UniqueSplat peut ajuster dynamiquement la scène 3D pour l'adapter au point de vue spécifique, corrigeant ainsi les fissures et les flous laissés par les autres méthodes.

Le papier suggère que cette approche est une étape significative en avant. Testée sur des jeux de données populaires comme RealEstate10K (des milliers de vidéos immobilières), ACID (paysages naturels) et DTU (scans d'objets), UniqueSplat n'a pas seulement été esthétique ; elle a battu les meilleures méthodes actuelles. Sur le jeu de données RealEstate10K, elle a obtenu un score de 27,28 dB (une mesure de la qualité d'image), ce qui est supérieur au précédent leader, MVSplat, qui avait obtenu 26,39 dB. Plus impressionnant encore, lorsque l'équipe a testé le modèle sur des données qu'il n'avait jamais vues auparavant (test sur de nouveaux jeux de données), il a tout de même obtenu de meilleurs résultats que les modèles spécifiquement entraînés sur ces nouveaux jeux de données. Par exemple, sur le jeu de données DTU, UniqueSplat a atteint un score de 16,01 dB, tandis que la méthode précédente la plus performante n'a réussi qu'à atteindre 14,93 dB. Les auteurs soutiennent qu'en apprenant à s'adapter à des vues spécifiques plutôt qu'en imposant une vue « fixe » unique à tout, le modèle crée des images plus réalistes avec moins d'artefacts comme des fissures ou des flous.

Cependant, le papier prend soin de noter que ce n'est pas une baguette magique qui résout tout. Les chercheurs soulignent une limitation spécifique : parce que le modèle prédit la structure 3D en fonction de ce qu'il voit dans les images d'entrée, il éprouve parfois des difficultés avec les parties de la scène qui sont complètement cachées ou « invisibles ». Dans ces endroits délicats, le modèle peut halluciner ou créer des artefacts, comme le montrent les images de cas d'échec. Ils suggèrent que les travaux futurs pourraient nécessiter l'apport d'outils encore plus puissants, comme les modèles génératifs, pour combler ces lacunes. Mais pour l'instant, UniqueSplat est une démonstration solide que donner à un ordinateur la capacité de « personnaliser » sa compréhension 3D pour chaque regard rend le monde virtuel beaucoup plus clair, net et immersif.

Résumé technique de UniqueSplat : Splatting de Gaussiennes 3D conditionné par la vue pour une reconstruction 3D généralisable

Énoncé du problème
La synthèse de vues inédites (NVS - Novel View Synthesis) est un défi fondamental en vision par ordinateur avec des applications dans la réalité virtuelle, la robotique et la conduite autonome. Bien que le Splatting de Gaussiennes 3D (3DGS) soit apparu comme une méthode hautement efficace pour le rendu en temps réel en représentant les scènes par des primitives gaussiennes 3D, les approches existantes font face à des limitations significatives en matière de généralisabilité. Le 3DGS traditionnel nécessite l'optimisation de millions de paramètres pour chaque scène spécifique, ce qui est coûteux en termes de calcul et manque de transférabilité.

Des méthodes de type "feed-forward" récentes, telles que pixelSplat et MVSplat, remédient à cela en prédisant les paramètres des gaussiennes en une seule passe directe à partir de vues d'entrée éparses. Cependant, ces méthodes génèrent des gaussiennes fixes pour l'ensemble d'une scène, quel que soit le point de vue cible. Elles minimisent l'erreur entre les vues rendues et la vérité terrain sur toutes les vues, mais ne parviennent pas à incorporer d'informations spécifiques à la vue cible durant le processus de prédiction. Par conséquent, ces représentations fixes peinent souvent à s'adapter à des points de vue spécifiques, entraînant des artefacts tels que des fissures, des flous et des distorsions, particulièrement lors d'évaluations sur des jeux de données différents ou dans des scénarios à base de ligne de base large.

Méthodologie : UniqueSplat
Les auteurs proposent UniqueSplat, un modèle de splatting de gaussiennes 3D de type "feed-forward" conditionné par la vue, conçu pour reconstruire des champs de radiance 3D personnalisés pour chaque requête de vue spécifique. Au lieu de prédire un ensemble statique de gaussiennes pour une scène, UniqueSpat ajuste dynamiquement les paramètres des gaussiennes en fonction du point de vue cible.

L'innovation centrale est un hyperréseau à double branche conditionné par la vue qui injecte des priors dépendants de la vue dans les couches du prédicteur du réseau principal. L'architecture se compose de :

Réseau primaire : Comprenant un encodeur ( $E_p$ ) et un prédicteur. L'encodeur traite les images éparses d'entrée pour générer des volumes de caractéristiques. Le prédicteur estime les paramètres des primitives gaussiennes 3D (centre $\mu$ , covariance $\Sigma$ , opacité $\alpha$ et couleur $c$ ).
Hyperréseau conditionné par la vue : Ce composant génère dynamiquement les poids des couches convolutives du prédicteur. Il est divisé en deux branches complémentaires :
- Branche indépendante de la vue (View-Agnostic) : Utilise des plongements apprenables ( $e_a$ ) pour capturer des caractéristiques de scène partageables et généralisables à travers diverses vues. Un hyperréseau ( $H_a$ ) projette ces plongements vers des poids ( $W_a$ ), fournissant une base stable pour la compréhension de la scène indépendamment des points de vue spécifiques.
- Branche spécifique à la vue (View-Specific) : Conçue pour capturer les informations uniques à la vue cible. Elle extrait des caractéristiques des vues d'entrée à l'aide d'un encodeur de base ( $E_H$ ), les projette vers la vue cible en utilisant la géométrie épipolaire et les matrices de projection ( $P_t$ ), et les fusionne en un plongement spécifique à la vue ( $e_s$ ). Un second hyperréseau ( $H_s$ ) génère des poids d'ajustement ( $\Delta W$ ) basés sur ce plongement.
Fusion des poids : Les poids finaux du prédicteur sont calculés en fusionnant les poids indépendants de la vue ( $W_a$ ) et les ajustements spécifiques à la vue ( $\Delta W$ ). Cela permet au modèle de tirer parti des connaissances partagées de la scène tout en s'adaptant dynamiquement à la géométrie et à l'apparence spécifiques requises pour la vue cible.

Le modèle est entraîné en utilisant une combinaison de pertes MSE (Erreur Quadratique Moyenne) et LPIPS (Similarité de Patch d'Image Perceptive Apprise) pour garantir à la fois la précision au niveau du pixel et la qualité perceptive.

Contributions clés
L'article expose trois contributions principales :

Cadre UniqueSplat : Le premier modèle de splatting de gaussiennes 3D "feed-forward" capable de personnaliser dynamiquement les gaussiennes pour chaque requête de vue, dépassant ainsi la limitation des gaussiennes fixes utilisées par les méthodes de pointe précédentes.
Hyperréseau à double branche : Une architecture novatrice qui désentrelace la connaissance de la scène en composantes indépendantes de la vue (partageables) et spécifiques à la vue (adaptatives). Contrairement aux méthodes d'hyperréseaux NVS précédentes qui génèrent des poids uniquement à partir de signaux d'entrée, cette approche modélise explicitement la vue cible comme une condition.
Performance de l'état de l'art : Des expériences approfondies démontrent qu'UniqueSplat atteint des résultats quantitatifs et qualitatifs supérieurs sur les benchmarks standards (RealEstate10K, ACID, DTU) et présente des capacités de généralisation notables dans les évaluations croisées de jeux de données.

Résultats expérimentaux
Les auteurs ont évalué UniqueSplat sur les jeux de données RealEstate10K, ACID et DTU, en le comparant à des méthodes telles que pixelNeRF, GPNR, pixelSplat, MVSplat et TranSplat.

Performance intra-jeu de données : Sur RealEstate10K, UniqueSplat a atteint un PSNR de 27,28 dB, surpassant MVSplat (26,39 dB) et TranSplat (26,69 dB). Sur ACID, il a atteint 29,06 dB, dépassant largement la meilleure performance précédente.
Généralisation inter-jeux de données : Dans des configurations "zero-shot" (entraîné sur RealEstate10K, testé sur ACID et DTU), UniqueSplat a démontré une généralisation robuste. Par exemple, sur le jeu de données DTU, il a obtenu un PSNR de 16,01 dB, surpassant nettement MVSplat (13,94 dB) et pixelSplat (12,89 dB).
Efficacité : Bien que l'ajout d'un hyperréseau augmente la complexité par rapport à MVSplat, UniqueSplat reste efficace. Il nécessite 38,1 millions de paramètres et un temps d'inférence de 0,065s sur un GPU A6000, offrant un meilleur compromis entre performance et coût computationnel par rapport aux modèles plus lourds basés sur les Transformers comme TransSplat.
Améliorations qualitatives : Les comparaisons visuelles montrent qu'UniqueSplat produit des images de haute fidélité avec moins d'artefacts (fissures, flous) et une meilleure préservation structurelle, particulièrement lors de transformations angulaires importantes et dans les régions non vues, comparativement aux méthodes de base.

Signification et limites
L'article affirme qu'UniqueSplat représente une étape importante vers la reconstruction 3D généralisable en s'attaquant à la rigidité des représentations de gaussiennes fixes. En incorporant l'information conditionnée par la vue comme un "prior", le modèle parvient à s'adapter aux points de vue spécifiques, menant à une synthèse de vues inédites plus réaliste et de haute qualité. La conception à double branche équilibre efficacement le besoin de compréhension globale de la scène et la nécessité d'une adaptation spécifique à la vue.

Cependant, les auteurs reconnaissent modestement certaines limites. Comme la méthode prédit des gaussiennes alignées sur les pixels pour les vues d'entrée, elle peut encore introduire des artefacts lors du rendu de régions non vues d'une scène (par exemple, des zones occultées non visibles dans les vues éparses d'entrée). Les auteurs suggèrent que les travaux futurs pourraient traiter ce point en intégrant des modèles génératifs, tels que les modèles de diffusion, pour mieux gérer ces régions complexes.

Articles similaires