💻 computer science

VidSplat: Gaussian Splatting Reconstruction with Geometry-Guided Video Diffusion Priors

VidSplat est un cadre génératif sans entraînement qui exploite des priors de diffusion vidéo pour synthétiser itérativement des vues nouvelles et guider un débruitage conscient de la géométrie, permettant une reconstruction robuste de scènes 3D à partir d'entrées éparses ou même d'une seule image.

Auteurs originaux : Jimin Tang, Wenyuan Zhang, Junsheng Zhou, Zian Huang, Kanle Shi, Shenkun Xu, Yu-Shen Liu, Zhizhong Han

Publié 2026-05-13

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jimin Tang, Wenyuan Zhang, Junsheng Zhou, Zian Huang, Kanle Shi, Shenkun Xu, Yu-Shen Liu, Zhizhong Han

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de construire un modèle 3D détaillé d'une pièce, mais que vous ne disposez que de cinq photos floues prises depuis différents coins. La plupart des programmes informatiques tenteraient de deviner le reste de la pièce à partir de ces cinq photos, mais ils aboutissent généralement à un modèle rempli de trous, d'artefacts flottants ou de distorsions étranges, car ils n'ont pas suffisamment d'informations pour savoir ce qui se cache derrière les murs ou les meubles.

VidSplat est un nouvel outil qui résout ce problème en agissant comme un « architecte créatif » qui ne se contente pas de deviner, mais qui imagine réellement les parties manquantes grâce à un puissant cerveau vidéo, puis vérifie son travail par rapport aux lois de la physique (la géométrie) pour s'assurer que la construction tient debout.

Voici comment cela fonctionne, décomposé en étapes simples :

1. Le Problème : Le « Point Aveugle »

Considérez la reconstruction 3D traditionnelle comme une tentative de terminer un puzzle alors que vous ne possédez que 5 % des pièces. Si vous essayez de forcer les pièces à s'assembler, l'image apparaît brisée. Les méthodes existantes tentent de combler les lacunes, mais elles hallucinent souvent (inventent) des éléments qui ne correspondent pas à la forme réelle de la pièce, ou elles laissent simplement les parties invisibles comme des vides.

2. La Solution : Un « Rêveur Vidéo » avec une « Boussole Géométrique »

VidSplat utilise un type spécial d'IA appelé un Modèle de Diffusion Vidéo. Vous pouvez considérer cette IA comme un « rêveur vidéo » qui a regardé des millions d'heures de films et sait à quoi ressemblent les objets lorsque l'on se déplace autour d'eux.

Le Rêve : L'IA prend vos quelques photos et commence à « rêver » de nouveaux angles de caméra, imaginant à quoi ressemble la pièce de l'autre côté du mur.
La Boussole (Guidée par la Géométrie) : Le problème avec les rêveurs est qu'ils inventent parfois des choses impossibles (comme une chaise flottant en plein air). Pour remédier à cela, VidSplat donne à l'IA une Boussole Géométrique.
- Elle génère une carte 3D approximative de la pièce basée sur vos photos.
- Pendant que l'IA tente de générer de nouvelles trames vidéo, la Boussole vérifie constamment : « Cette nouvelle image correspond-elle à la forme 3D que nous connaissons déjà ? »
- Si l'IA tente de dessiner un mur au mauvais endroit, la Boussole la ramène vers la géométrie correcte. Cela garantit que le « rêve » reste fidèle à la réalité physique de la scène.

3. Le Processus : Un Cycle de « Deviner, Vérifier et Affiner »

VidSplat ne fait pas cela une seule fois ; c'est une boucle, comme un sculpteur qui égraine un bloc de pierre :

L'Ébauche Grossière : Il commence par vos quelques photos et construit un squelette 3D grossier (un nuage de points).
L'Expansion : Il choisit un nouvel angle de caméra qu'il n'a pas encore vu (comme faire le tour d'un coin).
Le Rêve : Il demande à l'IA vidéo de générer à quoi cet nouvel angle devrait ressembler.
La Vérification de la Réalité : Il utilise la Boussole Géométrique pour s'assurer que la vidéo générée correspond au squelette 3D. Si l'IA hallucine, la Boussole la corrige.
La Mise à Jour : Il prend les nouvelles photos « imaginées » et corrigées et les ajoute à l'ensemble d'entraînement. Désormais, le modèle 3D dispose de plus de données.
Répéter : Il fait cela encore et encore, comblant lentement les trous, élargissant la vue et affinant les détails jusqu'à ce que toute la scène soit complète et lisse.

4. La Magie « Par Étapes »

L'un des tours de force intelligents utilisés par VidSplat réside dans la manière dont il gère le processus de « rêverie ». Imaginez que vous peignez un tableau :

Phase Précoce (Le Contour) : Au début, l'IA est très stricte. Elle n'autorise que des changements qui suivent strictement les formes connues. C'est comme dessiner le contour d'une maison ; vous ne voulez pas que le toit s'envole.
Phase Intermédiaire (Les Détails) : À mesure que l'image devient plus claire, l'IA a le droit d'être un peu plus créative pour remplir les textures et les couleurs.
Phase Tardive (La Finition) : Enfin, l'IA est libre d'ajouter les petits détails réalistes (comme de la poussière sur une table ou la texture d'une brique) pour donner un aspect réel, mais elle ne peut toujours pas modifier la forme fondamentale de la maison.

5. Le Résultat

L'article montre que VidSplat peut prendre seulement 5 photos (voire même 1 photo) et les transformer en une scène 3D complète et de haute qualité.

Il peut voir « autour des coins » que la caméra n'a jamais vus.
Il peut combler l'arrière d'un objet qui était caché à la vue.
Le résultat final est un modèle 3D qui paraît solide et réaliste, sans les trous ni les bugs étranges produits par d'autres méthodes.

En bref, VidSplat combine l'imagination d'une IA génératrice de vidéos avec la discipline d'un architecte 3D, lui permettant de construire des mondes 3D complets à partir d'une simple poignée de clichés.

Résumé Technique : VidSplat

Énoncé du Problème

La reconstruction de la géométrie 3D à partir d'images multi-vues est une tâche fondamentale en vision par ordinateur, avec des percées récentes réalisées grâce aux Champs de Radiance Neuronaux (NeRF) et au 3D Gaussian Splatting (3DGS). Cependant, ces paradigmes reposent fortement sur la cohérence photométrique multi-vues, ce qui entraîne une dégradation significative lorsque seules quelques vues d'entrée sont disponibles. Dans des configurations à vues éparses, l'optimisation devient mal posée et sous-contrainte.

Les solutions existantes relèvent généralement de deux catégories : des méthodes généralisables qui sont préentraînées sur de grands jeux de données pour apprendre les correspondances inter-vues, et des méthodes spécifiques à une scène qui surajustent des scènes uniques en utilisant des priors monoculaires ou stéréo. Bien que ces approches améliorent les performances, elles restent limitées à la récupération des régions visibles des vues d'entrée données. Elles peinent à inférer la géométrie dans des régions invisibles, occluses ou faiblement contraintes au-delà du champ de vue d'entrée, ce qui se traduit par des surfaces incomplètes et fragmentées. De plus, les approches génératives récentes pour la synthèse de nouvelles vues nécessitent souvent un préentraînement coûteux, échouent à récupérer les régions extrapolées (produisant des vides), ou génèrent des rendus visuellement plausibles mais géométriquement incohérents.

Méthodologie : VidSplat

Pour pallier ces limitations, les auteurs proposent VidSplat, un cadre de reconstruction générative sans entraînement. VidSplat exploite de puissants priors de diffusion vidéo pour synthétiser itérativement de nouvelles vues qui compensent la couverture d'entrée manquante, permettant ainsi la récupération de scènes 3D complètes à partir d'entrées éparses (même une seule image). Le cadre intègre la génération et la reconstruction via une boucle d'optimisation itérative impliquant deux étapes principales : l'initialisation et l'entraînement.

1. Cadre d'Optimisation

Le processus commence par des vues d'entrée éparses $\{V_{input}\}_0$ .

Initialisation : Un nuage de points initial est construit en utilisant DUSt3R. Sur cette base, le système échantillonne des trajectoires de caméra basées sur la visibilité et rend des images RVB et masques. Ces données sont alimentées dans un modèle de diffusion vidéo contrôlé par la caméra (VDM) pour synthétiser des clips vidéo cohérents en 3D. Les images clés de ces clips forment un ensemble généré $\{V_{gen}\}_0$ , qui est fusionné avec l'entrée pour créer un nuage de points plus dense servant à initialiser des Gaussiennes 2D.
Entraînement Itératif : Pendant l'entraînement des Gaussiennes, le système effectue plusieurs cycles de raffinement. À chaque cycle $t$ , de nouvelles trajectoires sont échantillonnées et de nouvelles séquences sont générées pour former $\{V_{gen}\}_t$ . Celles-ci sont fusionnées avec l'ensemble de vues actuel pour étendre la couverture. Contrairement à la phase d'initialisation, les vues générées ne sont pas utilisées pour une ré-initialisation mais sont rétro-projetées dans l'espace 3D via des profondeurs monoculaires pour créer des centres de Gaussiennes supplémentaires. La reconstruction est affinée itérativement, et les surfaces finales sont extraites à l'aide de tétraèdres marcheurs.

2. Échantillonnage de Pose de Caméra Basé sur la Visibilité

Pour explorer efficacement les régions sous-couvertes, VidSplat emploie une stratégie d'échantillonnage novatrice. Au lieu d'une simple interpolation ou de trajectoires circulaires, il construit des trajectoires où la caméra orbite autour des points d'intersection entre les rayons de la caméra et la surface de la scène sur une sphère. Les trajectoires sont validées en fonction de la profondeur et du masque des images clés pour s'assurer qu'elles évitent les occlusions de plans proches (par exemple, des murs bloquant la vue) et couvrent une quantité appropriée de régions invisibles. Pour atténuer l'accumulation d'hallucinations, la trajectoire est étendue de 25 % lors de la génération, et les images de queue sont rejetées.

3. Génération Vidéo Guidée par la Géométrie

L'innovation centrale réside dans une stratégie de débruitage sans entraînement et par étapes conçue pour assurer la cohérence 3D. La génération vidéo standard introduit souvent une dérive de contenu et des dynamiques qui violent les contraintes géométriques. VidSplat y remédie par :

Inversion : Utilisation de l'inversion de diffusion sur les images RVB et masques rendues pour créer des latents bruités qui encodent des priors de disposition induits par le mouvement de la caméra.
Fusion Adaptative : À chaque étape de débruitage, le modèle fusionne le latent prédit avec le latent de référence inversé en utilisant un masque spatial $M(t)$ .
Contrôle en Trois Étapes :
1. Phase Initiale ( $T_0 \to T_1$ ) : La direction de débruitage dans les régions connues est strictement contrainte pour suivre les références rendues ( $M(t) = M_{ref}$ ). Cela ancre la structure de la scène et empêche la dérive de contenu.
2. Phase Intermédiaire ( $T_1 \to T_2$ ) : La contrainte est progressivement relâchée, permettant au modèle d'affiner les rendus imparfaits.
3. Phase Finale ( $T_2 \to 0$ ) : La contrainte est entièrement supprimée pour synthétiser des détails locaux réalistes et réparer les artefacts.

4. Fonction de Perte

L'objectif d'optimisation combine des pertes pour les vues d'entrée et les vues générées. Pour les vues d'entrée, il utilise une perte photométrique standard, une régularisation et un prior de normale. Pour les vues générées, la perte photométrique est remplacée par une perte de Laplacien pour atténuer les artefacts haute fréquence, et une carte de confiance par pixel dérivée de la fusion de nuages de points est utilisée pour pondérer la supervision.

Contributions Clés

Cadre Génératif : Un cadre novateur qui intègre itérativement la génération vidéo dans la reconstruction par Gaussian Splatting, permettant un raffinement continu et la récupération de scènes 3D complètes à partir d'entrées éparses.
Débruitage Guidé par la Géométrie : Une stratégie de débruitage sans entraînement et par étapes qui guide de manière adaptative le processus de diffusion vidéo vers la géométrie sous-jacente, assurant une cohérence 3D sans nécessiter de finetuning du modèle.
Performances de l'État de l'Art : La méthode obtient des résultats supérieurs tant en reconstruction de surface qu'en synthèse de nouvelles vues sur des benchmarks réels largement adoptés, surpassant les méthodes existantes à vues éparses et génératives.

Résultats Expérimentaux

Les auteurs ont évalué VidSplat sur divers jeux de données réels, notamment Tanks and Temples, Replica et DL3DV, couvrant à la fois des scénarios intérieurs et extérieurs.

Reconstruction de Surface : Sur les jeux de données Tanks and Temples et Replica, VidSplat a obtenu des métriques quantitatives significativement meilleures (Distance de Chamfer, Score F, Cohérence des Normales) par rapport à des bases de référence telles que FSGS, MAtCha et GuidedVD. Les visualisations démontrent la capacité à reconstruire des surfaces complètes et fidèles sans trous, même avec seulement 5 vues d'entrée.
Synthèse de Nouvelles Vues : Sur le jeu de données DL3DV, la méthode a obtenu les meilleurs scores PSNR, SSIM et LPIPS pour les scènes intérieures et extérieures, rendant avec succès des détails de haute qualité dans des régions faiblement couvertes par les entrées.
Génération Vidéo : Comparé à d'autres méthodes de diffusion vidéo contrôlées par la caméra (par exemple, ViewCrafter, TrajectoryCrafter), VidSplat a démontré une cohérence supérieure avec les géométries de référence et une plus grande diversité générative.
Génération Mono-vue : Le cadre a démontré avec succès la capacité à générer des scènes 3D complètes à partir d'une seule image d'entrée, récupérant de grandes régions invisibles.

Importance

L'article affirme que VidSplat représente une avancée significative dans la reconstruction 3D à vues éparses en comblant efficacement le fossé entre les modèles génératifs vidéo et la reconstruction géométrique. En introduisant une stratégie de débruitage guidée par la géométrie, les auteurs surmontent la limitation critique des méthodes génératives précédentes qui échouent à maintenir la cohérence 3D ou à inférer la géométrie invisible. La capacité du cadre à fonctionner sans entraînement (sans entraînement) et sa robustesse à travers différents backbones de diffusion vidéo (y compris SVD et Hunyuan) soulignent son aspect pratique et son évolutivité. En fin de compte, VidSplat permet la récupération de scènes 3D complètes et fidèles à partir de données extrêmement limitées, ouvrant de nouvelles possibilités pour des applications dans la création de contenu numérique, la RV/RA et l'intelligence incarnée où la capture multi-vues dense est peu pratique.