💻 computer science

VolFill: Single-View Amodal 3D Scene Reconstruction with Volumetric Flow Matching

VolFill est un cadre génératif qui exploite un VAE 3D hybride et un transformateur de diffusion latent pour reconstruire des géométries de scènes 3D complètes, incluant les structures cachées, à partir d'une seule image RGB en utilisant des modèles de fondation géométriques et le flux volumétrique de correspondance (volumetric flow matching).

Auteurs originaux : Tuan Duc Ngo, Chuang Gan, Evangelos Kalogerakis

Publié 2026-06-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tuan Duc Ngo, Chuang Gan, Evangelos Kalogerakis

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardez une pièce à travers le trou d'une serrure. Vous voyez l'avant d'un canapé, une table basse et une lampe. Mais vous ne pouvez pas voir l'arrière du canapé, le mur derrière la table, ni le sol sous la lampe. La plupart des programmes informatiques essayant de "voir" cette pièce ne peuvent que dessiner ce qui se trouve directement devant le trou de la serrure. S'ils essaient de deviner le reste, ils finissent souvent par dessiner des points flottants désordonnés ou laissent de grands trous dans l'image.

VolFill est un nouveau programme informatique conçu pour résoudre ce problème. Il ne se contente pas de deviner ce qui est caché ; il construit un modèle 3D complet et solide de toute la pièce, y compris les parties que vous ne pouvez pas voir, à partir d'une seule photo.

Voici comment cela fonctionne, en utilisant quelques analogies simples :

1. Le Problème : Le piège du « Pixel-Aligned » (Alignement sur les pixels)

Pensez aux scanners 3D actuels comme à un peintre qui n'est autorisé à peindre que sur la toile là où la lumière frappe. Si vous regardez une chaise, il peut peindre les pieds avant parfaitement, mais les pieds arrière ? Il les laisse simplement vides ou essaie de les deviner, ce qui donne souvent une forme chancelante ou brisée. Il est coincé sur la « surface visible » et ne peut pas imaginer le reste de l'objet.

2. La Solution : La carte à l'« Encre Invisible » (TUDF)

Au lieu d'essayer de deviner des points individuels (comme un nuage de poussière), VolFill considère la pièce comme une immense grille 3D de minuscules cubes, comme un énorme bloc de gelée.

L'astuce : Il utilise un type spécial de carte appelée TUDF. Imaginez que cette carte est comme un capteur de « distance par rapport à la surface ». Chaque cube de la grille sait exactement à quelle distance il se trouve du mur, du sol ou du meuble le plus proche.
Pourquoi cela aide : Même si un mur est caché derrière un canapé, les cubes derrière le canapé savent toujours à quelle distance ils se trouvent de ce mur caché. Cela permet à l'ordinateur de « remplir » les parties invisibles parfaitement, créant une forme solide et continue plutôt qu'un nuage de points dispersés.

3. Le Moteur : Le « Compresseur Intelligent » et le « Rêveur »

Pour que cela fonctionne, VolFill utilise deux outils travaillant ensemble :

Le Compresseur Intelligent (Hybrid 3D VAE) :
Une grille 3D complète d'une pièce entière est énorme et ferait planter un ordinateur. VolFill utilise un « compresseur » pour réduire cette grille massive en un résumé minuscule et compact (un espace latent).
- Analogie : Imaginez que vous prenez le plan détaillé d'une ville et que vous le pliez jusqu'à ce qu'il tienne dans votre poche, tout en conservant tous les détails importants pour pouvoir le déplier plus tard. Ce compresseur est assez intelligent pour savoir que l'air vide n'a pas besoin de beaucoup de détails, il concentre donc sa mémoire sur les meubles et les murs.
Le Rêveur (Diffusion Transformer) :
Une fois la grille compressée, VolFill utilise un « Rêveur » pour remplir les parties manquantes.
- Analogie : Imaginez que vous avez le croquis d'une pièce, mais qu'une moitié a été effacée. Le Rêveur est un artiste qui regarde la partie visible et se dit : « D'accord, d'après la façon dont les pièces sont habituellement construites, la partie cachée doit ressembler à ceci. » Il ne devine pas au hasard ; il suit les « règles » de la façon dont les objets 3D s'assemblent.

4. Le Guide : Le système de « Double Vérification »

Pour s'assurer que le Rêveur ne hallucine pas des formes folles (comme un plafond flottant), VolFill utilise une stratégie de Double-Conditionnement. Il agit comme un détective disposant de deux sources de preuves :

La Photo : Il observe l'« ambiance » globale de l'image (est-ce une cuisine ? une chambre ?).
La Géométrie Visible : Il utilise un « expert » pré-entraîné (appelé MoGe2) pour obtenir une carte précise de ce qui est réellement visible.
- Analogie : Le Rêveur est l'artiste, mais la « Géométrie Visible » est un superviseur strict tenant une règle. Le superviseur dit : « Tu peux imaginer l'arrière caché du canapé, mais tu dois t'assurer qu'il se connecte parfaitement aux pieds avant que nous pouvons réellement voir. » Cela maintient les parties cachées physiquement réalistes.

5. Le Résultat : Un Modèle Solide et Propre

Quand VolFill a terminé son travail, il ne vous donne pas un nuage de points désordonné. Parce qu'il a utilisé la méthode de la « carte de distance » (TUDF), il peut instantanément transformer cette grille en un maillage (mesh) lisse et solide (comme un objet imprimé en 3D).

Comparaison : D'autres méthodes pourraient vous donner un canapé qui ressemble à un sac de billes (points bruyants) ou un canapé avec une seconde couche fantomatique derrière lui (artefacts). VolFill vous donne un canapé propre, net et solide, où l'arrière caché est aussi lisse que l'avant.

En bref : VolFill prend une seule photo, compresse le monde en un résumé intelligent, utilise un « rêveur » d'IA guidé par des règles géométriques strictes pour imaginer les parties cachées, puis le déplie en une pièce 3D parfaite et solide qui inclut tout ce que vous ne pouvez pas voir.

Résumé Technique : VolFill : Reconstruction de Scène 3D Amodale à Vue Unique par Appariement de Flux Volumétrique

1. Formulation du Problème

L'article traite du défi de la reconstruction de scène 3D amodale à partir d'une seule image RGB. Contrairement aux méthodes traditionnelles alignées sur les pixels qui ne récupèrent que les surfaces visibles (par exemple, des cartes de profondeur ou des nuages de points), l'objectif est de prédire la géométrie 3D complète à l'intérieur du frustum d'observation, y compris les surfaces occultées par des objets au premier plan.

Cette tâche est intrinsèquement mal posée en raison de l'absence de preuves visuelles pour les structures cachées. Les approches existantes font face à des limitations significatives :

Les méthodes alignées sur les pixels (ex. MoGe2, DepthPro) sont limitées aux surfaces visibles et ne peuvent pas inférer les régions occultées.
Les méthodes basées sur l'optimisation nécessitent des captures multi-vues denses et des heures de calcul par scène.
Les modèles génératifs centrés sur les objets peinent avec des scènes complexes et non bornées.
Les bases de référence de niveau scène (amodales) (ex. LaRI, NOVA3R) produisent souvent des maillages fragmentés, des artefacts de couches (« effets de murs multiples ») ou des nuages de points bruités et désintégrés en raison de représentations non structurées ou de contraintes de couches de rayons fixes.

2. Méthodologie

VolFill est un cadre génératif qui prédit une grille de voxels de Fonction de Distance Non Signée Tronquée (TUDF) complète à partir d'une seule image, plutôt que de s'appuyer sur une régression déterministe. L'architecture se compose de trois composants clés :

A. Représentation TUDF

La géométrie de la scène est représentée comme un champ scalaire continu $V(p)$ , défini comme la distance à la surface la plus proche (incluant les surfaces occultées), tronquée à une valeur maximale $\tau$ .

Formulation non signée : Une fonction de distance non signée est utilisée car les scènes intérieures sont souvent non étanches (ex. murs à face unique), ce qui rend les fonctions de distance signées (SDF) géométriquement ambiguës.
Discrétisation dynamique : La méthode emploie une stratégie de discrétisation alignée sur le frustum qui calcule une taille de voxel isotrope et dynamique basée sur la boîte englobante de la géométrie visible, garantissant que la grille se concentre sur la scène capturée immédiate.

B. VAE 3D Hybride

Pour combler l'écart entre les grilles TUDF à haute résolution ( $256^3$ ) et l'espace latent requis pour la modélisation générative, un VAE 3D Hybride Sparse-Dense est proposé :

Encodeur : Traite les entrées TUDF éparses à l'aide de convolutions 3D éparses pour compresser la grille par un facteur de $16\times$ en un espace latent dense et compact ( $16^3 \times C$ ).
Décodeur : Utilise un calendrier de décodage hybride dense-vers-épars :
1. Suréchantillonnage Dense : Des convolutions transposées suréchantillonnent le latent vers $64^3$ .
2. Prédiction de Structure : Une tête d'occupation binaire prédit un masque pour rendre la carte de caractéristiques éparse, éliminant les régions vides.
3. Suréchantillonnage Épars : Des convolutions éparses suréchantillonnent les caractéristiques vers la résolution finale de $25^3$ .
Fonction de Perte : Le VAE est entraîné avec une perte composite incluant la distance L1 pour les voxels actifs, les pertes BCE et Dice pour l'occupation, et la divergence KL pour la régularisation latente.

C. Transformer de Diffusion Latente avec Appariement de Flux

Le cœur génératif est un Transformer de Diffusion (DiT) entraîné avec un objectif d'appariement de flux rectifié. Il apprend à transporter le bruit vers la distribution des latents TUDF de la scène.

Stratégie de Double Conditionnement : Pour assurer une généralisation robuste et une plausibilité physique, le DiT est conditionné par deux sources :
1. Priors Géométriques Globaux : Les caractéristiques d'un modèle de fondation géométrique gelé (MoGe2) sont injectées via une attention croisée pour fournir un contexte spatial de haut niveau.
2. Inpainting de Latent Visible : La carte de points visible de MoGe2 est encodée en un « latent visible » ( $z_{vis}$ ) et fusionnée avec le latent bruité via un MLP à initialisation nulle. Cela ancre la génération à la géométrie observée tout en guidant la complétion des régions occultées.
Inférence : Le modèle intègre l'ODE appris de $t=0$ à $t=1$ en utilisant des étapes d'Euler, suivi d'un décodage via le VAE pour produire la grille TUDF finale.

3. Contributions Clés

Cadre VolFill : Un cadre génératif utilisant l'appariement de flux volumétrique pour récupérer la géométrie complète de niveau scène à partir d'images à vue unique, allant au-delà de la régression alignée sur les pixels.
VAE 3D Hybride : Une architecture permettant une compression spatiale efficace des grilles TUDF à haute résolution dans un espace latent compact, facilitant la reconstruction de haute fidélité de structures amodales complexes.
Stratégie de Double Conditionnement : Une approche novatrice exploitant les modèles de fondation géométrique (MoGe2) pour intégrer les jetons d'image de haut niveau avec une géométrie visible explicite, ancrant le raisonnement amodal dans les données observées.

4. Résultats Expérimentaux

La méthode a été évaluée sur les jeux de données SCRREAM et NRGB-D, surpassant les bases de référence actuelles (incluant LaRI, NOVA3R et les modèles centrés sur les objets comme TRELLIS et TripoSG).

Performance Quantitative : VolFill atteint des résultats de pointe (state-of-the-art) dans les métriques de distance de Chamfer (CD) et de F-score (FS), particulièrement pour la géométrie occultée et complète. Sur SCRREAM, il atteint un CD de 3.03 et un FS0.02 de 54.83 pour la scène complète, surpassant nettement NOVA3R (CD 3.43, FS 45.12) et LaRI (CD 5.19, FS 30.85).
Échelle Métrique : Dans les évaluations à échelle métrique, VolFill surpasse significativement les bases de référence en F-score (44.90 contre 22.23 pour NOVA3R), démontant une reconstruction fidèle à l'échelle métrique.
Qualité Qualitative : Les comparaisons visuelles montrent que VolFill produit une géométrie nette, de haute fidélité, avec des maillages lisses et topologiquement cohérents. En revanche, LaRI souffre d'artefacts de couches et de trous, tandis que NOVA3R produit des éparsements de points bruités et non structurés.
Études d'Ablation :
- La conception du VAE Hybride offre le meilleur équilibre entre qualité de reconstruction, latence et utilisation de la mémoire par rapport aux décodeurs uniquement denses ou uniquement épars.
- Le double conditionnement (combinant les caractéristiques de MoGe2 et les latents visibles) surpasse significativement les stratégies de conditionnement simple.
- MoGe2 est identifié comme le modèle de fondation supérieur pour le conditionnement par rapport à DINOv2 ou VGGT, soulignant l'importance des ancres spatiales 3D explicites sur les caractéristiques sémantiques générales.

5. Signification et Revendications

L'article affirme que VolFill fournit une base robuste pour une compréhension spatiale holistique en passant de l'estimation déterministe alignée sur les pixels à un manifold génératif structuré.

Représentation Structurée : En prédisant une grille TUDF plutôt que des nuages de points non structurés, VolFill permet l'extraction directe de surfaces via l'isovaleur (isosurfacing), produisant des maillages propres et sans artefacts sans nécessiter de post-traitement bruyant (ex. reconstruction de Poisson).
Scalabilité : L'approche volumétrique s'adapte bien à la complexité de la scène et n'impose aucune contrainte sur le nombre de couches occultées récupérables, contrairement aux méthodes basées sur les rayons.
Plausibilité Physique : Le cadre génératif, guidé par de forts priors géométriques, synthétise des complétions physiquement plausibles pour les régions sous-déterminées où l'évidence visuelle est absente.

Limites : Les auteurs reconnaissent que de petits trous peuvent occasionnellement persister dans les régions non observées en raison de l'absence de preuves visuelles, et que l'inférence reste plus lente (1.4s sur RTX 4090) que les bases de référence par régression en raison du processus génératif itératif. Des travaux futurs sont suggérés pour traiter les lacunes topologiques par l'augmentation de la capacité du modèle et de la diversité des données.