Meshtryoshka: Differentiable Rendering of Real-World Scenes via Mesh Rasterization

Énoncé du problème
Le rendu différentiable est devenu une pierre angulaire de la reconstruction 3D et de la synthèse de vues nouvelles, pourtant les méthodes de pointe reposent principalement sur des représentations non maillées (par exemple, les champs de radiance neuraux, le Gaussian Splatting 3D) ou sur des rendus différentiables spécialisés. Bien que les maillages de surfaces 3D soient le standard de l'industrie pour la portabilité, l'accélération matérielle et les flux de travail graphiques en aval, les techniques existantes de rendu de maillage différentiable sont largement limitées aux scènes centrées sur des objets. Elles nécessitent souvent des masques premier plan-arrière-plan, peinent à gérer les environnements réels non bornés et dépendent généralement d'implémentations CUDA personnalisées ou d'une estimation de gradient stochastique pour gérer la non-différentiabilité des rasteriseurs standards. Par conséquent, il n'existe aucune méthode capable d'atteindre simultanément des résultats photoréalistes sur des scènes réelles et d'optimiser directement une représentation de maillage en utilisant des outils graphiques conventionnels.

Méthodologie : Meshtryoshka
Les auteurs introduisent Meshtryoshka, un cadre de rendu différentiable qui optimise une représentation de maillage 3D de scènes réelles non bornées en utilisant un rasteriseur de triangles standard et non différentiable. L'innovation centrale réside dans le découplage de l'optimisation des positions des sommets du processus de rasterisation.

1. Paramétrage de la scène et extraction de maillage :
   La scène est représentée par une grille parcelle de valeurs de fonction de distance signée (SDF) et de coefficients d'harmoniques sphériques pour la couleur dépendante de la vue. Lors de chaque étape d'optimisation, la méthode extrait plusieurs ensembles de niveaux (iso-surfaces) de la SDF en utilisant une implémentation différentiable de l'algorithme de Marching Cubes. Cela produit une « Matriochka » de couches de maillages triangulaires imbriquées et non intersectantes. Chaque sommet de ces couches se voit assigner une valeur de distance signée et des coefficients d'harmoniques sphériques via des poids d'interpolation dérivés du processus de Marching Cubes.

2. Rasterisation non différentiable et rendu différé :
   Au lieu d'implémenter un traceur de rayons différentiable personnalisé, la méthode rasterise chaque couche de maillage indépendamment à l'aide d'un rasteriseur standard non différentiable. Le rasteriseur produit des identifiants de triangles par pixel et des coordonnées barycentriques. Ceux-ci sont utilisés pour effectuer une interpolation différentiable des valeurs de SDF et des coefficients d'harmoniques sphériques par sommet dans l'espace image, imitant ainsi un shader de fragment.
   Pour approximer le rendu volumétrique, la méthode assigne des valeurs de transmittance spécifiques ($T_i$) à chaque couche. La couche la plus interne est définie avec une transmittance proche de zéro (opaque), garantant qu'elle occulte toutes les couches suivantes. L'image finale est construite par compositage alpha des couches rendues. Les gradients circulent de l'erreur de rendu vers le processus de compositage alpha et l'étape d'interpolation pour mettre à jour la SDF sous-jacente et les paramètres de couleur, optimisant indirectement la géométrie du maillage.

3. Passage à l'échelle pour les scènes non bornées :
   Pour gérer les scènes réelles non bornées, les auteurs emploient plusieurs stratégies :

• Parcimonie : Une implémentation parcimonieuse de Marching Cubes est utilisée, ne stockant les paramètres que pour les voxels actifs et les voxels d'aide, ce qui réduit considérablement l'utilisation de la mémoire par rapport aux grilles denses.
• Optimisation Coarse-to-Fine : La grille est initialisée à basse résolution et est progressivement subdivisée, élagant l'espace vide et affinant la géométrie uniquement là où cela est nécessaire.
• Grilles non cubiques : La scène est divisée en un premier plan (cube aligné sur les axes) et un arrière-plan. L'arrière-plan est modélisé à l'aide de six frustums tronqués avec des sommets à échelle exponentielle. Cela permet une allocation efficace de la résolution, plaçant moins de paramètres dans les régions distantes tout en maintenant des rapports d'aspect de voxels adaptés à Marching Cubes.

4. Régularisation :
   Pour assurer une optimisation stable, la méthode utilise une perte de lissage Laplacien sur les valeurs de la SDF (plutôt qu'une perte d'Eikonal, qui peut causer des artefacts de damier dans les grilles explicites) et une pénalité L1 pour encourager la parcimonie dans les régions non observées. De plus, le taux d'apprentissage pour les composantes d'harmoniques sphériques non-DC est réduit pour empêcher le modèle de « tricher » sur la géométrie afin de s'ajuster à des vues spécifiques.

Contributions clés

• Un nouveau cadre : Meshtryoshka est la première méthode de rendu de maillage différentiable capable de reconstruire des scènes 3D réelles et non bornées sans nécessiter de masques de premier plan.
• Compatibilité avec les outils standards : La méthode démontre qu'un rendu différentiable de haute qualité est possible en utilisant des rasteriseurs de triangles standards et non différentiables, éliminant ainsi le besoin de rendus différentiables personnalisés ou d'estimateurs de gradient stochastiques.
• Implémentations de haute performance : Les auteurs contribuent des implémentations optimisées d'algorithmes graphiques classiques, incluant un algorithme de Marching Cubes parcimonieux et un rasteriseur de triangles logiciel capable de rendre plus de 100 millions de triangles simultanément.
• Optimisation directe du maillage : Contra_irement aux méthodes qui extraient des maillages a posteriori à partir de représentations volumétriques, Meshtryoshka optimise directement la représentation du maillage, garantissant que la qualité de l'étape d'optimisation correspond au rendu du maillage final.

Résultats
La méthode a été évaluée sur les jeux de données NeRF-Synthetic (centré sur l'objet) et Mip-NeRF 360 (réel).

• Scènes centrées sur l'objet : Sur NeRF-Synthetic, Meshtryoshka est compétitif avec les méthodes de rendu de surface différentiables de pointe comme NeuS2 et surpasse les méthodes basées sur le maillage antérieures (nvdiffrec avec DMTet/FlexiCubes) sans nécessiter de masques de visibilité.
• Scènes réelles : Sur Mip-NeRF 360, la méthode reconstruit avec succès des scènes non bornées complexes avec une grande qualité visuelle, capturant des détails fins tels que les rayons de bicyclette et les feuilles d'arbres. Bien qu'elle soit légèrement en retrait par rapport aux méthodes non maillées de haut niveau comme Zip-NeRF et le 3D Gaussian Splatting en termes de métriques quantitatives (PSNR), elle surpasse de manière significative les approches précédentes basées sur le maillage, qui échouaient à produire des reconstructions cohérentes dans ces contextes.
• Études d'ablation : Les expériences confirment la nécessité du positionnement exponentiel des sommets, de la parcimonie, des régulariseurs et de l'utilisation de plusieurs couches pour obtenir des résultats de haute qualité.

Signification et revendications
L'article pose que Meshtryoshka suggère une nouvelle voie pour le rendu différentiable : il est possible d'atteindre une reconstruction 3D et une synthèse de vues nouvelles compétitives en s'appuyant entièrement sur la pile de rendu informatique conventionnelle (rasteriseurs standards et représentations de maillage), plutôt que sur des rendus différentiables spécialisés ou des primitives non maillées. Les auteurs affirment que leur travail comble le fossé entre la portabilité des maillages et la performance du rendu différentiable moderne, permettant l'optimisation directe des maillages pour des scènes réelles. Cependant, les auteurs restent modestes quant aux limites, reconnaissant que leur méthode produit actuellement plus de triangles que les approches basées sur les primitives, possède des temps d'entraînement plus longs que les méthodes rapides de type NeRF/Gaussian, et peut occasionnellement générer des artefacts de type « flottants » dans les régions peu observées.