💻 computer science

3DSS: 3D Surface Splatting for Inverse Rendering

L'article présente le 3D Surface Splatting (3DSS), un rendu différentiable qui exploite un modèle de composition basé sur la couverture et des échantillons de surface orientés pour récupérer conjointement la forme, les matériaux variant spatialement et l'éclairage en vue d'un rendu inverse de haute qualité, tout en assurant nativement une transition vers les flux de travail basés sur les maillages.

Auteurs originaux : Mae Younes, Adnane Boukhayma

Publié 2026-05-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mae Younes, Adnane Boukhayma

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez une boîte contenant des milliers de petits autocollants plats et colorés (appelés surfels). Chaque autocollant possède une couleur spécifique, un angle précis vers lequel il fait face, et une taille déterminée. Votre objectif est d'arranger ces autocollants dans l'espace 3D de manière à ce que, lorsque vous prenez une photo d'eux sous n'importe quel angle, l'image ressemble exactement à un objet 3D réel, brillant (comme une théière ou une voiture).

C'est l'idée centrale derrière 3DSS (3D Surface Splatting), une nouvelle méthode de « rendu inverse ». Le rendu inverse, c'est comme être un détective qui examine une photographie terminée et tente de déterminer trois choses :

Forme : À quoi ressemble l'objet en 3D ?
Matériau : Est-il fait de métal brillant, de plastique rugueux ou de tissu doux ?
Éclairage : Où se trouvait le soleil ou la lampe au moment où la photo a été prise ?

Voici comment 3DSS résout ce puzzle, expliqué à travers des analogies simples :

1. Le problème des anciennes méthodes

Avant cela, il existait deux façons principales de résoudre ce puzzle, et toutes deux présentaient des défauts :

La méthode par maillage (L'approche origami) : Imaginez essayer de construire une forme à partir d'une seule feuille de papier pliée en triangles. Elle a l'air nette et réelle, mais si vous voulez changer la forme, vous devez couper et coller le papier. Si vous essayez de la rendre trop détaillée, le papier se froisse et devient désordonné. C'est rigide et difficile à corriger.
La méthode par volume (L'approche brouillard) : Imaginez que l'objet est fait d'un épais brouillard. Vous pouvez façonner le brouillard facilement, mais comme c'est du brouillard, la lumière se mélange à l'intérieur. Si vous essayez de déterminer le matériau, le « brouillard » fait qu'il ressemble à un mélange flou de couleurs plutôt qu'à une surface distincte. Il est difficile de dire où se trouve la surface réelle.

2. La solution 3DSS : L'approche « Autocollant intelligent »

3DSS utilise une troisième voie : le Surface Splatting. Au lieu d'une feuille rigide ou d'un nuage brumeux, il utilise ces milliers d'autocollants indépendants.

Les Autocollants (Surfels) : Chaque autocollant est un tout petit morceau de la surface. Il connaît sa propre position, son propre angle (normale) et ses propres propriétés matérielles (est-il brillant ? est-il rouge ?).
Le Tour de magie (Différentiabilité) : Le système est « différentiable », ce qui signifie qu'il peut apprendre de ses erreurs. Si la photo qu'il crée ne correspond pas à la photo réelle, le système sait exactement comment pousser les autocollants (les déplacer, les faire tourner ou changer leur couleur) pour se rapprocher de la vérité. Il le fait mathématiquement, sans avoir besoin de couper ou de coller quoi que ce soit.

3. Comment il gère les chevauchements (L'analogie du « gâteau à étages »)

La partie la plus difficile de ce puzzle survient lorsque les autocollants se chevauchent. Si vous regardez un coin d'une boîte, vous pouvez voir le mur avant et le mur latéral se chevaucher dans votre vision.

Ancienne méthode : Les méthodes précédentes essayaient de choisir un seul autocollant par pixel (celui le plus proche de la caméra). Cela provoquait des bords dentelés et pixellisés, et rendait impossible de voir ce qui se trouvait derrière la couche avant.
Méthode 3DSS : 3DSS utilise un astucieux tour de tri appelé Regroupement par intervalles. Imaginez que les autocollants sont triés selon leur profondeur. Si deux autocollants sont suffisamment proches en profondeur, 3DSS réalise qu'ils appartiennent à la même couche (comme le mur avant). S'il y a un écart en profondeur, il sait qu'ils appartiennent à une couche différente (comme le mur latéral).
Le résultat : Il construit un « gâteau à étages » d'autocollants. Il les mélange de manière fluide. Cela crée des bords parfaitement lisses (anti-repliement) et permet au système de voir à travers les bords transparents vers les couches arrière, tout comme dans la vie réelle.

4. Comment il gère l'éclairage (L'analogie du « Pré-peint »)

Dans de nombreux systèmes, l'ordinateur essaie de calculer l'éclairage après avoir mélangé tous les autocollants. C'est comme mélanger différentes peintures puis essayer de deviner quelles étaient les couleurs originales. C'est désordonné et imprécis.

3DSS fait l'inverse : Ombrage direct (Forward Shading).

Avant même que les autocollants ne soient arrangés en une image, le système calcule l'éclairage pour chaque autocollant individuel. Il se demande : « Si cet autocollant spécifique était ici, sous cette lumière spécifique, quelle couleur aurait-il ? »
Il peint chaque autocollant avec sa couleur finale avant qu'ils ne soient empilés. Ensuite, il se contente d'empiler les autocollants déjà peints. Cela garantit que les matériaux (comme le métal brillant par rapport au plastique mat) restent fidèles et ne deviennent pas « boueux » lorsqu'ils sont mélangés.

5. Les résultats

Les auteurs ont testé 3DSS sur une référence appelée Stanford-ORB, qui utilise de vraies photos d'objets comme des théières, des voitures et des poivriers.

Nouvelles vues : Lorsqu'ils ont demandé au système de montrer l'objet sous un nouvel angle qu'il n'avait jamais vu auparavant, 3DSS a produit des images plus claires et plus nettes que les méthodes utilisant des maillages rigides ou des volumes brumeux.
Nouvel éclairage : Lorsqu'ils ont demandé au système de montrer l'objet sous une lumière différente (comme déplacer le soleil), 3DSS a correctement rendu les reflets et les ombres, tandis que d'autres méthodes se trompaient souvent sur les matériaux.
Forme : Il a reconstruit la forme 3D avec la même précision que les meilleures méthodes existantes, mais sans les problèmes de « papier froissé » des méthodes par maillage.

Pourquoi cela compte

L'article affirme que 3DSS est la première méthode à réussir à introduire le Surface Splatting dans le monde du Rendu Inverse. Il comble le fossé entre la flexibilité des méthodes basées sur les points (faciles à déplacer et à modifier) et le réalisme des méthodes basées sur les surfaces (bords nets, matériaux corrects).

Plus important encore, comme le résultat final n'est qu'une collection de points orientés, il peut être facilement converti en un maillage 3D standard (un modèle triangulaire) que les moteurs de jeux et les logiciels 3D peuvent utiliser immédiatement. C'est comme prendre un tas d'autocollants intelligents et les transformer instantanément en un modèle 3D solide et utilisable.

Résumé technique : Splatting de surfaces 3D (3DSS) pour le rendu inverse

Énoncé du problème

Le rendu inverse vise à reconstruire la géométrie, les matériaux et l'éclairage à partir de photographies multi-vues afin de créer des actifs modifiables et rééclairables. Les paradigmes actuels de rendu différentiable présentent des limitations complémentaires :

Rasterisateurs de maillages triangulaires : Bien qu'ils produisent des images nettes avec une géométrie explicite, ils peinent à gérer l'évolution de la topologie. L'optimisation conduit souvent à des éléments dégénérés, des auto-intersections et des variétés brisées, nécessitant une régularisation minutieuse.
Rendeurs volumétriques (NeRF/3DGS) : Ils offrent une flexibilité sans connectivité et une haute qualité de synthèse de nouvelles vues. Cependant, leur formation d'image composite la radiance le long des rayons plutôt qu'aux surfaces. Ce mélange volumétrique combine les attributs matériels (comme les normales) à travers les primitives, résultant en des valeurs de pixels qui ne correspondent pas à la réflectance d'une surface physique unique, sapant ainsi la décomposition basée sur la physique.
Splatting de surfaces : Historiquement absent du rendu inverse différentiable, le splatting de surfaces (spécifiquement la Moyenne Pondérée Elliptique ou EWA) offre un compromis : il utilise des échantillons de points orientés (surfels) avec une sémantique de surface explicite, mais manque d'une formulation différentiable pour la visibilité et la séparation des surfaces. Les méthodes classiques reposent sur des tests de profondeur durs et discontinus (z-buffering ternaire) pour séparer les surfaces, ce qui est incompatible avec l'optimisation basée sur le gradient et empêche un anti-crénelage correct aux bords superposés.

Méthodologie : Splatting de surfaces 3D (3DSS)

Le 3DSS introduit le premier rendu de splatting de surfaces différentiable conçu pour le rendu inverse basé sur la physique. Il représente les scènes comme des ensembles non structurés de primitives surfels orientées et reconstruit des surfaces continues via le splatting EWA.

1. Représentation et rasterisation des surfels

Chaque surfel est défini par une position centrale, deux vecteurs tangents (codant l'orientation et le scaling anisotrope) et des attributs d'ombrage (albédo, métallicité, rugosité). La normale de surface est déduite implicitement du produit vectoriel des tangentes.

Matrice T : Le rendu utilise une matrice T 4×4 pour mapper la paramétrisation du surfel vers l'espace de découpe, permettant une intersection analytique rayon-surfel et un calcul de boîte englobante d'une manière numériquement stable.
Ombrage avant : Contrairement à l'ombrage différé, le 3DSS ombrage chaque surfel avant la rasterisation en utilisant un modèle d'éclairage basé sur l'image (IBL) à somme séparée. Cela évite les problèmes de non-commutativité liés à l'ombrage d'attributs reconstruits (par exemple, la moyenne des normales) et maintient le noyau de rasterisation compact.

2. Séparation de surfaces multi-couches (Regroupement par intervalles de profondeur)

Une innovation centrale est la reformulation de la séparation des surfaces. Au lieu de tests de profondeur binaires/ternaires, le 3DSS traite la séparation des surfaces comme un problème de fusion d'intervalles :

Chaque surfel occupe un intervalle de profondeur $[z - \varepsilon_z, z + \varepsilon_z]$ basé sur sa profondeur et l'étendue de son noyau.
Les primitives sont triées par leur début d'intervalle ( $z_{start}$ ).
Les surfels sont regroupés en couches de surfaces si leurs intervalles de profondeur se chevauchent. Un écart entre la profondeur maximale courante d'un groupe et le début de la primitive suivante indique une nouvelle couche de surface.
Cela permet un nombre arbitraire de couches de surfaces par pixel en un seul passage de rasterisation, résolvant l'auto-occlusion et les discontinuités de visibilité sans décisions dures.

3. Composition basée sur la couverture

Le rendu dérive l'opacité directement du poids de reconstruction EWA accumulé au sein de chaque couche :

Opacité de couverture : Le poids accumulé $W_k$ d'une couche est mappé à une opacité de couverture $\alpha_k$ en utilisant une fonction lisse ( $1 - \exp(-\gamma \cdot W_k / 2\pi)$ ). Ce poids découle naturellement du processus de reconstruction du signal.
Composition : Les couches sont composées de l'avant vers l'arrière en utilisant l'opérateur « over » standard, où la transmittance résiduelle des couches précédentes détermine la visibilité des couches plus profondes.
Flux de gradient : Ce mécanisme garantit que même aux bords faiblement couverts (silhouettes), où un seul surfel pourrait autrement produire une couleur normalisée constante, l'opacité de couverture inférieure à l'unité module la valeur finale du pixel. Cela fournit des gradients informatifs pour l'optimisation géométrique aux limites des objets.

4. Anti-crénelage et contrôle de densité

Filtrage MIP dans l'espace objet : Pour éviter le repliement d'échantillonnage, le 3DSS emploie un filtre MIP dans l'espace objet. Il précalcule la matrice de covariance inverse et le facteur de normalisation au centre du surfel, approximant le jacobien de l'intersection rayon-splat. Cela supprime les hautes fréquences sans le coût arithmétique par pixel d'une évaluation complète du jacobien.
Contrôle de densité adaptatif : La méthode maintient une hypothèse de « partition de l'unité » (supports chevauchants) via un critère de division sensible à la densité. Elle compare l'échelle d'un surfel à l'espacement inter-échantillons local (plutôt qu'un seuil global de la scène) et accumule les normes de gradient dans l'espace écran directement à partir du passage inverse de la matrice T pour identifier les zones nécessitant un raffinement.

Contributions clés

Séparation de surfaces multi-couches : Un algorithme qui partitionne les primitives triées en couches de surfaces arbitraires par fusion d'intervalles, remplaçant les tests de profondeur binaires/ternaires et supportant plusieurs couches par pixel.
Composition différentiable basée sur la couverture : Un modèle où l'opacité par couche est dérivée des poids EWA accumulés, produisant des silhouettes anti-crénelées et des gradients informatifs aux bords épars, ce que les formulations monocouches ne peuvent fournir.
Filtre MIP efficace dans l'espace objet : Une approximation précalculée au centre qui supprime le repliement d'échantillonnage avec une perte visuelle négligeable et une surcharge computationnelle minimale.
Pont vers les flux de travail de maillages : La représentation optimisée (échantillons de points orientés) est nativement compatible avec les algorithmes de reconstruction de maillages établis (par exemple, Reconstruction de surface de Poisson filtrée), facilitant un pipeline direct du rendu inverse basé sur les points vers les flux de travail basés sur les maillages.

Résultats

Évalué sur le benchmark Stanford-ORB (14 objets, 7 scènes avec scans de vérité terrain, imagerie HDR et éclairage mesuré), le 3DSS a été comparé à des bases de référence basées sur les maillages (NVDiffRec), implicites (NeRF, NeRFactor) et à splatting gaussien (basées sur 3DGS).

Synthèse de nouvelles vues : Le 3DSS a obtenu les scores les plus élevés sur toutes les métriques (PSNR, SSIM, LPIPS), surpassant à la fois les bases de référence basées sur les maillages et implicites. La flexibilité topologique de la représentation basée sur les points a permis une meilleure récupération des détails fins par rapport aux méthodes de maillage à grille fixe.
Rééclairage de nouvelles scènes : Le 3DSS a obtenu des scores de similarité structurelle (SSIM) et perceptuelle (LPIPS) à la pointe de l'art, surpassant NVDiffRec et les méthodes implicites. Il a reproduit les reflets spéculaires et l'ombrage diffus avec plus de fidélité, en particulier sur les objets à haute spécularité.
Reconstruction géométrique : Le 3DSS a obtenu des scores géométriques (profondeur, normales, distance de Chamfer) à égalité avec les bases de référence les plus fortes (NVDiffRec, InvRender). L'analyse qualitative a montré des normales de surface plus lisses et plus cohérentes par rapport aux méthodes basées sur les maillages.
Validation géométrie fixe : Lorsque les surfels ont été échantillonnés à partir de scans de vérité terrain avec une géométrie fixe, le rendu a produit un ombrage haute fidélité, confirmant la compatibilité de la représentation surfel avec les actifs de maillage existants et la plausibilité physique du pipeline d'ombrage.

Importance et affirmations

L'article affirme que le 3DSS occupe une position distincte et pratiquement précieuse dans le rendu différentiable en combinant la flexibilité sans connectivité des méthodes basées sur les points avec la formation d'image correcte de surface des rasterisateurs de maillages.

Différentiabilité : En formulant la séparation des surfaces et l'opacité comme des processus continus et différentiables, le 3DSS permet l'optimisation conjointe de la forme, des BRDF spatialement variables et de l'éclairage sans les contraintes topologiques des maillages ni l'ambiguïté physique du mélange volumétrique.
Intégration du flux de travail : La méthode fournit un « pont direct » entre le rendu inverse basé sur les points et les flux de travail en aval basés sur les maillages, car les surfels optimisés peuvent être directement alimentés dans des algorithmes standards de reconstruction de surface.
Renaissance du splatting de surfaces : Ce travail démontre que le splatting de surfaces, précédemment entravé par des discontinuités de visibilité, peut être adapté avec succès au rendu inverse, offrant une alternative viable aux paradigmes dominants de maillages et volumétriques.

Les auteurs notent des limitations, notamment l'utilisation d'un modèle d'ombrage IBL à somme séparée simplifié (manquant d'éclairage global) et l'hypothèse de surfaces opaques, mais soulignent que le moteur de rendu est agnostique au modèle d'ombrage, permettant des extensions futures vers des transports lumineux plus complexes.