Splat the Net: Radiance Fields with Splattable Neural Primitives

Ce papier présente les « splattable neural primitives », une nouvelle représentation volumétrique qui combine l'expressivité des modèles neuronaux et l'efficacité du splatting des primitives 3D pour permettre une synthèse de vue nouvelle de haute qualité et en temps réel avec dix fois moins de primitives et six fois moins de paramètres que les méthodes existantes.

L'essentiel

Imaginez que vous essayez de recréer un monde en 3D à partir de simples photos, comme si vous construisiez une maquette numérique. C'est ce que fait cette nouvelle recherche, baptisée "Splat the Net".

Pour comprendre pourquoi c'est révolutionnaire, il faut d'abord voir le problème actuel. Il existe deux écoles de pensée pour créer ces mondes virtuels :

1. Les "Architectes de précision" (NeRFs) : Ils utilisent des millions de petits points de données (comme une pluie de poussière) pour dessiner chaque détail. C'est magnifique et très réaliste, mais pour voir une image, l'ordinateur doit calculer le trajet de la lumière à travers chaque point. C'est comme essayer de traverser une forêt en comptant chaque feuille : c'est lent et coûteux en énergie.
2. Les "Peintres rapides" (3D Gaussian Splatting) : Ils utilisent des formes simples, comme des gouttes d'eau ou des nuages de peinture (des gaussiennes), qu'ils projettent rapidement sur l'écran. C'est ultra-rapide (on peut jouer en temps réel), mais comme les formes sont trop simples, elles ont du mal à représenter des objets complexes. C'est un peu comme essayer de dessiner un visage complexe uniquement avec des ronds et des ovales : ça ressemble à quelque chose, mais les détails manquent.

La solution : Les "Primitives Neuronales Splatables"

L'équipe de l'Institut Max Planck a eu une idée géniale : et si on mélangeait les deux ?

Imaginez que vous ne peignez pas avec de simples gouttes de peinture, mais avec des petites boîtes intelligentes.

• La boîte (l'ellipsoïde) : C'est la forme physique, comme une goutte d'eau. Elle définit où se trouve l'objet.
• L'intelligence (le réseau de neurones) : À l'intérieur de chaque boîte, au lieu d'avoir une couleur fixe, il y a un mini-cerveau (un petit réseau de neurones). Ce cerveau sait exactement comment la densité et la couleur changent à l'intérieur de la boîte, peu importe l'angle sous lequel vous la regardez.

L'analogie du "Pain de mie" vs "La mie de pain"

Pour faire simple, comparons cela à la cuisine :

• L'ancienne méthode (Gaussienne) : C'est comme essayer de sculpter une statue en utilisant des milliers de petits cubes de mie de pain. Pour avoir une forme fine, il faut des millions de cubes. C'est lourd et encombrant.
• La nouvelle méthode (Splat the Net) : C'est comme utiliser des tranches de pain de mie intelligentes. Chaque tranche est un peu plus grande, mais à l'intérieur, la mie est structurée de manière complexe. Grâce à une astuce mathématique, l'ordinateur peut "lire" la forme de la tranche d'un seul coup d'œil, sans avoir besoin de la découper en milliers de petits morceaux.

Pourquoi c'est une révolution ?

1. Moins de choses à gérer : Parce que chaque "boîte intelligente" est plus expressive, il en faut 10 fois moins pour créer la même scène. C'est comme passer d'un puzzle de 1 million de pièces à un puzzle de 100 000 pièces, mais avec le même niveau de détail.
2. Plus rapide et plus léger : Puisqu'il y a moins de pièces, l'ordinateur n'a pas à travailler aussi dur. Le résultat est une image de haute qualité qui s'affiche en temps réel, avec 6 fois moins de mémoire utilisée.
3. La magie des maths : Le secret réside dans le fait que les chercheurs ont trouvé une formule mathématique exacte pour calculer la lumière à travers ces boîtes intelligentes. Ils n'ont pas besoin de faire des milliers de petits calculs (comme le faisaient les anciennes méthodes). C'est comme si, au lieu de compter chaque grain de sable sur une plage, on pouvait calculer le volume du sable d'un seul coup grâce à une formule magique.

En résumé

Cette nouvelle méthode, Splat the Net, permet de créer des mondes virtuels qui sont à la fois aussi beaux que les plus précis et aussi rapides que les plus légers. Elle remplace les millions de petits points simples par des milliers de "boîtes intelligentes" qui contiennent toute la complexité nécessaire à l'intérieur.

C'est un peu comme passer d'une carte dessinée point par point à une carte interactive où chaque région contient ses propres règles de géographie, rendant le voyage à la fois plus rapide et plus riche.

Résumé technique

1. Problématique et Contexte

Le domaine de la modélisation de l'apparence des scènes 3D est actuellement dominé par deux approches distinctes, chacune présentant des compromis majeurs :

• Les Champs de Rayonnement Neuraux (NeRF) : Ces modèles (comme NeRF, InstantNGP) offrent une expressivité exceptionnelle pour encoder des champs de rayonnement complexes. Cependant, leur rendu repose sur le marche de rayons (ray marching), qui nécessite l'évaluation coûteuse d'intégrales le long de chaque rayon de vue via des méthodes de quadrature. Cela rend le rendu lent et difficilement compatible avec le temps réel.
• Les Méthodes à Primitives (Splatting) : Des méthodes comme le 3D Gaussian Splatting (3DGS) utilisent un mélange de primitives volumétriques simples (gaussiennes 3D). Leur force réside dans l'efficacité du rendu par splatting : les primitives sont projetées analytiquement sur le plan image sous forme de noyaux 2D, permettant un rendu en temps réel. Cependant, leur expressivité est limitée par la forme simple des primitives (ellipsoïdes gaussiens), ce qui oblige à utiliser un très grand nombre de primitives (souvent des millions) et de paramètres pour capturer des géométries complexes, augmentant ainsi la consommation mémoire.

Le défi central : Comment concilier l'expressivité des modèles neuronaux avec l'efficacité du rendu par splatting, sans recourir au coûteux marche de rayons ni à une explosion du nombre de primitives ?

2. Méthodologie : Les Primitives Neuronales Splattables

Les auteurs proposent une nouvelle représentation volumétrique appelée primitives neuronales splattables. L'idée centrale est de remplacer la densité analytique simple d'une primitive (comme une gaussienne) par un champ de densité neuronale borné, tout en conservant la capacité de calculer une intégrale de ligne exacte pour le splatting.

A. Représentation de la Primitive

Chaque primitive $P_i$ est définie par :

1. Une borne spatiale : Un ellipsoïde $B$ défini par un centre, une échelle et une rotation (quaternion).
2. Un champ de densité neuronale : À l'intérieur de cet ellipsoïde, la densité $\sigma(x)$ n'est pas une fonction analytique simple, mais paramétrée par un réseau de neurones peu profond (shallow network) à une couche cachée avec des activations périodiques (SIREN).
   • Formule : $\sigma(x) = f_\sigma(\frac{x - x_B}{\|s_B\|_\infty})$
   • Architecture : $f_\sigma(x) = W_2 (\cos(\omega_0 (W_1 x + b_1))) + b_2$.
   • Cette structure permet d'interpréter le réseau comme une série de Fourier, offrant une grande flexibilité pour modéliser des formes complexes à l'intérieur d'un seul ellipsoïde.

B. Rendu et Intégration Analytique

La clé de l'efficacité réside dans la capacité à intégrer ce champ neuronal le long d'un rayon de vue sans échantillonnage (ray marching).

• Grâce aux propriétés mathématiques des réseaux à activation périodique (SIREN), il est possible de dériver une primitive analytique exacte (antidérivée) pour l'intégrale de la densité le long d'un rayon.
• L'intégrale de densité $\hat{\alpha}$ entre les points d'entrée et de sortie de l'ellipsoïde est calculée en fermé (closed-form) :
  $$\hat{\alpha} = S(t_{out}) - S(t_{in})$$
  où $S(t)$ est l'antidérivée calculée directement à partir des poids du réseau ($W_1, W_2, b_1, b_2$) et de la direction du rayon.
• Cela permet de calculer le noyau de splatting (opacité 2D) exactement, sans approximation affine ni marche de rayons, garantissant une précision perspective.

C. Gestion de la Population et Entraînement

• Initialisation : Les poids sont initialisés selon la méthode SIREN pour une stabilité.
• Contrôle de population : Contrairement au 3DGS qui utilise les gradients de la position écran, cette méthode utilise la magnitude des gradients des poids du réseau pour décider de la duplication ou de l'élagage des primitives.
• Régularisation géométrique : Une pénalité est ajoutée pour éviter les ellipsoïdes trop anisotropes (allongés), stabilisant l'optimisation.

3. Contributions Clés

1. Taxonomie et Brèche Conceptuelle : Identification claire de la dichotomie entre les méthodes neurales (expressives mais lentes) et les méthodes à primitives (rapides mais peu expressives), et proposition d'une voie de synthèse.
2. Nouvelle Représentation Volumétrique : Introduction des primitives neuronales splattables, qui combinent la flexibilité des réseaux de neurones avec l'efficacité du splatting grâce à une intégration analytique exacte.
3. Efficacité et Expressivité Simultanées : Démonstration qu'il est possible d'obtenir une qualité de rendu comparable au 3DGS tout en utilisant 10 fois moins de primitives et 6 fois moins de paramètres.
4. Rendu Temps Réel : La méthode atteint des vitesses de rendu en temps réel (plus de 100 FPS) sur des GPU modernes, éliminant le besoin de marche de rayons coûteux.

4. Résultats Expérimentaux

Les évaluations ont été menées sur des datasets synthétiques (Synthetic NeRF) et réels (Mip-NeRF360, Tanks & Temples, Deep Blending).

• Qualité vs Efficacité :
  • Sur les benchmarks, la méthode atteint des métriques (PSNR, SSIM, LPIPS) comparables au 3DGS.
  • Réduction de ressources : Elle utilise environ 10x moins de primitives et 6x moins de paramètres pour atteindre une qualité équivalente. Par exemple, pour le dataset "Ficus", une seule primitive neuronale suffit à reconstruire une feuille entière, là où des centaines de gaussiennes seraient nécessaires.
• Expressivité Géométrique : Les primitives neuronales peuvent capturer des structures complexes (manches courbes, coupes nettes) avec très peu de primitives, là où les gaussiennes échouent en raison de leur symétrie et de leurs frontières douces.
• Vitesse : Bien que le calcul par primitive soit plus lourd (environ 2.5x plus lent par primitive que le 3DGS), la réduction drastique du nombre de primitives nécessaire permet un rendu global en temps réel (>100 FPS).
• Mémoire : La taille mémoire est considérablement réduite (ex: 84 MB contre 350 MB pour une scène donnée dans les comparaisons), rendant la méthode plus adaptée aux dispositifs à ressources limitées.

5. Signification et Impact

Ce travail représente une avancée significative dans le domaine de la synthèse de vues nouvelles (Novel View Synthesis) :

• Démystification du compromis : Il prouve que l'expressivité neuronale et l'efficacité du splatting ne sont pas mutuellement exclusives.
• Nouvelle voie pour le rendu 3D : En rendant le noyau volumétrique lui-même "neural" plutôt que d'ajouter des réseaux neuronaux à des gaussiennes, les auteurs ouvrent la porte à des primitives plus riches et plus compactes.
• Applications potentielles : La méthode est compatible avec des tâches avancées comme la synthèse de vues dynamiques (en ajoutant une dimension temporelle au réseau) et le rééclairage (relighting), comme démontré dans les annexes.

En résumé, "Splat the Net" propose une solution élégante qui utilise les mathématiques des réseaux neuronaux peu profonds pour transformer le problème d'intégration volumétrique en un calcul analytique, permettant ainsi de bénéficier du meilleur des deux mondes : la précision des modèles neuronaux et la rapidité du splatting.