Résumé Technique : Floating Radiance Networks (FlaRe)

Énoncé du Problème

Les avancées récentes dans les représentations de scènes neuronales ont permis d'atteindre une synthèse de vues nouvelles photoréalistes, mais un compromis persistant subsiste entre l'expressivité des champs neuronaux continus et l'efficacité, l'adressabilité et la compatibilité graphique des géométries explicites.

• Les Champs de Radiance Neuronaux (NeRFs) modélisent les scènes comme des fonctions volumétriques continues, atteignant une haute fidélité visuelle, mais souffrent d'un lancer de rayons (ray marching) dense et coûteux ainsi que d'une intégration difficile avec les pipelines graphiques conventionnels.
• Le 3D Gaussian Splatting (3DGS) permet un rendu en temps réel via des primitives anisotropes explicites et une rasterisation. Cependant, ses coefficients d'apparence par primitive ne définissent pas une fonction de radiance spatiale continue sur l'empreinte de chaque primitive, ce qui limite sa capacité à modéliser des effets dépendants de la vue complexes, tels que les réflexions et les réfractions, sans extensions spécialisées.
• Les Méthodes Hybrides Existantes combinent souvent des caractéristiques neurales avec des structures explicites, mais restent liées à des procédures de rendu spécifiques, agrègent les caractéristiques à travers les éléments de la scène, ou nécessitent des extensions spécifiques aux tâches pour l'édition, le lancer de rayons ou l'extraction de géométrie.

Le défi central consiste à combiner une radiance localement continue avec une géométrie adressable de manière indépendante et traçable par lancer de rayons, afin de créer un modèle de scène unifié qui comble le fossé entre le rendu neural et les graphismes conventionnels.

Méthodologie : Floating Radiance Networks (FlaRe)

FlaRe introduit une représentation de scène neurale construite à partir de primitives gaussiennes généralisées planaires flottantes, où chaque primitive porte une fonction de radiance neurale locale compacte.

1. Représentation de la Scène

La scène est représentée par un ensemble de $N$ primitives gaussiennes généralisées planaires anisotropes. Chaque primitive $i$ est paramétrée par :

• Attributs Géométriques : Un centre entraînable $\mu_i$, une matrice de covariance singulière $\Sigma_i$ (dérivée d'un quaternion de rotation $q_i$ et d'une échelle $s_i$), et un paramètre de forme $\kappa_i$.
• Attributs d'Apparence : Une couleur constante indépendante de la vue $c_{const,i}$, une opacité constante $\alpha_{const,i}$, et un descripteur latent entraînable $z_i \in \mathbb{R}^{96}$.
• Noyau (Kernel) : L'opacité est modulée par un Noyau Gaussien Généralisé Isotrope Planaire, défini par :
  $$N(\mu, \Sigma, \kappa)(u, v) = \exp\left(-\frac{(u^2 + v^2)^\kappa}{2^\kappa}\right)$$
  Cette formulation permet des frontières plus nettes et des surfaces à haute courbure par rapport aux noyaux gausiens classiques. Crucialement, la nature isotrope du noyau dans les coordonnées normalisées permet l'utilisation d'un polygone canonique unique pour toutes les primitives, quel que soit le paramètre de forme $\kappa$, simplifiant ainsi les tests d'intersection accélérés par le matériel.

2. Auto-Décodeur Global Partagé

Contrairement aux méthodes qui stockent des couleurs statiques par primitive, FlaRe prédit une couleur et une opacité spatialement variables et dépendantes de la vue en utilisant un auto-décodeur MLP léger partagé.

• Entrée : Le décodeur prend le descripteur latent par primitive $z_i$, les coordonnées de surface locales $(u, v)$, et la direction de vue $\vec{d}$.
• Encodage :
  • Encodage par LUT : Les coordonnées locales $(u, v)$ sont mappées via un encodage par table de correspondance (LUT) multirésolution sans collision. Cela remplace les recherches dans les grilles de hachage (hash-grids) de haute dimension par une correspondance directe un pour un, réduisant la surcharge tout en maintenant une équivalence fonctionnelle avec les encodages basés sur le hachage.
  • Encodage Positionnel : La direction de vue est encodée via un encodage positionnel standard.
• Sortie : Le réseau prédit $c_{MLP,i}$ (couleur) et $\alpha_{MLP,i}$ (opacité).
• Architecture : Un réseau léger avec deux couches cachées (activation Hardswish) et une couche de sortie se ramifiant en quatre canaux (trois ReLU, un Sigmoid).

3. Rendu et Lancer de Rayons (Ray-Tracing)

FlaRe est conçu pour le lancer de rayons accéléré par le matériel :

• Intersection : Les rayons interceptent les proxies de polygones canoniques des primitives en utilisant l'intersection rayon-triangle standard du GPU.
• Composition : Pour chaque rayon, les intersections ordonnées sont collectées. La couleur finale du pixel est calculée via la composition alpha :
  $$c = \sum_{i=1}^{|G(r)|} c_{const,i} c_{MLP,i} \alpha_i \prod_{j<i} (1 - \alpha_j)$$
  où l'opacité effective $\alpha_i$ est modulée par la valeur du noyau gaussien généralisé.
• Capacités Récursives : Parce que la représentation est explicitement traçable par lancer de rayons, elle supporte nativement les rayons secondaires pour les réflexions, les réfractions, la transparence et les ombres sans réentraînement ni conversion vers un autre format.

4. Édition et Manipulation

• Édition de la Géométrie : Les primitives sont adressables individuellement. La déformation du maillage proxy permet une manipulation géométrique directe. Le système récupère les paramètres de Gauss mis à jour (centre, rotation, échelle) à partir de la géométrie déformée.
• Extraction de Maillage : La structure planaire explicite supporte l'extraction de maillage via la fusion TSDF (Champ de Distance Signée Tronquée), aidée par des régulariseurs de distorsion de profondeur et de cohérence des normales.
• Stylisation : L'édition d'apparence est effectuée directement dans l'espace des descripteurs appris ($z_i$), permettant un transfert de style guidé par l'image qui préserve la structure de la scène.

Contributions Clés

1. Représentation Unifiée : Introduction des Floating Radiance Networks, qui combine des primitives planaires explicites traçables par lancer de rayons avec des fonctions de radiance neurales locales continues.
2. Formulation Compacte : Une conception intégrant des descripteurs latents par primitive, un auto-décodeur partagé, un encodage LUT multirésolution sans collision et des proxies de maillage compatibles avec le matériel.
3. Capacités Polyvalentes : Démonstration du lancer de rayons récursif, de la déformation de primitives, de l'extraction de maillage et de la stylisation d'apparence, le tout au sein d'une seule représentation.

Résultats Expérimentaux

Les expériences ont été menées sur des benchmarks standards (Mip-NeRF 360, Tanks and Temples, Deep Blending) et comparées aux champs de radiance (RF), aux méthodes basées sur les Gaussiennes (GS) et aux champs neuraux explicites (ENF).

• Synthèse de Nouvelles Vues : FlaRe atteint une qualité compétitive, surpassant souvent 3DGS, 3DGRT et d'autres baselines ENF en termes de PSNR. Sur Mip-NeRF 360, il obtient le deuxième PSNR le plus élevé globalement. Sur Deep Blending, il domine le groupe ENF.
• Efficacité : FlaRe offre un excellent compromis qualité-efficacité. Il surpasse IRIS en qualité tout en utilisant nettement moins de mémoire et en permettant un rendu interactif. Il améliore les résultats de Radiance Meshes sur les deux benchmarks avec une utilisation de mémoire environ 12$\times$ inférieure.
• Fidélité Visuelle : Les résultats qualitatifs montrent que FlaRe reconstruit plus fidèlement les réflexions et les reflets spéculaires par rapport à 3DGS et Radiance Meshes, grâce à la prédiction continue de la radiance à chaque intersection rayon-primitive.
• Réduction de Primitives : Sous des budgets de réduction de primitives agressifs, FlaRe égale ou surpasse des baselines comme PUP-3DGS et LP-3DGS, indiquant que ses descripteurs neuraux locaux conservent une forte capacité d'apparence même avec moins de primitives.
• Capacités Graphiques : La méthode démontre avec succès le lancer de rayons récursif (réflexions/réfractions imbriquées), l'intégration transparente avec des maillages conventionnels et l'extraction directe de maillage.

Signification et Revendications

L'article positionne FlaRe comme une étape vers des représentations de scènes unifiées qui n'ont pas besoin d'être spécialisées pour un seul paradigme de rendu. En apportant le rendu neural de haute fidélité, le lancer de rayons récursif, la manipulation géométrique et l'édition d'apparence dans un seul modèle, FlaRe répond à la fragmentation de la recherche actuelle sur les représentations de scènes neurales.

Les auteurs affirment que cette approche comble le fossé entre le rendu neural et les graphismes conventionnels, permettant :

• Requêtes Directes par Lancer de Rayons : La représentation elle-même est directement interrogeable, éliminant le besoin de modèles de scène distincts et spécialisés pour des effets comme les réflexions ou les ombres.
• Éditabilité : La structure explicite permet la déformation directe et l'extraction de maillage sans réentraînement.
• Compacité : L'utilisation de décodeurs partagés et de descripteurs compacts permet une reconstruction de haute qualité avec un ensemble de primitives plus restreint par rapport aux approches purement rasterisées ou volumétriques.

L'article reconnaît des limites, notant que l'ensemble fini de primitives planaires peut limiter la précision géométrique lointaine dans les scènes extérieures étendues et non bornées, et que l'entraînement ainsi que le rendu interactif nécessitent des GPU modernes dotés de capacités de lancer de rayons accélérées par le matériel.