Résumé Technique : Voronoï Sphérique

Énoncé du Problème

Les méthodes de champs de radiance, en particulier le Splatting Gaussien 3D (3DGS), ont connu un succès remarquable dans la synthèse de nouvelles vues. Cependant, leur modélisation de l'apparence dépendante de la vue repose souvent sur des Harmoniques Sphériques (SH). Bien que les SH soient efficaces sur le plan computationnel et faciles à optimiser grâce à leur support global et leur orthogonalité, elles souffrent de limitations fondamentales :

1. Échec des Hautes Fréquences : Les SH peinent à représenter des signaux haute fréquence, tels que les reflets spéculaires nets (éclats), sans nécessiter un nombre prohibitif de coefficients.
2. Artéfacts : Tenter de reconstruire des fonctions discontinues ou nettes avec des SH conduit à des artéfacts de réverbération de Gibbs.
3. Réflexions Spéculaires : Les SH échouent fondamentalement à capturer les réflexions spéculaires, qui sont essentielles pour des surfaces brillantes réalistes.

Les représentations explicites alternatives, telles que les Gaussiennes Sphériques (SG) et les Bêtas Sphériques (SB), offrent une meilleure localisation et peuvent modéliser des discontinuités. Cependant, elles introduisent une complexité d'optimisation significative. Leur support compact entraîne des gradients instables, une sensibilité à l'initialisation et une tendance à converger vers des minima locaux, les rendant difficiles à optimiser en pratique.

Méthodologie

Les auteurs proposent le Voronoï Sphérique (SV), une nouvelle représentation explicite pour les fonctions sphériques inspirée des diagrammes de Voronoï différentiables. SV partitionne le domaine directionnel en régions apprenables aux frontières lisses, offrant un cadre unifié pour la modélisation de l'apparence.

1. Représentation Voronoï Sphérique

Contrairement aux bases globales (SH) ou aux noyaux chevauchants (SG/SB), SV modélise une fonction $f(\omega)$ sur la sphère comme une combinaison pondérée de valeurs associées à $K$ sites directionnels $s_k$ :
$$f_{SV}(\omega) = \sum_{k=1}^{K} w_k(\omega; \tau_k) c_k$$
Les poids $w_k$ sont calculés via une fonction softmax :
$$w_k(\omega; \tau) = \frac{\exp(\tau_k s_k \cdot \omega)}{\sum_{k'} \exp(\tau_{k'} s_{k'} \cdot \omega)}$$

• Paramètres : Chaque site possède une direction $s_k$, une valeur $c_k$ et un paramètre de température $\tau_k$.
• Adaptativité : La température $\tau$ contrôle la netteté du partitionnement. Un $\tau$ faible produit des transitions lisses, tandis qu'un $\tau$ élevé approche une tessellation Voronoï dure. Cela permet à SV de représenter à la fois un éclairage diffus lisse et des lobes spéculaires nets.
• Stabilité de l'Optimisation : La formulation softmax assure des gradients bien définis pour tous les sites, évitant la « compétition » et les mises à jour mal conditionnées observées dans SG et SB lorsque les lobes sont mal alignés.

2. Application aux Champs de Radiance

Les auteurs appliquent SV dans deux contextes distincts :

A. Paramétrisation de la Direction de Vue (Apparence Diffuse)
Dans les pipelines de champs de radiance standards, SV remplace la représentation de la direction de vue (généralement SH). Chaque primitive gaussienne est équipée de sites SV et de valeurs apprenables. Cela fournit une base plus expressive pour la couleur dépendante de la vue que les SH d'ordre faible, améliorant la qualité de reconstruction pour les surfaces diffuses et modérément brillantes sans nécessiter de décodeurs neuronaux.

B. Paramétrisation Basée sur la Réflexion (Apparence Spéculaire)
Pour pallier l'échec des SH dans la modélisation des réflexions, les auteurs étendent SV pour gérer des réflexions variant spatialement en utilisant des Sondes Lumineuses Apprenables.

• Pipeline de Rendu Différé : S'appuyant sur 2DGS, la méthode sépare la géométrie et l'éclairage. Un passage géométrique rend des tampons pour la position, les normales, la rugosité et la couleur diffuse.
• Sondes Lumineuses : Un ensemble de sondes distribuées spatialement est appris dans toute la scène. Chaque sonde encode un champ de réflexion local sous forme d'une fonction SV explicite, interrogée dans la direction de vue réfléchie $\omega_r$.
• Interpolation Spatiale : Pour un point de surface, le modèle interroge les $k$ sondes les plus proches et interpole leurs contributions SV en fonction de l'inverse de la distance.
• Contrôle de la Rugosité : La rugosité de surface $R$ module la température SV $\tau$ ($\tau = (1-R)\tau_{max} + R\tau_{min}$). Une faible rugosité (surfaces brillantes) résulte en un $\tau$ élevé (réflexions nettes), tandis qu'une forte rugosité (surfaces diffuses) résulte en un $\tau$ faible (lobes larges).
• Champ Lointain vs Champ Proche : La couleur spéculaire finale est un mélange d'une carte cubique apprenable de champ lointain (éclairage distant) et de l'interpolation de sondes de champ proche (inter-réflexions locales).

3. Accélération

Pour atténuer le coût computationnel de l'évaluation de milliers de sites SV par pixel, les auteurs introduisent un schéma de partitionnement basé sur une carte cubique. La sphère est discrétisée en une carte cubique de basse résolution, où chaque texel se voit attribuer à l'avance un petit sous-ensemble de sites candidats. À l'exécution, le softmax est calculé uniquement sur cet ensemble local de candidats, réduisant la complexité de $O(K)$ à $O(|S(t)|)$.

Contributions Clés

1. Représentation Voronoï Sphérique : Une nouvelle représentation explicite pour les fonctions sphériques basée sur un partitionnement Voronoï doux différentiable. Elle surpasse la limitation de bande des SH et l'instabilité d'optimisation des SG/SB.
2. Modélisation de la Radiance Directionnelle : L'application de SV à la radiance dépendante de la vue dans le Splatting Gaussien, démontrant des améliorations constantes de la qualité de reconstruction par rapport aux bases sphériques standards sur plusieurs benchmarks.
3. Modélisation des Réflexions : Une formulation entièrement explicite et différentiable pour les réflexions variant spatialement utilisant des Sondes Lumineuses Voronoï. Cela atteint des résultats de l'état de l'art sur les benchmarks de réflexion sans dépendre de décodeurs neuronaux implicites.

Résultats Expérimentaux

L'article évalue SV sur des ensembles de données synthétiques et réels :

• Modélisation de la Radiance (Direction de Vue) : Sur des benchmarks incluant Mip-NeRF 360, NeRF-Synthetic, DeepBlending et Tanks&Temples, SV surpasse systématiquement SH, SG, SB et même la forte base de référence neuronale Zip-NeRF en termes de PSNR, SSIM et LPIPS.
• Modélisation des Réflexions : Sur des ensembles de données réfléchissants (Ref-NeRF, GlossySynthetic, Ref-Real), la méthode basée sur SV atteint des performances de l'état de l'art. Elle dépasse Ref-GS (qui utilise un décodeur MLP pour les réflexions de champ proche) sur Ref-NeRF et GlossySynthetic, et reste compétitive sur Ref-Real.
• Études d'Ablation :
  • SV produit systématiquement une précision de reconstruction supérieure à SG, SB et aux sondes basées sur des cartes cubiques lorsque le nombre de paramètres est fixe.
  • La méthode maintient des vitesses de rendu en temps réel (0,45× la vitesse du 3DGS standard), ce qui est plus rapide que d'autres méthodes de modélisation des réflexions comme Ref-GS.
  • Le temps d'entraînement est compétitif (2,43× 3DGS), nettement inférieur à des formulations lourdes comme GaussianShader.

Importance

L'article soutient que des représentations explicites soigneusement conçues peuvent servir d'alternatives puissantes et efficaces aux modèles d'apparence neuronaux. En tirant parti de la décomposition adaptative de la sphère et du comportement d'optimisation stable du Voronoï Sphérique, la méthode permet des effets dépendants de la vue de haute qualité et des réflexions spéculaires tout en maintenant l'interprétabilité et les performances de rendu pratiques. Ce travail démontre que des changements fondamentaux dans la manière dont la composante directionnelle des champs de radiance est modélisée sont nécessaires pour surmonter le plateau de précision photométrique et l'incapacité à reproduire des surfaces brillantes complexes.