DARB-Splatting: Generalizing Splatting with Decaying Anisotropic Radial Basis Functions

Ce papier présente DARB-Splatting, une méthode de reconstruction 3D qui généralise le splatting en utilisant des fonctions de base radiales anisotropes à décroissance (DARBF) pour approximer l'intégration fermée des gaussiennes, permettant ainsi d'obtenir des performances de rendu comparables tout en élargissant le spectre des noyaux de reconstruction au-delà de la famille exponentielle.

L'essentiel

🎨 Le Problème : Peindre la réalité avec des "Gouttes de Peinture"

Imaginez que vous voulez recréer un objet 3D (comme une voiture ou un arbre) à partir de simples photos. Pour cela, les ordinateurs utilisent une technique appelée "Splatting".

Imaginez que vous lancez des milliers de petites gouttes de peinture dans l'espace pour former l'objet.

• Dans la méthode actuelle la plus populaire (appelée 3D Gaussian Splatting), ces gouttes de peinture sont des Gaussiennes.
• Qu'est-ce qu'une Gaussienne ? C'est une forme mathématique en cloche, très douce, qui ressemble à une montagne de neige parfaite. Elle s'étale doucement vers l'infini. C'est très pratique pour les mathématiciens car elle est facile à calculer et à projeter sur un écran 2D (comme une photo).

Le problème ?
Ces gouttes de "neige" (Gaussiennes) sont un peu inefficaces. Elles s'étalent trop loin, ce qui oblige l'ordinateur à utiliser des millions de gouttes pour couvrir une surface, ce qui prend beaucoup de mémoire et de temps de calcul. De plus, elles sont toutes obligées d'avoir cette forme de "montagne de neige".

---

💡 La Solution : DARB-Splatting (Changer la forme des gouttes)

Les auteurs de cet article se sont posé une question simple : "Et si on n'utilisait pas que des montagnes de neige ?"

Ils proposent d'utiliser d'autres formes de gouttes, qu'ils appellent DARBF (Fonctions Radiales Anisotropes Décroissantes). Pour faire simple, ce sont des formes mathématiques différentes qui s'éteignent plus vite ou ont une forme plus intéressante.

Voici les analogies pour comprendre les nouvelles formes :

1. La Gaussienne (L'ancienne méthode) : C'est comme une montagne de neige. Elle a un sommet pointu et ses pentes descendent doucement jusqu'à l'horizon. Pour couvrir une grande zone, il faut beaucoup de montagnes qui se chevauchent.
2. Le "Demi-Cosinus" (La nouvelle star) : Imaginez une dôme de tente ou une voûte. Elle monte, reste plate un moment, puis redescend.
   • L'avantage : Cette forme est plus "large" au sommet. Une seule goutte de cette forme peut couvrir la même surface qu'une montagne de neige, mais avec moins de gouttes au total.
   • Résultat : Moins de gouttes = Moins de mémoire utilisée et plus rapide à calculer.
3. Le "Sinc" (Le disque de vinyle) : Imaginez une forme qui oscille un peu comme les sillons d'un disque, mais qui s'arrête net. C'est très précis pour les détails fins.
4. Le "Parabolique" (Le bol) : Une forme en creux qui s'arrête brusquement.

---

🚀 Pourquoi c'est révolutionnaire ? (Les avantages concrets)

L'article montre que changer la forme de ces "gouttes" apporte des bénéfices incroyables :

• 🏎️ Plus rapide (Vitesse de formation) :
  Avec la forme "Demi-Cosinus" (la tente), l'ordinateur apprend à reconstruire la scène 34 % plus vite. C'est comme si vous pouviez peindre un tableau en moitié moins de temps parce que votre pinceau couvre plus de surface d'un coup.
• 💾 Moins lourd (Économie de mémoire) :
  Avec d'autres formes comme l'"Inverse Multiquadric", on utilise 15 % à 45 % moins de mémoire. C'est comme passer d'un camion de déménagement rempli à ras bord à un petit fourgon, tout en transportant le même meuble.
• 🎨 Même qualité (ou meilleure) :
  Le plus surprenant, c'est que la qualité de l'image finale (la netteté, les couleurs) reste identique, voire meilleure pour certains détails. On ne perd rien en qualité, on gagne juste en efficacité.

---

🛠️ Comment ils ont fait ? (Le secret technique simplifié)

Le gros problème avec ces nouvelles formes, c'est qu'elles sont difficiles à projeter sur un écran (transformer le 3D en 2D). Les Gaussiennes avaient un "truc" mathématique magique pour faire ça facilement.

Les auteurs ont inventé un facteur de correction (un petit ajustement mathématique, noté $\psi$).

• L'analogie : Imaginez que vous essayez de projeter l'ombre d'une tente (la nouvelle forme) sur un mur. L'ombre n'est pas parfaite comme celle d'une montagne. Ils ont créé un "filtre" ou un "correcteur" qui ajuste l'ombre pour qu'elle soit parfaite, sans avoir à refaire tous les calculs compliqués à chaque fois.

---

🌍 En résumé

Imaginez que vous construisez un mur avec des briques.

• Avant (3DGS) : Tout le monde utilisait uniquement des briques rectangulaires en forme de montagne (Gaussiennes). C'était bien, mais il en fallait des millions pour couvrir un grand mur, et c'était lent.
• Maintenant (DARB-Splatting) : Les auteurs disent : "Utilisons des briques en forme de dôme, de bol ou de tente !"
  • Ces nouvelles briques s'empilent mieux.
  • Il en faut moins pour faire le même mur.
  • Le mur est construit plus vite.
  • Et le mur est tout aussi solide (et parfois même plus beau).

Conclusion : Cette recherche ouvre la porte à des applications 3D plus légères et plus rapides, idéales pour la réalité virtuelle, les jeux vidéo ou l'impression 3D sur mobile, sans sacrifier la qualité des images.

Résumé technique

1. Problématique

Les méthodes de reconstruction 3D basées sur le "splatting", notamment le 3D Gaussian Splatting (3DGS), ont révolutionné la synthèse de vues nouvelles grâce à leur rendu en temps réel et leur haute qualité. Cependant, ces méthodes reposent presque exclusivement sur des fonctions de la famille exponentielle (principalement la fonction Gaussienne) comme noyaux de reconstruction.

Cette restriction présente plusieurs limites :

• Exploration limitée : Le champ des possibles est restreint aux variations de la famille exponentielle, laissant sous-exploité l'usage d'autres noyaux de reconstruction potentiels.
• Intégration coûteuse : La raison principale de cette restriction est la difficulté d'intégrer analytiquement des fonctions non-gaussiennes d'un espace 3D vers une projection 2D. La fonction Gaussienne possède une propriété unique : son intégration le long d'un axe produit une autre Gaussienne, permettant un calcul de covariance 2D simple (en ignorant simplement la troisième ligne/colonne de la matrice 3x3).
• Efficacité : Bien que les Gaussiennes soient efficaces, d'autres fonctions (comme celles utilisées en compression JPEG ou dans les réseaux de neurones implicites) pourraient offrir de meilleures performances en termes de vitesse d'entraînement ou de consommation mémoire, mais elles sont actuellement inutilisables dans le pipeline de splatting standard.

2. Méthodologie : DARB-Splatting

Les auteurs proposent une généralisation du splatting en introduisant une nouvelle classe de fonctions : les Fonctions de Base Radiales Anisotropes Décroissantes (DARBFs - Decaying Anisotropic Radial Basis Functions).

A. Définition des DARBFs

Les DARBFs sont des fonctions non-négatives dépendant de la distance de Mahalanobis ($d_M$) entre un point et le centre du noyau, pondérée par une matrice de covariance. Contrairement aux noyaux isotropes, elles capturent les caractéristiques anisotropes (directionnelles) des données 3D.
La forme générale est :
$$K(\mathbf{x}; \boldsymbol{\mu}, \mathbf{\Sigma}) = F(d_M(\mathbf{x}; \boldsymbol{\mu}, \mathbf{\Sigma}))$$
où $F$ est un profil radial décroissant et différentiable.

Les auteurs testent plusieurs noyaux spécifiques :

• Cosinus demi-onde (Half-cosine)
• Cosinus relevé (Raised cosine)
• Sinc modulaire
• Inverse Multi-quadrique (Inverse Multiquadric)
• Parabole

B. Le défi de la projection et la solution (Facteur de Correction $\psi$)

Le problème majeur est que, contrairement aux Gaussiennes, l'intégration marginale d'une DARBF 3D le long d'un axe ne produit généralement pas une forme fermée équivalente en 2D.
Pour contourner cela et maintenir l'efficacité du pipeline 3DGS, les auteurs introduisent un facteur de correction scalaire ($\psi$) :

1. Hypothèse : La covariance 3D ($\Sigma'$) projetée dans le repère caméra peut être approximée pour obtenir la covariance 2D ($\Sigma'_{2\times2}$) en appliquant un facteur d'échelle à la sous-matrice 2x2 standard.
2. Calcul de $\psi$ : Au lieu de calculer une intégration coûteuse à chaque itération, les auteurs ont utilisé des simulations de Monte Carlo et une régression (via un MLP simplifié en une constante scalaire) pour déterminer un facteur $\psi$ spécifique à chaque type de noyau.
3. Application : La covariance 2D utilisée pour le rendu est calculée comme : $\Sigma'_{2\times2} = \psi \cdot \text{submatrix}(\Sigma')$.

C. Implémentation

• Différentiabilité : Les auteurs ont dérivé analytiquement les gradients pour chaque noyau DARBF afin de permettre la rétropropagation (backpropagation) dans le rasteriseur CUDA.
• Contraintes de domaine : Pour éviter les effets de bord indésirables (comme les lobes secondaires des fonctions sinus/sinc), des limites strictes sont appliquées sur la distance de Mahalanobis pour ne conserver que le lobe principal décroissant.

3. Contributions Clés

1. Généralisation du Splatting : Introduction de la classe DARBF comme remplacement "plug-and-play" des noyaux gaussiens, étendant le splatting au-delà de la famille exponentielle.
2. Efficacité Computationnelle : Démonstration que certains noyaux (notamment le Half-cosine) permettent une convergence plus rapide (jusqu'à 34% de gain de temps) et une réduction significative de l'empreinte mémoire (jusqu'à 15-45% pour l'Inverse Multiquadric).
3. Qualité Visuelle : Maintien d'une qualité de rendu comparable (PSNR, SSIM, LPIPS) aux méthodes de l'état de l'art (3DGS), voire une légère amélioration dans certains cas (ex: Raised Cosine pour les détails fins).
4. Outils Open Source : Fourniture de codes CUDA modifiés pour chaque noyau, facilitant l'adoption et la recherche future.

4. Résultats Expérimentaux

Les expériences ont été menées sur les datasets standards (Mip-NeRF 360, Tanks & Temples, Deep Blending) en utilisant un GPU RTX 4090.

• Performance d'entraînement :
  • Le noyau Half-cosine réduit le temps d'entraînement de ~15% en moyenne par rapport au 3DGS mis à jour, grâce à une convergence plus rapide et un nombre inférieur de primitives nécessaires pour couvrir la même opacité.
  • Le noyau Inverse Multiquadric offre la meilleure économie de mémoire (réduction de ~45%), car ses primitives s'étendent sur une zone plus large avec une opacité plus élevée, nécessitant moins de points pour reconstruire la scène.
• Qualité de reconstruction :
  • Les métriques PSNR, SSIM et LPIPS sont globalement à parité avec le 3DGS.
  • Le Raised Cosine montre une légère amélioration dans la reconstruction de détails fins (ex: boutons, textures) par rapport aux Gaussiennes, qui peuvent parfois créer des artefacts "flous" ou "pointus".
• Analyse des noyaux :
  • Les noyaux à pic "plat" (comme le Half-cosine) sont plus efficaces pour les grandes scènes et la réduction de mémoire.
  • Les noyaux à pic "aigu" (Gaussienne, Raised Cosine) sont préférés pour les scènes nécessitant une grande précision géométrique.

5. Signification et Impact

Ce travail remet en question le dogme selon lequel le splatting 3D doit être limité aux fonctions gaussiennes. En prouvant que des fonctions non-exponentielles peuvent être intégrées efficacement dans un pipeline de rendu différentiable grâce à des approximations intelligentes (facteur $\psi$), l'article ouvre de nouvelles voies pour l'optimisation des scènes 3D.

L'impact principal réside dans la flexibilité : les utilisateurs peuvent désormais choisir le noyau de reconstruction en fonction de leurs contraintes spécifiques (vitesse, mémoire, ou qualité de détail) sans sacrifier la qualité globale. Cela rend la technologie 3DGS plus adaptée aux applications industrielles où les ressources de calcul et la mémoire sont des facteurs critiques.