Learning Scene-Level Signed Directional Distance Function with Ellipsoidal Priors and Neural Residuals

1. Énoncé du problème

Le papier aborde les défis liés à la représentation de scènes 3D pour la reconstruction dense et le rendu différentiable. Les méthodes existantes font face à un compromis entre précision géométrique, efficacité de rendu et différentiabilité :

• Représentations explicites (maillages, nuages de points, voxels) : Discontinues et non différentiables, elles entravent l'optimisation de bout en bout et la synthèse de nouvelles vues.
• Représentations implicites (NeRF, SDF) :
  • NeRF / Gaussian Splatting : Excellents pour le rendu photométrique, mais souvent en difficulté pour une reconstruction géométrique précise sans supervision minutieuse. Ils nécessitent généralement une intégration le long des rayons, ce qui est coûteux en calcul.
  • SDF (Fonction de distance signée) : Fournit une géométrie précise mais nécessite un suivi de sphère itératif pour trouver les intersections de surface le long d'une direction spécifique. Ce processus est lent, accumule des erreurs et n'est pas intrinsèquement différentiable en une seule passe avant.
• Le fossé : Il existe un besoin pour une représentation qui prend en charge la prédiction de distance directionnelle différentiable en requête unique (comme la structure d'entrée de NeRF) tout en fournissant des valeurs de distance directes (comme le SDF) pour permettre une reconstruction géométrique efficace et une optimisation de la vue.

2. Méthodologie : Fonction de distance directionnelle signée (SDDF)

Les auteurs proposent une nouvelle représentation appelée Fonction de distance directionnelle signée (SDDF) et un cadre d'apprentissage hybride pour la modéliser.

A. Définition de la SDDF

Contrairement au SDF standard (qui trouve la distance la plus courte vers n'importe quel point de surface) ou aux fonctions de distance directionnelle (DDF) qui manquent souvent d'informations de signe, la SDDF proposée $f(p, v)$ prend une position $p$ et une direction de vue $v$ en entrée.

• Sortie : La distance signée de $p$ à la première intersection de surface le long du rayon $v$.
• Convention de signe : Positive si $p$ est dans l'espace libre, négative si $p$ est à l'intérieur d'un objet.
• Propriété clé : Elle satisfait une Équation eikonale directionnelle : $v^\top \nabla_p f(p, v) = -1$. Cela signifie que la distance diminue à un taux unitaire lorsque l'on se déplace le long du rayon vers la surface. Cette propriété permet de régulariser le modèle sans termes de perte explicites.

B. Architecture hybride explicite-implicite

Pour apprendre efficacement une SDDF au niveau de la scène et gérer les discontinuités (occlusions), les auteurs conçoisent un modèle hybride en deux étapes :

1. Réseau de prior basé sur des ellipsoïdes explicites ($P$) :

   • Objectif : Capturer la structure grossière de la scène et gérer les occlusions/discontinuités.
   • Mécanisme : La scène est approximée par un ensemble de $M$ ellipsoïdes apprenables. Le réseau calcule analytiquement la SDDF pour un rayon intersectant ces ellipsoïdes sous forme fermée.
   • Fusion : Pour une union d'ellipsoïdes, le prior sélectionne l'ellipsoïde intersecté le plus proche pour déterminer la distance, assurant ainsi que le modèle gère naturellement les occlusions.
   • Initialisation : Un algorithme spécialisé (Algorithme 2) initialise les ellipsoïdes en fusionnant des clusters K-means sur des surfaces planes (murs, sols) pour éviter la sur-segmentation, laissant ainsi plus d'ellipsoïdes pour les objets complexes.

2. Réseau de résidus neuronal implicite ($L$ et $R$) :

   • Objectif : Affiner le prior grossier pour capturer les détails géométriques fins.
   • Réseau de caractéristiques latentes ($L$) : Prend le point d'intersection $q$ (sur la surface de l'ellipsoïde), la direction de vue locale $v'$ et l'index de l'ellipsoïde en entrée. Il utilise un encodage polynomial (monômes de degré 2 de $q$ et $v'$) pour générer un vecteur de caractéristiques latentes $z$.
   • Décodeur de résidus ($R$) : Un Perceptron Multicouche (MLP) qui décode $z$ en un terme de correction $\delta f$.
   • Prédiction finale : $\hat{f}(p, v) = f_{prior}(p, v) + \delta f(p, v)$.

C. Entraînement et optimisation

• Fonction de perte : Utilise une somme pondérée de pertes de Huber pour les indicateurs d'intersection, les indicateurs de signe et les valeurs de distance. Des échantillons négatifs (points à l'intérieur des objets) sont augmentés pour garantir que les ellipsoïdes couvrent la scène.
• Différentiabilité : L'ensemble du pipeline, y compris la logique d'intersection des ellipsoïdes et le réseau de résidus, est différentiable. Cela permet une optimisation de point de vue basée sur le gradient (par exemple, planification de la prochaine meilleure vue) sans suivi de sphère itératif.

3. Contributions clés

1. Définition de la SDDF au niveau de la scène : Étend le concept de SDDF d'objets individuels à des scènes complexes et à grande échelle, gérant efficacement les occlusions et les changements de signe.
2. Modèle hybride explicite-implicite : Propose une architecture novatrice combinant des priors d'ellipsoïdes dérivés analytiquement (pour la structure grossière et la gestion des occlusions) avec des résidus neuronaux (pour les détails fins).
3. Garanties théoriques : Prouve que le modèle combiné satisfait l'équation eikonale directionnelle par construction, éliminant le besoin de pertes de régularisation supplémentaires.
4. Initialisation efficace : Développe un algorithme pour initialiser les ellipsoïdes qui approxime efficacement les surfaces planes, réduisant le nombre de paramètres nécessaires.
5. Optimisation de vue différentiable : Démontre la capacité à optimiser les trajectoires de caméra pour une couverture maximale et un chevauchement minimal en utilisant la SDDF différentiable.

4. Résultats expérimentaux

La méthode a été évaluée sur les ensembles de données Replica et Gibson (LiDAR synthétique et RGB-D) et ScanNet (RGB-D réel).

• Précision :
  • Atteint une erreur absolue moyenne (MAE) compétitive dans la prédiction de SDDF, comparable ou supérieure aux méthodes SDF et NeRF de l'état de l'art.
  • Surpasse RaDe-GS et Nerfacto en cohérence géométrique, en particulier dans les zones avec des observations éparses ou des frontières complexes.
  • Surpasse SDF-Instant-NGP dans la préservation des détails nets (par exemple, plantes, bords de chaise) que le suivi de sphère a tendance à lisser.
• Efficacité :
  • Vitesse d'inférence : Significativement plus rapide que le suivi de sphère basé sur SDF (1,5 fois plus rapide) et NeRF (4 fois plus rapide) car il ne nécessite qu'une seule passe avant.
  • Mémoire : Utilise considérablement moins de mémoire GPU (3,3 Go d'entraînement contre 18,7 Go pour RaDe-GS) grâce à un nombre inférieur de paramètres (2,7 M contre 113,7 M).
• Études d'ablation :
  • Échantillons négatifs : Cruciaux pour l'entraînement ; sans eux, les ellipsoïdes échouent à couvrir les objets, entraînant de grandes erreurs.
  • Encodage polynomial vs Fourier : L'encodage polynomial proposé généralise mieux à travers les scènes que les caractéristiques de Fourier, qui nécessitent un réglage d'hyperparamètres spécifique à la scène.
  • Initialisation : L'initialisation multi-ellipsoïdes proposée surpasse le K-means++ standard en gérant mieux les surfaces planes.

5. Importance

Ce travail comble le fossé entre la précision géométrique des SDF et l'efficacité des champs de radiance neuronaux.

• Fidélité géométrique : Il fournit une méthode robuste pour apprendre une géométrie 3D précise directement à partir de données de capteurs sans se fier uniquement à une supervision photométrique.
• Applications en temps réel : La nature en requête unique de la SDDF la rend hautement adaptée aux applications robotiques en temps réel, telles que la perception active, la navigation et l'optimisation de trajectoire, où des requêtes de distance différentiables sont nécessaires.
• Évolutivité : L'approche hybride permet de passer à l'échelle des scènes de grande taille avec des coûts de calcul inférieurs par rapport aux champs neuronaux denses ou aux méthodes de suivi itératif.

En résumé, le papier présente un cadre mathématiquement fondé, efficace et hautement précis pour la reconstruction de scènes 3D qui permet un raisonnement géométrique différentiable au niveau de la scène.