Résumé Technique : Processus de Distance Signée Stochastiques (SSDP)

Énoncé du Problème

La reconstruction de surfaces multi-vues est un défi fondamental en vision par ordinateur, avec des applications allant de la création de contenu à la robotique. Bien que les Champs de Distance Signée (SDF) offrent une représentation implicite continue et indépendante de la résolution adaptée à cette tâche, leur optimisation via le rendu présente des difficultés significatives.

Le rendu de surface direct, qui cherche la première intersection rayon-surface et propage les gradients via la différenciation implicite, souffre d'une visibilité discontinue. Cela entraîne des gradients épars, nécessitant souvent une supervision supplémentaire de la silhouette (masques de premier plan) pour faciliter l'optimisation. Pour remédier à cela, des méthodes récentes comme NeuS et VolSDF ont introduit le rendu volumétrique basé sur les SDF. Ces approches associent les valeurs SDF à des coefficients d'atténuation locaux, permettant un rendu volumétrique différentiable sans supervision de silhouette.

Cependant, les formulations de rendu volumétrique existantes reposent sur une interprétation de transport exponentiel. Elles supposent que le taux de danger (probabilité d'intersection) en n'importe quel point peut être résumé par un coefficient d'atténuation local indépendant de l'historique de survie passé. Bien que valide pour les modèles de particules indépendantes (Poisson-Booléen), cette hypothèse échoue pour les solides opaques généraux présentant une géométrie spatialement corrélée, où la densité du temps de premier passage dépend de l'historique du chemin parcouru par le rayon. Par conséquent, les méthodes actuelles peuvent ne pas capturer pleinement la nature probabiliste des interactions rayon-surface dans les géométries complexes.

Méthodologie

Les auteurs proposent les Processus de Distance Signée Stochastiques (SSDP), un cadre qui reformule le rendu volumétrique basé sur les SDF comme un rendu de surface probabiliste.

1. Processus de Distance Signée Stochastiques (SSDP)

Au lieu de traiter le SDF comme un champ déterministe, le SSDP modélise le SDF le long de chaque rayon $r(t)$ comme un processus stochastique $S_r(t)$ :
$$S_r(t) = \mu_r(t) + R_r(t)$$

• $\mu_r(t)$ : Un champ moyen déterministe optimisé pour approximer le SDF.
• $R_r(t)$ : Un processus résiduel stochastique modélisé comme un processus d'Ornstein–Uhlenbeck (OU) non homogène dans le temps. Ce processus est paramétré par des champs neuronaux dépendants de la vue ($\kappa$ et $\tau$) pour capturer la dynamique stochastique propre à chaque rayon.

Cette formulation induit une distribution du temps de premier passage pour chaque rayon, où le temps de premier passage $H_r$ est défini comme le premier instant où le processus $S_r(t)$ traverse zéro (intersecte la surface).

2. Rendu de Surface Probabiliste

La couleur du pixel $C_r$ est modélisée comme une distribution de mélange induite par le temps de premier passage aléatoire $H_r$ :
$$f_{C_r}(c_r) = \mathbb{E}_{H_r}[f_{C_r|H_r}(c_r | H_r)]$$
L'espérance de la couleur est approximée en sommant sur des intervalles d'échantillonnage discrets $[t_i, t_{i+1}]$ :
$$f_{C_r}(c_r) \approx \sum_{i=0}^{N-1} f_{C_r|H_r}(c_r | t_i) P(t_i < H_r \leq t_{i+1}) + \text{Terme de Background}$$
Ici, $P(t_i < H_r \leq t_{i+1})$ représente la probabilité de premier passage (opacité) pour l'intervalle.

3. Dérivation de la Probabilité de Premier Passage

La contribution technique centrale est la dérivation de la probabilité de premier passage $P(B_i | A_i)$ pour chaque intervalle, où $A_i$ est l'événement que le rayon n'a pas intersecté la surface jusqu'à $t_i$, et $B_i$ est l'événement d'intersection dans $(t_i, t_{i+1}]$.

• Filtrage Bayésien : Les auteurs dérivent la distribution a posteriori de la valeur du SDF au point d'échantillonnage, conditionnée par le fait que le rayon a survécu (n'a pas intersecté) jusqu'à ce point. Cela implique de propager la distribution conditionnée par la survie via un filtrage bayésien.
• Probabilité de Passage à Zéro : La probabilité de traverser zéro dans un intervalle est décomposée en :
  1. Passage descendant ($B^\downarrow_i$) : Le rayon se termine à l'intérieur de la surface ($S_{i+1} \leq 0$).
  2. Passage ascendant ($B^\uparrow_i$) : Le rayon entre et sort de la surface au cours de l'intervalle.
     La probabilité de $B^\uparrow_i$ est approximée en utilisant le principe de réflexion appliqué à un pont brownien, dérivé du théorème de Dambis–Dubins–Schwarz.

4. Approximation de l'Absorption Négative

La formulation bayésienne complète nécessite un calcul séquentiel le long de chaque rayon, empêchant la parallélisation. Pour permettre un rendu parallèle efficace, les auteurs introduisent une approximation d'absorption négative. Celle-ci suppose qu'une fois que le processus SDF $S(t)$ devient négatif, il ne revient jamais à une valeur positive (pas de réversion de signe).

• Cela simplifie la condition de survie à $S_i > 0$ et la condition de traversée à $S_{i+1} \leq 0$.
• Cela élimine le besoin de filtrage bayésien séquentiel, permettant de paralléliser le calcul de l'opacité sur les échantillons, atteignant une efficacité comparable au rendu volumétrique standard.

5. Relation avec les Travaux Antérieurs

L'article démontre que NeuS apparaît comme un cas particulier de SSDP. Dans la limite où le processus OU devient parfaitement corrélé (variance nulle dans le noyau de transition), la formulation SSDP se réduit exactement à la formulation d'opacité de NeuS. Cela établit le SSDP comme une généralisation naturelle de NeuS qui prend en compte les structures de covariance par rayon.

Contributions Clés

1. Reformulation : L'article reformule le rendu volumétrique basé sur les SDF comme un rendu de surface probabiliste, modélisant les couleurs des pixels comme des distributions de mélange induites par les premières intersections rayon-surface aléatoires.
2. SSDP : Introduction des Processus de Distance Signée Stochastiques, modélisant le SDF le long des rayons comme des processus stochastiques pour induire des distributions de temps de premier passage.
3. Dérivation du Premier Passage : Dérivation des probabilités de premier passage pour les intervalles d'échantillonnage en utilisant le filtrage bayésien et le principe de réflexion, ainsi qu'une approximation pratique parallélisable.
4. Unification Théorique : Preuve que NeuS est un cas particulier de la formulation proposée.
5. Validation Empirique : Démonstration de l'amélioration de la reconstruction de surface et de la quantification de l'incertitude sur les jeux de données DTU et MobileBrick.

Résultats Expérimentaux

La méthode, implémentée sous le nom de SSPD-Facto (utilisant le schéma d'échantillonnage NeuS-Facto pour une comparaison équitable), a été évaluée par rapport à NeuS-Facto et OaV-Facto (Objects as Volumes).

• Reconstruction de Surface : Sur les jeux de données DTU et MobileBrick, SSDP-Facto surpasse systématiquement les bases de référence en distance de Chamfer (CD) sous les deux protocoles d'évaluation masqués (enveloppe visuelle) et non masqués (frustum de vue). Il réduit efficacement les surfaces parasites à l'extérieur de l'enveloppe visuelle.
• Quantification de l'Incertitude : SSDP-Facto obtient des performances supérieures en termes de Score de Probabilité Classé Continu (CRPS), d'Erreur Absolue Moyenne (MAE) et de Netteté (Sharpness), indiquant une distribution de temps de premier passage de meilleure qualité.
• Études d'Ablation :
  • Approximation d'Absorption Négative : Supprimer l'approximation (en utilisant le filtrage bayésien complet) améliore légèrement les métriques d'incertitude (ex: amélioration de ~0,1 mm du CRPS) mais double le temps d'entraînement. L'approximation a été jugée comme un biais inductif stable et efficace pour la reconstruction.
  • Fonction de Perte : L'utilisation directe de la perte de Log-Vraisemblance Négative Marginale (NLML) a optimisé l'objectif probabiliste, apportant des améliorations substantielles par rapport à la perte d'espérance utilisée dans les travaux précédents.

Signification et Revendications

L'article affirme qu'en s'éloignant de l'hypothèse restrictive du transport exponentiel (atténuation locale indépendante de l'historique) et en adoptant une perspective de premier passage pour la géométrie spatialement corrélée, le SSDP fournit un modèle probabiliste plus fidèle pour le rendu de surface.

Les auteurs déclarent que leur méthode améliore à la fois la précision de la reconstruction de surface et la quantification de l'incertitude par rapport aux bases de référence contrôlées. Ils soulignent que, bien que la formulation bayésienne complète offre une complétude théorique, l'approximation d'absorption négative constitue un compromis pratique, permettant un rendu parallèle efficace sans perte significative de qualité de reconstruction. Ce travail clarifie le lien théorique entre les méthodes de rendu volumétrique existantes et les processus stochastiques, positionnant le SSDP comme une généralisation de NeuS.