Technisches Resümee: Stochastic Signed Distance Processes (SSDP)

Problemstellung

Die Rekonstruktion von Oberflächen aus Multi-View-Daten ist eine grundlegende Herausforderung in der Computer Vision mit Anwendungen, die von der Inhaltserstellung bis hin zur Robotik reichen. Während Signed Distance Fields (SDFs) eine kontinuierliche, auflösungsunabhängige implizite Repräsentation bieten, die für diese Aufgabe geeignet ist, stellt deren Optimierung mittels Rendering eine erhebliche Schwierigkeit dar.

Das direkte Oberflächen-Rendering, welches den ersten Schnittpunkt zwischen Strahl und Oberfläche findet und Gradienten via impliziter Differenzierung propagiert, leidet unter diskontinuierlicher Sichtbarkeit. Dies führt zu spärlichen Gradienten, was oft zusätzliche Silhouetten-Supervision (Foreground-Masken) erforderlich macht, um die Optimierung zu erleichtern. Um dies zu adressieren, führten jüngere Methoden wie NeuS und VolSDF SDF-basiertes Volumen-Rendering ein. Diese Ansätze bilden SDF-Werte auf lokale Attenuationskoeffizienten ab, was ein differenzierbares Volumen-Rendering ohne Silhouetten-Supervision ermöglicht.

Die bestehenden Volumen-Rendering-Formulierungen beruhen jedoch auf einer exponentiellen Transport-Interpretation. Diese setzt voraus, dass die Hazard-Rate (Intersektionswahrscheinlichkeit) an jedem Punkt durch einen lokalen Attenuationskoeffizienten zusammengefasst werden kann, der unabhängig von der vorangegangenen Überlebensgeschichte ist. Dies ist zwar für unabhängige Partikelmodelle (Boolean-Poisson) gültig, versagt jedoch bei allgemeinen opaken Festkörpern mit räumlich korrelierter Geometrie, bei denen die First-Passage-Time-Dichte von der Historie des Pfades des Strahls abhängt. Folglich erfassen aktuelle Methoden möglicherweise die probabilistische Natur von Strahl-Oberflächen-Interaktionen in komplexen Geometrien nicht vollständig.

Methodik

Die Autoren schlagen Stochastic Signed Distance Processes (SSDP) vor, ein Framework, das SDF-basiertes Volumen-Rendering als probabilistisches Oberflächen-Rendering reformuliert.

1. Stochastic Signed Distance Processes (SSDP)

Anstatt das SDF als deterministisches Feld zu behandeln, modelliert SSDP das SDF entlang jedes Strahls $r(t)$ als stochastischen Prozess $S_r(t)$:
$$S_r(t) = \mu_r(t) + R_r(t)$$

• $\mu_r(t)$: Ein deterministisches Mittelfeld, das optimiert wird, um das SDF zu approximieren.
• $R_r(t)$: Ein stochastischer Residuenprozess, der als zeitinhomogener Ornstein–Uhlen–Prozess (OU-Prozess) modelliert wird. Dieser Prozess wird durch ansichtsabhängige neuronale Felder ($\kappa$ und $\tau$) parametrisiert, um die strahlweise stochastische Dynamik zu erfassen.

Diese Formulierung induziert eine First-Passage-Time-Verteilung für jeden Strahl, wobei die First-Passage-Time $H_r$ die erste Zeit ist, zu der der Prozess $S_r(t)$ die Nullstelle kreuzt (die Oberfläche schneidet).

2. Probabilistisches Oberflächen-Rendering

Die Pixelfarbe $C_r$ wird als Mischverteilung modelliert, die durch die zufällige First-Passage-Time $H_r$ induziert wird:
$$f_{C_r}(c_r) = \mathbb{E}_{H_r}[f_{C_r|H_r}(c_r | H_r)]$$
Die erwartete Farbe wird durch Summation über diskrete Abtastintervalle $[t_i, t_{i+1}]$ approximiert:
$$f_{C_r}(c_r) \approx \sum_{i=0}^{N-1} f_{C_r|H_r}(c_r | t_i) P(t_i < H_r \leq t_{i+1}) + \text{Background Term}$$
Hierbei repräsentiert $P(t_i < H_r \leq t_{i+1})$ die First-Passage-Wahrscheinlichkeit (Opazität) für das Intervall.

3. Ableitung der First-Passage-Wahrscheinlichkeit

Der zentrale technische Beitrag ist die Ableitung der First-Passage-Wahrscheinlichkeit $P(B_i | A_i)$ für jedes Intervall, wobei $A_i$ das Ereignis ist, dass der Strahl bis $t_i$ die Oberfläche noch nicht geschnitten hat, und $B_i$ das Ereignis eines Schnitts innerhalb von $(t_i, t_{i+1}]$ ist.

• Bayesianische Filterung: Die Autoren leiten die Posterior-Verteilung des SDF-Wertes am Abtastpunkt her, bedingt auf die Tatsache, dass der Strahl bis zu diesem Punkt "überlebt" hat (nicht geschnitten wurde). Dies beinhaltet die Propagation der überlebensbedingten Verteilung via Bayesianischer Filterung.
• Nulldurchgangswahrscheinlichkeit: Die Wahrscheinlichkeit eines Nulldurchgangs innerhalb eines Intervalls wird zerlegt in:
  1. Abwärtsgerichteter Durchgang ($B^\downarrow_i$): Der Strahl endet innerhalb der Oberfläche ($S_{i+1} \leq 0$).
  2. Aufwärtsgerichteter Durchgang ($B^\uparrow_i$): Der Strahl tritt in die Oberfläche ein und verlässt sie innerhalb des Intervalls wieder.
     Die Wahrscheinlichkeit von $B^\uparrow_i$ wird unter Verwendung des Reflexionsprinzips approximiert, das auf einer Brownian Bridge basiert, welche wiederum aus dem Dambis–Dubins–Schwarz-Theorem abgeleitet wurde.

4. Negative-Absorbing-Approximation

Die vollständige Bayesianische Formulierung erfordert eine sequentielle Berechnung entlang jedes Strahls, was eine Parallelisierung verhindert. Um ein effizientes paralleles Rendering zu ermöglichen, führen die Autoren eine Negative-Absorbing-Approximation ein. Diese nimmt an, dass der SDF-Prozess $S(t)$, sobald er negativ wird, nie wieder einen positiven Wert annimmt (keine Vorzeichenumkehr).

• Dies vereinfacht die Überlebensbedingung zu $S_i > 0$ und die Schnittbedingung zu $S_{i+1} \leq 0$.
• Dies eliminiert die Notwendigkeit der sequentiellen Bayesianischen Filterung und ermöglicht es, die Opazitätsberechnung über die Samples hinweg zu parallelisieren, wodurch eine Effizienz erreicht wird, die mit dem Standard-Volumen-Rendering vergleichbar ist.

5. Beziehung zu vorangegangener Arbeit

Die Arbeit zeigt, dass NeuS ein Spezialfall von SSDP ist. Im Grenzfall, in dem der OU-Prozess perfekt korreliert ist (Null Varianz im Übergangskernel), reduziert sich die SSDP-Formulierung exakt auf die Opazitätsformulierung von NeuS. Dies etabliert SSDP als eine natürliche Verallgemeinerung von NeuS, die die strahlweisen Kovarianzstrukturen berücksichtigt.

Zentrale Beiträge

1. Reformulierung: Die Arbeit reformuliert das SDF-basierte Volumen-Rendering als probabilistisches Oberflächen-Rendering, indem sie Pixelfarben als Mischverteilungen modelliert, die durch zufällige erste Strahl-Oberflächen-Intersektionen induziert werden.
2. SSDP: Einführung von Stochastic Signed Distance Processes, die das SDF entlang der Strahlen als stochastische Prozesse modellieren, um First-Passage-Time-Verteilungen zu induzieren.
3. Ableitung der First-Passage: Ableitung der First-Passage-Wahrscheinlichkeiten für Abtastintervalle mittels Bayesianischer Filterung und des Reflexionsprinzips, ergänzt durch eine praktische parallelisierbare Approximation.
4. Theoretische Vereinheitlichung: Beweis, dass NeuS ein Spezialfall der vorgeschlagenen Formulierung ist.
5. Empirische Validierung: Demonstration einer verbesserten Oberflächenrekonstruktion und Unsicherheitsquantifizierung auf den DTU- und MobileBrick-Datensätzen.

Experimentelle Ergebnisse

Die Methode, implementiert als SSDP-Facto (unter Verwendung des NeuS-Facto Sampling-Schemas für einen fairen Vergleich), wurde gegen NeuS-Facto und OaV-Facto (Objects as Volumes) evaluiert.

• Oberflächenrekonstruktion: Auf den DTU- und MobileBrick-Datensätzen übertraf SSDP-Facto die Baselines konsistent in der Chamfer-Distanz (CD) unter sowohl maskierten (Visual Hull) als auch unmaskierten (Viewing Frustum) Evaluationsprotokollen. Es reduzierte effektiv künstliche Oberflächen außerhalb des Visual Hull.
• Unsicherheitsquantifizierung: SSDP-Facto erreichte eine überlegene Performance in den Metriken Continuous Ranked Probability Score (CRPS), Mean Absolute Error (MAE) und Sharpness, was auf eine höhere Qualität der gelernten First-Passage-Time-Verteilung hindeutet.
• Ablationsstudien:
  • Negative-Absorbing-Approximation: Das Entfernen der Approximation (unter Verwendung der vollen Bayesianischen Filterung) verbesserte die Unsicherheitsmetriken leicht (ca. 0,1 mm Verbesserung im CRPS), verdoppelte jedoch die Trainingszeit. Die Approximation erwies sich als stabiler und effektiver Inductive Bias für die Rekonstruktion.
  • Loss-Funktion: Die direkte Optimierung der probabilistischen Zielfunktion mittels Negative Log Marginal Likelihood (NLML) Loss führte zu erheblichen Verbesserungen gegenüber dem in früheren Arbeiten verwendeten Standard-Expectation-Loss.

Bedeutung und Ansprüche

Die Arbeit behauptet, dass durch die Abkehr von der restriktiven Annahme des exponentiellen Transports (lokale Attenuation unabhängig von der Historie) und die Annahme einer First-Passage-Perspektive für räumlich korrelierte Geometrien, SSDP ein treffenderes probabilistisches Modell für das Oberflächen-Rendering bietet.

Die Autoren stellen fest, dass ihre Methode sowohl die Genauigkeit der Oberflächenrekonstruktion als auch die Qualität der Unsicherheitsquantifizierung im Vergleich zu kontrollierten Baselines verbessert. Sie betonen, dass während die vollständige Bayesianische Formulierung eine theoretische Vollständigkeit bietet, die Negative-Absorbing-Approximation einen praktischen Kompromiss darstellt, der ein effizientes paralleles Rendering ermöglicht, ohne die Rekonstruktionsqualität signifikant zu beeinträchtigen. Die Arbeit klärt die theoretische Verbindung zwischen bestehenden Volumen-Rendering-Methoden und stochastischen Prozessen und positioniert SSDP als eine Verallgemeinerung von NeuS.