Technische Samenvatting: Stochastic Signed Distance Processes (SSDP)

Probleemstelling

Multi-view oppervlakte-reconstructie is een fundamentele uitdaging in computer vision, met toepassingen variërend van contentcreatie tot robotica. Hoewel Signed Distance Fields (SDFs) een continue, resolutie-onafhankelijke impliciete representatie bieden die geschikt is voor deze taak, brengt het optimaliseren ervan via rendering aanzienlijke moeilijkheden met zich mee.

Directe oppervlakte-rendering, die de eerste intersectie tussen een straal en een oppervlak vindt en gradiënten via impliciete differentiatie voortplant, lijdt aan discontinue zichtbaarheid. Dit resulteert in ijle gradiënten, wat vaak aanvullende silhouet-supervisie (voorgrondmaskers) vereist om optimalisatie te faciliteren. Om dit aan te pakken, introduceerden recente methoden zoals NeuS en VolSDF SDF-gebaseerde volumetrische rendering. Deze benaderingen mappen SDF-waarden naar lokale attenuatiecoëfficiënten, wat differentiabele volumetrische rendering mogelijk maakt zonder silhouet-supervisie.

Echter, bestaande volumetrische rendering-formuleringen vertrouwen op een exponentiële transport interpretatie. Dit gaat ervan uit dat de hazard rate (kans op intersectie) op elk punt samengevat kan worden door een lokale attenuatiecoëfficiënt die onafhankelijk is van de eerdere overlevingsgeschiedenis. Hoewel dit geldig is voor onafhankelijke deeltjesmodellen (Boolean-Poisson), faalt deze aanname voor algemene ondoorzichtige vaste stoffen met ruimtelijk gecorreleerde geometrie, waarbij de first-passage-time dichtheid afhankelijk is van de geschiedenis van het pad van de straal. Bijgevolg kunnen huidige methoden de probabilistische aard van de interactie tussen stralen en oppervlakken in complexe geometrieën mogelijk niet volledig vatten.

Methodologie

De auteurs stellen Stochastic Signed Distance Processes (SSNF) voor, een raamwerk dat SDF-gebaseerde volumetrische rendering herformuleert als probabilistische oppervlakte-rendering.

1. Stochastic Signed Distance Processes (SSDP)

In plaats van de SDF te behandelen als een deterministisch veld, modelleert SSDP de SDF langs elke straal $r(t)$ als een stochastisch proces $S_r(t)$:
$$S_r(t) = \mu_r(t) + R_r(t)$$

• $\mu_r(t)$: Een deterministisch gemiddeld veld dat wordt geoptimaliseerd om de SDF te benaderen.
• $R_r(t)$: Een stochastisch residu-proces gemodelleerd als een tijd-inhomogeen Ornstein–Uhlenbeck (OU) proces. Dit proces wordt geparametriseerd door view-afhankelijke neurale velden ($\kappa$ en $\tau$) om de straal-specifieke stochastische dynamiek te vangen.

Deze formulering induceert een first-passage-time distributie voor elke straal, waarbij de first-passage tijd $H_r$ wordt gedefinieerd als de eerste tijd waarop het proces $S_r(t)$ nul kruist (het oppervlak snijdt).

2. Probabilistische Oppervlakte-Rendering

De pixelkleur $C_r$ wordt gemodelleerd als een mengverdeling geïnduceerd door de willekeurige first-passage tijd $H_r$:
$$f_{C_r}(c_r) = \mathbb{E}_{H_r}[f_{C_r|H_r}(c_r | H_r)]$$
De verwachte kleur wordt benaderd door te sommeren over discrete bemonsteringsintervallen $[t_i, t_{i+1}]$:
$$f_{C_r}(c_r) \approx \sum_{i=0}^{N-1} f_{C_r|H_r}(c_r | t_i) P(t_i < H_r \leq t_{i+1}) + \text{Background Term}$$
Hierbij vertegenwoordigt $P(t_i < H_r \leq t_{i+1})$ de first-passage waarschijnlijkheid (opaciteit) voor het interval.

3. Afleiding van de First-Passage Waarschijnlijkheid

De kern van de technische bijdrage is de afleiding van de first-passage waarschijnlijkheid $P(B_i | A_i)$ voor elk interval, waarbij $A_i$ de gebeurtenis is dat de straal tot $t_i$ nog niet het oppervlak heeft gesneden, en $B_i$ de gebeurtenis van intersectie binnen $(t_i, t_{i+1}]$.

• Bayesiaanse Filtering: De auteurs leiden de posterieure distributie van de SDF-waarde op het bemonsteringspunt af, geconditioneerd op het feit dat de straal tot dat punt heeft "overleefd" (niet heeft gesneden). Dit omvat het voortplanten van de overlevings-geconditioneerde distributie via Bayesiaanse filtering.
• Zero-Crossing Waarschijnlijkheid: De waarschijnlijkheid van een nultransitie binnen een interval wordt gedecomposeerd in:
  1. Downward crossing ($B^\downarrow_i$): De straal eindigt binnen het oppervlak ($S_{i+1} \leq 0$).
  2. Upward crossing ($B^\uparrow_i$): De straal komt het oppervlak binnen en verlaat het weer binnen het interval.
     De waarschijnlijkheid van $B^\uparrow_i$ wordt benaderd met behulp van het reflectieprincipe toegepast op een Brownian bridge, afgeleid van de Dambis–Dubins–Schwarz stelling.

4. Negative-Absorbing Approximation

De volledige Bayesiaanse formulering vereist sequentiële berekening langs elke straal, wat parallellisatie verhindert. Om efficiënte parallelle rendering mogelijk te maken, introduceren de auteurs een negative-absorbing benadering. Dit gaat ervan uit dat zodra het SDF-proces $S(t)$ negatief wordt, het nooit meer een positieve waarde aanneemt (geen tekenomkeer).

• Dit vereenvoudigt de overlevingsconditie tot $S_i > 0$ en de snijconditie tot $S_{i+1} \leq 0$.
• Dit elimineert de noodzaak voor sequentiële Bayesiaanse filtering, waardoor de opaciteitsberekening parallel kan worden uitgevoerd over samples, wat een efficiëntie bereikt die vergelijkbaar is met standaard volumetrische rendering.

5. Relatie tot Voorgaand Werk

Het artikel toont aan dat NeuS een speciaal geval is van SSDP. In het limiet waar het OU-proces perfect gecorreleerd wordt (nul variantie in de transitiekernel), reduceert de SSDP-formulering exact naar de opaciteitsformulering van NeuS. Dit vestigt SSDP als een natuurlijke generalisatie van NeuS die rekening houdt met straal-specifieke covariantiestructuren.

Belangrijkste Bijdragen

1. Herformulering: Het artikel herformuleert SDF-gebaseerde volumetrische rendering als probabilistische oppervlakte-rendering, waarbij pixelkleuren worden gemodelleerd als mengverdelingen geïnduceerd door willekeurige eerste straal-oppervlakte intersecties.
2. SSDP: Introductie van Stochastic Signed Distance Processes, die de SDF langs stralen modelleren als stochastische processen om first-passage-time distributies te induceren.
3. First-Passage Afleiding: Afleiding van first-passage waarschijnlijkheden voor bemonsteringsintervallen met behulp van Bayesiaanse filtering en het reflectieprincipe, samen met een praktische paralleliseerbare benadering.
4. Theoretische Unificatie: Bewijs dat NeuS een speciaal geval is van de voorgestelde formulering.
5. Empirische Validatie: Demonstratie van verbeterde oppervlakte-reconstructie en onzekerheidskwantificatie op de DTU en MobileBrick datasets.

Experimentele Resultaten

De methode, geïmplementeerd als SSDP-Facto (gebruikmakend van het NeuS-Facto bemonsteringsschema voor een eerlijke vergelijking), werd geëvalueerd tegenover NeuS-Facto en OaV-Facto (Objects as Volumes).

• Oppervlakte-reconstructie: Op de DTU en MobileBrick datasets presteerde SSDP-Facto consistent beter dan de baselines in Chamfer Distance (CD) onder zowel gemaskeerde (visual hull) als ongemaskeerde (viewing frustum) evaluatieprotocollen. Het verminderde effectief spookoppervlaktes buiten de visual hull.
• Onzekerheidskwantificatie: SSDP-Facto behaalde superieure prestaties in Continuous Ranked Probability Score (CRPS), Mean Absolute Error (MAE) en Sharpness, wat wijst op een hogere kwaliteit van de geleerde first-passage-time distributie.
• Ablatiestudies:
  • Negative-Absorbing Approximation: Het verwijderen van de benadering (gebruik van volledige Bayesiaanse filtering) verbeterde de onzekerheidsmetrieken licht (bijv. ~0.1 mm CRPS verbetering) maar verdubbelde de trainingstijd. De benadering bleek een stabiele en effectieve inductieve bias voor reconstructie.
  • Verliesfunctie: Het direct optimaliseren van de Negative Log Marginal Likelihood (NLML) verliesfunctie voor het probabilistische object leverde substantiële verbeteringen op ten opzichte van de standaard verwachtingsverlies die in voorgaande werken werd gebruikt.

Betekenis en Claims

Het artikel claimt dat door af te stappen van de restrictieve exponentiële transport aanname (lokale attenuatie onafhankelijk van de geschiedenis) en een first-passage perspectief te adopteren voor ruimtelijk gecorreleerde geometrie, SSDP een getrouwere probabilistische model voor oppervlakte-rendering biedt.

De auteurs stellen dat hun methode zowel de nauwkeurigheid van de oppervlakte-reconstructie als de onzekerheidskwantificatie verbetert vergeleken met gecontroleerde baselines. Ze benadrukken dat hoewel de volledige Bayesiaanse formulering theoretische volledigheid biedt, de negative-absorbing benadering een praktische afweging vormt, wat efficiënte parallelle rendering mogelijk maakt zonder significant verlies in reconstructiekwaliteit. Het werk verheldert de theoretische link tussen bestaande volumetrische renderingmethoden en stochastische processen, waarbij SSDP als een generalisatie van NeuS wordt gepositioneerd.