Learning Scene-Level Signed Directional Distance Function with Ellipsoidal Priors and Neural Residuals

1. Probleemstelling

Het paper adresseert de uitdagingen in 3D-scène-representatie voor dichte reconstructie en differentieerbare rendering. Bestaande methoden staan voor een afweging tussen geometrische nauwkeurigheid, rendering-efficiëntie en differentieerbaarheid:

• Expliciete Representaties (Meshes, Point Clouds, Voxels): Discontinu en niet-differentieerbaar, wat end-to-end optimalisatie en synthesese van nieuwe weergaven belemmert.
• Impliciete Representaties (NeRF, SDF):
  • NeRF/Gaussian Splatting: Uitstekend voor fotometrische rendering, maar worstelen vaak met accurate geometrische reconstructie zonder zorgvuldige supervisie. Ze vereisen typisch integratie langs stralen, wat rekenkundig duur is.
  • SDF (Signed Distance Function): Biedt accurate geometrie, maar vereist iteratief sphere tracing om snijpunten met het oppervlak langs een specifieke richting te vinden. Dit proces is traag, cumuleert fouten en is niet inherent differentieerbaar in één enkele forward pass.
• Het Gat: Er is behoefte aan een representatie die single-query, differentieerbare directionele afstandspredictie ondersteunt (zoals de inputstructuur van NeRF) terwijl het directe afstandswaarden biedt (zoals SDF) om efficiënte geometrische reconstructie en view-optimalisatie mogelijk te maken.

2. Methodologie: Signed Directional Distance Function (SDDF)

De auteurs stellen een nieuwe representatie voor, genaamd Signed Directional Distance Function (SDDF), en een hybride leerframework om deze te modelleren.

A. Definitie van SDDF

In tegenstelling tot de standaard SDF (die de kortste afstand tot elk oppervlakspunt vindt) of Directional Distance Functions (DDF) die vaak tekeninformatie missen, neemt de voorgestelde SDDF $f(p, v)$ een positie $p$ en een kijkrichting $v$ als input.

• Output: De getekende afstand van $p$ tot het eerste snijpunt met het oppervlak langs straal $v$.
• Tekensconventie: Positief als $p$ zich in vrije ruimte bevindt, negatief als $p$ zich binnen een object bevindt.
• Kernkarakteristiek: Het voldoet aan een Directional Eikonal-vergelijking: $v^\top \nabla_p f(p, v) = -1$. Dit betekent dat de afstand met een eenheidsnelheid afneemt wanneer men zich langs de straal naar het oppervlak beweegt. Deze eigenschap maakt het mogelijk het model te regulariseren zonder expliciete verlies termen.

B. Hybride Expliciet-Impliciete Architectuur

Om scene-level SDDF efficiënt te leren en discontinuïteiten (occlusies) te hanteren, ontwerpen de auteurs een tweestaps hybride model:

1. Expliciet op Ellipsoïden gebaseerd Prior-netwerk ($P$):

   • Doel: Vangt de grove structuur van de scène op en behandelt occlusies/discontinuïteiten.
   • Mechanisme: De scène wordt benaderd door een set van $M$ leerbare ellipsoïden. Het netwerk berekent analytisch de SDDF voor een straal die deze ellipsoïden snijdt in gesloten vorm.
   • Fusie: Voor een unie van ellipsoïden selecteert de prior de dichtstbijzijnde gesneden ellipsoïde om de afstand te bepalen, waardoor het model occlusies op een natuurlijke manier behandelt.
   • Initialisatie: Een gespecialiseerd algoritme (Algoritme 2) initialiseert ellipsoïden door K-means clusters op vlakke oppervlakken (muren, vloeren) te samenvoegen om oversegmentatie te voorkomen, waardoor meer ellipsoïden overblijven voor complexe objecten.

2. Impliciet Neuraal Residu-netwerk ($L$ en $R$):

   • Doel: Verfijnt de grove prior om fijne geometrische details te vangen.
   • Latent Feature Network ($L$): Neemt het snijpunt $q$ (op het ellipsoïde-oppervlak), de lokale kijkrichting $v'$ en de ellipsoïde-index als input. Het gebruikt een polynoom-embedding (monomen van graad-2 van $q$ en $v'$) om een latent feature-vector $z$ te genereren.
   • Residu Decoder ($R$): Een Multi-Layer Perceptron (MLP) die $z$ decodeert naar een correctieterm $\delta f$.
   • Eindvoorspelling: $\hat{f}(p, v) = f_{prior}(p, v) + \delta f(p, v)$.

C. Training en Optimalisatie

• Verliesfunctie: Gebruikt een gewogen som van Huber-verliezen voor snijpunt-indicatoren, tekenindicatoren en afstandswaarden. Negatieve samples (punten binnen objecten) worden aangevuld om ervoor te zorgen dat de ellipsoïden de scène dekken.
• Differentieerbaarheid: De volledige pijplijn, inclusief de ellipsoïde-snijlogica en het residu-netwerk, is differentieerbaar. Dit maakt gradient-based viewpoint optimalisatie (bijv. Next-Best-View planning) mogelijk zonder iteratief sphere tracing.

3. Belangrijkste Bijdragen

1. Scene-Level SDDF Definitie: Breidt het SDDF-concept uit van enkele objecten naar complexe, grootschalige scènes, en behandelt occlusies en tekenveranderingen effectief.
2. Hybride Expliciet-Impliciet Model: Stelt een nieuwe architectuur voor die analytisch afgeleide ellipsoïde-priors (voor grove structuur en occlusiebehandeling) combineert met neurale residuen (voor fijne details).
3. Theoretische Waarborgen: Bewijst dat het gecombineerde model per constructie voldoet aan de Directional Eikonal-vergelijking, waardoor extra regularisatieverliezen overbodig zijn.
4. Efficiënte Initialisatie: Ontwikkelt een algoritme om ellipsoïden te initialiseren dat vlakke oppervlakken efficiënt benadert, waardoor het aantal benodigde parameters wordt verminderd.
5. Differentieerbare View-optimalisatie: Demonstreert het vermogen om cameratrajecten te optimaliseren voor maximale dekking en minimale overlapping met behulp van de differentieerbare SDDF.

4. Experimentele Resultaten

De methode werd geëvalueerd op de Replica- en Gibson-datasets (synthetische LiDAR en RGB-D) en ScanNet (echte RGB-D).

• Nauwkeurigheid:
  • Bereikt een concurrerende Mean Absolute Error (MAE) in SDDF-predictie, vergelijkbaar met of beter dan state-of-the-art SDF- en NeRF-methoden.
  • Presteert beter dan RaDe-GS en Nerfacto in geometrische consistentie, met name in gebieden met schaarse observaties of complexe grenzen.
  • Presteert beter dan SDF-Instant-NGP in het behoud van scherpe details (bijv. planten, stoelranden) die sphere tracing de neiging heeft glad te strijken.
• Efficiëntie:
  • Inferentiesnelheid: Significant sneller dan op SDF gebaseerd sphere tracing (1,5x sneller) en NeRF (4x sneller) omdat het slechts één single forward pass vereist.
  • Geheugen: Gebruikt aanzienlijk minder GPU-geheugen (3,3 GB training versus 18,7 GB voor RaDe-GS) vanwege minder parameters (2,7 miljoen versus 113,7 miljoen).
• Ablatiestudies:
  • Negatieve Samples: Cruciaal voor training; zonder deze falen ellipsoïden om objecten te dekken, wat leidt tot grote fouten.
  • Polynoom versus Fourier Embedding: De voorgestelde polynoom-embedding generaliseert beter over scènes dan Fourier-features, die scène-specifieke hyperparameter-tuning vereisen.
  • Initialisatie: De voorgestelde multi-ellipsoïde initialisatie presteert beter dan standaard K-means++ door vlakke oppervlakken beter te hanteren.

5. Betekenis

Dit werk overbrugt het gat tussen de geometrische precisie van SDF's en de efficiëntie van neurale radiance velden.

• Geometrische Fideliteit: Het biedt een robuuste methode om accurate 3D-geometrie direct te leren uit sensordata, zonder uitsluitend te vertrouwen op fotometrische supervisie.
• Real-time Toepassingen: De single-query aard van SDDF maakt het zeer geschikt voor real-time robotica-toepassingen, zoals actieve perceptie, navigatie en trajectoptimalisatie, waarbij differentieerbare afstandsvragen vereist zijn.
• Schaalbaarheid: De hybride aanpak maakt schaling naar grote scènes mogelijk met lagere rekenkosten in vergelijking met dichte neurale velden of iteratieve traceermethoden.

Kortom, het paper presenteert een wiskundig onderbouwde, efficiënt en zeer nauwkeurig framework voor 3D-scène-reconstructie dat differentieerbaar geometrisch redeneren op scène-niveau mogelijk maakt.