Technische Samenvatting: VolFill: Single-View Amodal 3D Scène Reconstructie met Volumetrische Flow Matching

1. Probleemformulering

Het artikel behandelt de uitdaging van amodale 3D-scène reconstructie vanuit een enkele RGB-afbeelding. In tegenstelling tot traditionele pixel-uitgelijnde methoden die alleen zichtbare oppervlakken herstellen (bijv. dieptekaarten of puntkaarten), is het doel om de volledige 3D-geometrie binnen het geobserveerde gezichtsveld te voorspellen, inclusief oppervlakken die worden afgeschermd door voorgrondobjecten.

Deze taak is inherent slecht gedefinieerd (ill-posed) vanwege het gebrek aan visueel bewijs voor verborgen structuren. Bestaande benaderingen kampen met aanzienlijke beperkingen:

• Pixel-uitgelijnde methoden (bijv. MoGe2, DepthPro) zijn beperkt tot zichtbare oppervlakken en kunnen geen geoccludeerde regio's afleiden.
• Optimalisatiegebaseerde methoden vereisen dichte multi-view opnames en urenlange berekeningen per scène.
• Object-gecentreerde generatieve modellen worstelen met complexe, onbegrensde scènes.
• Scène-niveau amodale baselines (bijv. LaRI, NOVA3R) produceren vaak gefragmenteerde meshes, gelaagde artefacten ("multiple wall"-effecten), of ruisige, gedisintegreerde puntenwolken door ongestructureerde representaties of vaste straal-laag beperkingen.

2. Methodologie

VolFill is een generatief framework dat een volledige Truncated Unsigned Distance Function (TUDF) voxelgrid voorspelt vanuit een enkele afbeelding, in plaats van te vertrouwen op deterministische regressie. De architectuur bestaat uit drie kerncomponenten:

A. TUDF Representatie

De scènegeometrie wordt gerepresenteerd als een continu scalair veld $V(p)$, gedefinieerd als de afstand tot het dichtstbijzijnde oppervlak (inclusief geoccludeerde oppervlakken), afgekapt tot een maximale waarde $\tau$.

• Unsigned Formulering: Een unsigned distance function wordt gebruikt omdat binnenscènes vaak niet waterdicht zijn (bijv. eenzijdige muren), wat signed distance functions (SDFs) geometrisch ambigu maakt.
• Dynamische Discretisatie: De methode maakt gebruik van een frustum-uitgelijnde discretisatiestrategie die een dynamische, isotrope voxelgrootte berekent op basis van de bounding box van de zichtbare geometrie, waardoor het grid zich concentreert op de directe gecaptureerde scène.

B. Hybride 3D VAE

Om de kloof te overbruggen tussen hoog-resolutie TUDF-grids ($256^3$) en de latente ruimte die nodig is voor generatieve modellering, wordt een Hybride Sparse-Dense 3D VAE voorgesteld:

• Encoder: Verwerkt sparse TUDF-inputs met behulp van sparse 3D-convoluties om het grid $16\times$ te comprimeren naar een compacte, dense latente ruimte ($16^3 \times C$).
• Decoder: Maakt gebruik van een hybride dense-naar-sparse decoderingsschema:
  1. Dense Upsampling: Transposed convoluties upsamplen de latente ruimte naar $64^3$.
  2. Structuur Voorspelling: Een binaire occupancy head voorspelt een masker om de feature map te versparsen, waarbij lege regio's worden verwijderd.
  3. Sparse Upsampling: Sparse convoluties upsamplen de features naar de uiteindelijke $256^3$ resolutie.
• Loss Functie: De VAE wordt getraind met een samengestelde loss, inclusief L1-afstand voor actieve voxels, BCE en Dice losses voor occupancy, en KL-divergentie voor latente regularisatie.

C. Latent Diffusion Transformer met Flow Matching

De generatieve kern is een Diffusion Transformer (DiT) die getraind is met een rectified flow matching objectief. Het leert ruis te transporteren naar de distributie van scène TUDF-latents.

• Dual-Conditioning Strategie: Om robuuste generalisatie en fysieke plausibiliteit te garanderen, is de DiT geconditioneerd op twee bronnen:
  1. Globale Geometrische Priors: Features van een bevroren geometrie-fundamentmodel (MoGe2) worden via cross-attention geïnjecteerd om hoogwaardige ruimtelijke context te bieden.
  2. Visible-Latent Inpainting: De zichtbare puntkaart van MoGe2 wordt gecodeerd in een "visible latent" ($z_{vis}$) en gefuseerd met de ruisige latente via een zero-initialized MLP. Dit verankert de generatie aan de geobserveerde geometrie terwijl het de voltooiing van geoccludeerde regio's stuurt.
• Inference: Het model integreert de geleerde ODE van $t=0$ naar $t=1$ met behulp van Euler-stappen, gevolgd door decoding via de VAE om de uiteindelijke TUDF-grid te produceren.

3. Belangrijkste Bijdragen

1. VolFill Framework: Een generatief framework dat gebruikmaakt van volumetrische flow matching om volledige scène-niveau geometrie te herstellen vanuit single-view afbeeldingen, waarmee de stap wordt gezet voorbij pixel-uitgelijnde regressie.
2. Hybride 3D VAE: Een architectuur die efficiënte ruimtelijke compressie van hoog-resolutie TUDF-grids naar een compacte latente ruimte mogelijk maakt, wat de hoog-getrouwe reconstructie van complexe amodale structuren faciliteert.
3. Dual-Conditioning Strategie: Een nieuwe aanpak die geometrie-fundamentmodellen (MoGe2) gebruikt om hoog-niveau beeld-tokens te integreren met expliciete zichtbare geometrie, waardoor amodale redenering wordt gegrond in geobserveerde data.

4. Experimentele Resultaten

De methode werd geëvalueerd op de SCRREAM en NRGB-D datasets en presteerde beter dan de huidige baselines (inclusief LaRI, NOVA3R, en object-gecentreerde modellen zoals TRELLIS en TripoSG).

• Kwantitatieve Prestaties: VolFill behaalt state-of-the-art resultaten in Chamfer Distance (CD) en F-score (FS) metrieken, met name voor geoccludeerde en volledige geometrie. Op SCRREAM behaalt het een CD van 3.03 en een FS0.02 van 54.83 voor de volledige scène, wat NOVA3R (CD 3.43, FS 45.12) en LaRI (CD 5.19, FS 30.85) aanzienlijk overtreft.
• Metrische Schaal: In evaluaties op metrische schaal presteert VolFill aanzienlijk beter dan baselines in F-score (44.90 vs. 22.23 voor NOVA3R), wat een getrouwe reconstructie op metrische schaal aantoont.
• Kwalitatieve Kwaliteit: Visuele vergelijkingen laten zien dat VolFill scherpe, hoog-getrouwe geometrie produceert met gladde, topologisch consistente meshes. In contrast hiermee vertoont LaRI gelaagde artefacten en gaten, terwijl NOVA3R ruisige, ongestructureerde puntenwolken oplevert.
• Ablatie Studies:
  • Het Hybride VAE ontwerp biedt de beste balans tussen reconstructiekwaliteit, latentie en geheugengebruik vergeleken met louter dense of louter sparse decoders.
  • Dual-conditioning (het combineren van MoGe2 features en visible latents) presteert aanzienlijk beter dan single-conditioning strategieën.
  • MoGe2 wordt geïdentificeerd als het superieure fundamentmodel voor conditioning vergeleken met DINOv2 of VGGT, wat het belang van expliciete 3D ruimtelijke ankers boven algemene semantische features benadrukt.

5. Betekenis en Claims

Het artikel claimt dat VolFill een robuuste basis biedt voor holistisch ruimtelijk begrip door de reconstructie te verschuiven van deterministische, pixel-uitgelijnde schatting naar een gestructureerd generatief manifold.

• Gestructureerde Representatie: Door een TUDF-grid te voorspellen in plaats van ongestructureerde puntenwolken, maakt VolFill directe oppervlak-extractie via isosurfacing mogelijk, wat resulteert in schone, artefact-vrije meshes zonder de noodzaak voor ruisige post-processing (bijv. Poisson reconstructie).
• Schaalbaarheid: De volumetrische aanpak schaalt goed met de complexiteit van de scène en legt geen beperkingen op aan het aantal herstelbare geoccludeerde lagen, in tegenstelling tot ray-gebaseerde methoden.
• Fysieke Plausibiliteit: Het generatieve framework, gestuurd door sterke geometrische priors, synthetiseert fysiek plausibele voltooiingen voor ondergedetermineerde regio's waar visueel bewijs ontbreekt.

Beperkingen: De auteurs erkennen dat kleine gaten incidenteel kunnen blijven bestaan in niet-geobserveerde regio's door het gebrek aan visueel bewijs, en dat de inference trager blijft (1.4s op RTX 4090) dan regressie-gebaseerde baselines vanwege het iteratieve generatieve proces. Toekomstig werk wordt gesuggereerd om topologische hiaten aan te pakken door de modelcapaciteit en datadiversiteit te vergroten.