Neu-PiG: Neural Preconditioned Grids for Fast Dynamic Surface Reconstruction on Long Sequences

Probleemstelling

Het reconstrueren van dynamische 3D-objecten uit ongeordende puntwolkdata (point clouds) met behoud van temporale consistentie is een complex probleem, vooral bij zeer lange sequenties. Bestaande methoden kampen met twee hoofdproblemen:

1. Optimalisatie-gebaseerde methoden (zoals DynoSurf of PDG) leveren vaak hoge kwaliteit, maar zijn computatievermogen-inefficiënt, lopen lang (minuten tot uren) en zijn vatbaar voor "drift" (accumulatie van fouten) over lange tijd.
2. Leer-gebaseerde methoden zijn snel tijdens inferentie, maar vereisen vaak specifieke training per objectcategorie (bijv. alleen mensen of alleen kleding) en generaliseren slecht naar nieuwe categorieën of ongeziene bewegingen.

Er is een behoefte aan een methode die categorievrij is, snel converteert, geen drift vertoont op lange sequenties en geen expliciete correspondenties (point-to-point koppelingen) vereist.

Methodologie: Neu-PiG

Neu-PiG (Neural Preconditioned Grids) is een snelle optimalisatie-methode die dynamische vervormingen schat door een uniek latent space-ontwerp te combineren met Sobolev-preconditioning.

1. Initiatie en Referentie:
De methode start met een enkele "keyframe" ($t_{key}$) uit de sequentie. Op basis van deze frame wordt een initiële mesh ($X_{t_{key}}$) gegenereerd (bijv. via Screened Poisson Surface Reconstruction). Deze mesh fungeert als een canonieke referentie voor alle andere frames.

2. Multi-Resolution Latent Grids (De Kern):
In plaats van de vervorming direct te leren of te optimaliseren per frame, encodeert Neu-PiG de volledige vervorming over de hele tijdsreeks in een multi-resolutie voxelgrid.

• Positie en Normaal: Voor elke vertex in de referentiemesh worden twee soorten features opgevraagd:
  • Een positie-gebaseerd grid ($G_p$) dat ruimtelijke context vastlegt.
  • Een normaal-richtingsgrid ($G_n$) dat lokale oriëntatie vastlegt.
• Hiërarchie: Het grid bestaat uit meerdere niveaus (van grof naar fijn). Grovere niveaus vangen globale bewegingen op, terwijl fijnere niveaus hoge frequentie details vastleggen. De features worden geaggregeerd via trilineaire interpolatie.
• Uniekheid: In tegenstelling tot hash-encodings (zoals bij Instant NGP) die vaak ruw zijn, gebruikt Neu-PiG een gestructureerd voxelgrid dat ruimtelijke coherentie garandeert.

3. Temporaal Deformatiemodel:
Een lichtgewicht Multi-Layer Perceptron (MLP) fungeert als decoder. De input voor de MLP bestaat uit:

• De latent features van het grid (positie + normaal).
• Een Fourier-time encoding van het tijdstip $t$.
  De MLP voorspelt per vertex een 6-DoF (Degrees of Freedom) transformatie: een rotatie (quaternion) en een translatie (displacement vector).

4. Sobolev Preconditioning:
Dit is een cruciale innovatie. Tijdens het gradient-based trainen van de latent features in het grid, wordt Sobolev-preconditioning toegepast.

• Dit fungeert als een laagdoorlaatfilter op de gradients.
• Het koppelt naburige cellen in het grid, waardoor de updates ruimtelijk glad en temporale coherent blijven.
• Dit voorkomt dat kleine afwijkingen leiden tot instabiele optimalisatie of drift, wat essentieel is voor lange sequenties.

5. Verliesfuncties:
De optimalisatie minimaliseert twee verliesfuncties zonder extra priors:

• Deformatie Loss: Meet de afstand (Chamfer Distance) tussen de gereconstrueerde mesh en de invoer-puntwolk.
• Isometrie Loss: Straft veranderingen in de lengte van randen van de mesh af om lokale structuur te behouden.

Belangrijkste Bijdragen

1. Snelle Optimalisatie: Een methode die temporale coherentie bereikt voor willekeurige onderwerpen (mensen, dieren) in seconden, zonder vooraf getrainde modellen.
2. Novel Preconditioned Encoding: Een nieuwe oppervlakte-encoding gebaseerd op vertex-posities en normaalrichtingen, opgeslagen in een unificerend latent space dat alle tijdstappen omvat.
3. Multi-Schaal Latent Grid: Een representatie die zowel globale als lokale consistentie afdwingt, mogelijk gemaakt door Sobolev-preconditioning.
4. Drift-vrije Lange Sequences: Door de globale latent grid-aanpak in plaats van incrementele updates, vermijdt de methode de cumulatieve fouten (drift) die andere methoden plagen.

Resultaten

De methode is geëvalueerd op drie benchmarks: DFAUST (menselijke beweging), AMA (geklede menselijke prestaties) en DT4D (gearticuleerde dieren).

• Snelheid: Neu-PiG is 60x sneller dan bestaande training-free methoden (zoals PDG en DynoSurf). Het convergeert vaak binnen enkele seconden tot minuten, terwijl andere methoden minuten tot uren nodig hebben.
• Nauwkeurigheid: Neu-PiG behaalt de beste scores op alle metrieken:
  • Laagste Chamfer Distance (CD) (bijv. 0.39 vs 0.46 bij PDG op DFAUST).
  • Hoogste Normal Consistency (NC) en F-score.
  • Laagste Correspondence Error (Corr.), wat aantoont dat de beweging over tijd zeer consistent is.
• Schalbaarheid: In tegenstelling tot PDG en DynoSurf, die falen of sterk degraderen bij zeer lange sequenties (bijv. 120 frames), behoudt Neu-PiG zijn stabiliteit en nauwkeurigheid.
• Generalisatie: De methode werkt uitstekend op dieren (DT4D) en complexe kleding (AMA) zonder specifieke training voor deze categorieën.

Betekenis en Impact

Neu-PiG vormt een belangrijke stap in de richting van real-time 4D-reconstructie en dynamische scène-begrip.

• Het lost het compromis op tussen snelheid en kwaliteit door een hybride aanpak: het gebruikt de flexibiliteit van optimalisatie (geen beperking tot trainingsdata) maar versnelt het proces via een geoptimaliseerde latent grid-structuur.
• Het elimineert de noodzaak voor dure, categorie-specifieke training, waardoor het toepasbaar is in openwereldscenario's zoals AR/VR, robotica en autonoom rijden.
• De introductie van Sobolev-preconditioning op latent grids opent nieuwe wegen voor het stabiliseren van gradient-based learning in complexe ruimtelijke representaties.

Kortom, Neu-PiG biedt een schaalbare, snelle en nauwkeurige oplossing voor het reconstrueren van dynamische oppervlakken uit puntwolken, waarbij het de staat van de kunst (state-of-the-art) overtreft in zowel snelheid als stabiliteit op lange termijn.