SymmCompletion: High-Fidelity and High-Consistency Point Cloud Completion with Symmetry Guidance

Probleemstelling

Puntenwolk-completie (point cloud completion) heeft tot doel een volledig 3D-oppervlak te reconstrueren vanuit een incompleet of grotendeels geblokkeerd puntensysteem. Bestaande methoden kampen echter met twee fundamentele tekortkomingen:

1. Verlies van geometrische details: Methoden die proberen het hele puntensysteem opnieuw te genereren (vaak via een ruwe "skelet"-structuur die later wordt verfijnd), verliezen vaak de oorspronkelijke geometrische details van de ingevoerde punten.
2. Geometrische inconsistentie: Methoden die zich alleen richten op het vullen van de ontbrekende delen, zorgen er wel voor dat de bestaande geometrie behouden blijft, maar missen vaak een globale optimalisatie. Dit leidt tot inconsistente resultaten, ongelijke verdeling van punten en holtes of discontinuïteiten op de overgangen tussen bestaande en gereconstrueerde delen.

Bestaande symmetrie-gebaseerde methoden gebruiken vaak globale transformaties of simpele assymmetrische aannames, wat ontoereikend is voor complexe lokale symmetrieën in 3D-objecten.

Methodologie: SymmCompletion

De auteurs stellen SymmCompletion voor, een raamwerk dat gebruikmaakt van symmetrie als leidraad om zowel hoge fideliteit (detailgetrouwheid) als hoge consistentie (geometrische samenhang) te bereiken. Het proces bestaat uit twee hoofdstadia:

1. Local Symmetry Transformation Network (LSTNet)

Dit stadium is verantwoordelijk voor het genereren van de initiële ontbrekende delen.

• Doel: Het creëren van "part-missing pairs" (paren van bestaande en ontbrekende delen) die geometrisch perfect op elkaar aansluiten.
• Methode: In plaats van globale symmetrie toe te passen, schat LSTNet punt-voor-punt lokale symmetrietransformaties.
  • Het netwerk extrahereert sleutelgeometrieën ($P_k$), lokale puntkenmerken en globale kenmerken.
  • Via een reeks MLP's (Multi-Layer Perceptrons) worden voor elk punt een affiene matrix ($A$) en een translatiematrix ($T$) voorspeld.
  • Deze matrices transformeren de bestaande geometrische punten naar de ontbrekende regio's op basis van lokale symmetrie.
• Resultaat: Een initiële puntensamenstelling ($P_{init}$) die de bestaande structuur behoudt en ontbrekende delen genereert die geometrisch consistent zijn met de input.

2. Symmetry-Guidance Transformer (SGFormer)

Dit stadium voert een globale optimalisatie uit om de initiële puntensamenstelling te verfijnen tot een hoogwaardig eindresultaat.

• Doel: Het oplossen van holtes en discontinuïteiten op de overgangen tussen bestaande en ontbrekende delen, en het behoud van de oorspronkelijke structuur.
• Methode: SGFormer gebruikt de geometrische informatie van de gegenereerde "part-missing pairs" als expliciete symmetrie-gids.
  • Het netwerk hanteert een dubbel-pad perceptiemechanisme (dual-path perception) gebaseerd op attention-mechanismen (cross-attention en self-attention).
  • Eén pad verwerkt de kenmerken van de bestaande punten ($F_k$), het andere de kenmerken van de ontbrekende punten ($F_m$).
  • Deze worden gefuseerd met de kenmerken van de initiële puntensamenstelling ($F_{init}$) om een verfijnd kenmerk te creëren dat zowel de bestaande structuur respecteert als de ontbrekende gebieden correct aanvult.
• Output: Een verfijnde, volledige puntensamenstelling via een decoder met self-attention lagen en een "point-shuffle" operatie voor upsampling.

Belangrijkste Bijdragen

1. Nieuw Raamwerk: SymmCompletion introduceert een nieuwe architectuur die symmetrie gebruikt om zowel fideliteit als consistentie te maximaliseren, wat leidt tot state-of-the-art prestaties op meerdere benchmarks.
2. LSTNet: Een innovatieve aanpak voor het genereren van ontbrekende delen door lokale symmetrie te benutten via punt-voor-punt affiene en translatiematrices, in plaats van te vertrouwen op globale transformaties.
3. SGFormer: Een transformer-architectuur die expliciet symmetrie-priors gebruikt als gids voor de verfijningsfase, waardoor de netwerkcapaciteit om geometrische structuren te behouden en holtes te dichten aanzienlijk wordt verbeterd.

Resultaten

De methode is getest op diverse synthetische en real-world datasets (PCN, MVP, ShapeNet55/34, en KITTI).

• Kwantitatieve prestaties: SymmCompletion behaalt de beste resultaten op de Chamfer Distance (CD) en F1-score op de PCN-dataset, en overtreft bestaande SOTA-methoden (zoals SeedFormer, SVDFormer, PoinTr) op alle categorieën. Ook op de ShapeNet55-dataset (voor zowel gezien als ongezien objecten) en de MVP-dataset (bij verschillende resoluties) scoort het model het hoogst.
• Kwalitatieve prestaties: Visuele vergelijkingen tonen aan dat SymmCompletion:
  • De oorspronkelijke geometrie van de input beter behoudt.
  • Ontbrekende delen genereert die naadloos aansluiten bij de bestaande structuur (geen holtes of onregelmatigheden).
  • Zelfs op de real-world KITTI-dataset (ondanks domeinverschillen) visueel completere en accuratere structuren reconstrueert dan concurrenten.
• Ablatie-studies: Experimenten bevestigen dat zowel de lokale symmetrietransformatie (LSTNet) als de symmetrie-gids (SGFormer) essentieel zijn voor de prestaties. Het verwijderen van de symmetrie-gidskenmerken leidt tot een merkbare daling in kwaliteit.

Significantie

SymmCompletion adresseert een kritiek probleem in de 3D-vision: het vinden van een balans tussen het behoud van bestaande details en het correct reconstrueren van ontbrekende informatie. Door lokale symmetrie te modelleren in plaats van globale, en deze informatie expliciet te gebruiken als gids voor verfijning, biedt de methode een robuuste oplossing voor toepassingen zoals autonoom rijden, augmented reality en robotica, waar hoge kwaliteit en geometrische consistentie van puntswolken cruciaal zijn voor downstream taken zoals detectie en segmentatie.