C-GenReg: Training-Free 3D Point Cloud Registration by Multi-View-Consistent Geometry-to-Image Generation with Probabilistic Modalities Fusion

Probleemstelling

Puntwolkregistratie (point cloud registration) is het proces van het uitlijnen van meerdere 3D-scans in één coördinatenstelsel door een starre transformatie te schatten. Bestaande leer-gebaseerde methoden (deep learning) kampen met ernstige generalisatieproblemen:

1. Sensormodaliteit: Methoden die goed presteren op indoor RGB-D data (zoals 3DMatch) falen vaak bij outdoor LiDAR-data of andere sensoren.
2. Sampling en Omgeving: Prestaties variëren sterk afhankelijk van puntendichtheid, ruis en de specifieke opnameomgeving.
3. Gebrek aan Foundation Models: In tegenstelling tot het 2D-beeldveld, waar Vision Foundation Models (VFMs) robuustheid bieden door training op enorme datasets, ontbreekt er een vergelijkbaar "foundation model" voor 3D-puntwolken.

Bestaande generatieve benaderingen vereisen vaak fijnafstemming (fine-tuning) om multi-view consistentie te garanderen, wat de toepasbaarheid beperkt. C-GenReg probeert dit op te lossen zonder extra training.

Methodologie: C-GenReg

C-GenReg is een training-free (zonder extra training) framework dat gebruikmaakt van twee parallelle takken die worden samengevoegd via een probabilistische fusie. Het doel is om de sterke priors van wereldwijde generatieve modellen en VFMs te benutten voor 3D-registratie.

1. De Generatieve RGB-Tak (Generated-RGB Branch)

De kerninnovatie is het vertalen van 3D-geometrie naar het 2D-beelddomein, waar VFMs superieur zijn.

• Geometry-to-Image: De invoer (bron- en doelpuntwolken) wordt omgezet in dieptekaarten. Deze worden tijdelijk samengevoegd tot een video-sequentie.
• World Foundation Model (WFM): Een vooraf getraind WFM (Cosmos-Transfer) genereert synthetische RGB-beelden vanuit deze dieptekaarten. Cruciaal is dat dit model multi-view consistent is: de gegenereerde beelden behouden de geometrische coherentie tussen verschillende gezichtspunten zonder dat het model hoeft te worden aangepast.
• Task-Specific VFM: De gegenereerde RGB-beelden worden verwerkt door een gespecialiseerd Vision Foundation Model (MASt3R), dat is getraind voor dichte geometrische overeenkomsten. Dit extrahert 2D-features.
• 2D-naar-3D Lift: De 2D-features worden teruggeprojecteerd naar de 3D-ruimte met behulp van de originele dieptekaarten, waardoor per-punt beschrijvers worden verkregen.

2. De Geometrische Tak (Geometric Branch)

• Deze tak werkt direct op de ruwe 3D-puntwolken.
• Een vooraf getrainde geometrische feature-extractor (GeoTransformer) extrahert structurele features direct uit de punten.
• Dit zorgt voor een complementaire modality die puur op geometrie is gebaseerd, onafhankelijk van de gegenereerde texturen.

3. Probabilistische Fusie: "Match-then-Fuse"

In plaats van features te concateneren (wat de inductieve bias van elke modality verstoort), gebruikt C-GenReg een probabilistische aanpak:

• Posterior Berekening: Elke tak genereert onafhankelijk een waarschijnlijkheidskaart (posterior) voor correspondenties tussen punten.
• Fusie Strategie: De auteurs introduceren een "Match-then-Fuse" schema. Ze combineren de onafhankelijke posteriors van de beeld-tak en de geometrie-tak onder de aanname van conditionele onafhankelijkheid.
• Noisy-AND: De geselecteerde fusiemethode is een "Noisy-AND" logische operatie. Dit betekent dat een correspondentie alleen als betrouwbaar wordt beschouwd als beide modaliteiten (beeld en geometrie) erover eens zijn. Dit verhoogt de precisie en kalibreert het vertrouwen zonder extra learning.

Belangrijkste Bijdragen

1. C-GenReg Framework: Een tweedelige architectuur die geometrie-to-beeld transformatie combineert met directe geometrische extractie, gebruikmakend van zero-shot foundation models.
2. Probabilistische Fusie: Een nieuwe "Match-then-Fuse" methode die de inductieve bias van elke modality behoudt en robuuste, gekalibreerde correspondenties levert zonder fine-tuning.
3. Volledig Zero-Shot en Plug-and-Play: Het systeem gebruikt uitsluitend vooraf getrainde modellen (WFM, VFM, Geometric Extractor) en vereist geen aanpassing aan specifieke datasets of sensoren.
4. Eerste Succesvolle Outdoor LiDAR Registratie: Het is het eerste generatieve registratieframework dat succesvol werkt op echte outdoor LiDAR-data (Waymo), waar geen echte RGB-afbeeldingen beschikbaar zijn.

Resultaten

C-GenReg is getest op zowel indoor als outdoor benchmarks en presteert state-of-the-art (SOTA) in zero-shot setting:

• Indoor (3DMatch & ScanNet):
  • Presteert beter dan bestaande leer-gebaseerde methoden (zoals GeoTransformer, FCGF, Predator) en handgemaakte descriptors (FPFH).
  • Bereikt een lagere gemiddelde rotatie- en translatiefout (RRE/RTE) dan concurrenten.
  • Toont sterke generalisatie naar het ScanNet-dataset (een dataset waar de modellen niet op zijn getraind).
• Outdoor (Waymo Open Dataset):
  • Toont aanzienlijk betere prestaties dan methoden die zijn getraind op KITTI-data, wat de superioriteit in cross-dataset generalisatie aantoont.
  • Werkt effectief op LiDAR-data door het gebruik van virtuele camera's voor diepteprojectie.
• Ablatie Studies:
  • Bevestigt dat een task-specific VFM (MASt3R) veel beter presteert dan een generieke VFM (DINOv2).
  • Toont aan dat de probabilische fusie ("Match-then-Fuse") significant beter presteert dan eenvoudige feature concatenatie.

Significantie

Dit paper markeert een paradigmaverschuiving in 3D-point cloud registratie:

• Overbrugging van Modaliteiten: Het lost het probleem op dat 3D-modellen moeilijk generaliseren door 3D-geometrie tijdelijk te vertalen naar het 2D-domein, waar de krachtigste foundation modellen (VFMs) al bestaan.
• Eliminatie van Training: Het toont aan dat complexe registratietaken kunnen worden opgelost zonder het trainen van nieuwe modellen, wat de toepasbaarheid in nieuwe omgevingen en met nieuwe sensoren drastisch verhoogt.
• Robuustheid: Door de combinatie van gegenereerde visuele priors en directe geometrische informatie, is het systeem extreem robuust tegen variaties in sensoren, puntendichtheid en overlap.

Samenvattend biedt C-GenReg een krachtige, universele oplossing voor 3D-registratie die de beperkingen van huidige leer-gebaseerde methoden overwint door slim gebruik te maken van generatieve AI en probabilistische fusie.