Wid3R: Wide Field-of-View 3D Reconstruction via Camera Model Conditioning

1. Probleemstelling

Bestaande methoden voor multi-view 3D-reconstructie (zoals VGGT, $\pi^3$, en Dust3R) maken over het algemeen de aanname dat invoerbeelden zijn opgenomen met pinhole-camera's of dat ze al zijn gecorrigeerd (undistorted) via kalibratie. Deze aannames zijn diep verankerd in de architectuur en de trainingsdatasets.

Dit leidt tot twee grote problemen in real-world scenario's:

• Generalisatieprobleem: Methodes falen vaak bij beelden van camera's met een groot gezichtsveld (Wide Field-of-View of WFOV), zoals visioen- (fisheye) en 360°-camera's, vanwege de complexe niet-lineaire projectie-effecten.
• Preprocessing-Overhead: Het vereist vaak uitgebreide voorverwerking (kalibratie en rectificatie) om beelden te "ontkrommen". Dit introduceert engineering-uitdagingen en kan geometrische nauwkeurigheid verminderen door informatieverlies tijdens het rectificatieproces.

Er is momenteel geen algemene feed-forward oplossing voor multi-view 3D-geometrische schatting die direct werkt met vervormde beelden van WFOV-camera's zonder expliciete kalibratie.

2. Methodologie: Wid3R

Wid3R is een feed-forward neurale netwerkarchitectuur die direct werkt met vervormde multi-view beelden. De kern van de methode bestaat uit drie belangrijkste componenten:

A. Ray-based Representatie met Sferische Harmonischen

In plaats van directe diepte- of puntkaarten te regresseren (zoals bij pinhole-modellen), modelleert Wid3R de geometrie in "ray space" (straalruimte).

• Ray Pencil: Elke pixel wordt gemodelleerd als een camerastraal.
• Sferische Harmonischen (SH): De richting van deze stralen wordt gecodeerd met behulp van sferische harmonischen. Dit biedt een compacte en nauwkeurige parametrisatie die goed werkt voor willekeurige camera-projectiemodellen, inclusief die met extreme vervorming.
• Decoupling: De reconstructie wordt opgesplitst in twee modules:
  1. Angular Module: Voorspelt de stralrichting ($\hat{R}_i$) gebaseerd op de camera-token.
  2. Radial Module: Voorspelt de radiale afstand ($\hat{D}_i$) langs die straal.
     De uiteindelijke 3D-punten worden berekend als $\hat{P}_i = \hat{R}_i \odot \hat{D}_i$.

B. Camera Model Tokens

Om het netwerk te laten aanpassen aan verschillende camera-types zonder de architectuur te veranderen, introduceert de auteurs een Camera Model Token.

• Dit is een learnable token dat als een "prompt" fungeert en het netwerk expliciet informeert over de projectie-eigenschappen van de specifieke camera (bijv. pinhole, fisheye, of 360°).
• Hierdoor kan één gedeelde architectuur worden getraind op een mix van datasets met verschillende camera-types.

C. Training en Data

• Datasets: Het model is getraind op een diverse collectie datasets (TartanAirV2, ASE, Hypersim, KITTI-360, Matterport3D, ScanNet++, etc.) die pinhole, fisheye en 360°-camera's omvatten.
• Data Balancing: Omdat 360°-data schaars is (<1% van de totale data), gebruiken de auteurs een strategie waarbij ze diverse camera-types samen trainen. Dit verbetert de generalisatie naar 360°-scènes en vermindert overfitting.
• Augmentatie: Er wordt gebruikgemaakt van camera-augmentatie waarbij pinhole-beelden worden omgezet naar fisheye-modellen via reprojectie, om de diversiteit te vergroten.

3. Belangrijkste Bijdragen

1. Eerste Multi-View Feed-Forward Netwerk voor Vervormde Beelden: Wid3R is het eerste systeem dat multi-view 3D-reconstructie uitvoert op directe, vervormde beelden van WFOV-camera's zonder expliciete rectificatie.
2. Unificatie van Ray-based Representatie: Het introduceert een unificatie van sferische harmonischen voor multi-view reconstructie, wat robuustheid biedt tegen lensvervorming.
3. Camera Model Conditioning: Het ontwerp van camera-tokens als een expliciete conditionering-mechanisme, waardoor het netwerk kan schakelen tussen verschillende projectiemodellen binnen één architectuur.

4. Resultaten

Wid3R presteert aanzienlijk beter dan state-of-the-art methoden (zoals VGGT en $\pi^3$) op WFOV-datasets:

• Camera Pose Schatting:
  • Op Zip-NeRF (fisheye): +77,33% verbetering in AUC@30°.
  • Op Stanford2D3D (360°): +48,2% verbetering in nauwkeurigheid voor puntkaart-reconstructie.
  • Op Matterport3D: 3,38% verbetering in $\delta_{1.25}$ voor diepteschatting.
• Efficiëntie:
  • In tegenstelling tot traditionele SfM-pipelines (zoals COLMAP) die minuten nodig hebben voor bundel-optimatie, kan Wid3R binnen 3 seconden een 3D-kaart genereren voor grote indoor-scènes.
• Generalisatie: Het model toont sterke prestaties in zero-shot setting op 360°-data, zelfs wanneer het model is getraind op een mix van camera-types.

5. Betekenis en Impact

Deze paper markeert een belangrijke stap in de evolutie van computer vision voor real-world toepassingen:

• Robuustheid: Het elimineert de noodzaak voor dure en foutgevoelige kalibratieprocessen voor WFOV-camera's, wat essentieel is voor robotica, autonome navigatie en AR/VR.
• Scalabiliteit: Door een feed-forward aanpak te gebruiken, wordt de berekeningstijd drastisch verkort, waardoor real-time 3D-mapping mogelijk wordt in grote omgevingen.
• Toekomstgericht: Het bewijst dat het mogelijk is om één "foundation model" te bouwen dat werkt met diverse camera-types, wat de weg vrijmaakt voor meer geïntegreerde visuele systemen in complexe omgevingen.

Kortom, Wid3R lost het probleem op van het "ontbreken van een universele oplossing" voor 3D-reconstructie bij vervormde camera's, door direct in ray-space te werken en camera-specifieke informatie via tokens te integreren.