Technische Samenvatting: Efficiënte kenmerkloze initialisatie voor monokulaire visueel-inertiale systemen met behulp van een feed-forward 3D-model

Probleemstelling

Monokulaire Visueel-Inertiale Navigatiesystemen (VINS) vereisen een betrouwbare en snelle initialisatie om de initiële lineaire snelheid, de zwaartekrachtrichting en de metrische schaal te herstellen, welke onwaarneembaar is bij visuele pose-schatting alleen. Traditionele initialisatiemethoden zijn sterk afhankelijk van visuele kenmerkextractie, tracking en correspondentie over afbeeldingsweergaven. Deze benaderingen ondervinden aanzienlijke beperkingen in uitdagende scenario's zoals textuurloze omgevingen, snelle beweging, bewegingsonscherpte en trajecten met lage parallax. Onder deze omstandigheden faalt kenmerktracking vaak, wat leidt tot slecht geconditioneerde geometrische constraints, vertraagde convergentie of complete initialisatiefalen. Bovendien vereisen bestaande methoden doorgaans 3–4 seconden aan sensorische data voor initialisatie, wat hun toepasbaarheid beperkt in tijdkritieke real-world toepassingen zoals AR op het apparaat en wendbare robotica.

Methodologie

De auteurs stellen een kenmerkloos initialisatiekader voor dat traditionele visuele kenmerktracking vervangt door schaal-ongeachte 3D-puntenwolken die direct worden voorspeld uit invoerafbeeldingen door een feed-forward 3D-fundatiemodel (specifiek VGGT). De pijplijn bestaat uit twee hoofdfasen:

1. Integratie van Feed-Forward 3D-model

In plaats van 3D-posities te schatten voor getrackte kenmerken, maakt het systeem gebruik van een vooraf getraind feed-forward-model om een dichte, schaal-ongeachte puntenwolk $\{C_0 \bar{p}_{i,k}\}$ te voorspellen voor een reeks afbeeldingen. Het model levert puntenwolken op die zijn uitgedrukt in een consistente referentiecameraframe $\{C_0\}$. Om uitvoerbaarheid te garanderen, worden voorspellingen met lage betrouwbaarheid gefilterd en wordt een vast aantal punten met hoge betrouwbaarheid per frame bemonsterd.

2. Kenmerkloos lineair systeem in gesloten vorm

De kerninnovatie is een herformulering van het initialisatieprobleem waarbij 3D-puntposities worden geparametriseerd door een enkele globale schalingsfactor $s$ in plaats van individuele kenmerkcoördinaten.

• Staatreductie: De staatvector wordt gereduceerd van het bevatten van $M$ kenmerkposities (dimensie $3M$) plus snelheid en zwaartekracht naar een compacte 7-dimensionale vector: $x = [s, \mathbf{v}_{I_0}, \mathbf{g}]^\top$.
• Lineaire Formulering: Door de schaal-geparametriseerde puntenwolk te substitueren in het camera-projectiemodel en de IMU-preintegratievergelijkingen, leiden de auteurs een lineair systeem af: $\bar{A}x = \bar{b}$.
• Robuustheid: RANSAC is direct geïntegreerd in de lineaire solver om outliers in de voorspelde puntenwolk te verwerpen, waardoor de robuustheid tegen voorspellingsfouten wordt versterkt.

3. Niet-lineaire verfijning (VI-BA)

Na de lineaire oplossing worden twee varianten van Visueel-Inertiale Bundle Adjustment (VI-BA) voorgesteld voor verfijning:

• Schaal-gedwongen (SC): Verrijkt traditionele op kenmerken gebaseerde optimalisatie met een gedeelde schaalparameter. Dit behoudt kenmerkcorrespondenties voor hogere nauwkeurigheid maar behoudt een grotere statruimte.
• Kenmerkloos (FF): Elimineert kenmerkstaten volledig. De reprojectieresidu wordt uitsluitend geparametriseerd door de schalingsfactor $s$ en IMU-staten. Deze formulering minimaliseert de statdimensie tot $O(1)$ voor geometrie, wat de numerieke conditionering en convergentiesnelheid aanzienlijk verbetert.
• Lokale schalaanpassing: Om lokale voorspellingsfouten te hanteren, wordt de puntenwolk opgedeeld in een 2D-rooster (bijv. $3 \times 3$), waarbij onafhankelijke schaalparameters worden toegewezen aan elk gebied dat verbonden is door gladheidsconstraints.

Belangrijkste bijdragen

1. Eerste integratie van feed-forward 3D-modellen: Dit werk is het eerste dat feed-forward 3D-fundatiomodellen integreert in monokulaire VINS-initialisatie, en zo voorbijgaat aan traditionele op kenmerken gebaseerde pijplijnen.
2. Kenmerkloze formulering: De auteurs leiden een lineair systeem in gesloten vorm af dat de noodzaak voor visuele kenmerkassociatie op natuurlijke wijze elimineert, en de metrische schaal, initiële snelheid en zwaartekracht direct schat op basis van voorspelde geometrie.
3. Twee VI-BA-varianten: Het artikel formuleert twee verfijningsstrategieën: een zeer efficiënte kenmerkloze versie en een schaal-gedwongen versie die kenmerkcorrespondenties behoudt voor nauwkeurigheid.
4. Empirische validatie: Uitgebreide experimenten op publieke datasets (EuRoC, TUM-VI) en een zelfverzamelde dataset tonen de superioriteit van de methode aan in succespercentage en data-efficiëntie.

Experimentele resultaten

De voorgestelde methode werd geëvalueerd tegen state-of-the-art baselines (Dong-Si, sqrtVINS, DRT en op leren gebaseerde dieptemethoden) op de EuRoC- en TUM-VI-datasets.

• Succespercentage: De kenmerkloze (FF) variant behaalde de hoogste succespercentages, met meer dan 90% op de TUM-VI-dataset en 81,2% op EuRoC, wat aanzienlijk beter presteerde dan baselines die vaak worstelden in scenario's met lage parallax of verslechterde omstandigheden.
• Data-efficiëntie: De methode reduceerde drastisch de vereiste duur van sensorische data voor succesvolle initialisatie. De gemiddelde tijd tot succesvolle initialisatie ($T_{tot}$) werd gereduceerd tot ongeveer 1,2 seconden, vergeleken met 2,5–3,3 seconden voor de meeste baselines.
• Nauwkeurigheid: Hoewel de kenmerkloze variant een iets hogere windowed Absolute Trajectory Error (ATE) vertoonde dan de schaal-gedwongen variant vanwege het ontbreken van kenmerkconstraints, bereikte het de laagste traject-ATE in daaropvolgende tracking, wat aangeeft dat de initialisatiekwaliteit voldoende was voor stabiele langetermijnoperatie.
• Robuustheid: In zelfverzamelde datasets met visueel verslechterde omgevingen (bijv. lage textuur, bewegingsonscherpte) behield de voorgestelde methode betrouwbare initialisatie waar op kenmerken gebaseerde baselines vaak divergeerden of faalden.
• Ablatiestudies: Resultaten bevestigden dat de methode agnostisch is ten opzichte van het specifieke gebruikte feed-forward-model (getest met VGGT, Depth Anything 3 en $\pi^3$), waarbij de prestaties direct schaalt met de kwaliteit van de onderliggende geometrische voorspelling.

Betekenis en claims

Het artikel stelt dat door gebruik te maken van de ruimtelijke begripscapaciteiten van feed-forward 3D-modellen, het monokulaire VINS-initialisatieprobleem kan worden vereenvoudigd tot een beknopte, kenmerkloze formulering. Deze benadering adresseert de fundamentele broosheid van kenmerktracking in verslechterde omgevingen.

De auteurs benadrukken dat hun methode:

• De systeemcomplexiteit aanzienlijk reduceert door kenmerkextractie en tracking overbodig te maken.
• De betrouwbaarheid verbetert, met name in scenario's waar bestaande methoden falen (bijv. textuurloze muren, snelle beweging).
• Snellere implementatie mogelijk maakt door de initialisatietijd te reduceren tot onder de 1,2 seconden, waardoor het geschikt is voor real-time toepassingen zoals AR en noodnavigatie.

Het artikel erkent beperkingen, waarbij wordt opgemerkt dat de prestaties afhankelijk zijn van de generalisatie van de onderliggende 3D-fundatiomodellen. In scènes met open lucht of omgevingen met extreem schaarse geometrische aanwijzingen (bijv. lege witte muren) kan de voorspelde geometrie onbetrouwbaar worden, wat leidt tot initialisatiefalen. De auteurs stellen echter dat naarmate fundatiomodellen verbeteren, de initialisatieprestaties daar natuurlijk mee zullen meegroeien, en dat toekomstig werk volledig differentieerbare, feed-forward VINS-pijplijnen zou kunnen verkennen.