Technische Samenvatting: ProteusVPR voor Cross-Scene Visuele Plaatsherkenning in Maritieme Perceptie

1. Probleemstelling

Autonome robotinspectie in maritieme omgevingen staat voor unieke uitdagingen voor Visual Place Recognition (VPR) vanwege extreme cross-scene perceptuele verschuivingen. Robots die door scheepsomgevingen navigeren, moeten overgaan tussen twee visueel verschillende domeinen:

• Open Dekken: Gekenmerkt door schaarse texturen, herhaalde lucht-water achtergronden en ernstige veranderende illuminatie veroorzaakt door weer en reflecties.
• Besloten Cabines: Gedefinieerd door zeer repetitieve structuren, smalle gangen en lay-outs met meerdere verdiepingen met een sterke uiterlijke gelijkenis.

Bestaande VPR-methoden, primair ontworpen voor stedelijke of binnenomgevingen (bijv. NetVLAD, CosPlace, MixVPR), slagen er niet in om betrouwbaar te generaliseren over deze sterk uiteenlopende scenario's. Ze optimaliseren vaak voor beeldniveau-retrieval in plaats van precieze lokalisatie, en worstelen met de ambiguïteit van repetitieve binnenstructuren en het gebrek aan textuur op open dekken. Bovale is het simpelweg fine-tunen van bestaande modellen op maritieme datasets vaak onvoldoende, omdat hun onderliggende feature-representaties zijn ontworpen voor generieke grootschalige retrieval in plaats van repetitieve binnenlokalisatie.

2. Methodologie: ProteusVPR

De auteurs stellen ProteusVPR voor, een tweestaps retrieval-verfijningsframework dat is ontworpen om bestaande VPR-systemen aan te passen aan maritieme cabine-omgevingen zonder de retrieval-backbone te herontwerpen.

Fase 1: Initiële Beeldretrieval

De eerste fase maakt gebruik van een standaard, vooraf getraind VPR-model (bijv. MutualVPR, CosPlace, SALAD) om de meest visueel gelijke referentieafbeelding ($I_{r1}$) te extraheren uit een geodetagdeerde database. Deze fase levert de geografische locatie ($\mathbf{p}_{r1}$) en de field-of-view center azimut ($y_{r1}$) van de geëxtraheerde afbeelding.

Fase 2: Geometrisch-Visueel Schattingsnetwerk

De tweede fase verfijnt de initiële retrieval met behulp van een relatief verplaatsingsschattingsnetwerk. Het neemt de geëxtraheerde afbeelding ($I_{r1}$) en de twee voorafgaande temporele frames van de query-videosequentie ($I_{r2}, I_{r3}$) als input. Het netwerk fuseert meerdere modaliteiten om de precieze locatie te schatten:

1. Visuele Feature Extractie: Een bevroren DINOv2 ViT-B/14 encoder verwerkt de query en drie referentieafbeeldingen. Features worden verbeterd via concatenatie van CLS-tokens en gemiddelde patch-tokens, gevolgd door inter-referentie en query-referentie aandachtmechanismen.
2. Geometrische Descriptor Codering: Het netwerk berekent de geometrische relaties (verplaatsingen, afstanden en hoeken) tussen de drie referentiepunten. Deze worden gecodeerd in een globale geometrische descriptor ($\mathbf{f}_{geo}$).
3. Lokaal Affien Coördinatensysteem: Om rotatie- en translatie-invariantie te bereiken, wordt een lokaal 2D affien coördinatensysteem geconstrueerd met behulp van de drie referentiepunten. De locatie van de query wordt geschat als een verplaatsing ($\boldsymbol{\delta}_{local}$) ten opzichte van het zwaartepunt van dit lokale systeem, in plaats van in globale coördinaten.
4. Azimut Codering: De field-of-view center azimuten (yaw-hoeken) van de query en de referentiebeelden worden gecodeerd en gefuseerd om directionele context te bieden.
5. Regressie en Transformatie: Een MLP regresseert de lokale verplaatsingsvector. Deze wordt teruggetransformeerd naar globale coördinaten met behulp van de geconstrueerde affiene basis.

Verliesfunctie: Het netwerk wordt end-to-end getraind met een combinatie van:

• Absolute Positie Verlies ($\mathcal{L}_{abs}$): Euclidische afstand tussen voorspelde en grondwaarheid posities.
• Geometrische Consistentie Verlies ($\mathcal{L}_{geo\_cons}$): Zorgt ervoor dat de voorspelde positie geometrisch plausibel blijft ten opzichte van de referentiepunten (barycentrische beperkingen), waarbij voorspellingen die significant afwijken van de referentiecluster worden bestraft.

3. De XHZ Dataset

Om een rigoureuze evaluatie te ondersteunen, introduceren de auteurs de XHZ (Xinhongzhuan Visual) Dataset, verzameld van een operationeel vaartuig.

• Omvang: Beslaat interieurcabines (structuren met meerdere verdiepingen), transitiezones van het dek en externe dekgebieden.
• Kenmerken: Kenmerkt zich door zeer repetitieve ruimtelijke lay-outs, sterke visuele gelijkenis en beperkte bewegingstrajecten.
• Annotatie: Bevat 2.996 panoramische afbeeldingen (Versie 1) met een strikte scheiding tussen query en database. De dataset gebruikt een specifieke coördinaat-offsetstrategie om verschillende dekken (L0–L3) in 2D-projecties te onderscheiden, wat foutieve associaties tussen verdiepingen voorkomt.
• Evaluatieprotocol: Queries worden geselecteerd uit specifieke yaw-hoeken (0°), terwijl de database andere hoeken en temporele frames bevat om discrete observatie- en dichte mapping-scenario's te simuleren.

4. Experimentele Resultaten

Uitgebreide experimenten zijn uitgevoerd op de XHZ-dataset met meerdere VPR-backbones (BoQ, CosPlace, EigenPlaces, MixVPR, SALAD, MutualVPR) met zowel vooraf getrainde als gefine-tuned gewichten.

• Retrieval Prestaties: Fine-tuning heeft de baseline prestaties aanzienlijk verbeterd. MutualVPR (fine-tuned) behaalde de hoogste recall (R@1 tot 97,3% op Layer 3) en de laagste 90% kwantiel lokalisatiefouten over alle lagen.
• Verfijningsprestaties: De ProteusVPR verfijningsfase verbeterde de lokalisatienauwkeurigheid consistent.
  • Gemiddeld heeft het framework de gemiddelde lokalisatiefout met meer dan 60% verminderd over meerdere backbones.
  • Voor MutualVPR (fine-tuned) op Layer 3 daalde de gemiddelde fout van 1,519 m (Stage 1) naar 0,242 m (Stage 2), een reductie van 84,1%.
  • Voor CosPlace (fine-tuned) op Layer 3 daalde de gemiddelde fout van 4,416 m naar 0,275 m (93,8% reductie).
• Robuustheid: De verfijningsfase was bijzonder effectief in het corrigeren van "long-tail" fouten (catastrofale fouten) waarbij de initiële retrieval inaccuraat was, waarbij het vaak fouten bij cross-floor retrieval corrigeerde door gebruik te maken van de temporele continuïteit van de voorafgaande frames.

Ablatieonderzoek

• Geometrische Descriptoren: Het verwijderen van de geometrische descriptor codering veroorzaakte een enorme prestatedaling (bijv. de 90% kwantiel fout van Layer 3 steeg van 0,432 m naar 2,974 m), wat de cruciale rol ervan bevestigt.
• Lokaal Affien Coördinatensysteem: Het verwijderen van dit systeem (regressie uitvoeren in globale coördinaten) verslechterde de prestaties aanzienlijk, wat de noodzaak voor invariantie valideert.
• Azimut Codering: Het verwijderen van expliciete azimut codering resulteerde slechts in een marginale prestatieverlies, wat suggereert dat visuele features in scheepsinterieurs impliciet directionele informatie coderen.

5. Betekenis en Claims

Het artikel claimt dat ProteusVPR een effectieve en robuuste oplossing biedt voor precieze visuele lokalisatie in uitdagende, cross-scene maritieme omgevingen. De primaire betekenis ligt in:

1. Algemene Aanpasbaarheid: Het dient als een algemeen tweede-fase verfijningsframework dat kan worden toegepast op bestaande VPR-systemen, waardoor hun prestaties in maritieme settings worden verbeterd zonder een volledige architecturale herziening.
2. Overbruggen van de Kloof: Het slaagt erin de kloof te overbruggen tussen open-water scenario's (bijv. autonoom aanmeren) en besloten omgevingen (bijv. AR-gebaseerde cabine-inspectie), waarbij het de specifieke perceptuele aliasing aanpakt die voorkomt in repetitieve scheepsinterieurs.
3. Benchmarking: De introductie van de XHZ-dataset biedt een rigoureus, fijnmazig benchmark voor maritieme VPR, waarmee wordt ingegaan op het gebrek aan geschikte datasets voor het evalueren van cross-scene navigatie op schepen.

De auteurs erkennen beperkingen, waarbij zij opmerken dat het framework afhankelijk is van de kwaliteit van de initiële retrieval (ernstige retrieval-fouten kunnen niet volledig worden gecorrigeerd) en dat de dataset momenteel beperkt is tot één enkel vaartuig. Toekomstig werk suggereert het verkennen van uncertainty-aware retrieval en grotere, meer diverse maritieme datasets.