UnLoc: Leveraging Depth Uncertainties for Floorplan Localization

Probleemstelling

Camera-localisatie binnen binnenomgevingen is cruciaal voor augmented reality en robotica. Traditionele methoden vertrouwen vaak op zware 3D-modellen of uitgebreide beelddatabases, wat schaalbaarheid beperkt. Een lichter alternatief is het gebruik van plattegronden (floorplans). Echter, recente state-of-the-art methoden, zoals F3Loc, hebben twee fundamentele beperkingen die hun praktische toepasbaarheid belemmeren:

1. Gebrek aan onzekerheidsmodellering: Bestaande methoden behandelen dieptepredicties als deterministisch en even betrouwbaar, ongeacht de visuele kwaliteit van het beeld. In uitdagende scenario's (bijv. glazen wanden, open deuropeningen, of featureless muren) is dieptebepaling onbetrouwbaar. Het niet meenemen van deze onzekerheid leidt tot foutieve pose-schattingen.
2. Dataset-specifieke training: Methodes zoals F3Loc vereisen een aangepast dieptenetwerk dat specifiek getraind moet worden voor elke nieuwe omgeving. Dit maakt schaalbaarheid onpraktisch, omdat het verzamelen van grondwaarheidsdata voor elke nieuwe locatie onhaalbaar is.

Methodologie: UnLoc

UnLoc is een efficiënte, datagedreven oplossing voor sequentiële camera-localisatie binnen plattegronden. De methode lost de bovengenoemde problemen op door onzekerheid expliciet te modelleren en kant-en-klare (off-the-shelf) modellen te gebruiken.

Kerncomponenten:

1. Onzekerheidsbewuste Dieptepredictie:

   • In plaats van alleen een dieptewaarde te voorspellen, modelleert UnLoc de voorspelde diepte als een expliciete waarschijnlijkheidsverdeling.
   • De auteurs veronderstellen een Laplace-verdeling rondom de voorspelde diepte, waarbij de schaalparameter wordt bepaald door een geschatte onzekerheid ($\hat{b}_t$).
   • Dit stelt het systeem in staat om vertrouwen te kwantificeren: hoge onzekerheid (bijv. bij glas) resulteert in een bredere verdeling, waardoor deze waarden minder zwaar wegen in de localisatie.

2. Gebruik van Pre-trained Monodepth Modellen:

   • UnLoc maakt geen gebruik van een aangepast netwerk per dataset. In plaats daarvan wordt een state-of-the-art, vooraf getraind monokulair dieptemodel (Depth Anything v2) gebruikt.
   • Dit elimineert de noodzaak voor per-omgeving training en verbetert de generalisatie naar onbekende ruimtes.

3. Verwerkingspipeline:

   • Gravity Alignment: Afbeeldingen worden eerst uitgelijnd met de zwaartekracht (roll en pitch) om een consistente oriëntatie te garanderen.
   • Feature Extraction & Masked Attention: Een encoder (Depth Anything v2) haalt features uit de afbeelding. Een gemaskerde attentie-mechanisme gebruikt deze features en een binair masker (van de uitlijning) om per kolom in het beeld de diepte ($\hat{d}_t$) en onzekerheid ($\hat{b}_t$) te voorspellen.
   • Uncertainty-Aware Matching: De voorspelde diepten worden omgezet in stralen (rays) die worden vergeleken met de plattegrond. De waarnemingskans ($p(o_t | s_t)$) wordt berekend als een product van onafhankelijke Laplace-verdelingen. Hierbij worden onbetrouwbare metingen (hoge $\hat{b}_t$) automatisch down-ge-weight.
   • Histogram Filter: Een Bayesiaanse histogramfilter fuseert de waarnemingskans met de vorige posterior (via een bewegingsmodel) om de posterior verdeling over de SE(2)-camera-pose te updaten.
   • Post-Processing: Een lichte optimalisatie over de laatste $k$ frames (global rigid correction) corrigeert resterende drift, waarbij onzekerheid weer wordt gebruikt om ruis te filteren.

Belangrijkste Bijdragen

1. Probabilistische Dieptemodeling: De introductie van een Laplace-gebaseerde onzekerheidsmodellering voor plattegronddiepte, wat robuustheid biedt tegen visuele ambiguïteiten.
2. Plug-and-Play Generalisatie: Het aantonen dat state-of-the-art pre-trained monodepth-modellen (zoals Depth Anything v2) direct kunnen worden gebruikt voor floorplan-localisatie zonder extra training, wat de toepasbaarheid in nieuwe omgevingen drastisch verbetert.
3. Significante Prestatieverbetering: UnLoc overtreft bestaande methoden aanzienlijk in zowel nauwkeurigheid als robuustheid, vooral op korte sequenties.

Resultaten

De auteurs evalueren UnLoc op synthetische (Gibson) en real-world (LaMAR HGE en LaMAR CAB) datasets.

• Nauwkeurigheid op LaMAR HGE:
  • Op korte sequenties (15 frames) bereikt UnLoc een 42,2 keer hogere localisatie-recall vergeleken met de state-of-the-art (F3Loc).
  • Op langere sequenties (100 frames) is de recall 2,7 keer hoger.
  • UnLoc bereikt een succesrate van 100% op 100-frame sequenties, terwijl F3Loc slechts 36,4% haalt.
• Robuustheid: UnLoc presteert consistent beter op uitdagende real-world data met hoge occlusie en smalle gezichtsvelden. Zelfs zonder post-processing presteert het al beter dan F3Loc.
• Generalisatie: In cross-dataset tests (getraind op LaMAR HGE, getest op LaMAR CAB) faalt F3Loc volledig, terwijl UnLoc succesvol localiseert, wat de superioriteit van de gebruikte pre-trained features en onzekerheidsmodellering bevestigt.
• Efficiëntie: Hoewel het gebruik van een zware pre-trained encoder iets meer rekentijd kost dan een klein aangepast netwerk, blijft het systeem real-time bruikbaar (ongeveer 1 seconde per frame voor de volledige pipeline op grote plattegronden).

Betekenis en Conclusie

UnLoc markeert een belangrijke stap in de visuele localisatie binnen gebouwen. Door de afhankelijkheid van per-omgeving getrainde modellen te doorbreken en onzekerheid expliciet te integreren in de probabilistische filter, biedt het een schaalbare en robuuste oplossing. De methode maakt het mogelijk om apparaten snel en accuraat te lokaliseren in nieuwe, onbekende binnenruimten zolang er slechts een plattegrond beschikbaar is. Dit is essentieel voor de praktische implementatie van AR-toepassingen en autonome robots in dynamische omgevingen.