Image-based Geo-localization for Robotics: Are Black-box Vision-Language Models there yet?

Technische Samenvatting: Beeldgebaseerde Geo-lokalisatie voor Robotica: Zijn Black-box Vision-Language Modellen Er Al?

Probleemstelling
Beeldgebaseerde geo-lokalisatie—de taak van het identificeren van geografische coördinaten op basis van visuele gegevens alleen—is cruciaal voor de globale relokalisatie van robots, met name in "kidnapped robot"-scenario's waarbij een robot zijn positie moet herstellen zonder voorafgaande locatiekennis. Hoewel Vision-Language Models (VLM's) veelbelovend zijn gebleken door het integreren van semantische en contextuele kennis voor deze taak, zijn de meeste state-of-the-art (SOTA) modellen propriëtaire black boxes die alleen via API's toegankelijk zijn. Dit beperkt de toegang tot interne kenmerken, gradiënten en trainingsdata, wat hertraining of fine-tuning verhindert. Bovendien vertrouwen bestaande evaluaties vaak op smalle publieke datasets die kunnen overlappen met de trainingsdata van het model, wat zorgen baart over datacontaminatie en de generalisatie van deze modellen naar onbekende, realistische omgevingen. Het artikel behandelt het onverkende potentieel en de beperkingen van het gebruik van SOTA generatieve VLM's als op zichzelf staande, zero-shot geo-lokalisatiesystemen onder realistische black-box beperkingen.

Methodologie
De auteurs stellen een systematisch evaluatiekader voor om SOTA VLM's te onderzoeken over drie verschillende scenario's, gebruikmakend van een "Least-to-Most" (LTM) prompting strategie en variaties in enkelvoudige zinnen.

1. Geëvalueerde Modellen: Drie SOTA VLM's die verschillende paradigma's vertegenwoordigen werden getest:

   • GPT-4v (Closed-source, API-gebaseerd).
   • IDEFICS-80b-Instruct (Open-weight).
   • LLaVA-1.5-13b (Open-source).
   • Opmerking: Kleinere varianten (bijv. IDEFICS-9b, LLaVA-7b) werden preliminaal getest maar verworpen vanwege verwaarloosbare prestaties (<1% nauwkeurigheid).

2. Datasets: Om een rigoureuze beoordeling te garanderen die verder gaat dan standaard benchmarks, maakte de studie gebruik van:

   • Publieke Datasets: IM2GPS en Tokyo 24/7 (vastgelegd tijdens dag, zonsondergang en nacht).
   • Niet-publieke Datasets: CSN en LZR (vastgelegd in Italiaanse steden onder variërende weersomstandigheden, verlichting en gezichtspunten). Deze werden gebruikt om de generalisatie naar onbekende distributies te testen.

3. Scenario's:

   • Scenario 1 (Generalisatie): Het evalueren van prestaties over diverse datasets met behulp van een vaste LTM-prompt.
   • Scenario 2 (Prompt Sensitiviteit): Het beoordelen van de modelstabiliteit tegenover semantisch equivalente prompt-variaties (zowel enkelvoudige zinnen als LTM-formaten) terwijl de afbeeldingen constant blijven.
   • Scenario 3 (Omgevingsrobuustheid): Het evalueren van robuustheid tegen omgevingsveranderingen (lichtinval, weer, tijdstip van de dag) met behulp van semantisch equivalente query-afbeeldingen met een vaste prompt.

4. Metrieken:

   • Nauwkeurigheid (Accuracy): Gemeten via de Haversine-afstand tegen de grondwaarheid bij standaard drempelwaarden (1km, 25km, 200km, 750km, 2500km).
   • Consistentie: Een nieuwe metriek geïntroduceerd om de stabiliteit van outputs te meten over semantisch equivalente inputs, rekening houdend met de autoregressieve en probabilistische aard van generatieve VLM's.

Belangrijkste Bijdragen

• Eerste Systematische Black-Box Studie: Dit werk vormt het eerste uitgebreide onderzoek naar SOTA generatieve VLM's als op zichzelf staande, zero-shot geo-lokalisatiesystemen in een black-box setting.
• Uitgebreide Benchmarking: De studie benchmarkt modellen op zowel standaard publieke datasets als niet-publieke datasets om prestatie-inflatie door overlap met trainingsdata te onthullen.
• Sensitiviteitsanalyse: Het artikel kwantificeert systematisch de gevoeligheid van modellen voor zowel de formulering van de prompt als omgevingsvariaties, factoren die vaak over het hoofd worden gezien in eerder geo-lokalisatieonderzoek.
• Nieuwe Metriek: De introductie van "Model Consistentie" om de betrouwbaarheid van generatieve outputs te evalueren buiten eenvoudige nauwkeurigheid.

Resultaten

• Coarse vs. Fine-Grained Lokalisatie: Alle modellen vertoonden sterke prestaties op grove ruimtelijke niveaus (land- of regionale schaal), waarbij ze gebruikmaakten van hoogwaardig scènebegrip. Echter, fine-grained lokalisatie (straat-/stadsniveau) degradeerde aanzienlijk, met name op niet-publieke datasets.
• Data Distributie Bias: Modellen presteerden aanzienlijk beter op publieke datasets (IM2GPS, Tokyo 24/7) vergeleken met niet-publieke datasets (CSN, LZR). Zo behaalde GPT-4v ~70% straatniveau nauwkeurigheid op Tokyo 24/7, maar bijna nul nauwkeurigheid op CSN/LZR bij dezelfde drempelwaarde. Dit suggereert prestatie-inflatie door overlap tussen de trainingsdata en publiek web-gescrapte data.
• Prompt Sensitiviteit: Gestructureerde LTM-prompts presteerden consequent beter dan enkelvoudige zin-prompts in zowel nauwkeurigheid als consistentie. Desondanks vertoonden modellen, zelfs met LTM-prompts, sensitiviteit voor semantisch equivalente formuleringen. Opvallend genoeg repliceerden sommige modellen (bijv. LLaVA-13b) soms coördinaten die in de prompt stonden in plaats van onafhankelijke voorspellingen te genereren, wat de consistentiescores kunstmatig verhoogde.
• Omgevingsrobuustheid: Prestaties waren zeer gevoelig voor lichtomstandigheden. Modellen presteerden over het algemeen slechter in donkere omstandigheden (schemering/nacht) vergeleken met goed verlichte omgevingen, met nauwkeurigheidsdalingen van tot wel 50% in niet-publieke datasets. De Tokyo 24/7 dataset vertoonde meer stabiliteit, waarschijnlijk door persistente tekstuele aanwijzingen (borden, billboards) die leesbaar bleven over de tijd van de dag heen.
• Ontkoppeling van Nauwkeurigheid en Consistentie: Hoge nauwkeurigheid correleerde niet altijd met hoge consistentie. Bijvoorbeeld, IDEFICS-80b-Instruct behaalde in veel gevallen een hogere nauwkeurigheid dan LLaVA-13b, maar vertoonde aanzienlijk lagere consistentie, wat duidt op instabiele redeneerpatronen.

Betekenis en Claims
Het artikel concludeert dat hoewel black-box VLM's sterke grove lokalisatie-priors bezitten die geschikt zijn voor hoogwaardig semantisch begrip of regionale relokalisatie, ze nog niet betrouwbaar zijn als op zichzelf staande, fine-grained geo-lokalisatiesystemen voor robuuste, open-world robotnavigatie.

De auteurs benadrukken dat:

1. Betrouwbaarheidsuitdagingen: Fine-grained lokalisatie degradeert aanzienlijk onder realistische variaties in prompts en omgevingscondities, met name in onbekende omgevingen.
2. Beperkingen van Metrieken: Het uitsluitend vertrouwen op nauwkeurigheid overschat de betrouwbaarheid; consistentie is een kritieke, vaak over het hoofd geziene metriek voor generatieve modellen.
3. Geschiktheid voor Implementatie: Huidige black-box VLM's zijn beter geschikt voor het leveren van hoogwaardige priors dan voor precieze positiebepaling, vooral gezien beperkingen zoals real-time inferentie en onboard rekenkracht.

De studie dient als een waarschuwend benchmark, waarbij wordt benadrukt dat voordat VLM's in veiligheidskritische robotica-systemen worden ingezet, verder onderzoek nodig is om de kloof in generalisatie, prompt-sensitiviteit en omgevingsrobuustheid aan te pakken.