Learning to Wander: Improving the Global Image Geolocation Ability of LMMs via Actionable Reasoning

Deze paper introduceert WanderBench, het eerste wereldwijde benchmark voor actieve geolocatie, en het GeoAoT-framework dat redenering koppelt aan fysieke acties om de locatiebepalingsvaardigheden van multimodale modellen te verbeteren.

De kern

Stel je voor dat je plotseling in een vreemd land bent beland. Je weet niet waar je bent, maar je hebt een camera bij je. Hoe vind je je weg?

Een mens zou niet zomaar naar één foto staren en hopen dat hij het raadt. Nee, een mens zou rondlopen. Hij zou om zijn as draaien om een bordje te lezen, een stukje lopen om een gebouw van dichterbij te bekijken, of de lucht in de gaten houden om het klimaat te voelen.

Dit is precies wat dit nieuwe onderzoek, getiteld "Learning to Wander", voorstelt. Het gaat over het verbeteren van slimme computers (zogenaamde "Large Multimodal Models" of LMMs) zodat ze niet alleen naar een plaatje kijken, maar ook actief de wereld kunnen "verkennen" om hun locatie te bepalen.

Hier is een uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het oude probleem: De "Statische Foto"

Vroeger waren slimme computers als iemand die een foto van een straat in Parijs krijgt, maar die foto is vastgeplakt aan een muur. De computer moet raden: "Is dit Parijs?"

• Het probleem: Als de foto alleen een raam toont zonder de Eiffeltoren, raakt de computer in paniek. Hij kan niet bewegen, niet omkijken en niet dichterbij lopen. Hij moet het doen met wat hij ziet, en dat is vaak niet genoeg.
• De analogie: Het is alsof je een raadsel moet oplossen met je ogen dicht, terwijl je alleen één flard van een zin mag lezen.

2. De nieuwe oplossing: "WanderBench" (De Speeltuin)

De onderzoekers hebben een nieuw platform gemaakt, genaamd WanderBench.

• Wat is het? Stel je voor dat je een enorme, virtuele wereld hebt met 32.000 verschillende plekken op aarde (van steden tot dorpen, over de hele wereld).
• Het unieke: Dit is geen verzameling losse foto's. Het is een interactief landschap. De computer kan hierin "wandelen". Het kan:
  • Zichzelf 180 graden draaien (om naar de achterkant te kijken).
  • Een stukje vooruit lopen (om een bordje te lezen dat te ver weg was).
  • Naar links of rechts kijken.
• De analogie: In plaats van een statische kaart te krijgen, krijgt de computer een VR-bril en een controller. Hij kan echt "rondlopen" in de virtuele wereld om hints te vinden.

3. De slimme methode: "GeoAoT" (Actie in plaats van alleen denken)

Vroeger deden computers alleen maar "Chain of Thought" (Keten van Gedachten): ze dachten hard na over wat ze zagen.
Deze nieuwe methode heet GeoAoT (Action of Thought).

• Hoe werkt het? De computer denkt niet alleen na, maar doet ook iets.
  • Stap 1: De computer kijkt en denkt: "Ik zie een palmboom, maar ik weet niet of dit Spanje of Californië is."
  • Stap 2 (De Actie): In plaats van te gokken, zegt de computer: "Ik ga nu omdraaien om te zien of er een Spaans bordje staat."
  • Stap 3: De computer draait om, ziet het bordje, en zegt: "Ah! Het is Spanje!"
• De analogie: Stel je voor dat je een detective bent. Een oude detective zou alleen naar de foto van het moordplek kijken en een conclusie trekken. Een GeoAoT-detective zou zeggen: "Ik heb een twijfel, ik ga even de kamer inlopen om te kijken of er een wapen onder de mat zit." Hij gebruikt actie om twijfel weg te nemen.

4. Waarom is dit belangrijk?

De onderzoekers hebben 19 verschillende slimme computers getest in deze nieuwe "speeltuin".

• Het resultaat: De computers die konden "wandelen" en actie ondernamen, waren veel beter in het vinden van de juiste locatie. Ze maakten minder fouten en konden zelfs moeilijke plekken vinden waar geen bekende gebouwen stonden (zoals een willekeurige straat in een dorp).
• De les: Om echt slim te zijn in een visuele wereld, moet je niet alleen kijken, je moet ook bewegen.

Samenvatting in één zin

Dit onderzoek leert computers dat ze, net als mensen, niet moeten stilstaan en staren, maar actief moeten rondwandelen en hun omgeving moeten verkennen om te weten waar ze zijn. Het is de overstap van een passieve fotobekijker naar een actieve avonturier.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Learning to Wander: Improving the Global Image Geolocation Ability of LMMs via Actionable Reasoning", geschreven in het Nederlands.

Probleemstelling

Het traditionele probleem van geolocatie (het bepalen van de geografische locatie van een afbeelding) wordt momenteel voornamelijk benaderd als een statische taak. Bestaande methoden, zoals classificatie-modellen (bijv. PlaNet) of retrieval-methoden (zoals Im2GPS), analyseren een enkele statische afbeelding om een locatie te voorspellen.

De kern van het probleem ligt in de beperkingen van deze benadering:

1. Gebrek aan actieve exploratie: Mensen lossen oriëntatieproblemen op door actief te bewegen, hun hoofd te draaien om borden te lezen, of dichter bij bezienswaardigheden te lopen. Huidige Large Multimodal Models (LMM's) missen deze "embodied" (geïncorporeerde) capaciteit; ze kunnen alleen kijken wat er op de foto staat, maar niet handelen om ontbrekende informatie te verzamelen.
2. Data-beperkingen: Bestaande datasets (zoals Im2GPS3K of YFCC) bestaan uit discrete, statische afbeeldingen zonder navigatiestructuur. Dit maakt het onmogelijk om agents te trainen of evalueren die interactief kunnen exploreren.
3. Onbekende prestaties: Hoewel LMM's uitstekend zijn in redeneren, is hun vermogen om complexe geolocatie-opgaven op te lossen in dynamische omgevingen nog niet grondig onderzocht.

Methodologie

De auteurs introduceren twee hoofdcomponenten om dit gat te dichten: een nieuwe dataset en een nieuw raamwerk voor redeneren.

1. WanderBench: De Eerste Embodied Geolocatie Benchmark

WanderBench is een open-access dataset specifiek ontworpen voor interactieve geolocatie.

• Structuur: De dataset bevat 32.741 panorama's verspreid over 1.047 unieke locaties op zes continenten.
• Navigatiegrafieken: In plaats van losse afbeeldingen, zijn de locaties opgebouwd als navigatiegrafieken. Elke knooppunt (node) is een panorama met GPS-coördinaten, en de randen (edges) vertegenwoordigen fysiek navigeerbare paden (rotatie en beweging).
• Generatie: De locaties en vragen zijn gegenereerd door LMM's in een tweestapsproces om diversiteit en realisme te garanderen. LMM's kiezen een locatie, verifiëren deze via satellietbeelden, en selecteren vervolgens de bijbehorende panorama's.
• Bijzondere eigenschap: Het biedt een bidirectionele evaluatie. Een model moet niet alleen een locatie oplossen, maar ook zelf nieuwe locaties en vragen genereren met een bepaald moeilijkheidsniveau.

2. GeoAoT (Action of Thought)

GeoAoT is een nieuw raamwerk dat redeneren koppelt aan fysieke acties binnen de omgeving.

• Van CoT naar AoT: Waar traditionele "Chain-of-Thought" (CoT) modellen alleen tekstuele redeneerketens genereren, genereert GeoAoT actiebare plannen.
• Iteratieve Cyclus: Het proces verloopt in een lus:
  1. Observatie: Het model analyseert het huidige panorama.
  2. Redenering: Het model identificeert onzekerheid of ontbrekende aanwijzingen (bijv. "Ik kan het straatnaambord niet lezen").
  3. Actie: Het model voert een actie uit om de onzekerheid te verkleinen (bijv. "Draai 180 graden naar rechts" of "Loop 10 meter vooruit").
  4. Update: Op basis van het nieuwe beeld wordt de locatiehypothese bijgewerkt.
• Inferentie-only: Dit systeem vereist geen extra training; het werkt puur tijdens de inferentie door het gebruik van gestructureerde prompts die het model leiden om acties te plannen.

Kernbijdragen

1. WanderBench Dataset: De eerste open-access, wereldwijde dataset die interactieve agent-acties (rotatie, beweging) ondersteunt en bidirectionele evaluatie mogelijk maakt.
2. GeoAoT Framework: Een innovatieve agent die statisch redeneren vervangt door "Action of Thought", waarbij het model actief de omgeving verkent om informatie te verzamelen in plaats van passief te wachten op input.
3. Nieuwe Evaluatiemethode: Een protocol dat niet alleen de nauwkeurigheid meet, maar ook het vermogen van het model om zelf uitdagende, moeilijkheidsgecontroleerde geolocatievragen te genereren (meta-redenering).

Resultaten

De auteurs hebben experimenten uitgevoerd op 19 verschillende LMM's (zowel open-source zoals Qwen, InternVL, LLaVA als gesloten-source zoals GPT-4o, Gemini, o3).

• Prestatieverbetering: GeoAoT leidt tot consistente verbeteringen bij alle geteste modellen.
  • De afstandsfout (Distance Error) neemt significant af. Bijvoorbeeld, bij het model o3 daalt de fout van 318,8 km naar 180,3 km. Bij LLaVA-OneVision is de verbetering zelfs drastischer: van 4080 km naar 3007 km.
  • De Geo-score (een maatstaf voor nauwkeurigheid) stijgt voor alle modellen.
• Fijnmazige Lokalisatie: De verbeteringen zijn het grootst op het niveau van straat en stad, waar contextuele aanwijzingen (zoals borden of architectuur) cruciaal zijn en vaak ontbreken in een enkel statisch beeld.
• Robuustheid: Modellen die GeoAoT gebruiken tonen een betere generalisatie in dynamische omgevingen en kunnen onzekerheid effectiever aanpakken door actief te zoeken naar bewijs.
• Statistische Analyse: ANOVA en trendanalyses tonen aan dat sterke modellen (zoals GPT-4o, o3, Gemini-2.5 Pro) een monotone verbetering laten zien naarmate de dekking toeneemt, terwijl zwakkere modellen soms instabiel reageren.

Betekenis en Impact

Dit paper markeert een paradigmaverschuiving in het veld van computer vision en geolocatie:

• Van Passief naar Actief: Het beweegt het veld weg van statische beeldherkenning naar interactieve inferentie. Het benadrukt dat het vermogen om te "wandelen" en te exploreren essentieel is voor nauwkeurige ruimtelijke redenering.
• Embodied AI: Het biedt een nieuwe standaard voor het evalueren van "geïncorporeerde" AI-agenten die niet alleen zien, maar ook handelen in een virtuele wereld.
• Toekomstperspectief: De resultaten suggereren dat toekomstige LMM's niet alleen beter moeten kunnen "denken", maar ook moeten kunnen "doen" om complexe wereldproblemen op te lossen. De combinatie van WanderBench en GeoAoT legt de basis voor autonome systemen die beter kunnen navigeren, feiten kunnen verifiëren en cultureel begrip kunnen tonen in realistische scenario's.

Kortom, het paper bewijst dat het actief verkennen van een omgeving via "Action of Thought" de geolocatiecapaciteiten van AI-systemen aanzienlijk verbetert en een nieuwe benchmark biedt voor de volgende generatie multimodale modellen.