City Navigation in the Wild: Exploring Emergent Navigation from Web-Scale Knowledge in MLLMs
Dit artikel introduceert CityNav, een nieuwe benchmark voor het evalueren van de navigatievaardigheden van multimodale taalmodellen in complexe echte steden, en stelt de methode Verbalization of Path (VoP) voor om de navigatiesucces door het expliciet benutten van interne kennis over landmerken en routes te verbeteren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een superintelligente robot hebt die de hele wereld heeft gezien via het internet. Hij weet alles van geschiedenis, weet hoe de Eiffeltoren eruitziet en kan de menukaart van een restaurant in Tokio lezen. Maar nu komt de echte test: je zet die robot midden in een drukke, onbekende stad zoals New York of São Paulo. Je geeft hem geen Google Maps, geen GPS en geen kaart. Je geeft hem alleen een camera en de opdracht: "Breng me naar het One World Trade Center."
Dit is precies waar het onderzoek in dit paper over gaat. De onderzoekers hebben ontdekt dat zelfs de slimste AI-modellen (zoals de hersenen achter ChatGPT) die in een echte stad zouden staan, totaal de weg kwijtraken. Ze dwalen rondjes, lopen doodlopende straatjes in en begrijpen de ruimte niet goed.
Het probleem: De "Slimme Tourist" zonder kompas
De huidige AI is als een toerist die wel heel veel weet, maar geen gevoel heeft voor richting. Hij kan je vertellen dat de piramides in Egypte liggen, maar als hij op een kruispunt in New York staat, ziet hij alleen maar een wirwar van beton, verkeersborden en mensen. Hij weet niet waar hij is in de "echte" wereld, omdat hij alleen maar naar losse plaatjes kijkt. Hij mist het mentale landkaartje.
De oplossing: "Verbalization of Path" (De Pratende Gids)
De onderzoekers bedachten een slimme truc die ze VoP noemen. In plaats van de AI alleen te laten kijken en te zeggen: "Ik ga naar links", dwingen ze de AI om hardop tegen zichzelf te praten.
Stel je voor dat je in een donker doolhof loopt. Als je alleen maar stappen zet, raak je snel de weg kwijt. Maar als je hardop tegen jezelf zegt: "Oké, ik ben nu bij de grote rode bakstenen muur, ik moet richting de zon blijven lopen en over drie straten moet ik naar rechts bij de bank, want mijn doel is in het zuiden," dan creëer je een soort mentale GPS.
Door de AI te dwingen zijn route uit te spreken (bijvoorbeeld: "Ik ben nu op Broadway, ik loop richting het zuiden en ik zoek de straat Vesey Street"), gebeurt er iets magisch: de AI gebruikt de enorme berg kennis die hij al in zijn "brein" heeft opgeslagen om een interne kaart te bouwen. Hij koppelt de plaatjes die hij ziet aan de kennis die hij al heeft.
Hoe werkt het in de praktijk? (De drie geheugensteuntjes)
Om te voorkomen dat de AI als een goudvis vergeet waar hij net vandaan kwam, geven de onderzoekers hem drie soorten "geheugen":
- Het korte termijn geheugen: "Ik ben nu hier en dit is mijn plan."
- Het reisdagboek: "Ik ben al drie keer naar links gegaan, dus de volgende keer moet ik naar rechts."
- De 'niet-nog-weer'-check: "Ik ben net bij dit kruispunt geweest en het was een doodlopende weg, dus ik ga hier niet nog een keer heen."
De resultaten: Van verdwaalde toerist naar lokale gids
De resultaten waren indrukwekkend. Zonder deze methode faalden zelfs de allerbeste AI-modellen bijna volledig in grote steden. Maar met de "pratende gids"-methode (VoP) schoot het succespercentage omhoog. De AI werd plotseling in staat om complexe, kilometerslange routes te navigeren door simpelweg zijn eigen kennis te gebruiken om de wereld om hem heen te begrijpen.
Kortom: Dit onderzoek laat zien dat AI niet alleen meer "plaatjes" moet leren zien, maar dat het moet leren om de wereld te beschrijven om de weg te kunnen vinden. Het is het verschil tussen alleen maar naar een foto van een weg kijken, en echt begrijpen waar die weg naartoe leidt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.