AnchorVLN: Geometry-Anchored Vision-Language Grounding Reasoning for Open-Vocabulary Navigation

Stel je een robot voor die een kamer binnenkomt die hij nog nooit eerder heeft gezien, met de taak om een specifiek object te vinden op basis van een gesproken beschrijving zoals "de kruk onder de schilderij." Decennialang losten robots dit op door een nauwkeurige, wiskundige kaart van de wereld te bouwen met behulp van lasers en camera's, en vervolgens in die kaart te zoeken naar vooraf geprogrammeerde objectnamen. Dit werkte goed voor het vinden van een "stoel" of een "tafel", maar het faalde wanneer de instructies creatief of specifiek werden, zoals "de rode stoel bij het raam." Het vocabulaire van de robot was bevroren; hij kon geen nieuwe beschrijvingen begrijpen. In de afgelopen jaren zijn krachtige kunstmatige intelligentiemodellen opgekomen die een afbeelding kunnen bekijken en bijna elke beschrijving kunnen begrijpen die een mens zou geven. Deze modellen zijn echter uitstekend in taal, maar verschrikkelijk in wiskunde. Ze kunnen je vertellen wat een object is, maar ze gokken vaak wild wanneer er wordt gevraagd hoe ver het verwijderd is of precies waarheen te bewegen om er te komen. Als een robot volledig vertrouwt op een dergelijk model om te navigeren, kan hij vol vertrouwen naar een plek rijden die niet bestaat, omdat het model een afstand heeft verzonnen die niet echt is.

De onderzoekers achter dit werk, bekend als AnchorVLV, pakten dit probleem aan door een systeem te creëren dat strikt scheidt wat de robot weet van hoe hij beweegt. Ze realiseerden zich dat de beste aanpak is om de kunstmatige intelligentie de taal en de identificatie van objecten te laten afhandelen, terwijl de fysieke sensoren van de robot de metingen van afstand en richting verzorgen. Ze bouwden een systeem waarbij de AI fungeert als een gids die aanwijst "wat" er gezocht moet worden, maar nooit probeert te zeggen "hoe ver" men moet gaan. In plaats daarvan gebruikt het systeem een reeks digitale hulpmiddelen die de beschrijvingen van de AI vertalen naar fysieke coördinaten met behulp van echte lasergegevens uit de omgeving van de robot. Dit zorgt ervoor dat de robot nooit handelt op basis van een verzonnen getal. Het systeem werd getest in een uitdaging die bestond uit vijftien verschillende binnenruimtes, waarbij de robot dertig complexe instructies moest volgen en vijfenveertig vragen over de locatie van objecten moest beantwoorden. De resultaten toonden aan dat wanneer het systeem deze taakverdeling gebruikte, het instructies in 64,4 procent van de gevallen succesvol volgde. Wanneer de onderzoekers het deel verwijderden dat de fysieke afstanden controleerde, daalde het succespercentage aanzienlijk. Bovendien, wanneer de robot werd gevraagd de exacte locatie van een object aan te wijzen, was het systeem dat echte sensorgegevens gebruikte veel nauwkeuriger dan een systeem dat de locatie probeerde te raden, waarbij de gemiddelde fout bij het vinden van het midden van een object afnam van meer dan drie meter naar minder dan tweeënhalf meter.

De kern van deze prestatie is een nieuwe manier om de hersenen van de robot met zijn lichaam te verbinden. De onderzoekers ontwierpen een communicatieprotocol waarbij de kunstmatige intelligentie alleen in zinsdelen en namen kan spreken, nooit in getallen. Wanneer de AI een foto van een kamer ziet, kan de AI een "kruk" identificeren en er een tijdelijke naam aan geven, zoals "object zeven". De AI vraagt vervolgens aan het systeem om de kruk te vinden. Het systeem vraagt de AI niet hoe ver de kruk verwijderd is. In plaats daarvan kijkt het systeem naar de eigen laser scanner van de robot, die de werkelijke afstand tot de vloer en muren meet. Het vindt de kruk in de lasergegevens, berekent de werkelijke afstand en vertelt de robot om naar dat specifieke punt te bewegen. Als de AI een afstand probeert te raden, negeert het systeem het getal simpelweg omdat de hulpmiddelen die het gebruikt niet geprogrammeerd zijn om dergelijke getallen te accepteren. Dit dwingt de robot om te vertrouwen op zijn eigen zintuigen voor beweging, net zoals een mens zou vertrouwen op zijn ogen om afstand in te schatten terwijl hij naar de aanwijzingen van een vriend luistert. De robot kan nog steeds complexe instructies begrijpen, zoals "ga naar de stoel die het dichtst bij de tv staat", omdat het systeem de werkelijke afstanden van alle stoelen die het heeft gezien tot de tv kan vergelijken, in plaats van de AI de berekening te laten doen.

Deze aanpak lost ook het probleem op waarbij de robot vastloopt of naar lege ruimte beweegt. Als de AI een object niet kan vinden, dwingt het systeem de robot niet om te gokken. In plaats daarvan vertelt het de robot om naar een nieuwe plek te bewegen waar hij mogelijk een beter zicht krijgt. De robot scant vervolgens de omgeving opnieuw, en het systeem werkt zijn interne lijst met objecten bij. Deze lijst is als een groeiend geheugen van de kamer, waarbij elk object dat de robot ziet, wordt geregistreerd met zijn werkelijke grootte en positie. Als de robot hetzelfde object vanuit een andere hoek ziet, werkt het systeem het record bij om de vorm nauwkeuriger te maken, in plaats van een nieuw, verwarrend item aan te maken. Dit stelt de robot in staat om een betrouwbaar begrip van de ruimte op te bouwen, zelfs als hij begint zonder kaart en zonder voorkennis van de kamer. De onderzoekers ontdekten dat deze methode de robot in staat stelde om succesvol te navigeren in omgevingen die hij nog nooit had bezocht, zonder dat hij voor elke nieuwe kamer of elk nieuw type object opnieuw geprogrammeerd hoefde te worden.

De studie benadrukt een fundamentele verschuiving in hoe robots met de wereld interageren. In plaats van te proberen één enkel model voor kunstmatige intelligentie alles te laten doen, van het begrijpen van taal tot het berekenen van fysica, bouwden de onderzoekers een team waarbij elk onderdeel doet waar het het beste in is. De kunstmatige intelligentie handelt de creativiteit en de taal af, terwijl de sensoren van de robot de precisie en de beweging verzorgen. Deze taakverdeling voorkomt dat de robot gevaarlijke fouten maakt op basis van zelfverzekerde gissingen. De resultaten van de uitdaging laten zien dat deze methode niet alleen een theoretisch idee is, maar een praktische oplossing die werkt in realistische scenario's. Door de taal en de wiskunde gescheiden te houden, kan de robot complexe instructies opvolgen en objecten vinden met een niveau van nauwkeurigheid dat voorheen onmogelijk was voor systemen die op een enkel model vertrouwden. Het werk suggereert dat voor robots om echt te navigeren in de onvoorspelbare menselijke wereld, ze hun eigen zintuigen moeten vertrouwen voor de harde cijfers, terwijl ze kunstmatige intelligentie de leiding laten geven met woorden.