NavSpace: How Navigation Agents Follow Spatial Intelligence Instructions

Dit paper introduceert NavSpace, een benchmark voor het evalueren van ruimtelijke intelligentie in navigatieagenten, en presenteert SNav, een nieuw model dat op deze benchmark en met echte robots superieure prestaties levert.

De kern

Stel je voor dat je een robot hebt die je graag wilt helpen met huishoudelijke klusjes. Je zegt tegen hem: "Loop eens naar beneden en kijk wat mijn vrienden aan het doen zijn," of "Ga rechtdoor, draai dan 30 graden naar rechts en zoek mijn tas."

Klinkt simpel, toch? Voor een mens is het dat ook. Maar voor een robot is dit alsof je vraagt iemand om een danspas te doen terwijl ze blind zijn en geen idee hebben hoe groot de kamer is.

Dit is precies waar het nieuwe onderzoek NavSpace over gaat. Hier is de uitleg, vertaald naar alledaags Nederlands met een paar leuke vergelijkingen.

1. Het Probleem: Robots zijn "Kijkers", geen "Denkers"

Tot nu toe hebben wetenschappers vooral gekeken of robots kunnen begrijpen wat ze zien. Kunnen ze een stoel herkennen? Kunnen ze lezen dat er "ga naar de keuken" staat? Ja, dat kunnen ze steeds beter.

Maar er ontbreekt iets cruciaals: Ruimtelijk inzicht.
Stel je voor dat je een robot een kaart geeft, maar je zegt niet hoe groot de straten zijn, of welke kant "boven" is, of hoeveel stappen je moet zetten om bij de deur te komen. De robot loopt dan tegen de muur, of loopt in cirkels.

De auteurs van dit papier zeggen: "Hé, we testen robots alsof ze alleen maar foto's kunnen bekijken. Maar in het echte leven moeten ze ook kunnen voelen hoe ver iets weg is, hoe hoog de verdieping is, en hoe ze zich moeten verplaatsen."

2. De Oplossing: De "NavSpace" Test

Om dit te testen, hebben de onderzoekers een nieuwe test gemaakt, genaamd NavSpace. Denk hierbij aan een rijbewijstest voor robots, maar dan met veel lastige vragen.

Ze hebben 1.228 verschillende scenario's bedacht die robots moeten oplossen. Ze hebben deze ingedeeld in zes categorieën, die we kunnen vergelijken met vaardigheden die jij ook hebt:

• Verticale Perceptie (De Lift-vaardigheid): "Ga naar de tweede verdieping." De robot moet weten dat er boven en onder is, en niet denken dat de kamer op de grond is.
• Precieze Beweging (De Danspas): "Draai 30 graden naar rechts en loop 3 meter." Geen "even een beetje", maar exact. Alsof je een danspas moet uitvoeren zonder de muziek te horen.
• Vooruitkijken (De Televisie-illusie): "Stel je voor dat jij de televisie bent. Loop naar links." De robot moet zijn eigen perspectief veranderen en denken: "Als ik de TV was, waar zou ik dan zijn?"
• Ruimtelijke Relaties (De Speurtocht): "Ga tussen de twee bruine banken staan." De robot moet de ruimte tussen objecten begrijpen, niet alleen de objecten zelf.
• Omgeving Status (De "Als-dan" Logica): "Als het licht aan is, ga naar de slaapkamer. Anders blijf hier." De robot moet de toestand van de kamer checken en daarop reageren.
• Ruimtelijke Structuur (De Ronde): "Loop één keer om de eettafel heen." De robot moet begrijpen hoe een object eruitziet en eromheen bewegen.

3. De Resultaten: Een koude douche voor de AI

De onderzoekers hebben 22 verschillende robots (en slimme computerprogramma's) op deze test gezet. Ze keken naar de nieuwste "super-intelligente" modellen (zoals GPT-5 en Gemini) en speciale navigatie-robots.

Het nieuws is niet zo goed:

• De "Super-intelligente" modellen (MLLMs): Deze modellen kunnen prachtige verhalen schrijven en foto's beschrijven. Maar als je ze vraagt om een robot te besturen, zakken ze door de vloer. Ze halen vaak minder dan 10% van de opdrachten goed. Ze kunnen zeggen hoe ze moeten lopen, maar ze kunnen het niet doen. Het is alsof iemand die een boek over zwemmen heeft gelezen, in het water springt en direct zakt.
• De "Lichte" navigatie-robots: Deze zijn sneller, maar ze zijn te dom voor complexe opdrachten. Ze lopen vast bij de eerste lastige instructie.
• De winnaar: SNav: De onderzoekers hebben een nieuw model bedacht, SNav. Dit model is speciaal getraind om niet alleen te kijken, maar ook te ruimen (ruimtelijk denken). SNav doet het veel beter dan de anderen en is nu de nieuwe standaard waaraan alle toekomstige robots moeten worden getoetst.

4. Waarom is dit belangrijk?

Je vraagt je misschien af: "Waarom doen we dit? Robots kunnen toch al rondlopen?"

Ja, maar alleen als je ze heel specifieke instructies geeft. In het echte leven zijn instructies vaak vaag en ruimtelijk.

• "Loop naar de kamer waar het donker is."
• "Ga naar boven en zoek de sleutel."

Zonder NavSpace en zonder modellen zoals SNav, blijven robots "blinde muizen" die tegen muren lopen. Ze missen het gevoel voor ruimte, afstand en richting.

Conclusie in één zin

Dit onderzoek laat zien dat robots nog niet echt "slim" zijn in het bewegen door onze wereld; ze zijn goed in kijken, maar slecht in voelen. Met NavSpace hebben we eindelijk een meetlat om te zien of een robot echt begrijpt waar hij zich bevindt, en met SNav hebben we de eerste robot die hierin een beetje begint te slagen.

Het is alsof we eindelijk een rijbewijs hebben voor robots, en tot nu toe heeft bijna niemand het gehaald. Maar nu weten we eindelijk wat we moeten leren om ze te laten rijden!

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "NavSpace: How Navigation Agents Follow Spatial Intelligence Instructions" in het Nederlands.

Probleemstelling

Bestaande benchmarks voor instructievolgende navigatie (zoals R2R, RxR en ObjNav) focussen voornamelijk op semantisch begrip van taal en visuele objecten. Ze negeren echter systematisch de evaluatie van de ruimtelijke intelligentie (spatial intelligence) van navigatieagenten. In het echte leven vereisen navigatietaken vaak complexe redeneringen over:

• Ruimtelijke schaal en afstanden.
• Relatieve oriëntatie tussen agent en objecten.
• Verticale posities (verdiepingen).
• De staat van het milieu (bijv. "als het licht aan is...").
• Complexe ruimtelijke structuren (bijv. rondlopen, terugkeren).

Huidige modellen, inclusief geavanceerde Multimodale Large Language Models (MLLMs) en lichte navigatiemodellen, presteren slecht op deze specifieke ruimtelijke taken, omdat ze niet zijn getraind om ruimtelijke waarneming om te zetten in precieze bewegingsacties.

Methodologie

1. De NavSpace Benchmark

De auteurs introduceren NavSpace, het eerste benchmark dat specifiek is ontworpen om ruimtelijke intelligentie te evalueren.

• Data Collectie: Er zijn 1.228 traject-instructieparen verzameld uit de HM3D-scenes in de Habitat 3.0-simulator.
• Aanpak: Een vierstaps-pipeline werd gebruikt:
  1. Enquête: Identificatie van zes cruciale categorieën van ruimtelijke intelligentie.
  2. Trajectverzameling: Menselijke annotatoren bestuurdden agenten tele-operatief.
  3. Instructieannotatie: MLLM's (zoals GPT-5) hielpen bij het genereren van instructies op basis van het traject, die door mensen werden geverifieerd.
  4. Menselijke Cross-validatie: Een andere annotator voerde de instructie uit om te garanderen dat deze uitvoerbaar en correct was.
• De 6 Categorieën:
  1. Verticale Perceptie: Begrip van verdiepingen en hoogteverschillen (bijv. "ga naar de bovenste verdieping").
  2. Precieze Beweging: Exacte interpretatie van afstanden en hoeken (bijv. "draai 30° rechts, ga 3m vooruit").
  3. Vijzelpuntverschuiving (Viewpoint Shifting): Vermogen om het perspectief van een object in te nemen (bijv. "stel je voor dat je de televisie bent...").
  4. Ruimtelijke Relatie: Relaties tussen meerdere objecten of volgordes (bijv. "ga tussen de twee banken staan").
  5. Milieustatus: Conditionele logica gebaseerd op waarneming (bijv. "als het licht aan is, ga dan naar...").
  6. Ruimtelijke Structuur: Begrip van lay-outs, zoals rondlopen of extreme locaties vinden.

2. Het SNav Model

Om de prestaties te verbeteren, stellen de auteurs SNav voor, een nieuw ruimtelijk intelligent navigatiemodel.

• Architectuur: Gebaseerd op een bestaand foundation model (LLaVA-Video 7B), bestaande uit een Vision Encoder (SigLIP), een Projector (MLP) en een LLM (Qwen2).
• Training: Het model ondergaat een fijnafstemming (fine-tuning) met drie taken: Navigatie-actievoorspelling, Traject-gebaseerde instructiegeneratie en Algemene multimodale data-herinnering.
• Ruimtelijke Intelligentie Versterking: De kern van SNav is een speciale data-generatiepijplijn die bestaande datasets (zoals R2R) transformeert naar instructies die specifieke ruimtelijke vaardigheden vereisen (bijv. het genereren van instructies voor het oversteken van verdiepingen of het interpreteren van "als-dan" scenario's). Deze data wordt gebruikt om het model te trainen op ruimtelijk redeneren.

Belangrijkste Resultaten

De auteurs evalueerden 22 agenten, waaronder state-of-the-art MLLMs (GPT-5, Gemini 2.5 Pro, Qwen2.5-VL) en navigatiemodellen.

• Prestaties van MLLMs: Zelfs de krachtigste proprietary MLLMs (zoals GPT-5) behalen een gemiddelde succesrate (SR) van minder dan 20% op NavSpace. Open-source modellen presteren vaak lager dan 10%, wat dicht bij willekeurige gokken ligt. Dit toont aan dat MLLMs, ondanks hun sterke taal- en visuele begrip, geen inherente ruimtelijke intelligentie hebben voor fysieke navigatie.
• Lichte Navigatiemodellen: Bestaande lichte modellen (zoals BEVBert, Seq2Seq) presteren slecht omdat ze vaak slechts oppervlakkige semantische koppelingen maken en geen diepgaand ruimtelijk redeneren kunnen uitvoeren.
• SNav Prestaties: SNav overtreft alle andere modellen, inclusief de beste bestaande navigatiemodellen (StreamVLN, NaVid) en de krachtigste MLLMs.
  • Simulatie: SNav bereikt een gemiddelde succesrate van 26,0% (tegenover ~19% voor GPT-5 en ~19% voor StreamVLN).
  • Real-world Test: In tests met een AgiBot Lingxi D1 (een viervoetige robot) behaalde SNav een succesrate van 32%, significant hoger dan de concurrenten (NaVid: 14%, NaVILA: 6%).
• Ablatie-studie: De resultaten tonen aan dat de specifieke trainingsdata voor ruimtelijke intelligentie (zoals kruisverdieping-navigatie en precieze beweging) essentieel is voor de verbeterde prestaties.

Bijdragen

1. NavSpace Benchmark: De introductie van het eerste benchmark dat specifiek gericht is op de ruimtelijke intelligentie van instructievolgende navigatie, gebaseerd op menselijke validatie en zes gedefinieerde categorieën.
2. Uitgebreide Evaluatie: Een systematische evaluatie van 22 modellen, wat inzicht geeft in de beperkingen van huidige MLLMs en navigatiemodellen in fysieke ruimtelijke taken.
3. SNav Model: De ontwikkeling van een nieuw model dat een sterke baseline zet voor ruimtelijk intelligent navigeren, zowel in simulatie als in de echte wereld.

Significantie

Dit paper benadrukt dat ruimtelijke intelligentie een fundamentele, maar tot nu toe onderbelichte component is van embodied AI. Het onthult dat het simpelweg grotere taalmodellen gebruiken niet voldoende is voor robuuste robotnavigatie; modellen moeten specifiek worden getraind om waarneming om te zetten in precieze, ruimtelijk correcte acties. NavSpace en SNav bieden de nodige tools en baselines om deze kloof te dichten en vormen een cruciale stap richting echt intelligente, fysiek interactieve robots die complexe menselijke instructies in dynamische omgevingen kunnen uitvoeren.