NavSpace: How Navigation Agents Follow Spatial Intelligence Instructions

Die Arbeit stellt mit NavSpace ein neues Benchmark-System zur systematischen Evaluierung der räumlichen Intelligenz von Navigationsagenten vor und führt das überlegene Modell SNav ein, das sowohl auf diesem Benchmark als auch in realen Robotertests neue Maßstäbe setzt.

Das Wesentliche

Stell dir vor, du hast einen sehr intelligenten Roboter-Helfer. Er kann sprechen, Bilder sehen und komplexe Fragen beantworten. Aber wenn du ihm sagst: „Geh bitte die Treppe hoch, dreh dich um die Couch herum und such meine Tasche", stolpert er oft über seine eigenen Füße oder verirrt sich. Warum? Weil er zwar „klug" ist, aber kein echtes Raumverständnis hat.

Genau an diesem Problem setzt die neue Forschung „NavSpace" an. Hier ist die Erklärung, wie ein einfaches Kind verstehen würde, was die Wissenschaftler aus Peking und dem Shanghai AI Lab entdeckt haben:

1. Das Problem: Der Roboter ist ein „Bürokrat", kein „Abenteurer"

Bisher haben Forscher Roboter trainiert, indem sie ihnen einfache Sätze wie „Geh zum Sofa" gegeben haben. Das ist wie ein Roboter, der nur eine Liste auswendig gelernt hat. Er weiß, dass „Sofa" ein Wort ist, aber er versteht nicht, wo das Sofa im Verhältnis zu ihm steht, wie weit weg es ist oder ob er dafür eine Treppe hoch muss.

Die Autoren sagen: Echte Intelligenz bedeutet, den Raum zu „fühlen".
Stell dir vor, du bist blind und jemand sagt dir: „Geh drei Schritte geradeaus, dann drehe dich genau 30 Grad nach rechts." Ein gewöhnlicher Roboter würde raten. Ein intelligenter Roboter müsste im Kopf eine 3D-Karte zeichnen.

2. Die Lösung: NavSpace – Der „Raum-Parkour" für Roboter

Die Forscher haben einen neuen Test entwickelt, den sie NavSpace nennen. Stell dir das wie einen Parcours für Roboter vor, bei dem sie nicht nur rennen, sondern räumlich denken müssen.

Der Test besteht aus sechs Arten von „Knobelaufgaben", die wir alle im Alltag machen, aber für Roboter extrem schwer sind:

• Der Höhen-Check (Vertical Perception): „Geh in den zweiten Stock." Der Roboter muss verstehen, was „oben" und „unten" bedeutet und dass er eine Treppe nehmen muss, nicht einfach geradeaus laufen.
• Der Maßstab-Check (Precise Movement): „Geh genau 3 Meter gerade, dann 90 Grad links." Hier zählt jeder Zentimeter. Kein Raten, sondern exakte Mathematik.
• Die Perspektiven-Wechsel (Viewpoint Shifting): „Stell dir vor, du bist der Fernseher auf dem Tisch. Geh jetzt zu deiner linken Seite." Das ist wie ein Zaubertrick: Der Roboter muss sich in ein Objekt hineinversetzen und die Welt aus dessen Augen sehen.
• Das Beziehungs-Netz (Spatial Relationship): „Geh zum zweiten Zimmer links und bleib zwischen den zwei Stühlen stehen." Der Roboter muss zählen und die Positionen zueinander verstehen.
• Der Umwelt-Check (Environment State): „Wenn das Licht an ist, geh ins Wohnzimmer. Wenn es aus ist, bleib im Schlafzimmer." Der Roboter muss erst schauen, dann entscheiden.
• Die Struktur-Check (Space Structure): „Lauf einmal um den Esstisch herum." Der Roboter muss die Form eines Objekts verstehen und einen Kreis laufen.

3. Der Test: Wer besteht?

Die Forscher haben 22 verschiedene Roboter-„Gehirne" getestet. Dazu gehörten:

• Die kleinen Helfer: Einfache Modelle, die nur einfache Befehle verstehen.
• Die Super-Computer: Die allerneuesten KI-Modelle (wie GPT-5 oder Gemini), die alles wissen können.
• Die Spezialisten: Modelle, die nur für Navigation gemacht wurden.

Das überraschende Ergebnis:
Selbst die „Super-Computer" (die großen Sprachmodelle) haben im Parcour fast durchgehend versagt. Sie konnten zwar sagen, was ein Sofa ist, aber sie schafften es nicht, dorthin zu gehen, ohne gegen die Wand zu laufen. Sie waren wie ein sehr gebildeter Tourist, der die Landkarte liest, aber beim Gehen ständig stolpert.

Die kleinen Modelle waren noch schlimmer – sie liefen einfach ziellos herum.

4. Der Gewinner: SNav – Der Roboter mit „Raum-Gefühl"

Die Forscher haben dann ein neues Modell namens SNav entwickelt. Wie haben sie das gemacht?

Stell dir vor, du willst einem Kind das Laufen beibringen. Du sagst ihm nicht nur „Geh", sondern du zeigst ihm: „Siehst du die Treppe? Da musst du hoch. Siehst du den Abstand? Da musst du genau drei Schritte machen."

Die Forscher haben SNav mit genau solchen „Raum-Lektionen" trainiert. Sie haben dem Modell gezeigt, wie man Entfernungen misst, wie man sich in Objekte hineinversetzt und wie man auf Umgebungsbedingungen reagiert.

Das Ergebnis:
SNav war der einzige, der den Parcours wirklich gut meisterte. Er war deutlich besser als die riesigen Super-Computer und die kleinen Modelle. Er hat im echten Test (mit einem echten Roboter-Hund im Büro) bewiesen, dass er nicht nur redet, sondern auch tut.

Zusammenfassung in einer Metapher

• Die alten Modelle waren wie ein Tourist mit einem Reiseführer: Er kennt die Namen der Orte, aber wenn er losläuft, verirrt er sich, weil er die Straßen nicht wirklich versteht.
• Das neue Modell (SNav) ist wie ein einheimischer Stadtführer: Er kennt nicht nur die Namen, sondern spürt die Distanzen, weiß, wo die Treppen sind, und kann sich vorstellen, wie die Welt von einem anderen Standpunkt aussieht.

Die große Lehre:
Echte Roboter-Intelligenz bedeutet nicht nur, viele Bücher zu lesen (Daten zu kennen), sondern den Raum, in dem man lebt, wirklich zu verstehen und darin sicher zu navigieren. NavSpace zeigt uns, dass wir noch einen langen Weg haben, bis unsere Roboter wirklich „menschlich" durch unsere Häuser laufen können.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „NavSpace: How Navigation Agents Follow Spatial Intelligence Instructions" auf Deutsch:

1. Problemstellung

Die Fähigkeit von Robotern, menschliche Sprachanweisungen zu befolgen und sich in Umgebungen zu bewegen (Instruction-Following Navigation), ist ein zentraler Schritt hin zu verkörpertem Intelligenz (Embodied Intelligence). Bisherige Benchmarks (wie R2R, RxR oder ObjNav) konzentrierten sich stark auf das semantische Verständnis von Sprache und visuellen Merkmalen.

Das Paper identifiziert jedoch eine kritische Lücke: Die systematische Evaluierung der räumlichen Intelligenz (Spatial Intelligence) fehlt.

• Das Problem: Aktuelle Modelle scheitern oft an alltäglichen Navigationsaufgaben, die ein tiefes Verständnis von räumlichen Skalen, relativen Positionen, vertikalen Ebenen (Stockwerke), Umgebungsstatus (z. B. Licht an/aus) und komplexen räumlichen Beziehungen erfordern.
• Die Hypothese: Multimodale Large Language Models (MLLMs) und spezialisierte Navigationsmodelle besitzen zwar gute semantische Fähigkeiten, aber ihre Fähigkeit, räumliche Informationen in präzise Bewegungsaktionen umzusetzen, ist unzureichend erforscht und oft mangelhaft.

2. Methodik: Der NavSpace Benchmark

Um dieses Defizit zu adressieren, stellen die Autoren NavSpace vor, den ersten Benchmark, der speziell darauf ausgelegt ist, die räumliche Intelligenz von Navigationsagenten zu testen.

A. Datenerhebung und Pipeline:

• Umfrage: Eine Befragung identifizierte sechs Schlüsselkategorien räumlicher Intelligenz.
• Datensammlung: Es wurden 1.228 Trajektorie-Anweisungs-Paare in photorealistischen Szenen (Habitat 3.0 Simulator, HM3D-Datensatz) manuell gesammelt.
• Prozess:
  1. Trajektorien-Erfassung: Annotatoren steuern Agenten ferngesteuert durch die Umgebung.
  2. Anweisungs-Annotation: MLLMs analysieren die Trajektorie und generieren Kandidaten für Anweisungen, die von Menschen verfeinert werden.
  3. Cross-Validation: Ein anderer Annotator führt die Anweisung aus, um deren Durchführbarkeit und Genauigkeit zu validieren.

B. Die sechs Kategorien von NavSpace:

1. Vertikale Wahrnehmung (Vertical Perception): Erkennung von Stockwerken, Höhenunterschieden und relativen Höhen (z. B. „gehe in den obersten Stock").
2. Präzise Bewegung (Precise Movement): Exakte Umsetzung von Distanzen (Meter) und Winkeln (Grad), z. B. „drehe 30° rechts, gehe 3m".
3. Blickpunkt-Wechsel (Viewpoint Shifting): Räumliche Imagination, bei der der Agent die Perspektive eines Objekts einnimmt (z. B. „Stell dir vor, du bist der Fernseher...").
4. Räumliche Beziehungen (Spatial Relationship): Verständnis von Reihenfolgen und relativen Positionen mehrerer Objekte (z. B. „zwischen zwei Sofas", „die zweite Tür links").
5. Umgebungsstatus (Environment State): Bedingte Logik basierend auf dem Zustand der Umgebung (z. B. „Wenn das Licht aus ist, gehe ins Wohnzimmer").
6. Raumstruktur (Space Structure): Komplexe Bewegungsmuster wie Umkreisen, Hin-und-Her-Bewegungen oder das Finden von Extrempositionen.

3. Das SNav-Modell

Die Autoren stellen SNav vor, ein neues Navigationsmodell, das als starke Basislinie (Baseline) für räumlich intelligente Navigation dient.

• Architektur: SNav basiert auf einer Multimodal-Architektur mit einem Vision Encoder (SigLIP), einem Projector (MLP) und einem Large Language Model (Qwen2). Es wird initialisiert mit LLaVA-Video 7B.
• Training: Das Modell wird durch Co-Training auf drei Aufgaben feinabgestimmt: Vorhersage von Navigationsaktionen, Anweisungs-Generierung basierend auf Trajektorien und allgemeines multimodales Abrufen.
• Verbesserung der räumlichen Intelligenz: Um die räumlichen Fähigkeiten zu steigern, generieren die Autoren zusätzliche Trainingsdaten aus Open-Source-Datensätzen (R2R, MP3D) mittels spezieller Pipelines:
  • Cross-floor Navigation: Generierung von Anweisungen für Stockwechsel.
  • Precise Movement: Umwandlung von Pfaddaten in präzise metrische Anweisungen.
  • Environment State: Erstellen von „Wenn-dann"-Szenarien basierend auf sichtbaren Objekten.
  • Spatial Relationship: Filtern und Umformulieren von Anweisungen mit ordinalen Begriffen und relativen Positionen.

4. Ergebnisse

Die Autoren evaluierten 22 verschiedene Agenten, darunter Lightweight-Navigationsmodelle, spezialisierte Navigations-LLMs und state-of-the-art Multimodale LLMs (Open Source wie Qwen, LLaVA sowie Proprietär wie GPT-5, Gemini).

• Leistung der MLLMs: Selbst die fortschrittlichsten proprietären Modelle (GPT-5, Gemini 2.5 Pro) erreichen im Durchschnitt eine Erfolgsrate (Success Rate) von unter 20 %. Open-Source-Modelle liegen oft unter 10 %. Dies zeigt, dass reine Sprach- und Bildverstehensmodelle nicht automatisch in der Lage sind, räumliche Anweisungen in präzise Robotik-Aktionen zu übersetzen.
• Leistung der Navigationsmodelle: Spezialisierte Navigations-LLMs (wie StreamVLN, NaVid) schneiden besser ab als Lightweight-Modelle, scheitern aber oft bei komplexen räumlichen Aufgaben.
• Leistung von SNav: SNav übertrifft alle getesteten Modelle auf dem NavSpace-Benchmark.
  • Durchschnittliche Erfolgsrate: 26,0 % (im Vergleich zu ~14–19 % bei den besten anderen Modellen).
  • Real-World-Tests: In Tests mit einem echten Vierbeiner-Roboter (AgiBot Lingxi D1) erreichte SNav eine Erfolgsrate von 32 %, während die besten Vergleichsmodelle nur 6–14 % erreichten.
• Ablationsstudie: Die Ergebnisse belegen, dass die generierten Trainingsdaten für räumliche Intelligenz entscheidend für die Leistungssteigerung von SNav sind.

5. Bedeutung und Schlussfolgerungen

• Neuer Standard: NavSpace füllt eine kritische Lücke in der Evaluierung von Embodied AI, indem es den Fokus von rein semantischem Verständnis auf räumliches Reasoning und Handlung verlagert.
• Limitationen aktueller Modelle: Die Studie zeigt, dass aktuelle Flaggschiff-MLLMs keine „emergente räumliche Intelligenz" für physische Navigation besitzen. Sie können räumliche Fragen oft korrekt beantworten (in einem statischen Q&A-Format), scheitern aber, wenn diese Erkenntnisse in eine dynamische Aktionssequenz übersetzt werden müssen (Perzeption-zu-Aktion-Lücke).
• Zukunftsrichtung: Für die Entwicklung robuster Navigationsagenten reicht das reine Fine-Tuning auf allgemeine Multimodal-Daten nicht aus. Es sind gezielte Trainingsmethoden erforderlich, die explizit räumliche Wahrnehmung, Skalierung und logische Schlussfolgerungen in den Bewegungsplan integrieren.

Zusammenfassend stellt NavSpace nicht nur einen neuen Benchmark dar, sondern liefert auch den Beweis, dass räumliche Intelligenz eine eigenständige, trainierbare Fähigkeit ist, die über das reine Sprachverständnis hinausgeht, und SNav demonstriert einen vielversprechenden Weg, diese Fähigkeit in Navigationsagenten zu implementieren.