💻 computer science

BIT-Nav: Brain-Inspired Trajectory Memory for Embodied Navigation

BIT-Nav adressiert die Einschränkungen der spärlichen Rahmenselektion bei der visuell-sprachlichen Navigation durch die Einführung eines hirninspirierten, kompakten Trajektoriengedächtnisses, das die strukturierte Bewegungshistorie über einen Bi-GRU-Encoder und kontrastives Lernen in ein einzelnes Token komprimiert und so effektives Langzeit-Reasoning ermöglicht, ohne die Token-Kosten zu erhöhen.

Ursprüngliche Autoren: Rithvik Jonna, Aakash Gurram, Man Namgung, Wyatt Mackey, Tinoosh Mohsenin

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Rithvik Jonna, Aakash Gurram, Man Namgung, Wyatt Mackey, Tinoosh Mohsenin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einen Roboter durch ein riesiges, unbekanntes Labyrinth zu führen, indem Sie ausschließlich ein Walkie-Talkie benutzen. Sie geben ihm Anweisungen wie: „Geh vorwärts, biege bei der großen roten Tür nach links ab und gehe dann geradeaus, bis du ein Sofa siehst.“

Lange Zeit waren KI-Roboter sehr gut darin, die Wörter zu verstehen und den aktuellen Raum zu sehen, in dem sie sich befinden. Aber sie haben eine große Schwachstelle: Sie vergessen, wo sie gewesen sind.

Wenn man einem Roboter sagt, er solle 100 Schritte gehen, versuchen die meisten aktuellen Systeme sich zu erinnern, indem sie ein „Fotoalbum“ der letzten besuchten Räume betrachten. Aber je länger die Reise wird, desto größer wird dieses Fotoalbum, sodass sie die meisten Fotos wegwerfen müssen. Wenn sie nur ein paar verstreute Schnappschüsse behalten, verlieren sie die Geschichte darüber, wie sie dorthin gelangt sind. Sie wissen vielleicht, dass sie in einem Raum mit einem Sofa sind, aber sie wissen nicht, ob sie dreimal nach links abgebogen sind oder ob sie im Kreis gelaufen sind.

BIT-Nav ist ein neues System, das entwickelt wurde, um dieses Gedächtnisproblem zu lösen. So funktioniert es, unter Verwendung einfacher Analogien:

1. Die „mentale Karte“ vs. das „Fotoalbum“

Aktuelle Roboter versuchen, sich an ihre Reise zu erinnern, indem sie Fotos (visuelle Frames) speichern. Das Paper argumentiert, dass Fotos für lange Reisen schlecht sind, da sie viel Platz beanspruchen und den „Fluss“ der Bewegung vermissen lassen.

BIT-Nav verändert das Spiel. Anstatt Fotos zu speichern, speichert es eine kompakte Zusammenfassung der Bewegung selbst. Denken Sie an Folgendes:

Der alte Weg: Zu versuchen, eine 10-Meilen-Wanderung zu erinnern, indem man 100 zufällige Schnappschüsse von Bäumen und Felsen betrachtet. Man könnte übersehen, dass man eine große Schleife gelaufen ist.
Der BIT-Nav-Weg: Eine einzige, winzige Notiz in der Tasche zu tragen, auf der steht: „Ich bin 10 Meilen gelaufen, habe 4 Mal nach links abgebogen und blicke nun nach Norden.“

2. Das „gehirninspirierte“ Gedächtnis (BITE)

Das Paper nennt sein Gedächtnismodul BITE (Bi-GRU Trajectory Encoder). Es ist inspiriert davon, wie das menschliche Gehirn (speziell der Hippocampus) arbeitet. Wenn Sie irgendwohin laufen, zeichnet Ihr Gehirn nicht jedes einzelne Pixel Ihrer Sicht auf; es berechnet Ihre Pfadintegration. Es verfolgt Ihre Schritte, Drehungen und Richtung, um eine mentale Karte aufzubauen.

BIT-Nav macht dasselbe für den Roboter:

Es beobachtet die Aktionen des Roboters (vorwärts, nach links drehen, nach rechts drehen).
Es berechnet die Position und Ausrichtung des Roboters mathematisch.
Es komprimiert die gesamte Historie der Reise in einen einzigen „Memory Token“.

3. Der „Übersetzer“ für das große Gehirn

Der Roboter nutzt ein sehr intelligentes „großes Gehirn“ (ein Vision-Language-Modell namens Qwen3-VL-8B), um Anweisungen zu verstehen. Dieses große Gehirn ist sehr gut darin, zu lesen und zu sehen, aber es versteht von Natur aus keine Mathematik oder Bewegungsgeschichten.

BIT-Nav fungt als Übersetzer. Es nimmt diese winzige „Bewegungszusammenfassung“ (den Memory Token) und übersetzt sie in eine Sprache, die das große Gehirn verstehen kann. Es übergibt diesen einzelnen Token dann zusammen mit der aktuellen Kameraansicht und der Anweisung an das große Gehirn.

4. Warum das wichtig ist: Die „Token“-Ökonomie

In der KI sind „Tokens“ wie Wörter oder Datenteile, die der Computer verarbeiten muss.

Das Problem: Wenn ein Roboter versucht, sich an eine lange Reise zu erinnern, indem er dem großen Gehirn eine Liste aller vergangenen Aktionen sendet (z. B. „Schritt 1: Vorwärts, Schritt 2: Drehen... Schritt 100: Vorwärts“), verbraucht er tausende von Tokens. Dies ist langsam, teuer und das große Gehirn wird durch das schiere Volumen der Daten verwirrt.
Die BIT-Nav-Lösung: Egal, ob der Roboter 10 Schritte oder 1.000 Schritte gegangen ist, BIT-Nav sendet immer nur einen einzigen Token. Es ist, als würde man einen einzigen, perfekten Zusammenfassungssatz senden anstatt eines 1.000-seitigen Tagebuchs.

Was das Paper herausfand

Die Forscher testeten dies in einer simulierten Umgebung (Isaac Sim) mit dem R2R-Datensatz (einem Standardtest für die Roboter-Navigation).

Besseres Orientierungsvermögen: Auf die Frage „Sind wir nach all den Kurven im Vergleich zu unserem Startpunkt nach links oder rechts ausgerichtet?“ hatte der BIT-Nav-Roboter in 83 % der Fälle recht. Ohne dieses Gedächtnis rät der Roboter rein zufällig (etwa 7 % Genauigkeit).
Effizienz: Der BIT-Nav-Roboter erreichte diese hohe Genauigkeit, während er 22-mal weniger Datentokens verwendete als Roboter, die versuchten, sich durch das Auflisten jedes vergangenen Schritts zu erinnern.
Anweisungsverfolgung: Der Roboter konnte besser verstehen, an welchem Punkt einer langen Liste von Anweisungen er sich befand (z. B. „Ich habe den ersten Teil erledigt, jetzt muss ich den zweiten Teil tun“), weil er genau wusste, wie er sich bewegt hatte, um dorthin zu gelangen.

Zusammenfassung

BIT-Nav lehrt einen Roboter, aufzuhören, eine Reise durch das Betrachten alter Fotos zu erinnern, und stattdessen damit zu beginnen, sie durch das Verständnis seiner eigenen Bewegung zu begreifen. Indem es einen langen, komplexen Pfad in einen einzigen, intelligenten „Memory Token“ komprimiert, ermöglicht es dem Roboter, lange Strecken zu navigieren, ohne sich zu verlaufen oder der Speicherplatz auszugehen – und das alles, während er dieselbe Sprache wie sein leistungsstarkes KI-Gehirn spricht.

Technisches Resümee: BIT-Nav

Problemstellung

Vision-Language Models (VLMs) haben die verkörperte Navigation durch die Vereinigung von visueller Wahrnehmung und natürlicher Sprachverarbeitung vorangetrieben. Bestehende Ansätze für die langfristige Vision-and-Language Navigation (VLN) stehen jedoch vor einer kritischen Einschränkung: Sie sind auf der Ebene des logischen Schließens effektiv zustandslos. Aktuelle Methoden, wie etwa NaVILA, integrieren die Historie durch das Sampling eines festen Fensters vergangener Bildrahmen. Wenn Episoden länger werden, wird diese visuelle Historie mit fester Größe zunehmend spärlich und lässt entscheidende Zwischenbewegungsstrukturen aus. Empirische Belege aus vorangegangener Arbeit zeigen, dass eine bloße Erhöhung der Anzahl der gesampelten Frames (z. B. von 8 auf 64) die Navigationsgenauigkeit nicht verbessert, was darauf hindeutet, dass der Engpass nicht in der Menge der Frames, sondern in der Art der Repräsentation liegt. Die spärliche Frame-Selektion versagt dabei, strukturierte Verhaltenssignale zu erfassen – wie etwa Drehungen, kumulierte Verschiebung und Pfadtopologie –, die für das langfristige logische Schließen erforderlich sind. Zudem werden die auf niedriger Ebene verwendeten rekurrenten Zustände, die für die Steuerungs-Heads genutzt werden, dem VLM typischerweise nicht als explizite, abfragbare Trajektorienrepräsentationen zur Verfügung gestellt.

Methodik

Die Autoren schlagen BIT-Nav (Brain-Inspired Trajectory Memory for Embodied Navigation) vor, ein Framework, das bestehende VLM-Pipelines mit einem kompakten, gelernten Trajektorien-Gedächtnis erweitert. Inspiriert vom hippokampal-entorhinalen System, das räumliche Erfahrungen in strukturierte episodische Spuren statt in rohe sensorische Wiedergaben komprimiert, behandelt BIT-Nav die Trajektorienhistorie als eine explizite Modalität.

Die Pipeline besteht aus vier Kernphasen:

Trajektorienrepräsentation und Feature-Engineering:
Anstatt rohe Aktions-IDs einzuspeisen, konvertiert das System diskrete Navigationsaktionen ( $a_{1:T}$ ) in einen 7-dimensionalen Bewegungs-Feature-Vektor ( $m_t$ ) pro Zeitschritt. Dieser Vektor umfasst die kumulierte ebene Position ( $c_x, c_y$ ), den akkumulierten Kurs ( $\theta$ ), die Kursänderung ( $\Delta\theta$ ) sowie Indikatorvariablen für Vorwärtsbewegung und Rotation. Diese angereicherte Repräsentation legt sowohl lokale Steuersignale als auch den akkumulierten geometrischen Zustand des Agenten offen.
BITE (Bi-GRU Trajectory Encoder):
Ein 2-lagiger bidirektionaler GRU kodiert die variablängige Bewegungshistorie. Im Gegensatz zu Methoden, die sich ausschließlich auf den finalen verborgenen Zustand verlassen, nutzt BITE einen maskierten Mean-Pooling-Mechanismus über die gesamte gültige Sequenz, um ein festdimensionales Embedding ( $\bar{h} \in \mathbb{R}^{512}$ ) zu erzeugen. Dies stellt sicher, dass das Embedding die gesamte Pfadstruktur zusammenfasst, anstatt nur den Endzustand abzubilden. Das Ergebnis wird durch einen Projektionskopf geleitet und $\ell_2$ -normalisiert, um ein 128-dimensionales Trajektorien-Embedding ( $z$ ) zu erzeugen.
Kontrastives Lernziel:
Der Encoder wird unter Verwendung eines Multi-Positive-InfoNCE-Ziels (im Stil von SimCLR) auf gruppenspezifischen Minibatches trainiert. Der Datensatz ist in Gruppen von 10 augmentierten Trajektorien organisiert, die dieselben Start- und Endpunkte teilen, sich aber in den Zwischenschritten und der Gesamtlänge unterscheiden. Für jede Anker-Trajektorie dienen die anderen 9 Trajektorien der Gruppe als Positive, während Trajektorien aus anderen Gruppen als Negative fungieren. Dieses Ziel zwingt den Encoder dazu, eine kompakte Repräsentation der „Start-Ziel-Äquivalenzklasse“ zu lernen, wodurch strukturelle Invarianz erlernt und nicht die spezifischen Pfade auswendig gelernt werden.
Integration mit dem VLM:
Der trainierte Bi-GRU-Encoder wird eingefroren. Ein leichtgewichtiger, lernbarer multimodaler Projektor (MLP) bildet das Trajektorien-Embedding in den Token-Raum eines vortrainierten VLM (speziell Qwen3-VL-8B) ab. Zu jedem Entscheidungsschritt wird dieser projektierte Vektor als ein einzelner „Trajektorien-Gedächtnis-Token“ zusammen mit der aktuellen visuellen Beobachtung, den spärlichen historischen Frames und der Sprachinstruktion injiziert. Dies ermöglicht es dem VLM, über die strukturierte Bewegungshistorie innerhalb eines einzigen Forward-Pass zu schlussfolgern, ohne die Architektur modifizieren zu müssen.

Zentrale Beiträge

Trajektorie als inhärente Modalität: Die Arbeit führt die Trajektorie und Position als eine distinkte, essenzielle Modalität für die VLN ein, welche die visuellen und linguistischen Eingaben durch eine explizite Repräsentation der Agentenbewegung ergänzt.
Emergente Instruktionslokalisierung: Das Framework zeigt, dass die Integration des Trajektorien-Gedächtnisses es dem Modell ermöglicht, den Fortschritt der Instruktion implizit zu verfolgen, ohne dass eine explizite Überwachung nötig ist, wodurch es in der Lage ist, abgeschlossene Teilziele abzuleiten und Entscheidungen auf den verbleibenden Schritten zu begründen.
Trajektorien–VLM-Alignment: Die Autoren richten die gelernten Trajektorien-Embeddings erfolgreich über einen gelernten Projektor an einem großen VLM aus, was es dem Modell ermöglicht, seine Schlussfolgerungen auf eine strukturierte Bewegungshistorie neben visuellen Beobachtungen zu stützen.
Datensatzkonstruktion: Ein trajektorienbewusster Datensatz wurde aus den R2R- und RxR-Benchmarks konstruiert, der eine Augmentationsstrategie nutzt, die geometrisch äquivalente, aber exekutionell diverse Trajektorienvarianten generiert, um das Lernen von Bewegungsstrukturen statt oberflächlicher Aktionssequenzen zu fördern.

Ergebnisse

Das Paper evaluiert BIT-Nav auf zwei primären Achsen: quantitative Genauigkeit bei trajektorien-gestützten Abfragen und qualitative Argumentation in der Simulation (Isaac Sim).

Quantitative Genauigkeit: Bei Abfragen bezüglich der kumulierten Kursrichtung (Q1) und der Aktionshäufigkeit (Q2) über Trajektorienlängen von 15 bis 125 Schritten übertrifft BIT-Nav die Baselines signifikant.
- Für die Schätzung der kumulierten Kursrichtung erreicht BIT-Nav eine Genauigkeit von 0,83 über alle Trajektorienlängen hinweg. Im Gegensatz dazu fallen Baselines (Qwen mit Text-Historie oder ohne Historie) bei wachsenden Trajektorien auf $\approx 0,07$ ab, da sie nicht in der Lage sind, die Vorzeichen der Drehwinkel über lange Historien hinweg zu integrieren.
- Bei der Inferenz der Aktionshäufigkeit erreicht BIT-Nav die Leistung von Text-Historie-Baselines bei gleichzeitig konstantem Token-Aufwand.
Token-Effizienz: BIT-Nav injiziert genau einen Token, unabhängig von der Trajektorienlänge. Bei 124 Schritten benötigt eine Text-Historie-Baseline 903 Token, während BIT-Nav nur 41 Token verwendet (ca. 4,5 % der Kosten der Baseline), dabei aber einen dichten Bewegungskontext beibehält.
Qualitative Evaluierung: In der Simulation berichtet BIT-Nav korrekt über die ausgeführten Drehrichtungen und Sequenzen in Langzeit-Episoden. Im Gegensatz dazu lässt das Basis-Qwen-Modell oft Drehungen aus oder beurteilt den Fortschritt der Episode falsch, da es seine Argumentation eher an den aktuellen visuellen Frame als an die vollständige Aktionshistorie koppelt.

Bedeutung und Behauptungen

Die Autoren behaupten, dass BIT-Nav das grundlegende Problem der zustandslosen Argumentation in VLM-basierten Navigationssystemen adressiert. Durch die Kodierung der Trajektorienhistorie als kompakten, strukturierten Token ermöglicht das Framework eine strukturierte langfristige Argumentation, ohne den Rechenaufwand durch die Erweiterung der Kontextfenster mit rohen Frames zu erhöhen.

Das Paper betont, dass dieser Ansatz es dem VLM ermöglicht, eine Instruktionslokalisierung durchzuführen – die Fähigkeit zu bestimmen, wie viel einer Instruktion bereits ausgeführt wurde und was noch verbleibt –, indem es aktuelle Entscheidungen auf der akkumulierten Bewegungshistorie des Agenten begründet. Die Autoren merken an, dass die aktuellen Ergebnisse zwar die gelernten Repräsentationen und deren Alignment-Eigenschaften charakterisieren, eine vollständige End-to-End-Benchmark-Evaluierung (z. B. Success Rate, SPL auf R2R/RxR val-unseen Splits) jedoch noch laufende Arbeit ist. Die vorgeschlagene Methode wird als komplementäre Erweiterung bestehender VLMs präsentiert, welche deren Argumentationsfähigkeit bewahrt und gleichzeitig auf eine zeitlich strukturierte Bewegungshistorie erweitert.