💻 computer science

Qwen-RobotNav Technical Report: A Scalable Navigation Model Designed for an Agentic Navigation System

Qwen-RobotNav ist ein skalierbares, parametrisiertes Navigationsmodell, das auf 15,6 Millionen Proben trainiert wurde und es agentischen Systemen ermöglicht, Beobachtungsstrategien und Aufgabenmodi zur Inferenzzeit dynamisch ohne architektonische Änderungen neu zu konfigurieren, wobei es eine State-of-the-Art-Leistung und eine starke Zero-Shot-Generalisierung über verschiedene Benchmarks und reale Roboter hinweg erreicht.

Ursprüngliche Autoren: Jiazhao Zhang, Gengze Zhou, Hale Yin, Yiyang Huang, Zixing Lei, Qihang Peng, Haoqi Yuan, Jie Zhang, Xudong Guo, Xiaoyue Chen, An Yang, Fei Huang, Junyang Lin, Dayiheng Liu, Jingren Zhou, Zhuoyuan Yu

Veröffentlicht 2026-06-17

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jiazhao Zhang, Gengze Zhou, Hale Yin, Yiyang Huang, Zixing Lei, Qihang Peng, Haoqi Yuan, Jie Zhang, Xudong Guo, Xiaoyue Chen, An Yang, Fei Huang, Junyang Lin, Dayiheng Liu, Jingren Zhou, Zhuoyuan Yu, Jingyang Fan, Zhixuan Liang, Pei Lin, Ye Wang, Anzhe Chen, Kun Yan, Xiao Xu, Jiahao Li, Lulu Hu, Minying Zhang, Shurui Li, Wenhu Xiao, Shuai Bai, Xuancheng Ren, Chenxu Lv, Chenfei Wu, Xiong-Hui Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen superintelligenten Roboterhund oder ein selbstfahrendes Auto. Sie möchten, dass es viele verschiedene Dinge tut: einer gesprochenen Anweisung wie „Geh in die Küche“ folgen, einer bewegten Person nachjagen, einen verlorenen Schlüsselbund finden oder sicher durch den Verkehr fahren.

Normallich ist das Bauen eines Roboters, der all diese Dinge kann, so, als würde man versuchen, eine einzige Person einzustellen, die gleichzeitig ein Meisterkoch, ein Rennfahrer und ein Detektiv ist. Es ist unglaublich schwer, weil jede dieser Aufgaben eine andere Art erfordert, die Welt wahrzunehmen. Ein Detektiv muss sich an Hinweise aus Stunden zuvor erinnern können, während ein Rennfahrer nur darauf achtet, was in genau diesem Moment direkt vor ihm passiert.

Qwen-RobotNav ist ein neues „Gehirn“ für Roboter, das dieses Problem löst. Anstatt für jeden Job ein separates Gehirn zu bauen, haben die Forscher ein flexibles Gehirn entwickelt, das seine „Brille“ je nach Aufgabe wechseln kann.

Hier ist die Funktionsweise, erklärt anhand einfacher Analogien:

1. Das „Schweizer Taschenmesser“-Gehirn

Stellen Sie sich Qwen-RobotNav wie ein Schweizer Taschenmesser vor. Die meisten Navigationsroboter sind wie ein einzelner Schraubendreher; sie sind in einer Sache großartig, aber für andere völlig unbrauchbar. Qwen-RobotNav ist das gesamte Werkzeug.

Der Modus-Schalter: Es besitzt einen „Modus-Schalter“. Wenn Sie sagen „Folge dieser Person“, wechselt es in den Tracking-Modus. In diesem Modus setzt es eine „Schnellschuss-Brille“ auf, die nur die letzten Sekunden des Videos betrachtet und die alte Historie ignoriert, um sofort reagieren zu können.
Das Gedächtnis: Wenn Sie sagen „Suche das rote Sofa“, wechselt es in den Suchmodus. Hier setzt es eine „Weitwinkel-Brille“ auf, die alles erinnert, was es in den letzten 10 Minuten gesehen hat, damit es nicht im Kreis läuft.
Die Magie: Das Beste daran ist, dass Sie den Roboter nicht neu trainieren müssen, um diese Brillen zu wechseln. Sie sagen ihm einfach, was er tun soll, und er passt seine Aufmerksamkeit sofort an.

2. Das „Intelligente Budget“ für die Augen

Roboter haben ein Limit bei der Menge an visuellen Informationen, die sie gleichzeitig verarbeiten können (ähnlich wie ein Computer, dem der Arbeitsspeicher ausgeht).

Das Problem: Wenn ein Roboter 100 Videoframes betrachtet, wird er vielleicht überfordert. Wenn er nur 1 Frame betrachtet, übersieht er vielleicht ein entscheidendes Detail.
Die Lösung: Qwen-RobotNav nutzt ein Intelligentes Budget. Stellen Sie sich vor, Sie haben 100 $ zur Verfügung, um Bilder eines Raumes zu kaufen.
- Wenn Sie fahren, geben Sie den Großteil Ihres Geldes für das Bild der Straße jetzt gerade (die Frontansicht) aus und sehr wenig für die Rückansicht.
- Wenn Sie nach einem verlorenen Gegenstand suchen, verteilen Sie Ihr Geld so, dass Sie Bilder des gesamten Raumes über die letzten Minuten hinweg kaufen können.
- Der Roboter lernt, diese Mathematik automatisch zu betreiben. Er entscheidet selbstständig, wie viele „Pixel“ (visuelle Details) er für jede Kamera und jeden Zeitpunkt beibehält, basierend auf der jeweiligen Aufgabe.

3. Lernen aus einem „Mega-Mix“ an Erfahrungen

Um diesen Roboter zu lehren, haben die Forscher ihm nicht nur eine Art von Video gezeigt. Sie fütterten ihn mit einem massiven „Smoothie“ aus 15,6 Millionen verschiedenen Erfahrungen:

Anweisungen befolgen: „Biege links am blauen Stuhl ab.“
Punktnavigation: „Gehe zu Koordinate (5, 2).“
Objektsuche: „Finde die TV-Fernbedienung.“
Verfolgung: „Folge dem Mann mit dem schwarzen Hut.“
Fahren: „Fahre sicher durch eine Kreuzung.“

Sie mischten auch allgemeines „Weltwissen“ (wie das Lesen von Schildern oder das Erkennen von Objekten) unter, damit der Roboter nicht vergisst, wie man Sprache versteht, während er lernt, sich zu bewegen. Dies verhindert, dass der Roboter zu einer „gedankenlosen Reflexmaschine“ wird, die sich einfach nur ohne Nachdenken bewegt.

4. Das „Manager-und-Arbeiter“-System

Für sehr lange und komplizierte Aufgaben (wie „Finde den grünen Regenschirm im Café und sag mir, ob er da ist“) arbeitet der Roboter in einem Team:

Der Manager (Oberer Planer): Dies ist eine KI auf hoher Ebene, die das große Ziel in kleine Schritte zerlegt. Er entscheidet: „Gehe zuerst in den Flur. Dann suche nach dem Café.“
Der Arbeiter (Qwen-RobotNav): Dies ist das Navigationsmodell. Der Manager sagt dem Arbeiter: „Gehe zum Café, aber nutze deinen ‚Suchmodus‘ mit einem großen Gedächtnisbudget.“
Die Schleife: Der Arbeiter geht, findet den Laden und meldet zurück: „Ich bin hier, aber kein Regenschirm gefunden.“ Der Manager aktualisiert sein Gedächtnis und sagt: „Okay, überprüfe als Nächstes den Tisch.“ Dies geschieht immer wieder, bis die Aufgabe erledigt ist.

5. Ergebnisse aus der realen Welt

Die Arbeit zeigt, dass dieser Roboter nicht nur ein Simulations-Trick ist.

Er gewinnt Wettbewerbe: Er hat andere Top-Roboter in Tests zum Befolgen von Anweisungen, zum Finden von Objekten und zum Verfolgen bewegter Ziele geschlagen.
Er fährt: Er hat gelernt, Autos sicher in komplexen Verkehrssimulationen zu steuern.
Er funktioniert auf echten Robotern: Das Team testete ihn auf einem echten Roboterhund in einem echten Gebäude, das er noch nie zuvor gesehen hatte. Sie gaben ihm gesprochene Anweisungen wie „Gehe zum medizinischen Raum, drehe dich dann um und laufe rückwärts“. Der Roboter navigierte erfolgreich durch das fremde Gebäude, nutzte Orientierungspunkte zur Wegfindung und lief sogar exakt wie gewünscht rückwärts.

Zusammenfassend lässt sich sagen: Qwen-RobotNav ist ein universelles Navigationsgehirn, das lernt, seine eigene Aufmerksamkeit zu „stimmen“. Es weiß, wann es sich auf den gegenwärtigen Moment konzentrieren und wann es sich an die Vergangenheit erinnern muss, was es einem einzigen Roboter ermöglicht, gleichzeitig Fahrer, Verfolger und Sucher zu sein.

Technisches Resümee: Qwen-RobotNav

Problemstellung

Embodied Navigation umfasst eine vielfältige Familie von Aufgaben – einschließlich Instruktionsfolgen, Punktziel-Navigation, Objektsuche, Zielverfolgung und autonomes Fahren. Während jüngste vereinheitlichte Navigationsmodelle gezeigt haben, dass eine einzige Architektur mehrere Aufgabenfamilien bewältigen kann, versäumen sie es, eine kritische Anforderung für agentische Navigationssysteme zu adressieren: die Notwendigkeit einer Beobachtungsstrategie, die zur Laufzeit (Inference) extern rekonfigurierbar ist.

Unterschiedliche Navigationsaufgaben erfordern grundlegend verschiedene zeitliche Kontexte und Gedächtnisstrategien. Beispielsweise erfordert das Befolgen von Instruktionen das Behalten von Beobachtungen, die über Dutzende vorangegangener Schritte reichen, um auf weit zurückliegende Orientierungspunkte zu referenzieren, während die Zielverfolgung sich fast ausschließlich auf die aktuellsten Frames stützt und veraltete Historie als Rauschen behandelt. Die Objektsuche erschwert dies zusätzlich, indem sie die Anforderungen innerhalb einer einzelnen Episode verschiebt (von einem breiten globalen Gedächtnis während der Exploration zu einer engen, auf Aktualität fokussierten Aufmerksamkeit während der Annäherung). Bestehende vereinheitlichte Modelle (z. B. NavFoM, ABot-N0) betten eine einzige, feste Annahme darüber ein, welche Beobachtungen relevant sind (z. B. gleichmäßige Sub-Sampling oder gleitende Fenster), was sie unfähig macht, sich mitten in einer Episode anzupassen oder als flexible Bausteine für übergeordnete Planer zu dienen.

Methodik

Die Autoren führen Qwen-RobotNav ein, ein skalierbares Navigationsmodell, das auf dem Qwen3-VL Backbone basiert. Anstatt aufgabenspezifische Architekturen zu entwerfen, definieren die Autoren die Herausforderung als Modellierung des Beobachtungskontexts um. Die zentrale Innovation ist eine parametrisierte Schnittstelle, die es einem externen Agenten ermöglicht, dynamisch zu konfigurieren, wie das Modell den visuellen Stream konsumiert, ohne eine architektonische Modifikation oder ein aufgabenspezifisches Retraining zu erfordern.

1. Architektur und Schnittstelle

Qwen-RobotNav erbt den Qwen3-VL Vision Encoder und das Sprach-Backbone, ergänzt durch einen leichtgewichtigen 4-lagigen MLP-Action-Head, der eine 8-Waypoints-Trajektorie $(x, y, \theta)$ vorhersagt. Das Modell bietet zwei komplementäre Konfigurationsdimensionen:

Task Modes (Aufgabenmodi): Das Modell unterstützt mehrere Modi (VLN, PointNav, ObjNav, Tracking), die über natürliche Sprachprompts wählbar sind. Dies sind keine separaten Policies, sondern unterschiedliche Schnittstellen zum selben Modellgewicht.
Steuerbare Beobachtungsparameter: Das Modell akzeptiert eine Konfiguration $\Phi = (B, \gamma, \{w_c\}, m, b_{min}, b_{max})$ $Φ = (B, γ, {w_{c}}, m, b_{min}, b_{ma x})$ , die den visuellen Token-Allokationsprozess steuert:
- Token-Budget ( $B$ ): Gesamtzahl der visuellen Token über alle Kameras und Zeitschritte hinweg.
- Temporaler Zerfall ( $\gamma$ ): Steuert die Gewichtung der Aktualität (Recency Bias), indem jüngere Frames stärker gewichtet werden als ältere.
- Kamera-Gewichte ( $w_c$ ): Pro-Kamera-Wichtigkeitsmultiplikatoren (z. B. wird die Frontkamera stärker gewichtet als die Rückkamera).
- Frame-Sampling ( $m$ ): Zufällig (globale Abdeckung) oder Aktuellste (Aktualitätsfenster).

2. Aufgabenadaptive Beobachtungskodierung

Das Modell verwendet einen beschränkten Token-Allokationsalgorithmus. Gegeben ein Budget $B$ , verteilt es Tokens auf $T'$ Frames und $N$ Kameras basierend auf einer gemeinsamen Gewichtungsmatrix $W[t, c] = \omega_t \cdot w_c$ . Der Algorithmus stellt sicher, dass pro Bild ein Mindestwert ( $b_{min}$ ) und eine Höchstgrenze ( $b_{max}$ ) eingehalten wird, indem überschüssige Tokens iterativ umverteilt werden. Dies ermöglicht es dem Modell, Auflösung und Kontextlänge dynamisch an die Bedürfnisse der Aufgabe anzupassen (z. B. hohe Auflösung für aktuelle Frames beim Tracking, breitere Abdeckung bei der Exploration).

3. Trainingsstrategie

Datenumfang: Das Modell wird auf 15,6 Mio. Samples trainiert, bestehend aus 85 % Navigations-Trajektorien-Planungsdaten (umfassend Instruction Following, Point-Goal, Object-Goal, Tracking und autonomes Fahren) und 15 % navigationsbezogenen Vision-Language-Reasoning-Daten.
Randomisierung zur Trainingszeit: Ein kritisches Designprinzip ist, dass keine Beobachtungskonfiguration während des Trainings fixiert ist. Hyperparameter ( $B, \gamma, w_c$ etc.) werden pro Sample unabhängig randomisiert. Dies stellt sicher, dass das Modell auf jede Konfiguration zur Laufzeit generalisiert, ohne aufgabenspezifisches Tuning zu benötigen.
Co-Training: Vision-Language-Reasoning-Daten werden mit trainiert, um einen „Kollaps“ in rein reaktive Aktionssequenz-Mapper zu verhindern und so die Open-World-Wahrnehmung und das räumliche Reasoning des Modells zu bewahren.
Embodiment-Bewusstsein: Unterschiedliche physische Plattformen (Roboter vs. Autos) werden durch natürliche Sprach-Präambeln unterschieden (z. B. „Stelle dir vor, du bist ein Roboter...“), was ohne architektonische Änderungen auskommt.

4. Agentisches Navigationssystem

Qwen-RobotNav ist als reaktiver Executor innerhalb eines hierarchischen agentischen Systems konzipiert. Ein übergeordneter Planer (z. B. Qwen3.6-Plus) zerlegt langfristige Ziele in Teilaufgaben und wechselt dabei die Task Mode und die Kontextstrategie von Qwen-RobotNav mitten in einer Episode. Das System unterhält ein zweistufiges Gedächtnis: eine kompakte Zusammenfassung der aktuellen Episode und ein persistentes, episodenübergreifendes „Evidence Notebook“ für das langfristige Reasoning.

Zentrale Beiträge

Parametrisierte Navigationsschnittstelle: Ein vereinheitlichtes Modell, das eine externe Rekonfiguration der Beobachtungsstrategien (Token-Budget, temporaler Zerfall, Kamera-Gewichte) zur Laufzeit ermöglicht und somit ein einziges Modell befähigt, diverse Aufgaben und dynamische Teilziele zu bedienen.
Randomisierung zur Trainingszeit: Ein Trainingsregime, das das Modell einem breiten kombinatorischen Raum von Kontextkonfigurationen aussetzt, was eine robuste Zero-Shot-Generalisierung auf jede Einstellung zur Laufzeit ohne Fine-Tuning gewährleistet.
Agentischer Baustein: Die Demonstration, wie ein Navigations-Foundation-Modell als modularer, rekonfigurierbarer Primitiv für komplexe agentische Systeme dienen kann, was langfristige Aufgaben wie Embodied Question Answering (EQA) durch dynamisches Aufgabenwechseln ermöglicht.
Skalierbares Multi-Task-Learning: Das gemeinsame Training über fünf unterschiedliche Aufgabenfamilien hinweg (einschließlich autonomem Fahren) entwickelt ein gemeinsames räumliches Planungs-Substrat, das über Aufgabenfamilien und Embodiments hinweg transferierbar ist.

Experimentelle Ergebnisse

Qwen-RobotNav erreicht State-of-the-Art (SOTA) oder konkurrierende Ergebnisse in diversen Benchmarks:

Vision-and-Language Navigation (VLN-CE):
- RxR Val-Unseen: 76,5 % Success Rate (SR) und 72,5 nDTW (8B Modell), was NavFoM um 12,1 % SR übertrifft.
- R2R Val-Unseen: 72,1 % SR (8B Modell), was NavFoM um 10,4 % SR übertrifft.
- VLNVerse: 63,75 % SR im fine-grained Split und 46,59 % SR im coarse-grained Split, womit es NavFoM und Uni-NaVid signifikant übertrifft.
Object-Goal Navigation:
- HM3D v2: 75,6 % SR (4B Modell), was trotz der Verwendung von rein RGB-Beobachtungen (kein Depth) einen neuen SOTA auf diesem Benchmark etabliert.
- HM3D-OVON: 57,7 % SR im Seen-Split und 60,1 % bei Synonymen, womit es ABot-N0 trotz der Verwendung einer einzigen nach vorne gerichteten Kamera gegenüber dem Panoramabild von ABot-N0 übertrifft.
Aktive visuelle Verfolgung (EVT-Bench):
- Erreicht die höchste Tracking-Rate (90,0 % TR) unter allen evaluierten Methoden und übertrifft damit ABot-N0 (87,6 %) und TrackVLA++ (81,0 %).
Autonomes Fahren (NAVSIM):
- Erreicht 91,4 PDMS (4B Modell) und 90,9 PDMS (8B Modell) und übertrifft damit NavFoM, AutoVLA und andere spezialisierte Driving-Modelle.
Embodied Question Answering (EQA):
- Ein mit Qwen-RobotNav gebautes agentisches System setzt neue SOTA auf HM-EQA (76,7 SR), MT-HM3D (54,4 SR) und EXPRESS-Bench (79,27 LLM Score) und verbessert die besten bisherigen Methoden um 10,8 % bzw. 15,4 %, während es 77 % weniger Navigationsschritte benötigt.
Einsatz in der realen Welt:
- Demonstrierte Zero-Shot-Transfer auf einen Unitree Go2 Quadruped-Roboter in einer realen Ausstellungshalle, wobei komplexe sprachliche Instruktionen (z. B. „gehe rückwärts“, „halte neben dem Sofa an“) und langfristige agentische Aufgaben (z. B. ein spezifisches Objekt finden und Beobachtungen melden) erfolgreich ausgeführt wurden.

Bedeutung und Ansprüche

Das Paper behauptet, dass Qwen-RobotNav einen Paradigmenwechsel von der Entwicklung fixer Navigationspolicies hin zur Schaffung rekonfigurierbarer Navigationsprimitive darstellt. Indem das Modell den Beobachtungskontext als einen als erstklassig behandelten, extern steuerbaren Freiheitsgrad definiert, schließt es die Lücke zwischen spezialisierter Aufgabenleistung und der Flexibilität, die für agentische Systeme erforderlich ist.

Die Autoren betonen, dass die parametrisierte Schnittstelle es ermöglicht, dass komplexe, langfristige Verhaltensweisen aus der Komposition einfacher, wohldefinierter Arbeitsmodi (z. B. Wechsel von „Global-History-Modus“ zur Exploration zu „Recency-Focused-Modus“ für lokale Manöver) entstehen. Darüber hinaus bewahrt die Verwendung natürlicher Sprache zur Identifizierung von Sichtpunkten und Zeiträumen die Open-World-Sprachgrundierung des Modells ohne architektonischen Overhead.

Die Ergebnisse validieren, dass ein vereinheitlichtes Modell, das mit randomisierten Kontextstrategien trainiert wurde, eine überlegene Leistung über Instruktionsfolgen, Objektsuche, Verfolgung und Fahren hinweg erzielt und gleichzeitig als robuster, Zero-Shot-transferierbarer Bestandteil für allgemeine embodied Agents dient. Die Arbeit legt nahe, dass die aufgabenadaptive Beobachtungskodierung ein vielversprechender Weg für die Entwicklung von Navigations-Foundation-Modellen ist, die sowohl breit fähig als auch praktisch einsatzbereit sind.