💻 computer science

MM-Nav: Multi-View VLA Model for Robust Visual Navigation via Multi-Expert Learning

Dieses Paper stellt MM-Nav vor, ein Multi-View-Vision-Language-Action-Modell, das eine robuste visuelle Navigation durch die Nutzung eines Teacher-Student-Frameworks erreicht, um vielfältige Fähigkeiten von privilegierten Tiefen-RL-Experten aus den Aufgaben Erreichen, Quetschen und Vermeiden zu destillieren, wodurch es letztlich seine Lehrer sowohl in synthetischen als auch in realen Umgebungen übertrifft.

Ursprüngliche Autoren: Tianyu Xu, Jiawei Chen, Jiazhao Zhang, Wenyao Zhang, Zekun Qi, Minghan Li, Zhizheng Zhang, He Wang

Veröffentlicht 2026-06-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tianyu Xu, Jiawei Chen, Jiazhao Zhang, Wenyao Zhang, Zekun Qi, Minghan Li, Zhizheng Zhang, He Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, wie er durch ein belebtes, unordentliches Haus laufen kann, ohne irgendwo anzustoßen. Dies ist die Herausforderung der visuellen Navigation. Das Problem ist, dass Kameras (wie unsere Augen) nur Bilder sehen; sie „wissen“ nicht von Natur aus, wie weit ein Stuhl entfernt ist oder wie dünn ein Draht ist, im Gegensatz zu einem Laserscanner (LiDAR), der Abstände direkt misst.

Das Paper stellt MM-Nav vor, ein neues „Gehirn“ für Roboter, das dies löst, indem es drei kraftvolle Ideen kombiniert: das Lernen von Experten-Lehrern, das Üben in einem Videospiel und das Lesen von echten Büchern aus der realen Welt.

So funktioniert es, unterteilt in einfache Konzepte:

1. Die drei „Spezialisten-Coaches“ (RL-Experten)

Anstatt zu versuchen, einem Roboter alles auf einmal beizubringen, haben die Forscher zuerst drei separate „Experten-Coaches“ in einer Computersimulation (einem Videospiel) erschaffen. Jeder Coach ist ein Meister in einer spezifischen Fertigkeit:

Der Erreichungs-Coach (Reaching Coach): Bringt dem Roboter bei, wie er gerade auf ein Ziel zugeht und dabei großen, statischen Möbelstücken ausweicht.
Der Quetsch-Coach (Squeezing Coach): Bringt dem Roboter bei, wie er sich durch winzige, überfüllte Lücken zwischen Wänden und Objekten schlängelt.
Der Ausweich-Coach (Avoiding Coach): Bringt dem Roboter bei, wie er Menschen oder beweglichen Objekten ausweicht, die wahllos umherlaufen.

Diese Coaches sind „privilegiert“, was bedeutet, dass sie über Super-Vision verfügen (sie können exakte Distanzen sehen), die der endgültige Roboter später nicht haben wird. Sie generieren Millionen von perfekten Beispielen dafür, wie man sich bewegt.

2. Der „Schüler“-Roboter (Das VLA-Modell)

Der Hauptcharakter, MM-Nav, ist ein „Schüler“-Roboter. Es ist ein Vision-Language-Action (VLA)-Modell. Betrachten Sie dies als einen Roboter mit einem Gehirn, das:

Sieht: Es betrachtet 360-Grad-Videos (vorne, hinten, links, rechts), als würde ein Mensch den Kopf drehen.
Liest: Es versteht Sprache und kann Fragen zu dem beantworten, was es sieht.
Handelt: Es sagt nicht einfach nur „biege links ab“, sondern berechnet die exakte Geschwindigkeit und Richtung, um sich reibungslos zu bewegen.

3. Die Trainingsstrategie: „Übung macht den Meister“

Die Forscher nutzten eine zweistufige Trainingsmethode, um den Schüler zum Meister zu machen:

Schritt 1: Der Intensivkurs (Offline-Lernen)
Der Schüler-Roboter studiert zuerst die Millionen von perfekten Beispielen, die von den drei Spezialisten-Coaches generiert wurden. Er lernt die Grundlagen des Erreichens, des Quetschens und des Ausweichens.
Schritt 2: Das „ausbalancierte“ Tutoring (Online-Iteration)
Hier liegt der clevere Teil. Der Schüler-Roboter geht zurück in die Simulation, um zu üben. Wenn der Roboter gut im „Erreichen“ ist, aber schlecht im „Quetschen“, gibt das System ihm automatisch mehr Übungsdaten zum Thema Quetschen. Es ist wie ein Tutor, der bemerkt, dass Sie Schwierigkeiten mit Mathe haben, aber gut in Geschichte sind, und Ihnen deshalb zusätzliche Mathe-Hausaufgaben gibt, um die Dinge auszugleichen. Dies stellt sicher, dass der Roboter in allen Fertigkeiten gut wird und nicht nur in den einfachen.

4. Die Brücke schlagen: Die „Bibliothek der realen Welt“

Es gibt ein großes Problem beim Training von Robotern in Videospielen: Die reale Welt sieht anders aus (unterschiedliche Beleuchtung, unordentliche Objekte, seltsame Texturen). Dies wird als „Sim-to-Real Gap“ bezeichnet.

Um dies zu beheben, haben die Forscher den Roboter nicht nur mit Spieldaten gefütet. Sie haben ihm auch 300.000 reale Visual Question Answering (VQA)-Beispiele gegeben.

Die Analogie: Stellen Sie sich vor, der Roboter ist ein Schüler, der bisher nur in einer Zeichentrickwelt gelernt hat. Um sich auf die reale Welt vorzubereiten, bekommt er auch eine Bibliothek aus echten Fotos und Fragen wie: „Wie bewegt sich der Fußgänger?“ oder „Wo ist der freie Pfad?“
Durch das Beantworten dieser Fragen zu echten Fotos lernt das Gehirn des Roboters, reale Texturen und Lichtverhältnisse zu verstehen, was es viel unwahrscheinlicher macht, dass er verwirrt ist, wenn er das Videospiel verlässt und einen echten Flur betritt.

5. Die Ergebnisse: Die Lehrer übertreffen

Als sie MM-Nav sowohl in der Simulation als auch in der realen Welt testeten (mit einem Unitree-Roboterhund, der Kameras rundherum hat), waren die Ergebnisse beeindruckend:

Es funktioniert in der realen Welt: Der Roboter navigierte erfolgreich durch enge Korridore, wich dünnen Drähten aus (die für Laser schwer zu sehen sind) und wich sich bewegenden Menschen aus.
Es schlug die Experten: Überraschenderweise performte der „Schüler“-Roboter schließlich besser als die einzelnen „Coach“-Roboter, an denen er trainiert wurde. Indem er die Fähigkeiten des Erreichens, des Quetschens und des Ausweichens in einem Gehirn kombinierte, wurde er robuster und anpassungsfähiger als jeder einzelne Spezialist.
Geschwindigkeit: Er denkt und bewegt sich schnell genug (7 Mal pro Sekunde), um sofort auf Hindernisse zu reagieren.

Zusammenfassung

MM-Nav ist ein Robotergehirn, das lernt zu navigieren, indem es drei verschiedenen Experten-Lehrern in einem Videospiel zusieht, aber es liest auch eine Bibliothek aus echten Fotos, um zu verstehen, wie die reale Welt tatsächlich aussieht. Indem es sein Training so ausbalanciert, dass es bei keiner Fertigkeit nachlässig wird, wird es zu einem Meister-Navigator, der in chaotischen, überfüllten und bewegten Umgebungen besser navigieren kann als seine Lehrer es je könnten.

Technisches Resümee: MM-Nav

Problemstellung

Die visuelle Navigation ist eine kritische Forschungsrichtung für die Robotik, die darauf abzielt, die menschliche Navigation durch die Nutzung egozentrischer visueller Beobachtungen zu emulieren. Im Gegensatz zu LiDAR-Punktwolken oder Tiefenkarten fehlen rohen visuellen Beobachtungen jedoch explizite geometrische Informationen, was die Navigation in unübersichtlichen oder dynamischen Umgebungen besonders anspruchsvoll macht. Bestehende lernbasierte Methoden stehen vor erheblichen Einschränkungen:

Datenknappheit und Bias: Die Erfassung von Echtzeitdaten ist teuer, oft auf begrenzte Kamera-Konfigurationen beschränkt (z. B. nur Frontansicht) und enthält selten gefährliche Szenarien wie Kollisionsvermeidung aufgrund von Sicherheitsrisiken.
Sim-to-Real-Gap: Synthetische Daten sind zwar flexibel, leiden jedoch unter nicht-fotorealistischer Darstellung, was eine Lücke schafft, die den Transfer auf den Einsatz in der realen Welt behindert.
Kapazitätsbeschränkungen: Aktuelle Modelle sind oft auf geräumige Umgebungen beschränkt und haben Schwierigkeiten mit komplexen Aufgaben wie dem Durchqueren enger Lücken oder der Vermeidung dynamischer Hindernisse.
Beschränkungen des Aktionsraums: Viele bestehende Vision-Language-Action (VLA)-Modelle verlassen sich auf diskrete Aktionsräume (z. B. „nach links drehen“), was im Vergleich zur kontinuierlichen Geschwindigkeitssteuerung, die für eine robuste reale Navigation erforderlich ist, die Agilität einschränkt.

Methodik: MM-Nav

Die Autoren schlagen MM-Nav vor, ein 7B-Parameter starkes Multi-View-VLA-Modell, das darauf ausgelegt ist, vielfältige Navigationsfähigkeiten aus synthetischen Experten-Daten zu erlernen und gleichzeitig den Sim-to-Real-Gap durch Co-Training mit groß angelegten realen Visual Question Answering (VQA)-Daten zu mildern.

1. Multi-Capability RL Experts

Um den Mangel an anspruchsvollen Szenarien in bestehenden Datensätzen zu adressen, konstruieren die Autoren maßgeschneiderte Simulationsumgebungen mittels IsaacLab und trainieren drei verschiedene Reinforcement Learning (RL) Experten unter Verwendung von Proximal Policy Optimization (PPO). Diese Experten nutzen privilegierte Informationen (Tiefenkarten), um spezifische Fähigkeiten zu meistern:

Reaching (Erreichen): Annäherung an ein Zielpunkt-Ziel unter Vermeidung statischer Hindernisse verschiedener Formen und Texturen.
Squeezing (Durchqueren): Navigation durch dicht gepackte Säulen und enge, randomisierte Lücken.
Avoiding (Vermeiden): Aktive Vermeidung von überfüllten dynamischen Hindernissen, die sich mit zufälligen Geschwindigkeiten bewegen.

2. Student VLA Modell Architektur

Das Student-Modell ist eine Multi-View-VLA-Policy, die 360°-RGB-Beobachtungen von vier Kameras (Vorne, Rechts, Hinten, Links) verarbeitet.

Visuelle Kodierung: Ein gleitendes Zeitfenster der Historie (8 Schritte) wird mithilfe eines visuellen Foundation-Modells (SigLIP) kodiert. Die Architektur verwendet eine hybride Tokenisierungsstrategie: feingranulare Tokens für die aktuelle Beobachtung und grobkörnige Tokens für die Historie, was zu einer festen Sequenzlänge von 192 Tokens führt, um eine konsistente Inferenzgeschwindigkeit zu gewährleisten.
Sprachintegration: Punktziele werden als textuelle Prompts formatiert und als Sprach-Tokens mittels eines Large Language Models (Qwen2-7B) kodiert. Dies ermöglicht das Co-Training mit Open-World-VQA-Daten.
Action Head: Das Modell gibt kontinuierliche omnidirektionale Geschwindigkeitsbefehle ( $v_x, v_y, v_{yaw}$ ) über ein zweischichtiges MLP aus, wobei eine Inferenzgeschwindigkeit von 7 Hz erreicht wird.

3. Trainingsstrategie: Capability-Balanced Iteration

Die Trainingspipeline besteht aus zwei Stufen:

Initiales Fine-Tuning: Das VLA-Modell wird auf 500.000 erfolgreichen Experten-Demonstrationen (gesammelt von den drei RL-Lehrern) und 100.000 realen VQA-Daten initialisiert.
Online Teacher-Student Iteration (DAgger-Stil): Das VLA-Modell wird in der Simulation eingesetzt, um Trajektorien zu sammeln. Ein Modul zur Kapazitäts-Balance passt das Datenverhältnis für den nächsten Fine-Tuning-Schritt dynamisch an. Es berechnet eine Leistungsdifferenz-Metrik (Weighted Travel Time) zwischen dem Student und den RL-Lehrern für jede Fähigkeit. Daten aus den Fähigkeiten, in denen der Student unterperformt, werden höher gewichtet, um eine stabile Konvergenz zu gewährleisten und ein Ungleichgewicht der Fähigkeiten zu verhindern.

Zentrale Beiträge

Navigationsdaten: Konstruktion maßgeschneiderter Multi-Capability-Simulationsumgebungen und Training von privilegierten RL-Experten, um vielfältige Supervision für Reaching, Squeezing und dynamische Hindernisvermeidung zu bieten – Szenarien, die in der realen Welt schwer zu erfassen sind.
Trainingsstrategie: Einführung eines kapazitäts-balancierten iterativen Verfeinerungsverfahrens, das Policy-Distribution-Shifts mildert und eine ausgewogene Verbesserung über verschiedene Navigationsfähigkeiten hinweg sicherstellt.
Modell-Design: Entwicklung einer effizienten 7B Multi-View-VLA-Policy, die 360°-RGB-Beobachtungen nutzt, um direkt kontinuierliche Geschwindigkeitsbefehle vorherzusagen, was einen robusten Zero-Shot Sim-to-Real Transfer ermöglicht.

Experimentelle Ergebnisse

Simulations-Benchmarks

InternVLA-N1 System-1 Benchmark: MM-Nav erreichte eine Erfolgsrate (Success Rate, SR) von 88,1 % im Point-Goal-Navigations-Benchmark und übertraf damit die beste bisherige Methode (72,2 %) um +15,9 Punkte. Es übertraf vorangegangene RGB-D- und Tiefen-basierte Ansätze signifikant, obwohl es ausschließlich auf RGB-Inputs vertraut.
Custom IsaacLab Umgebungen: In Tests über Reaching, Squeezing, Avoiding und Mixed-Szenen erzielte MM-Nav die höchste SR und die niedrigste Kollisionsrate (Collision Rate, CR) unter den Baselines (einschließlich NavDP, ViPlanner und iPlanner). Bemerkenswerterweise erreichte es eine SR von 71 % in der anspruchsvollen „Squeezing“-Szene, verglichen mit 18 % bei NavDP.
Student vs. Teacher: Das VLA-Student-Modell übertraf schließlich die spezialisierten RL-Lehrer, was den synergistischen Effekt der Integration mehrerer Fähigkeiten demonstriert.

Reale Einsatzpraktiken

Umfangreiche Experimente in der realen Welt auf einem Unitree GO2 Roboter bestätigten einen robusten Zero-Shot Transfer in diversen Szenarien:

Vermeidung dünner Drähte: Erfolgreiche Vermeidung von dünnen, hängenden Drähten, die für LiDAR schwer wahrnehmbar sind.
Unübersichtlicher Korridor: Navigation durch enge Passagen mit transparenten Glaswänden und Hindernissen.
Fußgängervermeidung: Anpassung der Trajektorien online zur Vermeidung von sich bewegenden Fußgängern.
Außenbereich-Gasse: Navigation in Umgebungen mit wenig Licht und ungesehenen Hindernissen (z. B. Steinpoller).

Ablationsstudien

VQA Co-training: Das Entfernen der VQA-Daten führte zu einem Leistungsabfall von über 20 % in der Simulation und einem Scheitern bei der Generalisierung auf reale dünne/unregelmäßige Hindernisse. Eine UMAP-Analyse zeigte, dass VQA-Daten die latente Distributionslücke zwischen Simulation und Realität signifikant verringerten.
Multi-view vs. Single-view: Der 360°-Multi-View-Input lieferte einen Gewinn von +4,8 SR gegenüber einer Single-View-Variante, was die Bedeutung der Rundum-Wahrnehmung für das räumliche Bewusstsein validiert.
Balancierte Daten: Die Methode der kapazitäts-balancierten Aggregation führte zu einem schnelleren und stabileren Training im Vergleich zu unbalancierter Datenerfassung.

Bedeutung und Ansprüche

Das Paper behauptet, dass MM-Nav einen skalierbaren und effektiven Bauplan für das Training einer neuen Generation allgemeiner visueller Navigationsagenten bietet. Seine primäre Bedeutung liegt in:

Überwindung des Sim-to-Real-Gaps: Durch die Nutzung der Generalisierungsfähigkeiten von VLA-Modellen und das Co-Training mit realen VQA-Daten transferiert das Modell erfolgreich Fähigkeiten, die in synthetischen, privilegierten Umgebungen erlernt wurden, auf die reale, tiefenlose RGB-Navigation.
Synergetisches Lernen: Die Arbeit zeigt, dass eine einheitliche VLA-Policy mehrere unterschiedliche Navigationsfähigkeiten (Reaching, Squeezing, Avoiding) effektiver lernen und integrieren kann als spezialisierte RL-Policies, die isoliert oder in gemischten Szenarien trainiert wurden.
Effizienz: Das Modell erreicht eine robuste Performance bei einer Inferenzgeschwindigkeit von 7 Hz unter Verwendung eines 7B-Parameters Modells, was es für den Echtzeit-Einsatz auf Standard-Robotikplattformen praktikabel macht.

Die Autoren kommen zu dem Schluss, dass ihre Methode die Einschränkungen aktueller visueller Navigations-Policies effektiv adressiert, indem sie spezialisiertes Expertenwissen mit groß angelegtem semantischem Verständnis kombiniert und so eine robuste Navigation in komplexen, dynamischen und unübersichtlichen Umgebungen ermöglicht.