💻 computer science

MuseVLA: An Adaptive Multimodal Sensing Vision-Language-Action Model for Robotic Manipulation

MuseVLA ist ein adaptives multimodales Vision-Language-Action-Modell, das diverse Sensoren dynamisch als On-Demand-Werkzeuge aufruft, deren Messwerte in eine einheitliche „grounded sensor image“-Repräsentation umwandelt und eine Datensynthese-Pipeline nutzt, um eine überlegene Leistung bei komplexen robotischen Manipulationsaufgaben zu erzielen, die Temperatur-, Audio- oder Radar-Sensorik erfordern.

Ursprüngliche Autoren: Xingyuming Liu, Ruichun Ma, Heyu Guo, Qixiu Li, Qingwen Yang, Lin Luo, Shiqi Jiang, Chenren Xu, Jiaolong Yang, Baining Guo

Veröffentlicht 2026-06-17

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Xingyuming Liu, Ruichun Ma, Heyu Guo, Qixiu Li, Qingwen Yang, Lin Luo, Shiqi Jiang, Chenren Xu, Jiaolong Yang, Baining Guo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einen bestimmten Gegenstand in einem unordentlichen Zimmer zu finden. Wenn Sie nur Ihre Augen (RGB-Sicht) haben, könnten Sie ein kaltes Getränk übersehen, weil es genau wie ein warmes aussieht, oder Sie hören ein klingelndes Telefon nicht, das unter einer Decke versteckt ist. Menschen sind in dieser Hinsicht klug: Wir starren nicht einfach nur; wir nutzen verschiedene „Werkzeuge“ je nach Aufgabe. Wenn etwas heiß ist, fühlen wir vielleicht die Luft; wenn etwas ein Geräusch macht, hören wir hin; wenn etwas verborgen ist, benutzen wir vielleicht ein Werkzeug, um hindurchzusehen.

MuseVLA ist ein Robotergehirn, das genau das tut. Es ist eine neue Art von Robotersteuerung, die sich nicht nur auf eine Kamera verlässt; es weiß, wie man den richtigen „Sinn“ für die jeweilige Aufgabe wählt, genau wie ein Mensch.

Hier ist die Funktionsweise, auf einfache Konzepte heruntergebrochen:

1. Der „Werkzeugkasten“-Ansatz

Die meisten Robotergehirne von heute sind wie eine Person, die nur eine Taschenlampe besitzt. Sie können sehen, aber sie können keine Hitze fühlen oder Geräusche hören. MuseVLA ist anders. Es betrachtet Sensoren (wie Wärmebildkameras, Mikrofone und Radar) als Werkzeuge in einem Werkzeugkasten.

Das Problem: Wenn man einem Roboter sagt: „Hol das heiße Getränk“, könnte ein Standardroboter, der nur eine Kamera hat, ein kaltes greifen, weil sie gleich aussehen.
Die MuseVLA-Lösung: Wenn der Roboter „heißes Getränk“ hört, schaut er nicht nur. Er denkt: „Ich muss die Temperatur prüfen“, und ruft sein Werkzeug der Wärmebildkamera auf. Wenn der Befehl „Finde das klingelnde Telefon“ lautet, wechselt er zu seinem Mikrofon-Werkzeug. Er nutzt nur das Werkzeug, das er braucht, um Energie und Fokus zu sparen.

2. Das „Magische Overlay“ (Gegroundete Sensorbilder)

Dies ist der cleverste Trick des Papers. Verschiedene Sensoren sprechen unterschiedliche Sprachen. Eine Wärmebildkamera spricht in „Hitzekarten“ (Farben, die Temperatur anzeigen), und ein Radar spricht in „Reflexionskarten“. Es ist schwer, einem Roboter beizubringen, all diese verschiedenen Sprachen gleichzeitig zu verstehen.

MuseVLA löst dies durch die Erstellung eines Magischen Overlays:

Stellen Sie sich vor, Sie haben ein normales Foto eines Tisches.
Der Roboter wählt den richtigen Sensor (z. B. Wärmebild).
Er nimmt die „Hitzekarte“ von diesem Sensor und malt sie nur auf das spezifische Objekt, um das es sich kümmert (wie die Flasche), während der Rest des Fotos normal bleibt.
Nun sieht der Roboter ein einziges, vereintes Bild, in dem die „heiße“ Flasche auf dem normalen Foto rot leuchtet.

Dies ermöglicht es dem Roboter, sein bestehendes „Sehgehirn“ (das bereits sehr gut darin ist, auf Fotos zu schauen) zu nutzen, um Hitze, Schall oder Radar zu verstehen, ohne eine völlig neue Sprache für jeden Sensor lernen zu müssen.

3. Lernen ohne eine Million Roboter (Datensynthese)

Das Training von Robotern erfordert normalerweise das Sammeln von tausenden Stunden an Echtwelt-Videos, in denen Roboter tatsächlich heiße Tassen berühren oder klingelnde Telefone hören. Das ist teuer und langsam.

MuseVLA nutzt eine Datensynthese-Pipeline (einen „Fake-Daten“-Generator):

Die Forscher nahmen bestehende Videos von Robotern, die normale Objekte bewegen.
Sie nutzten ein Computerprogramm, um „falsche“ Sensordaten einzuspeisen. Zum Beispiel nahmen sie ein Video eines Bechers, malten digital eine „heiße“ Farbe darauf und sagten dem Roboter: „Dies ist ein heißer Becher.“
Dies ermöglichte es ihnen, eine massive Bibliothek an „multisensorischen“ Trainingsdaten aus regulären Videos zu erstellen, wodurch der Roboter lernte, auf Hitze, Schall und Radar zu reagieren, ohne dass ein physischer Roboter dies 10.000 Mal tatsächlich tun musste.

4. Das Ergebnis: Ein Meister vieler Sinne

Das Team testete MuseVLA an einem echten Roboter mit einer geschickten (sehr flexiblen) Hand. Sie gaben ihm drei Arten von schwierigen Aufgaben:

Thermisch: Greife ein Getränk, das spezifisch „heiß“ oder „kalt“ ist.
Audio: Finde ein Telefon, das klingelt, während es unter einem Handtuch versteckt ist.
Radar: Finde ein Objekt, das in einem geschlossenen Pappkarton verborgen ist (den die Kamera nicht durchsehen kann).

Die Punktzahl:

Roboter, die nur Kameras verwendeten, scheiterten meistens (etwa 20 % Erfolgsquote).
Roboter, die versuchten, alle Sensoren gleichzeitig zu nutzen (ohne dabei klug vorzugehen), hatten ebenfalls Schwierigkeiten.
MuseVLA war in 80,6 % der Fälle erfolgreich.

Noch beeindruckender: Als sie dem Roboter eine neue Aufgabe gaben, die er noch nie gesehen hatte (wie das Finden eines „klingelnden Spielzeugs“ statt eines Telefons), war er immer noch zu etwa 66,7 % erfolgreich. Dies zeigt, dass er das Konzept „den richtigen Sinn für die Aufgabe zu nutzen“ wirklich gelernt hat.

Zusammenfassung

MuseVLA ist ein Robotergehirn, das wie ein geschickter Mensch handelt: Es hört auf die Anweisung, entscheidet, welcher Sinn (Sehen, Hitze, Schall oder Radar) benötigt wird, konzentriert sich auf das richtige Objekt und kombiniert diese Informationen zu einem einzigen Bild, um die Aufgabe auszuführen. Es tut dies effizient, ohne für jeden neuen Sensor neu trainiert werden zu müssen, und es kann auf neue Situationen generalisieren, die es zuvor noch nie erlebt hat.

Technisches Resümee: MuseVLA

Problemstellung

Aktuelle Vision-Language-Action (VLA)-Modelle für die Robotermanipulation stützen sich überwiegend auf RGB-Beobachtungen. Während dies für visuelle Aufgaben effektiv ist, schränkt diese Limitierung die Fähigkeit des Roboters ein, physikalische Eigenschaften wahrzunehmen, die durch Standardkameras schwer oder unmöglich zu erfassen sind, wie etwa Temperatur, Schall oder Radarantworten. Bestehende Versuche, nicht-visuelle Modalitäten (z. B. Tiefe, Taktilität, Audio) zu integrieren, leiden unter drei primären Einschränkungen:

Mangelnde Anpassungsfähigkeit: Sie erfordern typischerweise spezialisierte Modellarchitekturen oder Encoder für jeden spezifischen Sensor, was die Skalierbarkeit auf diverse oder sich entwickelnde Sensorsätze erschwert.
Datenknappheit: Sie hängen von groß angelegten, teuren multisensorischen Datensätzen ab, deren Erhebung zeitaufwendig ist.
Statische Sensornutzung: Bestehende Modelle gehen oft von einer festen Sensorkonfiguration aus und besitzen nicht die Fähigkeit, den relevantesten sensorischen Input basierend auf der spezifischen Aufgabe adaptiv auszuwählen, was zu Ineffizienz und suboptimaler Leistung führt.

Menschen hingegen behandeln sensorische Modalitäten als aufgabenorientierte Werkzeuge und wählen den richtigen Sensor (z. B. thermisch für Wärme, Audio für Schall) adaptiv und nur bei Bedarf aus. MuseVLA zielt darauf ab, diese adaptive Fähigkeit innerhalb eines vereinheitlichten VLA-Frameworks zu replizieren.

Methodik

MuseVLA ist ein adaptives multimodales Sensorisierungs-VLA-Modell, das darauf ausgelegt ist, diverse Sensoren als „On-Demand-Werkzeuge“ zu integrieren. Die Architektur und Pipeline sind wie folgt strukturiert:

1. Mechanismus zur adaptiven Sensorauswahl

Anstatt alle sensorischen Inputs gleichzeitig zu verarbeiten, zerlegt MuseVLA die Aufgabe in drei Stufen:

Sensor- und Zielgenerierung: Gegeben eine Sprachinstruktion ( $l$ ) und eine RGB-Beobachtung ( $o_t$ ), generiert das VLA-Modell ( $\pi$ ) zuerst ein Sensortoken (z. B. <thermal>, <acoustic>, <mmWave> oder <none>) und eine Zielbeschreibung ( $l_d$ ). Dies ist analog zu einem Tool-Call mit Argumenten, bei dem die spezifische Modalität und das Objekt der Aufmerksamkeit ausgewählt werden.
Gegroundetes Sensorbild: Die ausgewählte Sensorerfassung ( $s_{i,t}$ ) wird durch eine Grounding-Funktion ( $G$ ) verarbeitet. Unter Verwendung der Zielbeschreibung erstellt ein Segmentierungsmodul (SAM3) eine Binärmaske des Zielobjekts auf dem RGB-Bild. Die Sensordaten werden dann als Heatmap über diesen maskierten Bereich gelegt, wodurch ein gegroundetes Sensorbild ( $m_{i,t}$ ) entsteht.
Aktionsgenerierung: Das gegroundete Sensorbild wird dem Modelleingang hinzugefügt. Das VLA-Modell generiert daraufhin den Aktions-Chunk ( $A$ ) basierend auf der Instruktion, dem RGB-Bild und dem vereinheitlichten gegroundeten Sensorbild.

2. Vereinheitlichte Repräsentation

Um modalitätsspezifische Encoder zu vermeiden, nutzt MuseVLA gegroundete Sensorbilder als vereinheitlichte Zwischenrepräsentation. Durch die Projektion heterogener Sensorwerte (thermisch, Radar, Audio) auf die RGB-Kameraebene über das Zielobjekt kann das Modell einen einzigen vortrainierten Vision-Encoder (SigLIP) für alle Modalitäten nutzen. Dies entkoppelt die sensorspezifische Verarbeitung vom VLA-Backbone und ermöglicht die Integration neuer Sensoren ohne vollständiges Retraining.

3. Datensynthese-Pipeline

Um die Knappheit an realen multisensorischen Datensätzen zu adressieren, schlagen die Autoren eine Datensynthese-Pipeline vor:

Keyword-Injektion: Physikalische Eigenschafts-Keywords (z. B. „heiß“, „klingend“, „besetzt“) werden in bestehende RGB-only Datensätze in die Aufgabeninstruktionen injiziert.
Synthetisches Grounding: Ein VLM generiert eine Zielbeschreibung, SAM3 segmentiert das Objekt und eine farbcodierte Maske, die der physikalischen Eigenschaft entspricht, wird über den segmentierten Bereich gelegt.
Datensatz-Expansion: Dieser Prozess generiert multisensorische Trainingsdaten (9,6K Episoden) aus bestehenden RGB-Datensätzen (MolmoAct, AgiBotWorld-Alpha, VITRA), was ein dateneffizientes Training und Zero-Shot-Generalisierung ermöglicht.

4. Modellarchitektur und Training

Backbone: Das Modell verwendet PaliGemma-2 (Gemma-2 + SigLIP) als VLM-Backbone und einen Diffusion Transformer (DiT) als Aktions-Experten.
Trainingsstrategie: Das Modell durchläuft ein Co-Training. Das VLM wird trainiert, um den Cross-Entropy-Loss für die Generierung von Sensortoken und Zielbeschreibungen zu minimieren. Das VLA wird End-to-End unter Verwendung einer kombinierten Loss-Funktion trainiert: dem VLM-Loss plus dem Diffusion-MSE-Loss für die Aktionsvorhersage. Dies stellt sicher, dass das Modell eine präzise Sensorauswahl beibehält, während es effektive Manipulationsaktionen generiert.

Zentrale Beiträge

MuseVLA-Modell: Ein adaptives multimodales Sensorisierungs-VLA, das Sensoren als On-Demand-Werkzeuge behandelt und so eine skalierbare und effiziente Sensorintegration für die dexterous Hand-Manipulation ermöglicht.
Neuartige Repräsentationen und Mechanismen: Die Einführung lernbarer Sensortoken zur adaptiven Auswahl und gegroundeter Sensorbilder als vereinheitlichte Repräsentation, die die Notwendigkeit modalitätsspezifischer Encoder eliminiert.
Datensynthese-Pipeline: Eine Methode zur Generierung multisensorischer Datensätze aus bestehenden RGB-Daten, die das Training auf ungesehenen Aufgaben ohne teure Hardware-Datenerhebung erleichtert.
Empirische Evaluierung: Umfassende Evaluierung auf einem realen Roboter mit einer 12-DoF Dexterous Hand bei Aufgaben mit thermischer, akustischer und Radar-Steuerung.

Experimentelle Ergebnisse

Das Modell wurde auf einem realen Roboter-Setup evaluiert, das Wärmekameras, mmWave-Radar und Mikrofon-Arrays umfasst.

Aufgabenerfolgsraten: MuseVLA erreichte eine durchschnittliche Erfolgsrate von 80,6 % bei thermisch gesteuertem Pick-and-Place, audio-gestützter Objektsuche und radar-gestützter Verborgene-Objekte-Retrieval.
- Dies übertraf die RGB-only Baselines (z. B. $\pi_0$ -RGB mit 20,8 %) und Baselines, die Roh-Sensor-Heatmaps ohne adaptive Auswahl verwenden (z. B. $\pi_0$ -Raw mit 27,8 %), signifikant.
- Speziell übertraf MuseVLA die beste RGB-only Baseline um 58 % und die beste Raw-Sensor-Baseline um 47 % in der durchschnittlichen Erfolgsrate.
Adaptive Auswahlgenauigkeit: Das Modell zeigte eine hohe Genauigkeit bei der Auswahl des korrekten Sensortokens und der Zielbeschreibung, wobei es eine 100 %ige Genauigkeit bei der Sensorauswahl für Trainingsaufgaben und eine 82,0 %ige Genauigkeit der Zielbeschreibung bei ungesehenen Aufgaben nach dem Pretraining erreichte.
Effizienz: Durch die Auswahl nur des relevanten Sensors reduzierte MuseVLA den GPU-Speicherverbrauch während der Inferenz von 13,23 GB (Verarbeitung aller Sensoren) auf 6,61 GB.
Zero-Shot-Generalisierung: Beim Training auf dem synthetisierten Datensatz erreichte MuseVLA eine Erfolgsrate von 66,7 % bei ungesehenen Aufgaben (Aufgaben mit neuen Objektkombinationen oder Instruktionsstrukturen), was eine starke Generalisierungsfähigkeit demonstriert.
Mehrstufige Aufgaben: Das Modell konnte kaskadierte Aufgaben erfolgreich bewältigen (z. B. Radar $\to$ Thermal) und erreichte eine Erfolgsrate von 75,0 % beim Wechsel der Modalitäten innerhalb einer einzigen End-to-End-Ausführung.

Bedeutung und Behauptungen

Das Paper behauptet, dass MuseVLA einen skalierbaren Pfad zu allgemeiner mehrsinniger Manipulation darstellt. Durch die Entkopplung der Sensorverarbeitung vom VLA-Backbone und die Behandlung von Sensoren als konditionale Werkzeuge ermöglicht der Ansatz es Robotern, effizient aufgabenorientierte physikalische Beobachtungen zu erhalten, ohne den Rechenaufwand für die Verarbeitung aller verfügbaren Sensoren zu tragen. Die Autoren betonen, dass ihre Datensynthese-Pipeline die Engpassproblematik der Datenknappheit effektiv mildert und ein robustes Zero-Shot-Generalisieren auf Aufgaben ermöglicht, die eine multimodale Sensorik erfordern.

Die Autoren räumen aktuelle Limitationen ein, insbesondere den moderaten Umfang ihres realen Datensatzes und die Abhängigkeit von einem leistungsfähigen Segmentierungsmodul (SAM3), wobei sie anmerken, dass diese Einschränkungen gelindert werden können, sobald größere Datensätze und stärkere Segmentierungsmodelle verfügbar sind. Die Arbeit wird als Schritt präsentiert, um Roboter in die Lage zu versetzen, mit derselben adaptiven, aufgabenbedingten sensorischen Flexibilität wie Menschen mit der physischen Welt zu interagieren.