💻 computer science

MuseVLA: An Adaptive Multimodal Sensing Vision-Language-Action Model for Robotic Manipulation

MuseVLAは、多様なセンサをオンデマンドのツールとして動的に呼び出し、それらの読み取り値を統一された「グラウンデッド・センサ・イメージ」表現へと変換し、温度、音声、またはレーダーセンシングを必要とする複雑なロボット操作タスクにおいて優れた性能を達成するためにデータ合成パイプラインを活用する、適応型マルチモーダルVision-Language-Actionモデルである。

原著者： Xingyuming Liu, Ruichun Ma, Heyu Guo, Qixiu Li, Qingwen Yang, Lin Luo, Shiqi Jiang, Chenren Xu, Jiaolong Yang, Baining Guo

公開日 2026-06-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xingyuming Liu, Ruichun Ma, Heyu Guo, Qixiu Li, Qingwen Yang, Lin Luo, Shiqi Jiang, Chenren Xu, Jiaolong Yang, Baining Guo

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

散らかった部屋の中から特定のアイテムを探そうとしている場面を想像してみてください。もし、あなたの目（RGBビジョン）しかなければ、温かい飲み物と見た目がそっくりな冷たい飲み物を見逃してしまうかもしれませんし、ブランケットの下に隠れた鳴っている電話に気づかないかもしれません。人間は賢いので、単にじっと見ているだけではありません。私たちは、仕事に応じて異なる「道具」を使い分けます。もし何かが熱ければ、空気を感じ取ろうとします。もし何かが音を立てていれば、耳を澄ませます。もし何かが隠れていれば、それを見通すための道具を使うかもしれません。

MuseVLAは、まさにこれを行うために設計されたロボットの脳です。これは新しいタイプのロボットコントローラーであり、単にカメラに頼るのではなく、人間と同じように、どの「感覚」がその仕事に適しているかを知っています。

以下に、その仕組みをシンプルな概念に分解して説明します。

1. 「道具箱」のアプローチ

今日のほとんどのロボットの脳は、懐中電灯しか持っていない人のようです。彼らは見ることができますが、熱を感じたり音を聞いたりすることはできません。MuseVLAは異なります。このモデルは、センサー（熱カメラ、マイクロフォン、レーダーなど）を**道具箱の中の「道具」**として扱います。

問題点: もしロボットに「熱い飲み物を取って」と頼んだ場合、カメラだけの標準的なロボットは、見た目が同じであるために冷たい方を掴んでしまう可能性があります。
MuseVLAの解決策: ロボットが「熱い飲み物」という言葉を聞くと、ただ見るだけではありません。「温度を確認する必要がある」と考え、「熱カメラ」という道具を「呼び出し」ます。もしコマンドが「鳴っている電話を探して」であれば、マイクロフォンという道具に切り替えます。必要な道具だけを使うことで、エネルギーと集中力を節約します。

2. 「魔法のオーバーレイ」（グラウンデッド・センサー画像）

これがこの論文の最も巧妙なトリックです。異なるセンサーは異なる言語を話します。熱カメラは「熱マップ」（温度を示す色）を話し、レーダーは「反射マップ」を話します。ロボットにこれらすべての異なる言語を一度に理解させるのは困難です。

MuseVLAは、**「魔法のオーバーレイ（Magic Overlay）」**を作ることでこれを解決します。

テーブルの写真があると想像してください。
ロボットは適切なセンサー（例：熱）を選択します。
そのセンサーからの「熱マップ」を取り出し、それを（対象となるボトルなどの）特定のオブジェクトの上にのみ「塗り」ます。残りの写真は通常のままにします。
これにより、ロボットは、普通の写真の上に「熱い」ボトルが赤く光っているような、一つの統合された画像を見ることができるようになります。

これにより、ロボットは（写真を見ることに非常に長けている）既存の「視覚脳」を使用して、新しい言語をゼロから学習することなく、熱、音、またはレーダーを理解できるようになります。

3. 何百万ものロボットを必要としない学習（データ合成）

ロボットのトレーニングには通常、ロボットが実際に熱いカップに触れたり、鳴っている電話に耳を傾けたりしている実世界のビデオを数千時間収集する必要があります。これはコストがかかり、時間がかかります。

MuseVLAは、**「データ合成パイプライン（偽のデータ生成器）」**を使用しています。

研究者たちは、ロボットが通常の物体を動かしている既存のビデオを利用しました。
コンピュータプログラムを使用して、偽のセンサーデータを「注入」しました。例えば、マグカップのビデオを取り込み、デジタル的に「熱い」色を塗った上で、ロボットに「これは熱いマグカップである」と教えました。
これにより、通常のビデオから大規模な「マルチセンサリ（多感覚）」トレーニングデータを生成することができ、物理的なロボットを1万回動かすことなく、熱や音、レーダーに対してどのように反応すべきかをロボットに教えることができました。

4. 結果：多くの感覚の達人

チームは、器用な（非常に柔軟な）手を持つ実物のロボットを使って、MuseVLAのテストを行いました。彼らは3種類のトリッキーなタスクを与えました。

熱（Thermal）: 特に「熱い」または「冷たい」飲み物を拾う。
音声（Audio）: タオルlaの下に隠れている、鳴っている電話を見つける。
レーダー（Radar）: 閉じた段ボール箱の中に隠されている物体を見つける（カメラでは中を見通せない）。

スコア:

カメラのみを使用したロボットは、ほとんどの場合失敗しました（成功率約20%）。
（賢い使い分けをせずに）すべてのセンサーを一度に使おうとしたロボットも苦戦しました。
MuseVLAは、**80.6%**の確率で成功しました。

さらに印象的なことに、見たことがない新しいタスク（例：「電話」ではなく「鳴っているおもちゃ」を探す）を与えた場合でも、約**66.7%**の成功率を維持しました。これは、それが「適切な感覚を使う」という概念を真に学習したことを示しています。

まとめ

MuseVLAは、熟練した人間のように振る舞うロボットの脳です。指示を聞き、どの感覚（視覚、熱、音、またはレーダー）が必要かを判断し、正しい対象物に焦力を絞り、その情報を一つの画像に組み合わせてタスクを実行します。これを効率的に行い、新しいセンサーごとに再学習する必要もなく、遭遇したことのない新しい状況にも対応することができます。

技術要約: MuseVLA

問題提起

現在の視覚・言語・行動（VLA）モデルによるロボット操作は、主にRGB観測に依存しています。これは視覚的なタスクには効果的ですが、標準的なカメラからは推論が困難、あるいは不可能な物理的特性（温度、音響、レーダー応答など）をロボットが知覚する能力を制限します。非視覚的モダリティ（深度、触覚、音声など）を取り入れようとする既存の試みは、主に以下の3つの制限に直面しています：

適応性の欠如: 特定のセンサーごとに専用のモデルアーキテクチャやエンコーダを必要とするため、多様または進化するセンサーセットへのスケールが困難であること。
データの希少性: 大規模で高価なマルチセンサデータセットに依存しており、その収集には多大な時間を要すること。
静的なセンサー使用: 既存のモデルは固定されたセンサー構成を前提としていることが多く、特定のタスクに対して最も関連性の高い感覚入力を適応的に選択する能力に欠けており、結果として非効率的で最適ではないパフォーマンスを招くこと。

対照的に、人間は感覚モダリティをタスク指向のツールとして扱い、必要な時にのみ適切なセンサー（例：熱に対してはサーマル、音に対してはオーディオ）を選択し、呼び出します。MuseV

メソドロジー

MuseVLAは、多様なセンサーを「オンデマンド・ツール」として統合するように設計された、適応型マルチモーダルセンシングVLAモデルです。そのアーキテクチャとパイプラインは以下のように構成されています。

1. 適応型センサー選択メカニズム

すべてのセンサー入力を同時に処理するのではなく、MuseVLAはタスクを3つのステージに分解します。

センサーおよびターゲット生成: 言語指示（ $l$ ）とRGB観測（ $o_t$ ）が与えられると、VLAモデル（ $\pi$ ）はまず、センサー・トークン（例：<thermal>, <acoustic>, <mmWave>, または <none>）とターゲット記述（ $l_d$ ）を生成します。これは、特定のモダリティと対象物を選択する、引数付きのツール呼び出しに類似しています。
グラウンデッド・センサー画像の構築: 選択されたセンサー測定値（ $s_{i,t}$ ）は、グラウンディング関数（ $G$ ）によって処理されます。ターゲット記述を用いて、セグメンテーションモジュール（SAM3）がRGB画像上のターゲットオブジェクトのバイナリマスクを作成します。その後、センサーデータがこのマスク領域上にヒートマップとして重ね合わされ、グラウンデッド・センサー画像（ $m_{i,t}$ ）が作成されます。
アクション生成: グラウンデッド・センサー画像がモデルの入力に追加されます。その後、VLAモデルは、指示、RGB画像、および統合されたグラウンデッド・センサー画像に基づいて、アクションチャンク（ $A$ ）を生成します。

2. 統一表現

モダリティ固有のエンコーダを避けるため、MuseVLAはグラウンデッド・センサー画像を統一された中間表現として使用します。異種混合のセンサー読み取り値を、ターゲットオブジェクト上のRGBカメラ平面上に投影することで、モデルは単一の学習済みビジョンエンコーダ（SigLIP）をすべてのモダリティに対して利用できるようになります。これにより、センサー固有の処理をVLAバックボーンから切り離し、モデル全体を再学習することなく新しいセンサーを統合することを可能にします。

3. データ合成パイプライン

実世界のマルチセンサデータセットの希少性に対処するため、著者らはデータ合成パイプラインを提案しています。

キーワード注入: 既存のRGBのみのデータセットから、物理的特性のキーワード（例：「熱い」「鳴っている」「占有されている」）をタスク指示に注入します。
合成グラウンディング: VLMがターゲット記述を生成し、SAM3がオブジェクトをセグメント化し、物理的特性に対応するカラーコード化されたマスクがセグメント化された領域にオーバーレイされます。
データセット拡張: このプロセスにより、既存のRGBデータセット（MolmoAct, AgiBotWorld-Alpha, VITRA）からマルチセンサ訓練データ（9.6Kエピソード）を生成し、データ効率の高い学習とゼロショット汎化を可能にします。

4. モデルアーキテクチャと学習

バックボーン: モデルは、VLMバックボーンとしてPaliGemma-2（Gemma-2 + SigLIP）を使用し、アクションエキスパートとしてDiffusion Transformer（DiT）を使用します。
学習戦略: モデルは共同学習（co-training）を行います。VLMは、センサー・トークンとターゲット記述の生成に関するクロスエントロピー損失を最小化するように学習されます。VLAは、VLM損失とアクション予測のための拡散MSE損失を組み合わせた損失関数を使用してエンドツーエンドで学習されます。これにより、モデルが効果的な操作アクションを生成しながら、正確なセンサー選択を維持することを保証します。

主な貢献

MuseVLAモデル: センサーをオンデマンド・ツールとして扱う適応型マルチモーダルセンシングVLAであり、巧緻な手操作のためのスケーラブルで効率的なセンサー統合を実現します。
新規な表現とメカニズム: 適応的選択のための学習可能なセンサー・トークンと、モダリティ固有のエンコーダを不要にする統一表現としてのグラウンデッド・センサー画像の導入。
データ合成パイプライン: 既存のRGBデータからマルチセンサデータセットを生成する方法であり、高価なハードウェアによるデータ収集なしに、未知のタスクへの学習を容易にします。
実証的評価: サーマル、アコースティック、レーダー誘導タスクにおける、12自由度の巧緻ハンドを備えた実世界のロボットを用いた包括的な評価。

実験結果

モデルは、サーマルカメラ、mmWaveレーダー、マイクロフォンアレイを含む実世界のロボットセットアップで評価されました。

タスク成功率: MuseVLAは、サーマル誘導のピック・アンド・プレース、オーディオ駆動のオブジェクト探索、およびレーダー支援による隠れたオブジェクトの回収において、平均**80.6%**の成功率を達成しました。
- これは、RGBのみのベースライン（例： $\pi_0$ -RGBの20.8%）や、適応的選択を行わない生のセンサーヒートマップを使用するベースライン（例： $\pi_0$ -Rawの27.8%）を大幅に上回りました。
- 具体的には、MuseVLAは平均成功率において、最高のRGBのみのベースラインを58%、最高の生センサーベースラインを47%上回りました。
適応的選択の精度: モデルは正しいセンサー・トークンとターゲット記述の選択において高い精度を示し、学習タスクでは100%、事前学習された未知のタスクでは82.0%のターゲット記述精度を達成しました。
効率性: 関連するセンサーのみを選択することで、MuseVLAは推論時のGPUメモリ使用量を、全センサーを処理する場合の13.23 GBから6.61 GBへと削減しました。
ゼロショット汎化: 合成データセットで学習した際、MuseVLAは未知のタスク（新しいオブジェクトの組み合わせや指示構造を持つタスク）に対して**66.7%**の成功率を達成し、強力な汎化能力を実証しました。
マルチステージ・タスク: モデルは、カスケードされたタスク（例：Radar $\to$ Thermal）を正常に処理し、単一のエンドツーエンド実行内でのモダリティの切り替えにおいて75.0%の成功率を達成しました。

意義と主張

本論文は、MuseVLAが汎用的なマルチセンサ操作へのスケーラブルな道筋を示すものであると主張しています。センサー処理をVLAバックボーンから切り離し、センサーを条件付きツールとして扱うことで、このアプローチにより、すべてのセンサーを処理する計算オーバーヘッドなしに、ロボットがタスク指向の物理的観測を効率的に取得できるようになります。著者らは、データ合成パイプラインがデータの希少性というボトルネックを効果的に緩和し、マルチセンサリングを必要とするタスクへの堅牢なゼロショット汎化を可能にすると断言しています。

著者らは現在の限界についても認めており、具体的には、実世界データセットの規模が限定的であることや、高性能なセグメンテーションモジュール（SAM3）への依存を挙げています。これらは、より大規模なデータセットやより強力なセグメンテーションモデルが利用可能になるにつれて緩和される可能性があるとしています。本研究は、ロボットが人間と同じように、適応的かつタスク条件付きの感覚的柔軟性を持って物理世界と相互作用できるようにするための一歩として提示されています。