MergeVLA: Cross-Skill Model Merging Toward a Generalist Vision-Language-Action Agent

本論文は、異なるタスクに特化した Vision-Language-Action (VLA) モデルを直接マージしても失敗する課題に対し、VLM における LoRA アダプターの方向性不一致とアクション専門家の層間依存性を解消する新たなアーキテクチャ「MergeVLA」を提案し、単一モデルで複数のスキルを統合的に習得・実行可能にしたことを示しています。

要約

🤖 ロボットが「何でも屋」になるための魔法のレシピ：『MergeVLA』の解説

この論文は、**「ロボットに複数のスキルを一度に覚えさせ、一つの頭脳で何でもできるようにする」**という画期的な技術について書かれています。

これまで、ロボットに「皿を洗う」ことを教えると「皿洗い」は上手になりますが、「服を畳む」ことを教えようとすると、前の記憶が消えてしまったり、逆に両方ともできなくなったりしていました。これを解決する新しい方法が**「MergeVLA（マージ・ヴィー・エル・エー）」**です。

以下に、難しい専門用語を使わず、身近な例え話で解説します。

---

1. 問題：なぜ「何でも屋」ロボットは作れなかったの？

🍳 例え話：料理人の「魔法の鍋」

Imagine you have a brilliant chef (the robot's brain).

• 現状： この料理人に「イタリアン」を教えると、彼はイタリアン料理のプロになります。次に「和食」を教えると、今度は和食のプロになりますが、「イタリアン」の知識は消えてしまいます。
• 従来の失敗： 既存の技術では、イタリアン専門の料理人と和食専門の料理人を無理やり一人にまとめようとしたところ、**「パスタと寿司を混ぜて、どちらもまずい料理」**になってしまい、全く役に立たなくなりました（成功率ゼロ）。

なぜこうなるのか？

1. 脳の書き換えが激しすぎる： 料理人（ロボットの脳）が新しいスキルを学ぶと、脳内の特定の回路がそのスキル専用に書き換えられてしまい、他のスキルと衝突してしまいます。
2. 専門家の「独り言」： 最後の判断をする部分（アクション専門家の頭）が、自分の専門分野のことしか考えられず、他の知識と連携できなくなっていました。

---

2. 解決策：MergeVLA の「魔法のレシピ」

著者たちは、この問題を解決するために、ロボットのアプローチを 3 つ変えました。

① 「必要な部分だけ」を使うマスク（Task Masks）

• 例え話： 料理人が「パスタを作る時」は、和食のスパイスを使わないようにする。逆に「寿司を作る時」は、パスタのソースを使わないようにする。
• 仕組み： ロボットが「皿洗い」をするときは、皿洗いに関連する脳の回路だけを活かし、他の（邪魔な）回路はシャットダウンします。これにより、異なるスキル同士が喧嘩することを防ぎます。

② 「独り言」を止める設計変更（Cross-Attention Only）

• 例え話： 料理人が「自分の過去の失敗談（自己参照）」を思い浮かべながら料理を作ると、他の料理人のアドバイスが聞けなくなります。MergeVLA は、**「他の料理人（視覚や言語の知識）からのアドバイスだけ」**を聞いて、自分の過去の失敗談は捨てて、新しい指示に従うように設計し直しました。
• 効果： これにより、異なるスキルを学んでも、脳の基本構造が壊れずに済みます。

③ 自動で「何をするか」判断する案内人（Test-time Task Router）

• 例え話： 料理人が厨房に入ってきた瞬間、「あ、今日はパスタの注文だ！」と瞬時に判断し、パスタ用の道具とレシピを取り出します。誰に指示されなくても、状況を見て自分で判断します。
• 仕組み： ロボットがカメラで見た映像や言葉の指示から、「今、何をするべきか」を瞬時に推測し、適切な「マスク」と「最後の判断部分」を自動的に選びます。

---

3. 結果：どれくらいすごいのか？

この新しい方法（MergeVLA）を使えば、以下のような驚くべきことが可能になりました。

• 複数のスキルを一つに： 「皿を洗う」「服を畳む」「箱を運ぶ」など、全く異なる 4 つのスキルを、1 つのロボットモデルで同時に扱えるようになりました。
• 個別に教えたのと変わらない性能： 1 つのスキルだけを専門に教えたロボットと比べても、ほぼ同じくらい上手に動作します。
• 新しい環境でも強い： 照明が変わったり、背景が変わったりしても、しっかり動作します（従来のロボットは混乱して失敗していました）。
• 実機でも成功： 実験室のシミュレーションだけでなく、実際のロボットアームを使っても、90% の成功率を達成しました。

---

4. まとめ：なぜこれが重要なのか？

これまでのロボットは、「一つのことを極める専門家」でした。しかし、私たちの生活（家庭や工場）では、**「何でもできる万能なロボット」**が必要です。

MergeVLA は、**「複数の専門家ロボットを、衝突させずに一つに融合させる」**という、これまで不可能だった技術を実現しました。

• 昔： 料理人 A（イタリアン）、料理人 B（和食）は別々。
• 今： 料理人 C（MergeVLA）は、状況に合わせてパスタも寿司も作れる「何でも屋」になった！

これにより、将来、家庭や工場などで、一つのリモコンや一つのロボットで、多様な作業を柔軟に行える「一般化されたロボット（Generalist Agent）」が現実のものになる可能性があります。

---

一言で言うと：

「ロボットに複数のスキルを教える時、頭の中がカオスになるのを防ぎ、**『状況に合わせて必要な知識だけを取り出す』**という賢い仕組みを作ったので、一つのロボットで何でもできるようになったよ！」

技術概要

論文「Cross-Skill Model Merging Toward a Generalist Vision-Language-Action Agent」の技術的サマリー

本論文は、ロボット制御におけるVision-Language-Action (VLA) モデルの課題、すなわち「異なるタスクや身体性（Embodiment）に特化した複数の専門モデルを、単一の汎用エージェントに効率的に統合（マージ）すること」に焦点を当てています。既存の手法では、VLA モデルを直接マージすると成功率がほぼゼロになるという深刻な問題が存在しますが、著者らはこの原因を解明し、MergeVLAという新しいアーキテクチャを提案しました。

以下に、問題定義、手法、主要な貢献、実験結果、そして意義について詳細にまとめます。

---

1. 問題定義 (Problem)

近年、大規模な視覚言語モデル（VLM）をロボットの実証データで微調整（Fine-tuning）することで、複雑な操作タスクを遂行する VLA モデルが開発されています。しかし、現実世界の汎用エージェントは、単一のタスクや身体に限定されず、多様なスキルや環境に対応する必要があります。

既存のモデルマージ手法（Task Arithmetic や TIES など）を VLA モデルに適用しようとすると、マージ後のモデルの成功率がほぼ 0% になるという現象が観測されます。これは、従来の言語モデルや視覚モデルでは見られない現象であり、VLA 特有の構造的な課題が存在することを示唆しています。

2. 原因の解明 (Root Cause Analysis)

著者らは、VLA モデルの微調整プロセスにおける学習可能パラメータを詳細に分解・分析し、マージ不可能性の 2 つの主要な原因を特定しました。

1. VLM バックボーンにおける LoRA アダプターの破壊的な干渉:
   • 異なるタスクに対して微調整された LoRA アダプターは、互いに排他的（Selfish）なパラメータ更新を行います。あるタスクに有益なパラメータが、別のタスクには有害である場合が多く、単純な重みの平均化や符号解決（Sign-resolved merging）では、共有された視覚 - 言語部分空間が破損し、タスク不変的な意味が失われます。
2. アクション専門モデル（Action Expert）のアーキテクチャ的不適合:
   • 従来の VLA（例：VLA-Adapter）では、アクションデコーダーに自己注意（Self-Attention）層が含まれており、これらがブロック間を横断してタスク固有の依存関係を蓄積・増幅します。その結果、深い層（Expert Head）ほどタスク特化が極端になり、異なるタスク間でパラメータが互換性を失い、モジュール的な再結合が不可能になります。

3. 提案手法：MergeVLA (Methodology)

これらの課題に対処するため、著者らは設計段階からマージ可能性を考慮した新しいアーキテクチャMergeVLAを提案しました。

3.1. VLM 部分の改善：タスクマスクによる LoRA 管理

• タスク固有のスパース活性化: 微調整された LoRA パラメータをマージする際、すべてのパラメータを平均化するのではなく、**タスクマスク（Task Mask）**を用いてスパースに活性化します。
• 矛盾の抑制: 各タスクに対して、そのタスクに有益なパラメータのみを保持し、他タスクを誤導するパラメータを抑制（プリエント）します。これにより、事前学習された VLM の視覚 - 言語表現を維持しつつ、タスク間の干渉を最小化します。

3.2. アクション専門モデルの再設計

• 自己注意層の除去: アクション専門モデルから自己注意（Self-Attention）層を完全に削除し、クロス注意（Cross-Attention）のみで構成するように変更しました。これにより、タスク固有の依存関係がブロック間で蓄積・増幅されるのを防ぎ、浅い層は単純な重み平均でマージ可能にします。
• ゲート機構の変更: 従来の tanh ゲート（負の値で信号を抑制する可能性あり）を、シグモイドゲートに置き換えました。これにより、VLM からの情報を常に保持・バランスさせ、スクラッチ学習されたタスク特化パラメータへの依存を減らします。
• Expert Head の分離: 深い層（Expert Head、通常は最終ブロック）は依然としてタスク特化が強くマージできないため、マージせず、各タスクごとに独立したヘッドを保持します。

3.3. 推論時のタスクルーティング（Test-time Task Routing）

• 推論時にタスク ID が未知の場合（混合タスク評価）に対応するため、トレーニング不要のタスクルーターを導入しました。
• 入力観察（Initial Observation）から VLM の隠れ状態を抽出し、マージされたアクション専門モデルの値（Value）部分空間における主成分分析（SVD）に基づいて、最も関連性の高いタスクを推論します。
• 推論されたタスクに基づき、対応するタスクマスクと Expert Head を動的に選択・活性化します。

4. 主要な貢献と結果 (Key Contributions & Results)

4.1. 主要な貢献

• VLA マージ不可能性の解明: VLA モデルがマージできない根本的な原因（LoRA の排他性と Self-Attention による依存蓄積）を初めて体系的に解明しました。
• MergeVLA アーキテクチャの提案: マージ可能性を設計に組み込んだ新しい VLA 構造を提案し、既存のモデルマージ手法（TA, TIES, WUDI など）との親和性を高めました。
• 教師なしタスク推論: 追加の学習なしで、推論時にタスクを特定し、適切なスキルコンポーネントを活性化するメカニズムを実装しました。

4.2. 実験結果

MergeVLA は、シミュレーションおよび実世界ロボット実験において、個別に微調整された専門家モデルに匹敵、あるいはそれ以上の性能を発揮しました。

• LIBERO ベンチマーク: 混合タスク設定において、平均成功率 90.2% を達成（個別微調整モデルの 98.5% に近い性能）。既存の VLA-Adapter や OpenVLA をマージした場合は 0% だったのに対し、劇的な改善を示しました。
• LIBERO-Plus（分布外評価）: 視覚的・言語的な摂動（背景、照明、指示文の変化など）に対して、既存モデルよりも高いロバスト性を示しました（平均 72.4% vs 既存モデルの 10-60% 台）。
• RoboTwin（クロス身体性）: 異なる 3 種類の二腕ロボット（Aloha, ARX, Piper）間でのマージに成功し、クロス身体性・クロススキル設定で 70.7% の成功率を達成しました。
• 実世界ロボット (SO-101): 実機実験において、3 つのキューブ操作タスク（把持、押し、積み重ね）で 90.0% の成功率を達成し、実環境での汎用性を証明しました。

5. 意義と将来展望 (Significance)

本論文の意義は、「モデルマージ」が VLA 分野におけるスケーラブルな汎用ロボットエージェント実現への有効な道筋であることを実証した点にあります。

• 効率性: 複数のタスクを個別に学習・保持するのではなく、単一のマージされたモデルで多様なスキルを管理できるため、計算リソースとメモリを大幅に節約できます。
• 一般化: 分布外（OOD）の環境や、見たことのないロボットアームに対しても、マージされた知識を活用して高い性能を発揮します。
• 将来性: 本研究は、より大規模な VLM バックボーンや、多様なロボットデータセットでの事前学習が、さらにマージ効果を高める可能性を示唆しており、汎用型具身知能（Generalist Embodied AI）の実現に向けた重要なステップとなります。

---

結論: MergeVLA は、VLA モデルの構造的な課題を克服し、モデルマージ技術を実用的なロボット制御に応用可能にする画期的なアプローチです。これにより、単一のモデルで多様なスキルを習得・実行する「汎用ロボットエージェント」の実現が現実味を帯びてきました。