技術的サマリー：DyGRO-VLA

1. 問題定義

本論文は、汎用ロボット操作におけるビジョン・言語・アクション（VLA）モデルの学習において、重要なスケーラビリティのボトルネックに焦点を当てています。強化学習（RL）の最近の進歩は、個別タスクにおける制御精度と成功率を向上させましたが、マルチタスク設定への RL のポストトレーニング適用は、しばしば破滅的な忘却とタスク間干渉を引き起こします。

LIBERO ベンチマークにおける実証分析は、タスク数が増加するにつれて、標準的な RL オプティマイザ（例：Soft Actor-Critic）のパフォーマンスが低下することを明らかにしています。具体的には：

• 表現の歪み： 単一タスク RL による微調整は、事前学習中に獲得された共有特徴空間を歪め、タスク固有の経験を孤立させ、他のタスクとの整合性を低下させます。
• パフォーマンスの低下： 特定のタスクに最適化されたモデルは、無関係なタスクにおいて著しいパフォーマンスの低下を被ることが多く、タスク数が増えるにつれてマルチタスク RL 学習は不安定化します。
• トレードオフ： 特定のタスクにおける高い器用さを達成することと、汎用ロボットに必要なタスク間汎化性を維持することの間には、根本的な対立が存在します。

2. 手法：DyGRO-VLA

器用さと汎化性の間のトレードオフを解決するため、著者らはDyGRO-VLA（Dynamic Grouped Residual Optimization：動的グループ化残差最適化）を提案しました。これは、2 段階の最適化フレームワークです。

ステージ 1：情報ボトルネック（IB）を用いたオフライン事前学習

最初のステージでは、オフラインデモンストレーションから、堅牢で共有されたタスク間潜在表現 $p(z|o)$ を学習することに焦点を当てます。

• アーキテクチャ： 視覚的観測と言語指示を符号化する VLM バックボーン（DINOv2、SigLIP、Qwen2.5-0.5B）を使用し、固有受容感覚データと融合させます。
• 目的： モデルは**変分情報ボトルネック（VIB）**目的関数を用いて学習されます。目標は、潜在表現 $Z$ とアクション $A$ の間の相互情報量 ($I(Z; A)$) を最大化しつつ、観測 $O$ と $Z$ の間の相互情報量 ($I(O; Z)$) を最小化することです。
• メカニズム： これにより、エンコーダはタスクに関連する情報（例：物体の幾何学、空間関係）のみを保持し、ノイズ要因（例：背景の散乱、照明）を棄却するように強制され、汎化に適したコンパクトな潜在空間が作成されます。
• 損失関数： IB 目的関数を扱いやすくするため、変分下限が導出され、相互情報量項を推定するニューラルクリティック $T_\psi$ が含まれます。

ステージ 2：RL 残差の混合（MoRR）によるオンライン微調整

2 段階目のステージでは、ステージ 1 で学習された共有表現を乱すことなく、マルチタスク性能のための方策を最適化します。

• 残差学習： ベース方策を直接更新するのではなく、RL オプティマイザはベースアクションチャンク ($a_{base}$) を洗練させるための残差 ($\Delta a$) を予測します。これにより、タスク固有の修正を可能にしながら、事前学習された事前分布を保持します。
• 動的ルーティング（MoE）： 複数のタスクを処理するため、このフレームワークは $N$ 個の残差エキスパートを持つエキスパート混合（MoE）アーキテクチャを採用します。
  • タスク埋め込み： 対照学習目的関数 ($L_{CL}$) は、意思決定に関連する潜在変数 $z$ とは区別されるタスク識別パターンを符号化するタスク埋め込み ($\tilde{z}_T$) を学習します。
  • ルーター： ゲーティングネットワークはタスク埋め込みを条件とし、与えられたタスクに対してトップ-$m$ 個のエキスパートを動的に選択し、重み付けします。
• 学習目的関数： 合計損失は以下の組み合わせから成ります：
  1. RL 損失 ($L_{RL}$)： 拡張された方策に対する標準的なアクター・クリティック損失。
  2. 対照損失 ($L_{CL}$)： ルーティングのためのタスク埋め込みの識別性を保証します。
  3. 負荷分散 ($L_{LB}$)： エキスパートの崩壊を防ぎ、MoE のバランスの取れた利用を確保するためのエントロピーベースの正則化項。
• 難易度認識サンプリング： 学習プロセスは、未解決のタスクへのサンプリングを偏らせ、困難なシナリオに学習を集中させます。

3. 主要な貢献

1. RL の限界の分析： 本論文は、標準的な RL ポストトレーニングがマルチタスク VLA 設定において破滅的な忘却と表現の歪みを引き起こすことを示す実証的証拠を提供し、タスク間特徴の保存の必要性を浮き彫りにしています。
2. DyGRO-VLA フレームワーク： 情報ボトルネック事前学習と、オンライン微調整のための動的 RL 残差混合を組み合わせる、新規の 2 段階フレームワークの導入。
3. 動的グループ化最適化： タスク埋め込みに基づいて専門的な RL エキスパートを動的に構成するルーティングメカニズムの設計は、多様なタスク間の勾配競合を効果的に緩和します。
4. 包括的な検証： LIBERO（130 タスク）、RoboTwin2（二腕）、および実世界での Sim2Real 転送における広範な評価により、最先端のベースラインに対して一貫した改善を示しています。

4. 実験結果

著者らは、DyGRO-VLA を LIBERO および RoboTwin2 ベンチマークで評価し、Octo、OpenVLA、$\pi_0$、および各種 RL 微調整手法を含む強力なベースラインと比較しました。

• LIBERO ベンチマーク：
  • DyGRO-VLA は、すべてのスイート全体で**97.1%の平均成功率を達成し、オフラインベースモデルを+4.4%**上回りました。
  • 困難なLIBERO-Longスイートにおいて顕著な改善が観察され、成功率は 85.2% から**95.0%**に上昇しました（絶対値で +9.8% の gain）。
  • マルチタスク共同学習に苦慮していた他の RL ベースのベースライン（例：TGRPO、VLA-RL、RIPT-VLA）を上回りました。
• 勾配競合分析： 勾配のコサイン類似性の可視化は、標準的な MLP 残差がタスクグループ間で強い負の相関（競合）を示す一方で、DyGRO-VLA の MoRR はこれらの競合を大幅に低減しつつ、グループ内の相乗効果を維持していることを示しました。
• アブレーション研究：
  • IB 目的関数または対照学習目的関数を除去するとパフォーマンスが低下し、共有表現学習と識別的ルーティングの必要性が確認されました。
  • エキスパート数（1 から 8 へ）を増やすと一貫してパフォーマンスが向上し、8 エキスパートが最良の結果をもたらしました。
• 実世界（RoboTwin2）：
  • Sim2Real 転送において、DyGRO-VLA は最高の総合シミュレーション成功率（79.2%）を達成し、実世界の実験では RFT ベースラインを上回りました。特に、複雑な両手タスクと長期的なタスクにおいて顕著でした。

5. 意義と主張

本論文は、DyGRO-VLA が効率的なマルチタスク強化学習微調整のためのスケーラブルで堅牢な解決策を提供すると主張しています。その主な意義は以下の点にあります：

• 汎化性の維持： 残差学習を通じて共有表現の学習をタスク固有の洗練から分離することで、マルチタスク VLA 学習を悩ませる RL オプティマイザの「過学習」を防ぎます。
• ギャップの架け橋： 高性能な単一タスク制御と、汎用ロボットに必要な汎化能力との間のギャップを成功裡に埋めます。
• 実用的適用性： この手法は、破滅的な忘却なしに、複雑なマルチタスク RL 方策を実世界のロボットシステムへ効果的に転送できることを示しています。

著者らは、オンライン学習中の報酬の希薄さに対する感度、ルーティングのための既知のタスク識別への依存、および多様な実装における広範な実世界評価の必要性といった限界を認めています。しかし、彼らは DyGRO-VLA を、統合されたモデルで多様な実世界のタスクを処理できる汎用ロボットシステムに向けた基礎的なステップとして位置付けています。