技術要約：One-Shot VLA適応のためのドメイン算術（DART）

問題提起

大規模なコーパスで学習された視覚・言語・行動（VLA）モデルは、ソース学習環境内では強力なマルチタスク能力を発揮する。しかし、**環境の変化（environmental shifts）**を特徴とする未知のターゲット環境にデプロイされると、大幅な性能低下に直面する。これらの変化には、カメラポーズの変化（視点の変化）、センサーのキャリブレーション、またはエンボディメント（身体性）の変更（例：PandaからUR5eロボットへの切り替え）が含まれる。

既存の適応戦略は、以下の決定的なボトルネックに直面している：

1. 全データによるファインチューニング： ターゲットドメインのあらゆるタスクに対して膨大なエキスパートのデモンストレーションを必要とするが、これは現実世界の環境（例：家庭環境）において収集コストが極めて高い。
2. One-shot ファインチューニング： データ効率は高いものの、標準的なワンショット・ファインチューニングは、ターゲットドメインにおける未知のタスクに対して汎化できないことが多い。モデルは環境の変化を学習するのではなく、提示された特定のタスクに過学習してしまい、その結果、マルチタスク能力を失ってしまう。

手法：Domain ARiThmetic (DART)

著者らは、単一のタスクのたった一つのデモンストレーションのみを用いて、VLAモデルをシフトした環境に適応させるアナロジーベースのフレームワークであるDARTを提案する。この手法は、ワンショットでファインチューニングされた重みは、加算可能で分離可能な成分、すなわち**タスク固有の方向（task-specific directions）とドメイン固有の方向（domain-specific directions）**に分解できるという観察に基づいている。

コアとなる洞察

部分空間アライメント分析を通じて、著者らは、ワンショット・ファインチューニングによる更新ベクトル（$\Delta = \theta_{fine-tuned} - \theta_{base}$）がタスク固有の方向に支配されていることを見出した。しかし、環境の変化をエンコードする、一貫したより小さなドメイン固有の成分が存在する。著者らは、これらの成分は言語モデルにおける「queen = king + woman - man」のアナロジーと同様に、線形に加算可能であり、かつ直交していると仮定している。

アルゴリズムのステップ

DARTは、大規模なデータセットで再学習することなく、ベースとなるポリシー（$\theta_0$）に適応させるための再利用可能なドメインベクトル（$\tilde{\delta}_{tgt}$）を抽出する。

1. 更新ベクトルの計算：

   • タスク $T_m$ のターゲットドメインのデモンストレーション（$D_{m,tgt}$）を用いて、ベースモデルをファインチューニングすることで、ターゲットドメインの更新ベクトル（$\Delta_{m,tgt}$）を計算する。
   • 同じタスク $T_m$ のソースドメインのデモンストレーション（$D_{m,src}$）を用いて、同じベースモデルをファインチューニングすることで、ソースドメインの更新ベクトル（$\Delta_{m,src}$）を計算する。

2. ドメインベクトルの抽出（アナロジー操作）：

   • 引き算を実行して、ドメインの方向を孤立させる：$\delta_{tgt} = \Delta_{m,tgt} - \Delta_{m,src}$。
   • この操作により、共有されたタスク固有の方向が相殺され、ドメイン固有のシフトが残る。

3. 部分空間フィルタリングとスケーリング（ノイズ除去）：

   • 直接的な引き算を行うと、ソースドメインのアーティファクトが残ったり、ファインチューニングのノイズが増幅されたりする可能性がある。これに対処するため、DARTは2つの精緻化ステップを採用する。
     • 部分空間フィルタリング： 特異値分解（SVD）を用いて、ソースの更新ベクトルにおいてターゲットの部分空間と一致しない基底ベクトルを特定し、フィルタリングする。これにより、ソース固有のノイズが抽出されたドメインベクトルを汚染するのを防ぐ。
     • 部分空間スケーリング： 得られたドメインベクトルは、部分空間アライメントスコア（$\gamma$）によってスケーリングされる。ソースとターゲットの更新が低く整合している場合（高いノイズや無関連性を示す場合）、ベクトルはダウンウェイトされる。

4. モデル適応：

   • 精緻化されたドメインベクトルをベースモデルに加算する：$\theta^* = \theta_0 + \alpha \cdot \tilde{\delta}_{tgt}$。ここで $\alpha$ は適応強度を制御するスカラー係数である。

主な貢献

1. 加算性の実証的証拠： 本論文は、VLAモデルにおけるワンショット・ファインチューニングされた重みが、共有可能な加算的なタスク固有方向およびドメイン固有方向に分解できるという証拠を提示している。
2. DARTフレームワーク： 重みの算術演算を通じてタスク固有の方向を取り除くことにより、単一ショットのファインチューニングされた重みの更新から、再利用可能なドメインベクトルを抽出する、新しいアナロジーベースの手法。
3. 部分空間精緻化： ドメインベクトルの抽出時にノイズやアーティファクトを軽減するために、部分空間フィルタリングとスケーリングを導入し、堅牢な適応を実現した。
4. アーキテクチャに依存しない性質： 本手法は、異なるVLAアーキテクチャ（flow-matching $\pi0.5$ および autoregressive $\pi0\text{-FAST}$）および多様なシフトタイプ（視覚的およびエンボディメント）にわたって機能することが示されている。

実験結果

著者らは、LIBEROベンチマーク（シミュレーション）および実世界のUR10eロボットセットアップを用いてDARTを評価した。

• シミュレーション（新しい視点）： DARTは、Small、Medium、Largeのすべての視点シフトにおいて、ベースライン（Zero-shot, One-shot Fine-tuning, FLA, RETAIN）を大幅に上回った。例えば、$\pi0.5$ でMediumの視点シフトが発生した場合、DARTは**80.8%の成功率を達成したが、これはOne-shot Fine-tuningの33.3%やFLAの76.4%**と比較して顕著な差である。
• 複合摂動： DARTは、複合的な視覚的変化（視点 + ノイズ + 照明）の下でも優れた性能を維持し、複雑な環境変化に対する堅牢性を示した。
• クロスエンボディメント： PandaロボットからUR5eロボットへのポリシー転送において、DARTは成功率を37.2%（Zero-shot）から**45.4%へ、進捗率を73.8%**へと向上させ、One-shot Fine-tuningおよびZero-shotベースラインの両方を上回った。
• 実世界： 新しい視点を持つUR10eロボットにおいて、DARTは適応のためにわずか一つのデモンストレーションのみを使用し、5つのタスク（微細な操作を含む）において平均**81.7%**の成功率を達成し、すべてのベースラインを大幅に上回った。
• ベクトル結合： 著者らは、異なるターゲットドメインからのドメインベクトルを単一のベクトルに結合できることを示し、単一のモデルが複数の環境に同時に適応できることを実証した。

意義と主張

本論文は、DARTがVLAモデルのデプロイメントにおけるボトルネックに対するデータ効率の高い解決策を提供すると主張している。重みの更新の構造的特性を利用することで、DARTはベースモデルのマルチタスク能力を保持しながら、新しい環境へのワンショット適応を可能にする。

著者らは、広範なデータやアーキテクチャの変更を必要とする従来のアプローチとは異なり、DARTが以下の特性を持つことを強調している：

• アーキテクチャに依存しない： 異なるVLAバックボーンに適用可能。
• ハイパーパラメータに対して堅牢： 幅広いスケーリング係数（$\alpha$）において安定している。
• 構成可能（Composable）： ドメインベクトルを結合して、単一のパラメータセットで複数のシフトを扱うことができる。

この研究は、「ドメイン知識」の適応に必要な要素は、単一のデモンストレーションから暗黙的に学習可能であり、数学的に孤立させることができることを示唆しており、多様で非構造的な現実世界の環境に汎用ロボットをデプロイするための実用的な道筋を提示している。