技術概要：QuoVLA：ビジョン・ランゲージ・アクションモデルのための商空間

1. 問題定義

ビジョン・ランゲージ・アクション（VLA）モデルは、事前学習されたビジョン・ランゲージモデル（VLM）を適応させることで、視覚的観測と言語指示を連続的なロボット動作へマッピングすることを目指しています。しかし、マルチモーダル理解のために最適化された表現と、制御に必要な表現の間には、根本的な不一致が存在します。

既存のアプローチは一般的に、「動作不足（action-insufficiency）」という診断に基づいています。これらは、事前学習された VLM の潜在変数が、動作に関連する情報を十分に持っていないか、あるいは動作の教師信号によって過度に汚染されていると仮定しています。その結果、現在の手法は、動作知識を注入するために VLM を過激にファインチューニングするか、あるいは干渉を防ぐために VLM を動作勾配から隔離するかのどちらかを選択しています。

著者らは、この支配的な見解に挑戦します。彼らは、事前学習された VLM の潜在変数が動作不足なのではなく、むしろ「動作は十分だが過剰（action-sufficient yet overcomplete）」であると主張します。Transformer アーキテクチャの単射性（injectivity）により、これらの潜在変数は、最適な動作挙動を変化させない微細なプロンプトレベルの変動（例えば、特定の言い回しや視覚的詳細）を保持しています。この冗長性は動作空間へ伝播し、偶発的な動作変動を引き起こし、分布シフト下での汎化を妨げます。核心的な問題は、これらの過剰な表現を、最適な制御に必要な情報のみを保持し、動作に関係のない変動を排除する「動作最小（action-minimal）」な形式へ圧縮する方法です。

2. 手法：QuoVLA

これに対処するため、著者らは新しい「VLA のための商理論」に基づくフレームワーク「QuoVLA」を提案します。この手法は主に 3 つの構成要素からなります。

2.1 VLA のための商理論

この理論は、理想的な VLA 表現は、同じ最適な動作挙動を誘発する潜在変数が単一の同値類に縮退される「商空間」であると仮定します。

• 動作同値性: 2 つの VLM 潜在変数 $h$ と $h'$ が、同じベイズ最適動作軌跡法則を誘発する場合、それらは同値（$h \sim_A h'$）とされます。
• 最小十分性: 商写像 $q^*_A$ は、「正確な動作十分性」を維持する最も粗い表現であり、最適な動作を決定するために必要なすべての情報を保持しつつ、動作に関係のない区別をすべて除去することを意味します。
• 汎化 bound: 著者らは、商が非自明な動作に関係しない変動を除去する場合、この商空間での学習は、生 VLM 空間と比較してより tight な汎化 bound をもたらすことを証明しています。

2.2 トランスフォーマーベースのプレフィックス量子化

商理論を実行可能にするため、QuoVLA は VLM プレフィックスエンコーダと動作エキスパートの間に軽量な「量子化モジュール」を挿入します。

• アーキテクチャ: 単層のトランスフォーマーブロックが、アテンションサブレイヤの直後、MLP サブレイヤの直前に配置されます。
• 量子化: 連続的な VLM 潜在変数は、対称的な一様量子化を用いて共有された離散コードへマッピングされます。
• 適応型ストレートスルー推定器（STE）: 量子化は微分不可能であるため、著者らは適応型 STE を採用します。学習可能なゲートパラメータ $\alpha$ が、動作教師信号から VLM への勾配の流れを調節し、商を学習する必要性と事前学習されたマルチモーダル知識を保持する必要性のバランスを取ります。

2.3 双枝動作生成

量子化された表現が動作十分性を保ち、重要な制御情報を失わないことを保証するため、双枝設計が採用されます。

• 量子化枝（メイン）: 圧縮・量子化された潜在変数から動作を予測します。
• 参照枝（勾配停止）: 元の量子化されていない VLM 潜在変数から動作を予測します。この枝は参照として機能しますが、制約損失からの勾配を受け取りません。
• 相対時間的複雑度制約: 損失項（$L_{tc}$）は、量子化枝の予測された速度場が参照枝よりも時間的に複雑（高周波振動）である場合のみ、量子化枝にペナルティを課します。これにより、商が冗長性を除去しつつ、動作軌道に不自然な高周波ノイズを導入しないことが保証されます。

最終的な目的関数は、量子化枝に対するフローマッチング損失と、相対時間的複雑度制約を組み合わせます。

3. 主要な貢献

1. VLA のための商理論: 本論文は、VLA 適応を「動作不足」から「動作最小性」へと再定義する理論的枠組みを導入し、事前学習された VLM 潜在変数が動作十分であるが過剰であることを確立しました。
2. 能動的量子化メカニズム: プレフィックス量子化を通じて VLM 表現から冗長な情報を明示的に除去する新規手法であり、事前学習知識との干渉を軽減するために適応型 STE によって制御されます。
3. 双枝動作生成: 勾配停止の参照枝と相対時間的複雑度正則化を用いた学習戦略により、量子化枝を導き、冗長性を排除しつつ動作十分性を維持します。

4. 実験結果

著者らは、QuoVLA を複数のシミュレーションベンチマークおよび実ロボットタスクで評価しました。

• シミュレーションベンチマーク（LIBERO, LIBERO-PRO, LIBERO-Plus, RoboTwin 2.0）:
  • QuoVLA は、すべてのスイートにおいて最先端または競争力のある性能を達成しました。
  • LIBERO において、99.6% の平均成功率を達成し、$\pi0.5$（96.9%）や OpenVLA（76.5%）などの強力なベースラインを上回りました。
  • 分布シフト（物体、位置、意味、タスク）に対する堅牢性をテストする LIBERO-PRO において、QuoVLA は優れた堅牢性を示し、20 の設定のうち 17 で最良または同率最良の性能を達成しました。
  • RoboTwin 2.0 において、QuoVLA は「Hard」設定の成功率を $\pi0.5$ の 43.84% から 58.6% に向上させつつ、「Easy」性能は競争力のある水準を維持しました。
• 実ロボット評価:
  • 1 タスクあたり 100 件のトレーニングサンプルのみで、4 つの操作タスク（例：皿に物体を置く）でテストされました。
  • QuoVLA は平均成功率を $\pi0.5$ の 64.5% から 88.0% に向上させ、精密な配置タスク（例：皿にリンゴを置く）では大幅な改善（+52%）を示しました。
• アブレーション研究:
  • 量子化の除去や過度な量子化深度/ビット幅の使用は性能を低下させ、バランスの取れたボトルネックの必要性を確認しました。
  • 双枝設計や時間制約の除去は性能を低下させ、それらが動作構造を維持する上で果たす役割を検証しました。
• 堅牢性分析:
  • 増加するガウスノイズ下において、QuoVLA はベースラインと比較して最も高い成功率を維持し、最も緩やかに劣化しました。これは、タスクに関係のない視覚的摂動をフィルタリングする能力を示しています。

5. 意義と主張

本論文は、QuoVLA が VLA 適応におけるパラダイムシフトを提供すると主張しています。VLM が動作情報を欠いているという仮定に挑戦することで、汎化への主な障壁は不足ではなく、しばしば冗長性であることを示しました。

その意義は以下の点にあります：

• 汎化: 商ベースのアプローチは、タスクに関係のない変動（視覚的または言語的）を効果的に抑制し、他のモデルが失敗する分布シフト下でも堅牢な性能をもたらします。
• データ効率: この手法は限られたデータ（100 サンプル）で強力な実ロボット性能を達成しており、表現をその動作最小形へ圧縮することが、より迅速かつ安定した適応を支援することを示唆しています。
• 理論的基盤: VLM 潜在変数の圧縮が制御を改善する理由について、商空間と汎化 bound を通じた形式的な正当性を提供し、ヒューリスティックなアーキテクチャ変更を超えたものとなっています。

著者らは限界を指摘しており、具体的にはこの手法は十分に強力な事前学習済み VLM に依存しており、実ロボット評価は現在テーブルトップ操作に限定されていることを述べています。彼らは、この手法がすべてのオープンワールドロボティクス課題を解決すると主張するのではなく、汎用可能な VLA 適応のための堅牢な基盤として位置づけています。