技術要約: LEEVLA: 潜在環境進化における重要な情報の視覚化（Seeing What Matters in Latent Environment Evolution for Vision-Language-Action）

問題提起

Vision-Language-Action (VLA) モデルは、マルチモーダル入力（視覚的観測、固有受容感覚、および言語指示）をロボットの行動に直接マッピングすることを目指している。しかし、既存のアプローチは、複雑で動的なシナリオを扱う際に主に2つの制限に直面している：

1. 一様なトークン処理: ほとんどの手法はすべての視覚トークンを一様に扱うため、タスクに不可欠な証拠と、静的で無関係な背景情報を区別できない。これにより、監督（supervision）と推論能力が希薄化する。
2. 人間が選択した因子への依存: 現在の推論メカニズムは、外部から人間が選択したコンテキストの手がかり（例：サブゴール画像、セグメンテーション、深度マップ）に依存することが多い。これは探索空間を制限し、補助モデルによる計算オーバーヘッドを導入し、既知の因子を過度に強調する一方で、潜在的かつ未知だがタスクに関連する因子を無視させる原因となる。その結果、これらのモデルは、物体の外観が変化した場合や、類似の物体が異なるモダリティで現れた場合に、汎化性能が低下する。

手法

著者らは、潜在特徴空間内で直接推論するように設計されたアーキテクチャである LEEVLA (Latent Environment Evolution VLA) を提案する。外部の条件に頼るのではなく、LEEVLAは「行動」を、高次元空間における環境状態の進化を駆動するものとして扱う。このフレームワークは、タスク適応型の「どこで・どのように（where–how）」という学習戦略を形成する2つのコアコンポーネントで構成されている。

1. ドリフト誘導型動的優先順位付け (Drift-Guided Dynamic Prioritization: DGDP)

このモジュールは、**「どこに注意を向けるべきか（where to attend）」**という問いに対処する。これは、外部のアノテーションを必要とせずに、学習中に顕著で指示に関連する領域を自動的に特定する。DGDPは以下の2つのメカニズムを組み合わせている：

• 動的位置優先順位付け (Dynamic Position Prioritization: DPP): 時刻 $t$ と $t+T$ における特徴パッチ間のコサイン類似度の変化を測定することで、空間領域のダイナミズム（動態性）を定量化する。強い時間的変動を示す領域（例：ロボットの相互作用）には高い重みが与えられ、静的な背景は低減される。
• 意味的ドリフト誘導 (Semantic Drift Guidance: SDG): モデルが言語指示と整合する意味的進化を行う領域に注意を向けるようにする。パッチの言語トークンに対する類似性に基づき、指示関連スコアを算出する。「意味的ドリフト」は、この関連スコアの時間的な変化として定義される。意味がタスクの関連性に向かってドリフトするパッチは優先され、無関係な背景のセマンティクスに向かってドリフトするパッチは抑制される。
• 統合: 各トークンの最終的な優先順位重み $\beta_i$ は、ダイナミズムスコアと意味的ドリフト因子の非線形結合であり、意図された操作に因果関係を持つ動的な領域にモデルが集中することを保証する。

2. 構造化特徴フロー生成 (Structured Feature Flow Generation: SFFG)

このモジュールは、**「どのように進化させるべきか（how to evolve）」**という潜在表現の問いに対処する。これは、標準的なフラット化されたトークン予測で頻繁に発生する、局所的な特徴構造の破壊を防ぐ。

• プロトタイプ・トゥ・ペリフェリ予測 (Prototype-to-Periphery: P2P): 空間的な意味の連続性を維持するために、マルチビュー特徴量に対して共同クラスタリングを実行する。その後、クラスターのメンバーをクラスター重心からのユークリッド距離に従って（プロトタイプから周辺部へ）ソートする。予測損失はこの順序に従って適用され、同じ意味単位に属する特徴が共に予測されることを保証し、局所的なコンテキストを維持する。
• 相互近傍コントラスティブ (Mutual-Neighborhood Contrastive: MC) 損失: 潜在空間におけるノイズの多いクラスタリングや非対称な親和性を扱うために、コントラスティブ損失を導入する。これは、高信頼かつ相互的な近傍関係（二次近傍）に基づいて正のペアを構築する。これにより、偽のリンクを排除し、意味的に類似した特徴間のトポロジー的一貫性を維持する。

学習目的関数

総損失関数は以下の3つの要素を組み合わせる：

1. 行動回帰損失 ($L_{action}$): 予測された連続的なアクションチャンクと正解値との間のL1損失。
2. P2P予測損失 ($L_{P2P}$): 構造化された状態進化を強制する。
3. 相互近傍コントラスティブ損失 ($L_{MC}$): 意味的な近傍トポロジーを保持する。

極めて重要な点として、DGDPとSFFGは学習時のみ使用される。推論時のトークンストリームは変更されないため、テスト時の追加の推論コストやメモリオーバーヘッドは発生しない。

主な貢献

1. ドリフト誘導型動的優先順位付け (DGDP): 動的位置優先順位付け (DPP) と意味的ドリフト誘導 (SDG) を通じて、タスクに関連する領域を自動発見するメカニズムであり、動的に活動し、かつ指示に整合する特徴にモデルを集中させることを可能にする。
2. 構造化特徴フロー生成 (SFFG): プロトタイプ・トゥ・ペリフェリ予測 (P2P) と相互近傍コントラスティブ (MC) 損失を取り入れ、トポロジーの一貫性を維持しながら、構造化された潜在的な進化を学習するようにモデルを導く戦略。
3. 最先端の性能: 広範な実験により、明示的なタスク証拠のガイダンスと構造化された潜在推論が、VLAモデルの汎化性能と長期的な推論能力を大幅に向上させることが示された。

実験結果

著者らは、LEEVLA-mini（miniVLAを初期値とする約0.5Bパラメータ）と LEEVLA-large（OpenVLA-7Bを初期値とする約7Bパラメータ）の2つのスケールでLEEVLAを評価した。

• LIBEROベンチマーク: LEEVLA-largeは、Spatial, Object, Goal, Long-horizonの各タスクにおいて平均成功率 98.2% を達成し、OpenVLA (76.5%)、CoT-VLA (81.1%)、OpenVLA-OFT (97.1%) といった強力なベースラインを上回った。LEEVLA-miniも小規模なベースラインを凌駕し、平均成功率97.5%を達成した。
• CALVINベンチマーク: CALVIN ABC-Dタスクにおいて、LEEVLA-largeは平均成功率 4.34 を達成し、OpenVLA (3.80) および $\pi_0$ (3.87) を上回った。
• 実世界での評価: UR5ロボットアームを用いた物理実験（物体を置く、ボタンを押す、引き出しを閉める等のタスク）において、LEEVLA-largeは平均成功率 78.5% を達成し、OpenVLAの40%を大幅に上回った。
• アブレーション研究: いずれかのコンポーネント（P2P, MC, DPP, またはSDG）を除去すると、性能の低下を招いた。特に、DGDPの追加は単独で最大の利得（ベースラインに対し+1.5%）をもたらし、相互作用中心の領域に監督を集中させる重要性を浮き彫りにした。

意義と主張

本論文は、明示的なタスク証拠のガイダンスと構造化された潜在推論の両方が、スケーラブルなVLAにとって極めて重要であると主張している。手作業で作られた外部条件に頼るのではなく、潜在空間で直接推論することで、LEEVLAは制限された探索空間や補助モデルへの依存という限界を回避している。

著者らは、彼らのアプローチによって以下のことが可能になると強調している：

• 従来のメソッドが見落としてしまう、タスクに不可欠だが未知の因子を発見すること。
• 同一の物体に対して絡み合った意味、外観、および幾何学的キューを共同で活用すること。
• タスクに不可欠な領域への集中と、グローバルなシーン把握（グローバル変調係数 $\alpha$ による）のバランスを維持すること。

本研究は、行動を潜在空間における環境進化の駆動因子として扱い、動的な優先順位付けと構造化されたフローによって導くことが、推論レイテンシを増大させることなく、より堅牢で汎用性の高いロボットポリシーにつながることを示している。