技術概要：SlotVLA – ロボット操作における物体 - 関係表現のモデル化に向けて

問題提起

最近のビジョン - ランゲージ - アクション（VLA）モデルの進歩は、言語条件と視覚的手がかりを統合することでロボット操作を改善してきた。しかし、現在の最先端アーキテクチャ（例：OpenVLA、$\pi^0$）は、DINOv2 や SigLIP などの事前学習済みエンコーダによって生成される高密度な視覚埋め込みに依存している。これらのエンコーダは、フレームあたり数百の視覚トークン（通常 256〜512）を生成するため、トークン数が増加するにつれて計算コストが許容不可能なレベルに達する。さらに、高密度な埋め込みは、しばしば物体の特徴を背景の手がかりや冗長な情報と絡み合わせ、解釈可能性を制限し、アクションデコーダに対するタスク関連信号を不明瞭にする。

コンピュータビジョンにおける物体中心学習は、分離された表現を提供するが、それをロボット工学に直接適用することは最適ではない。純粋な物体中心のアプローチは、具象的な操作に不可欠な関係的手がかり（例：グリッパーと物体の相互作用）を捉え損なうことが多い。既存の手法は、これらの関係を無視するか、あるいは柔軟性を制限する外部注釈（バウンディングボックス/キーポイント）に依存している。多タスク推論をサポートするコンパクトでトークン効率的な表現を用いて、物体とその相互作用の両方をモデル化する枠組みが必要とされている。

手法：SlotVLA

著者らは、高密度な視覚埋め込みをコンパクトで構造化された物体 - 関係表現に変換するよう設計されたSlotVLAという枠組みを提案する。このアプローチは、以下の 3 つの主要なコンポーネントで構成される。

1. タスク認識型物体中心エンコーダ

このモジュールは、言語ベースのタスクフィルタリングによって導かれる物体中心のスロット（$S_t$）の小さなセットへと、高密度な視覚トークンを圧縮する。

• 時間的一貫性を備えたスロットアテンション: エンコーダは、高密度な視覚パッチを学習可能なスロットにマッピングするために、スロットアテンション（GRU を使用）を採用する。「スロット引き継ぎ」メカニズムは、$t=0$でスロットをランダムに初期化し、前のタイムステップからそれらを伝播させることで、フレーム間での一貫した物体アイデンティティを確保する。
• タスク認識型スロットフィルタリング: 検出されたすべての物体が特定のタスクに関連するわけではない。双方向のクロスアテンション（BCA）メカニズムは、物体スロットとタスク記述埋め込みとの間の関連性スコアを計算する。Top-$k$選択により、最も関連性の高いスロット（通常 2〜4）のみを保持し、背景や無関係な物体をフィルタリングする。

2. 関係中心エンコーダ

標準的な物体中心アプローチにおける関係モデル化の欠如に対処するため、SlotVLA は関係トークン（$R_t$）を生成する関係中心エンコーダを導入する。

• 相互作用モデル化: 学習可能な関係クエリは、クロスアテンションブロック（CAB）を介して、高密度な視覚パッチ（$V_t$）とフィルタリングされた物体スロット（$S_t$）の両方から情報を統合する。
• 出力: このプロセスは、グリッパー - 物体の関係や物体 - 背景の文脈などの相互作用を明示的に捉え、物体スロットを補完する一連の関係トークンを生成する。

3. アクションデコーディング

最終的な表現は、タスク認識型物体スロット（$S_t$）、関係トークン（$R_t$）、言語埋め込み（$P$）、およびロボットの固有受容感覚（$o_t$）を組み合わせる。

• LLM 統合: これらのマルチモーダル入力は、アクションデコーディングのために LoRA（低ランク適応）を備えた大規模言語モデル（LLM）デコーダに入力される。
• トークン効率: トークンの総数（$N_S + N_R$）は、高密度入力（$N$）よりも著しく小さく、効率的なダウンストリーム推論を可能にする。

学習戦略

モデルは 2 段階で学習される。

1. ステージ 1（エンコーダ学習）: ハンガリーマッチングを用いたバウンディングボックス、物体性、およびマスク損失、時間的一貫性のためのトラッキング損失、およびタスク関連性のためのクラス不均衡損失を用いて、タスク認識型物体中心エンコーダを教師あり学習する。
2. ステージ 2（ファインチューニング）: エンコーダパラメータを固定する。関係中心エンコーダとアクションデコーダを、アクション対数オッズに対するクロスエントロピー損失を用いて共同でファインチューニングする。

主要な貢献

1. LIBERO+ データセット

著者らは、既存の LIBERO スイートを拡張する微細なベンチマークである**LIBERO+**を導入する。

• 注釈: 元の LIBERO とは異なり、LIBERO+ は、RGB-D モダリティ全体にわたる 2D バウンディングボックス、ピクセルレベルの物体マスク、およびインスタンスレベルの時間的 ID を含む、明示的な物体レベルの教師信号を提供する。
• タスク関連性: アクティブでタスクに関連する物体を特定するためのタスク固有の自然な名詞を含み、物体 - 関係推論の評価を可能にする。
• サブセット: データセットは、物体数やレイアウトの複雑さが異なる 4 つのサブセット（LIBERO-Goal、LIBERO-Object、LIBERO-Spatial、LIBERO-Long）で構成される。

2. SlotVLA フレームワーク

SlotVLA は、ロボット操作のために物体中心スロットと関係中心トークンを組み合わせる最初の VLA フレームワークである。

• タスク関連性でフィルタリングし、相互作用を明示的にモデル化することで、コンパクトな表現を実現する。
• 競争力のある性能を維持しながら、高密度なベースラインと比較して視覚トークン数を 1 桁減少させる。

実験結果

実験は LIBERO+ ベンチマークで行われ、SlotVLA の変種を高密度トークンベースラインであるOpenVLAと比較した。

• トークン効率: SlotVLA はトークン数を 256（OpenVLA）から約 4〜28 トークンに削減し、GFLOPs を 3〜4 倍削減する。
• 単純なタスクでの性能: 単純なレイアウトと少数の物体を持つサブセット（LIBERO-Goal および LIBERO-Object）において、SlotVLA は OpenVLA と同等かそれ以上の成功率を達成する。
  • LIBERO-Goal: OpenVLA (0.77) 対 SlotVLA-ORC (0.86)。
  • LIBERO-Object: OpenVLA (0.70) 対 SlotVLA-ORC (0.91)。
• 複雑なタスクでの性能: 複雑な空間レイアウトと高い物体数を持つサブセット（LIBERO-Spatial および LIBERO-Long）では、性能が低下する。
  • LIBERO-Long: OpenVLA (0.56) 対 SlotVLA-ORC (0.31)。著者らは、最大 29 個の物体を持つシーンを表現するにはスロット数が少なすぎる（例：4 つ）ことが原因であり、高密度なベースラインがより多くのグローバルな文脈を捉えていると帰結している。
• アブレーション研究:
  • タスク認識型フィルタリング: 無関係なスロットをフィルタリングすることは重要であり、これを欠くと、特に複雑な環境で性能が大幅に低下する。
  • 時間的一貫性: 時間的一貫性を除去すると、性能が急激に低下する（例：LIBERO-Goal において ORC は 0.86 から 0.40 に低下）、安定したスロットアイデンティティの必要性を浮き彫りにする。
  • スロット数: 最適な少数（4 つ）を超えてスロット数を増やすことは、性能を向上させるのではなく、むしろノイズを導入するか、関係的グラウンディングを希薄化させる傾向がある。

意義と主張

本論文は、物体 - 関係中心のトークン化が、多タスクロボット操作において効率性、解釈可能性、有効性の望ましいバランスを提供すると主張する。

• 効率性: 視覚トークンの数を劇的に削減することで、SlotVLA は限られた計算予算下でのロボット制御を可能にする。
• 解釈可能性: スロットベースのアプローチはエンティティを分離し、タスク関連性でフィルタリングするため、高密度で絡み合った埋め込みと比較して、モデルの推論プロセスをより透明にする。
• 限界: 著者らは控えめに、単純なレイアウトでは効果的であるが、このアプローチは物体数がスロット容量を超えるような、非常に混雑した長期のタスクにはスケーリングが困難であることを認めている。また、トレーニングにおける教師ありバウンディングボックスとマスクへの依存は、そのような注釈がない現実世界の環境での即座の適用可能性を制限する可能性があるとも指摘している。

結論として、著者らは、LIBERO+ と SlotVLA が、高密度な知覚からコンパクトで関係認識型の推論へとパラダイムをシフトさせる、構造化され、効率的で、説明可能な具象 AI への基礎的な一歩を提供すると位置づけている。