技術要約: HALO – 長期的なロボット模倣学習のための履歴認識型視覚運動方策

1. 問題提起

部分的に観測可能な環境（例：家庭環境）で動作する汎用ロボットは、現在の感覚入力にはもはや存在しない情報を想起する必要がある、長期的な操作タスクを実行しなければなりません。例として、物体の位置の記憶、数値カウントの追跡、イベントのタイミングの想起、あるいは物体間の関係性の変化の理解などが挙げられます。

標準的な反応型視覚運動方策は、メモリ（記憶）を欠いているため、このようなシナリオでは失敗します。既存のアプローチは、手設計のメモリ表現、モダリティ固有の検索ルール、あるいは学習された圧縮（例：潜在状態の要約）を通じてこれに対処しようとしますが、多くの場合、汎用性に苦慮します。これらは多様な操作タポークにわたるスケーラビリティを制限する、タスク固有の仮定に依存しています。

注意ベースのメモリ検索（例：Transformer）をオフライン模倣学習に直接適用することには、2つの根本的な課題が伴います。

1. 偽相関（Spurious Correlations）: 方策が、訓練データにおけるエキスパートの行動と相関しているものの、タスク実行において因果関係のあるものではない過去の観測に注意を向けてしまう可能性があり、テスト時の汎用性が低下します。
2. 誤差の累積とモデルのドリフト: クローズドループ実行において、小さな予測誤差は時間の経過とともに蓄積されます。ノイズの多い大量の履歴情報に条件付けることは、これらの誤差を増幅させ、長期的なホライゾンにおける連鎖的な失敗やモデルのドリフトを引き起こす可能性があります。

2. 手法: HALO

著者らは、履歴から関連情報を検索することによって、最大8分間に及ぶタスクのエンドツーエンドの実行を可能にするように設計されたフレームワークである HALO (History-Aware visuomotor policy for LOng-horizon robotic imitation learning) を提案しています。核心となる洞察は、アテンションは一般的な検索メカニメントを提供する一方で、タスクに関連する情報へと誘導され、無関係またはノイズの多い履歴への条件付けを回避するように制約される必要があるということです。

A. アーキテクチャの概要

HALOは、主に以下の3つのコンポーネントを用いて、視覚運動方策 $\pi_\theta(a_t | \tau_t, l)$ をパラメータ化します。

1. エンコーダ: モダリティ固有のエンコーダ ($g_{obs}, g_{act}$) が、異種混合の入力（RGB、固有受容感覚、過去のアクション）を共通の潜在空間にマッピングします。
2. 方策バックボーン: Transformerベースのバックボーン ($f_\theta$) が、エンコードされた履歴 $M_t$ に対してメモリ検索を行い、情報を処理します。
3. 予測ヘッド: タスク固有のアクションヘッド ($h_{act}$) が低レベルの制御コマンドを予測し、テキスト予測ヘッド ($h_{text}$) が補助的な教師信号を提供します。

B. 主要なメカニズム

1. ビデオ質疑応答（VQA）によるVLM事前知識の蒸留

偽相関を軽減するために、HALOは、どの履歴情報がタスクに関連しているかについての事前知識を蒸留するために、視覚言語モデル（VLM）を活用します。

• メカニズム: 方策は、エキスパートのアクションを模倣することと、軌跡の履歴に関する質問に答えることの両方を同時に学習（共同訓練）します。
• VQA生成: マルチステージのパイプラインにより、長期的な軌跡から高品質なVQAペアを生成します。これには以下が含まれます：
  1. 軌跡からテキストへの要約: オブジェクト検出器とVLMを組み合わせて、シーンの要素や活動のテキスト記述を作成します。
  2. 質問の合成: LLMが、特定のフレームに紐付いた具体的なメモリ要件（例：物体の位置、イベントの順序）を問う質問を生成します。
  3. 検証: LLM検証器が、不正確または関連性の弱いペアをフィルタリングします。
• 学習目的関数: 方策は、結合損失 $L(\theta) = L_{IL}(\theta) + \lambda L_{VQA}(\theta)$ を最小化します。VQA目的関数は、タスクに関連するイベントが発生した履歴の特定の部分に注意を向けるよう、検索モジュールを強制し、何を検索すべきかについて直接的な教師信号を提供します。

2. Top-k アテンションの疎化（Sparsification）

クローズドループ制御中の蓄積された誤差の影響を軽減するために、HALOは保存された情報の疎なサブセットのみに条件付けるよう制限します。

• メカニズム: すべての履歴に注意を向ける代わりに、方策はクエリとキーの類似度を計算し、最も関連性の高い上位 $k$ 個のメモリエントリーのみを選択します。
• 学習: 非微分的な top-$k$ 操作を扱うために、ストレートスルーエスティメータが使用されます。勾配は、アクション予測またはVQAの精度を向上させるエントリーを選択するように強化し、無関係なエントリーの重みを下げます。
• 利点: これにより、ノイズの多い情報の介入を制限し、モデルのドリフトを抑制し、連鎖的な失敗を軽減します。

3. 主な貢献

• 汎用的なメモリ検索: タスク固有の仮定や手設計のルールを回避し、エンドツーエンドで学習可能なメモリ検索メカニズムを導入しました。
• VQAによるガイド付き検索: 自動生成されたビデオ質疑応答（VQA）による教師信号を用いて、アテンションをタスクに関連する情報へと導き、VLMの事前知識を視覚運動方策へと効果的に転移させることを提案しました。
• 堅牢性のための疎なアテンション: Top-$k$ 疎化が、蓄積されたノイズをフィルタリングすることで、長期的なクローズドループ制御におけるモデルのドリフトを効果的に軽減することを実証しました。
• 包括的な評価: REMEMBENCHベンチマークおよび、2つのロボットプラットフォーム（固定ベースおよび移動型マニピュレータ）にわたる5つの実世界タスクにおいて、本手法を検証しました。

4. 実験結果

シミュレーション (REMEMBENCH)

空間的、関係的、数値的、およびイベント時間のメモリを必要とするタスクで評価：

• 全体的な性能: HALOは平均成功率 41% を達成し、Standard Transformer (22%)、SAM2Act++ (20%)、ReMemBer (18%)、および手設計の特徴量 (29%) を上回りました。
• アブレーション研究:
  • VQAによる教師信号を除去すると、平均成功率は 10% 低下（31%へ）し、関連する履歴を特定するためのVLM事前知識の重要性が示されました。
  • Top-$k$ 疎化を除去すると（フルアテンションを使用）、性能が 9% 低下し、ドリフトを軽減する役割が確認されました。
  • VQAとアクション予測の共同訓練は、事前学習・ファインチューニング方式よりも優れた結果（64% 対 44% で 20% の差）を示し、効果的な検索を形成するためには共同訓練が極めて重要であることを示唆しました。
• 比較: HALOは、代替的な疎化手法（ウィンドウ、ストライド、階層、ゲート付きアテンション）および非結合型メモリモデル（LSTM、Mamba、Transformer-XL）よりも優れた性能を示しました。

実世界での評価

5つの実世界タスク（人間とロボットの協調を含む）で評価：

• HALOは平均成功率 55% を達成し、Standard Transformerのベースラインである 36% を上回りました。
• 最大8分間の加熱や複数の物体の格納といった、困難な長期的ホライゾンのタスクにおいて顕著な改善が見られました。
• 「物体を回収する」タスクの分析では、HALOはベースラインと比較して、操作の失敗を 8%、メモリの失敗を 25% 減少させました。

5. 意義と主張

本論文は、HALOがデータからタスクに関連する情報を直接学習することによって、部分的に観測可能な環境における長期的な制御のための汎用的な解決策を提供すると主張しています。

• 多用途性: 固定された表現（例：オブジェクト中心）やテキスト要約に依存する従来の手法とは異なり、HALOは手動のエンジニアリングなしに、多様な情報タイプ（空間的、数値的、時間的）に適応します。
• グラウンディングの必要性: 著者らは、VLMの事前知識は関連する情報を選択するには有用ですが、それ単体では低レベルの制御には不十分であること（アクションのグラウンディングなしでは成功率18%に留まる）を強調しています。VLMに導かれた検索と、アクションに基づいた模倣の組み合わせが不可欠です。
• 堅牢性: Top-$k$ 疎化による選択的な検索が、長期的なクローズドループ実行に固有の累積誤差を軽減するための、実用的かつ効果的な戦略であることを本研究は示しています。

著者らは、本アプローチが、豊富な履歴コンテキストの必要性と、ノイズや無関係な相関をフィルタリングする必要性のバランスを取ることで、最大8分間という延長された時間ホライゾンにわたる信頼性の高い制御を可能にすると結論付けています。今後の課題として、能動的なクエリ戦略や、エピソードをまたいだメモリ学習の探索が提案されています。