技術要約：マルチタスク・トラジェトリからの解釈可能なスキルのオフライン発見（LOKI）

問題定義

階層的模倣学習（HIL）は、長期的なタスクを管理可能なサブタスクに分解することで、複雑なロボット行動を獲得するための有望なパラダイムを提供します。しかし、明示的な報酬やサブタスクのアノテーションが存在しないオフラインのマルチタスク・トラジェリ（軌跡）データから、再利用可能で意味のあるスキルを発見することには、依然として重大なボトルネックが存在します。既存の手法は、主に以下の3つの課題に直面しています。

1. スキル境界の曖昧さ： 明示的な教師なしで、連続的なトラジェトリを離散的なスキルへと正確にセグメンテーションすることは困難です。
2. 再利用性と解釈性の欠如： 学習されたスキルは、人間の概念化と一致しなかったり、タスク間で転移できなかったりすることがよくあります。
3. スケーラビリティ： 多くの手法はシングルタスクの設定に特化しているか、大規模なタスク固有のエンジニアリングを必要とするため、多様なマルチタスク環境における有用性が制限されます。

本論文では、生の未アノテーションのデモンストレーションから、堅牢で解釈可能なスキルを直接発見するために設計されたフレームワークであるLOKI（Learning Offline Key-skills via Imitation）を提案します。

手法：LOKIフレームワーク

LOKIは、生のマルチタスク・トラジェトリを、実行可能な階層的ポリシーへと変換する3段階のエンドツーエンド学習フレームワークです。

ステージ1：強制型VQ-VAE（EVQ-VAE）によるマクロ・セグメンテーション

第1段階では、**一般スキル（GS）**を区別するための粗いタスク認識型のセグメンテーションを行います。

• アーキテクチャ： 著者らは、**強制型ベクトル量子化変分オートエンコーダ（EVQ-VAE）**を導入しています。標準的なVQ-VAEとは異なり、このアーキテクチャは弱いタスクラベル（$c$）を活用して、タスク条件付きの量子化を強制します。
• 損失関数： モデルは、タスク条件付きの再構成損失、コードブック損失、およびコミットメント損失を含む複合損失を最小化します。決定的なのは、コードブックベクトルの間のユークリッド距離を最大化し、崩壊を防ぎ、明確な表現を促進するためのダイバージェンス損失（$L_{divergence}$）を導入している点です。
• 境界検出： スキルの境界は潜在空間のエントロピーを用いて特定されます。
  • 外因的スキル（extrinsic skills）（タスク固有）は、埋め込みが単一のタスク固有のコードブックベクトルに密接に一致するため、低いエントロピーを示します。
  • 内因的スキル（intrinsic skills）（タスク非依存）は、埋め込みが複数のベクトルに対して等距離にあるため、高いエントロピーを示します。
  • 変化点は、エントロピー信号に対するPeltアルゴリズムを用いて検出し、内因的行動と外因的行動を分離します。

ステージ2：弱教師ありマイクロ・セグメンテーション

この段階では、マクロ・セグメントをより細粒度でコンテキストに依存しない**独立スキル（IS）**へと精緻化します。

• シーケンシャル・モデリング： シーケンシャルVAEが、マクロ・セグメントの固定長スライディングウィンドウを処理します。モデルは、初期状態とタスクラベルのみに条件付けられた事前分布に対して潜在空間を正則化しながら、アクションと状態を再構成するように訓練されます（これにより、スキルコードが将来の状態を観察して「ズル」することを防ぎます）。
• 境界の精緻化：
  1. エラー・スパイク検出： 再構成誤差の急激なスパイク（現在のスキルダイナミクスからの逸脱を示す）を検出することで、潜在的な境界を特定します。
  2. 反復クラスタリング： 埋め込みをセグメント化するためにK-Meansクラスタリングを適用します。同じクラスターに割り当てられた連続するセグメントは統合され、冗長な境界が除去されます。
• タスク・スキル・アライメント： フレームワークは、再利用可能な（内因的）スキルとユニークな（外因的）スキルを区別します。内因的セグメントは共有されたプリミティブのセットにクラスタリングされ、外因的スキルはユニークなIDを受け取ります。最後に、すべてのタスクのトラジェトリは、頻度と類似性に基づいて標準的なスキルシーケンスに強制的に整列され、構造的一貫性が確保されます。

ステージ3：階層的ポリシーの構築

精緻化されたスキル境界を使用して、実行可能なポリシーを構築します。

1. 終了関数（$\beta$）： 多層パーセプトロンが、現在の状態に基づいてスキルの終了を予測するバイナリ分類器として訓練され、固定された時間ホライゾンを状態ベースの切り替えに置き換えます。
2. 低レベル・ポリシー： 特定のアトミックなスキルを実行するために、条件付き行動クローニングを通じてスキル条件付きコントローラ（$\pi(a_t|s_t, k)$）が訓練されます。
3. 高レベル・ポリシー： 動的なメタコントローラを学習する代わりに、システムはステージ2で導出された標準的なスキルシーケンスを決定的なタスクプログラムとして利用します。

主な貢献

1. LOKIフレームワーク： 長期的なマルチタスク・データから、オフラインでのスキル発見と階層的模倣を行うための、新しい3段階の弱教師ありフレームワーク。
2. EVQ-VAE： 弱いタスクラベルを利用してタスク条件付きの量子化を強制し、内因的スキルと外因的スキルの分離を可能にする新しいアーキテクチャ。
3. マイクロ・セグメンテーション手法： 再構成誤差分析と反復クラスタリングを組み合わせ、保守的かつ粒度の細かいスキルを区別する弱教師ありアプローチ。
4. 実証的検証： 発見されたスキルが意味的に有意義であり、一貫しており、かつ構成可能であることを示し、未知のタスクの解決を可能にすることを実証。

実験結果

実験は、7つのサブタスク（電子レンジ、ケトル、ライトスイッチなど）が複雑なマルチステージ・タスクに組み合わされたkitchen-mixed-v0データセットを含む、D4RL Kitchenベンチマークを用いて行われました。

• マクロ・セグメンテーション： EVQ-VAEは、潜在空間における明確な低エントロピー（外因的）状態と高エントロピー（内因的）状態によって証明されるように、内因的スキルと外因的スキルの境界を正常に特定しました。
• マイクロ・セグメンテーション： 反復的な精緻化プロセスは、ノイズの多い境界を効果的に除去し、同一タスクのトラジェトリ間で一貫したセグメンテーション構造を強制しました。
• 解釈可能性： 潜在空間のPCA可視化により、類似したロボット動作（例：「電子レンジ」と「ヒンジ付きキャビネット」）を持つスキルが隣接してクラスター化されていることが示され、人間の直感との意味的な一致が確認されました。
• 終了精度： 学習された終了関数は、グラウンドトゥルースの境界の$\pm4$タイムステップの窓内で93.7%の精度を達成しました。
• 性能比較：
  • LOKIのバリアント（ワンホットIDを使用するLOKI-Oと、連続埋め込みを使用するLOKI-E）は、低レベル・ポリシーの平均二乗誤差（MSE）において、階層的ベースラインであるDADSおよびOPALを大幅に上回りました。
  • LOKI-Eは、提案された手法の中で最高の性能（平均MSE: 7.76）を達成しました。これは、離散的なIDと比較して、連続的な埋め込みに含まれる情報の豊かさに起因します。
  • 「エキスパート」（フラットなBC）ベースラインはより低いMSEを達成しましたが、LOKIは、階層的制御において極めて重要な、優れたモジュール性と解釈可能性を示しました。

意義と主張

本論文は、LOKIが、高密度の報酬や手動のサブタスク・アノテーションを必要とせずに、生のオフライン・データから構造化され解釈可能なスキルを抽出する、実用的で堅牢な手法を提供すると主張しています。発見されたスキルを人間の直感と一致させ、それらを構成して未知のタスクを解決できるようにすることで、本研究は、複雑なマルチタスク・ロボット環境への模倣学習のスケーリングにおける根本的な障害に対処しています。著者らは、これを、広範なオンライン相互作用や大規模なアノテーション付きデータセットに依存する手法に対する、実現可能な代替案として、デモンストレーションからのスケーラブルで汎用性の高いロボット学習への重要な一歩として位置付けています。