技術概要：教師なし階層的スキル発見（HiSD）

問題定義

本論文は、強化学習（RL）における教師なしスキルセグメンテーションと階層構造の発見という課題に取り組む。人間の計画は、原始行動ではなく目標とサブタスクの観点で推論を行う階層的なものであるが、現在の RL エージェントは高次元環境（例：Minecraft）において、そのような構造を効率的に学習することに苦労している。

既存のスキル発見アプローチは、通常、以下のような強力な教師信号に依存している：

• 行動ラベル： エージェントが実行した特定の行動へのアクセスを必要とする。
• 報酬信号： スキルの境界を定義するために、密なまたは疎な報酬構造に依存する。
• 手作りの注釈： タスク分解を定義するために人間の専門知識を要求する（例：階層的タスクネットワーク）。

これらの依存関係は、特に行動、報酬、または真のセグメンテーションが利用できない大量の未ラベル動画データを扱う際に、スケーラビリティを制限する。さらに、既存の多くの手法は、複雑な長視野タスクに必要な深くて構成的な階層ではなく、「平坦な」セグメンテーションを生成する。

手法：階層的スキル発見（HiSD）

著者らは、観測データ（生ピクセルまたは特徴量シーケンス）のみから再利用可能なマルチレベルのスキル階層を抽出する、完全な教師なしフレームワークであるHiSDを提案する。この手法は構造発見と方策実行を分離し、2 つの明確な段階で動作する：

1. 教師なしスキル識別（セグメンテーション）

第一段階では、連続的な観測トラジェクトリを離散的な潜在スキルのシーケンスに変換する。

• 入力： 未ラベルの観測トラジェクトリ $T = (X_1, \dots, X_n)$。ここで $X$ は特徴ベクトル（例：PCA によって次元削減されたピクセルまたは CLIP 埋め込み）を表す。
• アルゴリズム： フレームワークは、ASOT（不均衡最適輸送）アプローチを介した**時間的行動セグメンテーション（TAS）**を利用する。
• メカニズム： ASOT はセグメンテーションを最適輸送問題として定式化する。これは、以下のバランスを取る正則化された目的関数を最小化する：
  • 視覚的マッチングコスト： 観測特徴量と潜在スキルプロトタイプ間の非類似性。
  • 時間的規則性： 時間的半径内の急速なラベル切り替えにペナルティを課す Gromov-Wasserstein（GW）成分を通じて強制される。これにより局所的な滑らかさが保証される。
  • 周辺ペナルティ： 不均衡なスキル分布を可能にする KL 発散項（一部のスキルが稀である場合を処理する）。
• 出力： 原子行動単位を表す離散的なスキルインデックスのシーケンス $z_{1:n}$。

2. 記号的抽象化と文法誘導（構造発見）

第二段階では、離散的なスキルシーケンス上に階層構造を誘導する。

• コーパス構築： 同じスキルラベルを共有する連続フレームを単一の原子記号に圧縮する。すべてのエピソードシーケンスを、一意の境界トークン $\phi$ で区切って連結し、統一されたコーパスを構築する。
• アルゴリズム： 修正されたSequiturアルゴリズムをコーパスに適用する。Sequitur は、繰り返されるパターンを識別することにより階層構造を推論する、線形時間の文法誘導アルゴリズムである。
• 制約：
  • ダイグラム一意性： 隣接する記号のペアが 1 回以上現れることはない。繰り返しは新しい非終端ルールに置換される。
  • ルールの有用性： 保持されるルールは少なくとも 2 回使用されなければならない。
  • 境界保護： 境界トークン $\phi$ は生成ルールに出現してはならない。これにより、学習されたサブルーチンがエピソード内の行動を捉え、あるエピソードの終端と別のエピソードの始端を結合することを防ぐ。
• 出力： 終端ノードが原子スキルであり、内部ノードが発見されたサブルーチン（例：「木材を収集する」＋「作業台を作る」）を表す文脈自由文法（CFG）$G$。

主要な貢献

1. 教師なしフレームワーク： 行動ラベル、報酬、または手動注釈なしにマルチレベルの階層を発見するために、時間的行動セグメンテーションと文法誘導を統合する HiSD の導入。
2. 観測のみのパイプライン： 構造発見を方策実行から分離し、大規模な動画データへのスケーラビリティを可能にする、未ラベルのデモンストレーションに適した手法。
3. 実証的検証： 複雑なドメインにおいて、ベースライン（CompILE、OMPN）と比較して、優れたセグメンテーション品質と抽象化の深さを示す実証。
4. 下流タスクでの有用性： 発見された階層が、方策の接地に少量の行動ラベル付きデモンストレーションしか利用できない場合でも、下流の RL タスクにおける学習を加速し安定化させることを示す概念実証。

実験結果

著者らは、HiSD を 2 つのドメインで評価した。Craftax（完全に観測可能で決定論的な 2D 環境）と、Minecraft（部分的に観測可能で確率的な高次元環境）である。

ベースライン

比較対象は、CompILEとOMPNであり、これらは最も有利な条件下で動作するように、真のサブタスク順序と行動ラベルが提供された。HiSD は、最大スキル数 $K$ を事前知識としてのみ必要とした。

スキルセグメンテーションのパフォーマンス

• 指標： フレーム平均（MoF）、F1 スコア、および平均交差率（mIoU）。
• 知見： HiSD は、特に複雑性、確率性、および長視野を有するタスクにおいて、ベースラインを一貫して上回った。
  • Craftaxでは、HiSD はより高い mIoU スコアを達成し、異なる角度から木材に接近するなど、知覚的に明確だが意味的に同等の行動を単一のスキルクラスターに正しくグループ化した。
  • Minecraftでは、知覚的エイリアシング（例：一人称視点では木材に向かう歩行と石に向かう歩行が同一に見える）にもかかわらず、HiSD の時間的一貫性の事前知識により、ベースラインが失敗した場所でも一貫性のあるセグメンテーションが可能になった。

階層の品質

• 指標： 一意な木（一貫性）、平均深さ、木サイズ、および分岐係数。
• 知見：
  • HiSD は、OMPN（多くの場合、エピソードごとに一意の階層を生成する）と比較して、エピソード間でより一貫した分解（一意な木が少ない）を生み出した。
  • HiSD の階層は一般的に小さく解釈可能であり、分岐係数が低かった。これは、中間サブルーチンのより良い識別を示している。
  • 雑音の多い「All」Minecraft タスクでは、環境の確率性により HiSD は一貫した単一の構造を見つけることに苦労したが、「Mapped」（意味的にグループ化された）タスクでは著しく良好に機能した。

下流 RL 展開

著者らは、発見されたスキルをオプションとして使用して高レベルのエージェントを訓練する**Maskable Proximal Policy Optimization（PPO）**を通じて、発見された階層の有用性を実証した。

• 効率性： HiSD 階層を使用するエージェントは、原始行動 PPO（失敗した）および平坦なスキルエージェントと比較して、近似的に最適な報酬に著しく速く到達した（例：Craftax では約 3 万ステップ以内）。
• データ効率性： 初期のスキル発見が完全な教師なしであったにもかかわらず、方策の接地にわずか 250 件の行動ラベル付きデモンストレーションで、階層的エージェントは高いパフォーマンスを達成した。

意義と主張

本論文は、HiSD が、豊富で未ラベルのデータから学習できる汎用エージェントへのスケーラブルな道を提供すると主張している。最先端の時間的行動セグメンテーションと文法ベースの圧縮を橋渡しすることで、この手法は生の観測トラジェクトリから直接マルチレベルの階層を誘導する。

著者らは以下を強調している：

• 構造は、行動教師なしでも、時間的一貫性と視覚的類似性のみから回復可能である。
• 生成される階層は意味的に意味があり再利用可能であり、下流の RL における時間的クレジット割り当てに必要な帰納的バイアスを提供する。
• このアプローチは、密な教師信号や行動ラベルの必要性を排除することで、有能なエージェントの訓練への障壁を下げ、透明で解釈可能な構造を通じてより良い人間-AI 相互作用を促進する。

この研究は概念実証として提示されており、高雑音に弱いという文法誘導の決定論的性質や、スキル数 $K$ の固定された事前知識への依存といった限界を認めている。しかし、結果は、複雑で高次元の強化学習環境において、教師なし構造発見が実行可能かつ効果的な戦略であることを示唆している。