技術要約：脚式ロボットの強化学習におけるスキル構成

1. 問題定義

本論文は、独立した専門的な強化学習（RL）スキルを、一貫性のあるレパートリーへと構成する際の課題に取り組んでいる。深層強化学習（DRL）は、特定のタスク（例：パルクール、盲目的な歩行）に対して優れた敏捷な動作を実現してきたが、単一のエンドツーエンドのポリシーは、報酬のバランス調整、長いホライゾンにおけるクレジット割り当ての困難さ、および再利用性の欠如により、複雑で多段階のタスクにおいて苦戦する。

著者らは、この問題を文脈付きマルコフ決定過程（CMDP）の枠組み内で定義している。目標は、$N$ 個の専門化されたサブポリシー（エキスパート） $\{\pi_i\}$ （各々は特定のレジーム $x_i$ に対して最適化されている）と、それらを組み合わせて複雑なタスクを解決するための構成演算子 $C$ を学習することである。中心となる研究課題は、結果として得られるポリシー $\pi = C(\pi_1, \dots, \pi_N)$ が、個々のエキスパートのモジュール性と再利用性を維持しつつ、エンドツーエンドの性能と同等またはそれを上回るように、いかにして $\{\pi_i\}$ と $C$ を学習するかである。

著者らは、スキルの遷移こそが決定的な失敗点であると主張している。既存の文献では、構成を実装上の詳細として扱ったり、モジュール性を損なうメカニズム（例：エキスパート同士を適合させるためのファインチューニング）に依存したりすることが多い。本論文は、構成を、特に凍結されたエキスパートの保持と、それらの間の安全かつ任意の切り替えを可能にすることに焦点を当てた、独立した研究問題として位置づけるべきであると提唱している。

2. 手法：2つの構成メカニズム

本論文は、エキスパートとは独立した決定レイヤーによって駆動される、構成演算子 $C$ の2つの明確に異なるメカニズムを特定し、定式化している。

A. ブレンディング（連続的な重み付け）

• メカニズム: 決定レイヤー $\omega$ が、同時にアクティブな複数のエキスパートに対して連続的な重みを割り当てる。最終的なアクションは、エキスパートの出力の加重平均となる。
• 数学的定式化: $C_f(\pi_1, \dots, \pi_N)(a|s, g) = f(\omega(s, g); \pi_1(a|s, g), \dots, \pi_N(a|s, g))$。
• 特徴: 能力の重ね合わせ（例：移動と操作の融合）に適したタスクに向いている。遷移は滑らかであり、レジームの変化の瞬間に特別なメカニズムを必要としない。なぜなら、重みが連続的に変化するためである。
• 課題: 2つの有能なエキスパートが、それぞれ単独で有能である状態において、それらをマージした結果が依然として有能であることを保証する仕組みはない。特に、彼らのアクション空間が重複する場合に顕著である。

B. ブリッジング（離散的な切り替え）

• メカニズム: 決定レイヤー $\sigma$ が、単一のアクティブなエキスパートを選択する。切り替えが要求されると、一時的なブリッジ・ポリシー ($\beta$) が制御権を握り、アウトゴーイング（退去）するエキスパートが残した状態から、インカミング（進入）するエキスパートの有効な開始状態へとロボットを遷移させる。
• 特徴: 逐次的なタスク（例：歩行した後にジャンプする）に適している。変化は急激である。ブリッジの唯一の責任は、アウトゴーイングのエキスパートがロボットをどのような状態に置いたとしても、インカミングのエキスパートが引き継げるようにすることである。
• 主要な革新: スキル自体が終了セットと開始セットを定義する「オプション・フレームワーク」とは異なり、この手法では任意のタイミングでの切り替えを可能にする。ブリッジは、アウトゴーイングのスキルが到達する必要がなかった状態や、インカミングのスキルの学習分布に含まれていない可能性のある状態を扱う必要がある。
• 意義: これにより、決定レイヤー（シンボリックなプランナーやオートマトンになり得る）とダイナミクスを分離できる。決定レイヤーは単に「どの」スキルを起動するかを選択するだけであり、ブリッジが「どのように」遷移するか（たとえ決定が任意のタイミングで行われたとしても、安全性を確保しながら）を担う。

3. 主な貢献

本論文は、主に以下の3つの貢献を行っている。

1. 形式的な問題設定: スキル構成を、ポリシー学習とは異なる研究問題として枠付けし、凍結されたエキスパートの保持と、任意のタイミングでの切り替え能力を強調している。
2. メカニズムの分析: ブレンディング（連続的なマージ）とブリッジング（一時的なコネクターを伴う離散的なスイッチ）を厳密に区別し、それぞれの要件と失敗モードを分析している。
3. 実証実験: 両方のメカニズムについて、初期の実装と定性的な結果を提供している。
   • ブレンディング: ヒューマノイドロボットを用いたボール蹴りタスクにおいて、移動ポリシーとキックポリシーをブレンドする。学習されたオーケストレーターが、ロボットとボールの距離に基づいて動的にポリシーに重みを付ける。キックポリシーは、凍結された移動ポリシーの上に残差（residual）として学習される。
   • ブリッジング: Unitree G1 ヒューマノイドを用いた「歩行しながらのジャンプ」テストベッド。単一のブリッジ・ポリシーが、歩行状態から、凍結されたジャンプ・スキル（静止状態からのみ学習されたもの）に適したしゃがみ状態へとロボットを遷移させる。ブリッジはロボットの慣性を保持し、ジャンプの前に停止する必要をなくす。
   • 追加のテストベッド: ブリッジングの手法は、カートポール（スイングアップからバランス保持へ）および差動駆動ロボット（高速走行から低速旋回へ）でもテストされており、エキスパートを再学習することなく、慣性を放出したり特定の安定状態に到達したりする能力を示している。

4. 結果

提示された結果は定性的なものであり、構成メカニズムの概念実証としての役割を果たしており、最先端のエンドツーエンド・ソリューションに対する定量的なベンチマークではない。

• ブレンディング: 学習されたシステムは、ロボットがボールの近くにいる時のみキック・ポリシーを起動し、それ以外は移動を維持することに成功した。遷移は滑らかであり、キック・ポリシー（静止状態で学習されたもの）を歩行の途中で直接呼び出した際に発生する不連続性を回避できた。
• ブリッジング: ブリッジは、歩行中のロボットを、凍結されたジャンプ・スキルが実行可能なしゃがみ状態へと正常に遷移させた。これは、ジャンプの前にロボットを停止させるというベースラインのアプローチ（慣性を放棄してしまう）とは対照的である。
• 汎用性: ブリッジは、記録された人間の動きから切り出されたギャップ（または他のロボットのロールアウト）を用いて学習され、エキスパートを再学習することなく、異なるスキルを接続することに成功した。

5. 意義と今後の方向性

本論文は、信頼できる構成が可能になることで、スキルの集合が検証可能で拡張可能なレパートリーへと変わると主張している。任意のタイミングでの安全な切り替えを可能にすることで、「次に何をすべきか」という決定を、不透明なニューラルネットワークではなく、解釈可能なコンポーネント（プランナー、オートマトン、またはシンボリック・コントローラー）に委ねることができる。

特定されたオープンな課題:

• ランディング状態の選択: 現在のブリッジング手法は、状態が許容可能になるのを待つか、固定されたセットから選択することが多い。本論文は、単に「いつ」切り替えるかだけでなく、慣性を活用して最適なランディング状態を能動的に「選択」する方法の必要性を指摘している。
• 状態の比較: ある状態が、幾何学的な距離ではなく、その後の挙動の結果に基づいて、ハンドオーバーにとって「より良い」ものであるかどうかを判断するための指標が必要である。
• ブリッジの拡張性: 単一の汎用的なブリッジが、個別のブリッジを必要とせずに、一連の専門化されたエキスパートへの遷移を扱えるかどうか。
• ブレンディングの信頼性: エキスパートを再学習することなく、混合された状態が安全である状態を特性化すること。

著者らは、ブレンディングとブリッジングの両方の動作する実装を示したが、分野としては、遷移の質をスキル自体の質から分離するための標準化された指標が必要であると結論づけている。直近のステップは、ランディング状態の選択を、あらかじめ固定されたものとしてではなく、一つのコンポーネントとして学習することである。