🤖 machine learning

Trajectory First: A Curriculum for Discovering Diverse Policies

本論文は、複雑なタスク（ロボット操作など）における既存の制約付き多様性強化学習手法が抱える探索の限界や行動の多様性の不足という課題を克服するため、スプラインに基づく軌道事前分布を活用して多様で高報酬な行動を生成し、これを反応型方策に蒸留する二段階の curriculm 学習フレームワーク「Trajectory First」を提案する。

原著者： Cornelius V. Braun, Sayantan Auddy, Marc Toussaint

公開日 2026-05-13

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Cornelius V. Braun, Sayantan Auddy, Marc Toussaint

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに部屋の中を重い箱を押させる方法を教える状況を想像してください。ほとんどの標準的なロボット訓練者は、ロボットに1 つの完璧な方法を教えます。「左から押して、前にスライドさせれば完了」といった具合です。床が滑りやすくなったり箱がずれたりすると、その単一の戦略は失敗し、ロボットは立ち往生してしまいます。

この論文は、賢いロボットは同じ問題を解決するための多くの異なる方法を学ぶべきだと主張しています。ある戦略は左から押し、別の戦略は右から押し、さらに別の戦略は持ち上げて運ぶといった具合です。戦略の「道具箱」を持つことで、ロボットははるかに頑健になります。

しかし、ロボットに多様性を教えることは驚くほど困難です。「違うようにしろ」とただ伝えるだけでは、ロボットは混乱することが多いです。空中で腕を振る（異なるが役に立たない）ことで違うようにしようとしたり、新しい方法を見つけようとしてつまずき、誤って物に衝突したりするかもしれません。

著者らは「Trajectory First（軌道優先）」と呼ばれる新しい訓練手法を提案しています。これは、熟練の料理人が見習いを指導するような、2 段階のカリキュラムのようなものです。

ステップ 1：「フライトシミュレーター」フェーズ（探索）

ロボットに即座に段階的に反応することを教えるのではなく、著者らはまずロボットを「現実世界」から取り出し、フライトシミュレーターの中に置き、そこで一度に全体の動きを計画できるようにします。

アナロジー: 巨大で霧のかかった迷路を抜ける最良のルートを見つけようとしている状況を想像してください。ただ一歩ずつ進んで周囲を見回す（通常のやり方）だけでは、行き止まりにハマってしまうかもしれません。
論文のトリック: 著者らはB スプラインと呼ばれる数学的なツールを使用します。これは迷路を通して滑らかで柔軟なワイヤーを描くようなものです。ロボットは一歩ずつ動くのではなく、ワイヤーの形状を調整するだけです。
目標: 彼らは「検索エンジン」（進化戦略）を使って、これらのワイヤーを揺らしながら、ロボットを目標に成功させる多くの異なる経路を見つけるまで調整します。彼らはまだ「完璧な」経路を探しているのではなく、単に成功した異なる経路の大きな山が欲しいだけです。
なぜ機能するか: 彼らは全体の「ワイヤー」を一度に動かすため、ロボットは迷路の一方の側から他方へ瞬時に飛び移ることができ、一歩ずつ進むロボットが最初のステップを踏み出すのを恐れて決して発見しないような経路を発見できます。

ステップ 2：「現実世界」フェーズ（蒸留）

ロボットが成功した多様な「ワイヤー」（軌道）のライブラリを持っている今、現実生活で運転する方法を教える時が来ました。

アナロジー: あなたは、その完璧なフライトシミュレーターの経路をすべて持ち出し、見習いに反応的に車を運転する方法を教えます。見習いは学びます。「左に壁が見えたら右に曲がる。右に壁が見えたら左に曲がる」と。
課題: 通常、シミュレーターから現実世界に切り替えると、ロボットはその多様性を忘れ、物事をやる安全で退屈な単一のやり方に戻ってしまいます。
論文の修正: 彼らはロボットが多様性を保つための 3 つの「安定化装置」を導入します。
1. 対称サンプリング: 彼らは古いシミュレーターデータと新しい現実世界のデータを 50 対 50 で混ぜます。見習いに「シムで見つけたクールな経路を覚えておけ。新しい道を学ぶ間も、それらの練習を続けろ」と伝えるようなものです。
2. 「現時点での最善」のトリック: 彼らは「成功」の定義を絶えず更新します。「完璧である必要がある」と言う代わりに、「これまでに私たちが目撃した最善のものと同じくらい少なくとも優れていなければならない」と言います。これにより、ロボットが早期に貪欲になりすぎて自らの多様性を潰すのを防ぎます。
3. 高速更新: 彼らはロボットが通常よりもはるかに速くミスから学ぶようにします。「多様である」という定義はロボットが学ぶにつれて変化するため、ロボットは変化する目標に追いつくために、素早く脳を更新する必要があります。

結果

著者らは、この手法を立方体を押す、ボタンを押す、迷路を navigat するロボットでテストしました。

従来の方法: ロボットはタスクを行う 1 つまたは 2 つの方法を見つけ、しばしば同じ「局所最適解」（同じ安全で退屈な解決策）に立ち往生しました。
新しい方法: ロボットは創造的な解決策の幅広いバリエーションを発見しました。ボタン押しタスクでは、あるロボットは肘を使い、別のロボットは手首を使い、さらに別のロボットは体全体を使ってボタンを押しました。彼らはすべて仕事を完了しましたが、全く異なる方法で行いました。

まとめ

この論文は、ロボットを真に多様で頑健にするためには、学習中に段階的に「違うようにしろ」と頼むだけでは不十分だと主張しています。まず、安全で柔軟な空間（「Trajectory First」フェーズ）で、ロボットに多くの異なる成功プランを思い描かせる必要があり、その後、その創造性を失わずにそれらのプランを現実世界で実行する方法を慎重に教える必要があります。

このアプローチは、ロボットが局所的なループに立ち往生する問題を解決し、環境の予期せぬ変化に対処するための豊富な「戦略の道具箱」を彼らが持つことを保証します。

技術概要：Trajectory First：多様な方策を発見するためのカリキュラム

問題定義

強化学習（RL）手法は、しばしば単一モードの行動分布を仮定し、環境の擾乱に対して脆弱で、局所最適解に陥りやすい単一の方策を生成する。多様な方策の集合を発見することは堅牢性を最大化するが、既存の制約付き多様性最適化手法は、ロボットマニピュレーションのような複雑で接触の多いタスクにおいて頻繁に失敗する。

特定された核心的な課題は探索不足である。ロボットマニピュレーションなどのドメインでは、物体の状態は断続的な接触によって媒介され、接触の不連続性に支配された、行動と状態間の滑らかでない写像が生成される。その結果、多様性を求める目的関数は、代替戦略が強化されるために発見される頻度が低すぎるため、少数のモードに収束しがちである。標準的な局所探索手法（例えば、方策空間におけるガウスノイズ）は、これらの環境において分離された高報酬多様体をつなぐには不十分である。

手法：2 段階のカリキュラム

著者は、大域的な軌道探索と反応的方策学習を分離することで探索のボトルネックを克服するように設計された「Trajectory First」というカリキュラムを提案する。このアプローチは、2 つの明確な段階から構成される。

段階 1：軌道空間における制約付き新奇性探索（CNS）

ニューラルネットワークのパラメータを直接最適化する代わりに、最初の段階では進化戦略（ES）を用いてオープンループ軌道の空間を探索する。

スプラインに基づくパラメータ化：軌道 $\tau$ は、制御点 $\omega$ によって定義される B-スプラインとしてパラメータ化される。これにより、滑らかな帰納的バイアスが提供され、生のアクション系列と比較して探索空間の次元が削減される。
最適化目的：目的は、近最適性の制約（ $v_{\omega_i} \geq \alpha v^*$ ）の下で多様性を最大化する軌道パラメータの集合 $\Omega_n$ を見つけることである。
制約付き新奇性探索：著者は、軌道集合のエントロピー（k-NN 距離を介して推定）に基づく内在的新規性報酬と、外在的タスク報酬をバランスさせるラグランジュ目的関数を導入する。
最適化アルゴリズム：制御点 $\omega$ は、B-スプラインの適度なサイズのパラメータ空間に対して非常に効率的である CMA-ES を用いて最適化される。これにより、アルゴリズムはモード間を「ジャンプ」し、局所方策空間探索では見逃すであろう多様で高報酬のアンカーを発見できる。

段階 2：反応的方策への蒸留

段階 1 で発見された多様な軌道は、制約付きオフポリシー学習を用いて、 $n$ 個の反応的・スキル条件付き方策 $\Pi_n$ に蒸留される。

フレームワーク：著者はDominoフレームワークを採用し、多様性目的関数の勾配を内在的報酬として扱う。
安定化技術：接触の多いタスクにおいて、オフライン軌道データからオンライン反応的方策への安定した蒸留を確保するために、3 つの重要な修正が導入される。
1. 対称サンプリング：トレーニングバッチは、50% のオンラインデータと、上位 25% のリターンから選択されたフィルタリングされた CNS 軌道の 50% で構成される。これにより、オンライン RL への移行中の多様性の崩壊が防止される。
2. $v_{max}$ -トリック：最適な値 $v^*$ を推定するために単一のエキスパート方策に依存する代わりに、著者は $v^*$ を、すべてのスキルおよびトレーニング履歴全体で達成された最大パフォーマンスとして更新する（ $v^* \leftarrow \max\{v^*, \max_i v_i\}$ ）。これにより、劣等性制約に対して単調増加かつ安定したターゲットが提供され、多様性目的が早期の最適性圧力によって窒息するのを防ぐ。
3. 高方策更新対データ（UTD）：クリティックは頻繁に更新され方策は頻繁に更新されない標準的なオフラインからオンラインへの RL とは異なり、この手法は方策の更新頻度を増加させる（例：環境ステップあたり 4 回の更新）。これは、内在的報酬が現在の方策集合の状態占有に依存するため必要である。頻繁な方策更新により、エージェントは変化する内在的景観に追従できる。

主な貢献

探索ボトルネックの実証的特定：この研究は、既存の制約付き多様性最適化手法（Domino など）が、局所探索が分離された高報酬領域をつなぐことができないため、ロボットマニピュレーションタスクにおいて多様な方策を発見できないことを実証している。
Trajectory-First カリキュラム：スプラインベースの軌道に対する進化探索を用いて多様な高報酬アンカーを生成し、それを反応的方策に蒸留する、新しい 2 段階アプローチ。
安定化レシピ：内在的報酬の非定常性に対処し、制約付き設定における多様性目的のための安定したオフラインからオンラインへの学習を可能にする一連の技術（対称サンプリング、 $v_{max}$ -トリック、高方策 UTD）。

実験結果

この手法は、4 つのロボットタスク（迷路ナビゲーション、キューブ押し、ボタン押し、キューブ反転）で評価された。

多様性対パフォーマンス：提案されたカリキュラムは、最強のベースライン（Domino）と比較して行動多様性が 1.5 倍増加し、かつ同等のタスクパフォーマンスを維持した。
タスク固有の知見：
- 迷路ナビゲーションにおいて、この手法は最も多くの異なる経路を発見したが、ベースラインは安全で衝突のない経路の周りにクラスタリングする傾向があった。
- ボタン押しにおいて、ベースラインはすべてのスキルに対して同じロボットリンクを使用するように収束することが多かった。提案手法は、異なるロボットリンクを使用する全身マニピュレーション戦略を成功裏に発見した。
- キューブ反転において、この手法は多様な接触モードと力プロファイルを見つけたが、ノイズベースの探索ベースラインは頻繁な衝突と負の報酬により失敗した。
堅牢性：この手法は、対抗的な報酬仕様（例：高い衝突ペナルティ）下でも堅牢であり、ベースラインが物体と全く相互作用できなかった場合でも、CNS 段階が高報酬領域内でウォームスタートを提供したため機能した。

意義と主張

本論文は、ロボットにおける制約付き多様性最適化の主要なボトルネックは学習目的そのものではなく、局所探索への依存にあると主張している。スプラインベースの軌道事前分布を通じて帰納的バイアスを導入することにより、著者は標準的な方策空間探索ではアクセスできない多様な接触モードの発見を可能にしている。

著者は、この研究を多様性最適化における「探索と利用」のトレードオフに対する解決策として位置づけている。彼らは、先行研究が多様で高報酬な行動がオンライン方策最適化の下で容易に到達可能であると仮定しているが、この仮定は複雑なマニピュレーションタスクでは失敗すると論じている。提案されたカリキュラムは大域的な軌道レベルの探索と反応的制御を橋渡しし、堅牢で多様なエージェントを訓練するための実践的なレシピを提供する。著者は、多様性測定のための手動定義された状態特徴への依存や、段階間の固定された遷移などの限界を控えめに指摘し、将来の研究として適応的な切り替えや生観測からの表現学習の探求を提案している。