LePlanner: An Iterative Amortized Controller For World Models

現実世界を移動できる機械の構築を目指す中で、科学者たちは長らく「ワールドモデル」と呼ばれる戦略に頼ってきました。目の前の状況にただ反応するだけでなく、世界がどのように機能するかという精神的なシミュレーションを構築するロボットを想像してみてください。筋肉を一つも動かす前に、そのロボットは頭の中で何千もの空想上のシナリオを実行し、どの行動が望ましい結果につながるかをテストします。このアプローチにより、エージェントは人間が混雑した部屋の中を歩く前に経路を視覚化するように、先を見越して計画を立てることができます。しかし、このプロセスには根強いボトルネックが存在します。これらの精神的シミュレーションを有用なものにするためには、ロボットはあらゆる可能な経路を計算するために膨大な時間を費やして動作を鈍くさせるか、あるいは、簡単な状況ではうまく機能するものの、タスクが複雑になったり精密な物理的接触が必要になったりすると失敗してしまう、単純で学習済みの習慣に頼るかのどちらかを選択しなければなりません。

インド工科大学ルルキー校の研究者たちは、この溝を埋める「LePlanner」と呼ばれる新しい手法を開発しました。彼らは、力任せの計算や硬直した模倣ではなく、一連の迅速かつ反復的な調整を通じて、自らの計画を洗練させる方法を学習するシステムを作り上げました。研究チームはこのシステムを、T字型の物体を押し進めるロボットアームから、二つの連結された部屋を通り抜けるキャラクターのナビゲーションに至るまで、4つの異なるシミュレーション環境で訓練しました。これらのテストにおいて、LePlannerは特定のタスクで最大100パーセントの成功率を達成し、最も計算負荷の高いプランニング手法の性能に匹かに、数百倍少ない予測器の呼び出し数でこれを実現しました。この成功の鍵は、システムに目標に到達させるための教え方の変化にありました。固定された時間枠の最後に正確に到着するように指示する代わりに、可能な限り早く目標に到達し、その後そこに留まるように報酬を与えたのです。この単純な訓練の変化により、ロボットが躊躇したり到着を遅らせたりすることを防ぎ、複雑な物理的状況においても、一歩ごとに再計算のために停止することなく、迅速で信頼性の高い意思決定を行うことが可能になりました。

研究者たちが取り組んだ核心的な課題は、人工知能のプランニングにおける根本的なトレードオフです。一つの系統である「探索ベースのプランナー」は、何百、何千もの潜在的な未来の経路を生成し、それぞれを評価して最善の選択肢を見つけ出すことで機能します。これらの手法は非常に正確ですが、ロボットが意思決定を行うたびにワールドモデルを数千回実行しなければならないため、極めて低速です。この高いレイテンシ（遅延）により、ロボットはリアルタイムのタスクに対して反応が遅くなってしまいます。一方で、「ポリシーベースの手法」は、状況を直接一つのステップで行動へとマッピングすることを学習します。これらは高速ですが脆弱であり、押し進める、あるいは掴むといった複雑な物理的相互作用を伴うタスクでは、訓練データで見られた行動を単に記憶しているだけであるため、状況がわずかに変化すると適応できず、しばしば失敗します。研究者たちは、学習された精神空間内での信頼できる制御に必要な速度と堅牢性の理想的な組み合わせを、どちらのアプローチも提供できていないことを見出しました。

これを解決するために、チームはプランニングプロセスをアモルタイズ（償却）する反復コントローラーを導入しました。大規模な探索を実行したり単一の推測に頼ったりする代わりに、システムは初期の計画からスタートし、それを数回ずつ洗練させます。これは、地図上にルートをスケッチしてから、地形についてより深く考えるにつれて曲がり角を調整していく人間のプロセスによく似ています。この洗練は、システムが自身の想像上の未来を観察し、目標にどれだけ近いかを確認し、計画に対して小さな修正を加えるという学習プロセスを通じて行われます。決定的なのは、このプロセス全体が高速かつ効率的に訓練されており、一つの決定につきわずかな数の計算しか必要としないことです。システムは「凍結されたワールドモデル」を使用しています。つまり、物理学や視覚に関する基礎的な理解は一定に保たれ事前学習されている一方で、プランニングコントローラーはその固定された理解の中でナビゲートする方法を学習します。この分離により、研究者たちはビジョンシステム全体を再学習させることなくプランニング戦略を改善することができ、プロセスを安定かつ効率的なものにしています。

論文の大部分は、著者らが「ホライゾン・リセットによるプロクラスティネーション（先延ばし）」と呼ぶ、従来のプランニングシステムに見られる微細ながらも決定的な失敗モードに焦点を当てています。多くの標準的なプランニング設定では、システムは固定された時間期間の最後に目標に到達するように訓練されています。ロボットが現実世界で計画を実行するとき、それは次の瞬間のために再計画を行う前に、最初の数ステップしか実行しません。計画のたびに締め切りがリセットされ続けるため、システムは目標に近づくものの決して到着しないという習慣を学習してしまい、到着時間を常に将来へと押しやってしまいます。研究者たちは、この挙動によって、ロボットが物理的にターゲットに到達可能であるにもかかわらず、失敗してしまうことを実証しました。これを解決するために、彼らは「到着と保持（arrival-and-hold）」と呼ばれる新しい訓練目的を導入しました。この手法は、固定された締め切りを待つのではなく、可能な限り早いタイミングで目標に到達し、そこに留まることに報酬を与えます。目標への即時到着と安定性を重視するように教えることで、プロクラスティネーション行動を排除し、どれほど頻繁に経路を再評価したとしても、一貫性があり効果的な計画を実行できるようにしました。

実験の結果は驚くべきものでした。ロボットアームがT字型の物体を特定の場所まで押すテストにおいて、新しいシステムは動きのたびに再計画を行った場合、98パーセントの成功率を達成しました。この性能は、低速で重厚な探索ベースの手法に匹敵するものですが、計算量はごくわずかでした。具体的には、新しいシステムは従来の探索手法と比較して、決定あたりの予測器の遷移（潜在的なロールアウト）を約2,250倍少なく抑えました。他のタスク、例えばロボットアームがターゲットに手を伸ばす、あるいはキャラクターがドアを通り抜けるといったタスクにおいても、システムはそれぞれ100パーセントおよび92パーセントの成功率を達成しました。これらの数値は、このシステムが単に高速であるだけでなく、単純な模倣戦略が通常失敗するような複雑で接触の多い環境においても、より信頼性が高いことを示しています。研究者たちは、再計画の頻度が変わってもシステムの性能は安定していることを指摘しており、これは学習された行動が堅牢であり、特定のタイミング・スケジュールに依存していないことを示唆しています。

本研究はまた、システムの行動を、それがこれまで見てきた範囲内に留めておくことの重要性も強調しています。研究者たちは、プランナーが訓練データの分布から外れすぎた行動を提案することを防ぐ制約を追加しました。これは安全装置として機能し、ワールドモデルが幻覚（ハルシネーション）を起こした可能性のある、不可能または危険な操作をロボットが試みることを防ぎます。この制約があるにもかかわらず、システムは単に訓練データのアクションをコピーしているわけではなく、目標に到達するために能動的に新しい計画を構築していました。あるテストでは、システムの最初の予測アクションは、訓練されたエキスパートのデモンストレーションとは大きく異なっていましたが、それでも高精度で目標に到達しました。これは、システムが単に一連の動きを記憶しているのではなく、推論を通じてタスクを解決する方法を学習していることを証明しています。

研究者たちは、新手法と既存のアプローチとの公平な比較を確保するために、共通の開始条件を用いて4つの異なる環境で厳格なテストを行い、その知見を検証しました。彼らは成功率だけでなく、各決定にかかる時間も測定し、新しいシステムがタスクに応じて従来の探索手法よりも3倍から49倍高速であることを明らかにしました。研究には、システムの想像上の未来の詳細な可視化も含まれており、システムの精神的シミュレーションが現実世界の行動を導くのに十分な精度を持っていることを示しています。ロボットがドアを通り抜けるケースでは、システムはドアを通る経路を正しく予測しましたが、他の手法はしばしば立ち往生したり、壁との衝突を幻覚したりしました。これらの視覚的なチェックにより、改善が単なる統計的なアーティファクトではなく、システムが環境を理解し計画する方法における真の向上を反映していることが確認されました。

最終的に、この研究は、プランニングに必要な複雑な推論の多くが、軽量で反復的なポリシーへと学習・圧縮できることを示しています。ワールドモデルの予測能力と、タイムリーな到着を促す洗練された訓練目的を組み合わせることで、研究者たちは高速かつ堅牢なコントローラーを作り上げました。このシステムは、意思決定の瞬間にオンライン最適化や重い計算を必要とせず、スピードが極めて重要となるリアルタイムのアプリケーションに適しています。現在の実験はシミュレーション環境で行われましたが、その原理は、より効率的で有能な現実世界のロボット制御への道を示唆しています。LePlannerの成功は、ロボットのプランニングの未来が、より高速なコンピュータやより複雑な探索にあるのではなく、よりスマートで効率的な「考え方」の学習にあることを示しています。