Guided Riemannian Optimization (GuRO): Bridging Model Predictive Control and Decision Transformers

現実世界を移動するロボットは、絶え間なく困難なバランス調整に直面しています。彼らは、凹凸があり、滑りやすく、あるいは予測不可能な環境において、どのように足を踏み出し、回転し、あるいは登るべきかを決定しなければなりません。これらの決定を下すために、エンジニアは伝統的に2つの主要なアプローチに頼ってきました。1つ目は、地図を常に確認し、既知の世界モデルに基づいて最適な経路を再計算し続ける、慎重な航海者のような方法です。この手法は効率的で理解しやすいものですが、地図が間違っていたり、地形が地図の予測とは異なる形で変化したりすると、苦戦することになります。2つ目のアプローチは、子供が歩き方を学ぶことに似ています。それは、多くのことを試し、転び、試行錯誤を通じて何がうまくいくかをゆっくりと学んでいくものです。この手法は、非常に複雑な動きを最終的にマスターすることができますが、膨大な時間と練習を必要とし、タスクが難しすぎたり、失敗の代償が大きすぎたりする場合、学習に失敗することがあります。

長年、研究者たちは、慎重な航海者の計画性と、学習者の適応性の両方の利点を組み合わせようと試みてきました。ロボットの動きと報酬の履歴を一つの「物語」として扱い、人間の言語を読み取るために設計された強力なコンピュータモデルを用いて、次に行うべき最善の行動を予測するという新しいアイデアが登場しました。有望ではありますが、これらの「物語を読み取る」モデルは、訓練が非常に難しいことで知られています。これらはしばしば、遅くて不安定な学習のサイクルに陥り、解決策への最も効率的な経路を見つけることができません。マンチェスター大学の研究チームは、これらのモデルを導く新しい方法を開発し、以前よりもはるかに速く、かつ確実に複雑なロボットの動きを学習させることに成功しました。

研究者たちは、四足歩行ロボット（クアドラペッド）に、困難な環境をナビゲートすることを教えることに焦点を当てました。彼らは、ロボットがデコボコした地面を歩き、階段を登り、滑りやすい斜面を登ることができるようにしたいと考えました。これを行うために、彼らは「慎重なプランナー」と「試行錯誤による学習者」の間の溝を埋めるハイブリッドシステムを作り上げました。彼らは、リアルタイムのガイドとして機能する「モデル予測制御（Model Predictive Control）」という技術を用いました。このガイドは、あらゆる瞬間において、ロボットが従うべき短期的かつ局所的に完璧な経路を計算します。これは、実質的に、今この瞬間にどのような動きが良いのかをロボットに示すものです。このガイドは、未来のすべてを知る必要はありません。次の数ステップさえ分かればよいのです。

このガイドによって生成されたこれらの短期的で高品質な経路は、「デシジョン・トランスフォーマー（Decision Transformer）」、すなわち「物語を読み取る」モデルへと入力されました。ロボットが周囲を彷徨い、間違いを繰り返すことでゼロからすべてを学ぶ必要はなく、モデルはガイドが提供する優れた例を研究することによって学習しました。これにより、膨大なオフラインデータや、現実世界での終わりのない試行錯誤の必要性が取り除かれました。ロボットはガイドの提案から学ぶことで、効率的な動き方についての自身の理解を洗練させていくことができたのです。しかし、これらの大規模なモデルを訓練することは、依然として数学的に困難な問題です。解の可能性が広がる領域は、鋭いピーク（頂点）と深い谷に満ちており、標準的な学習アルゴリズムが停滞したり、迷走したりしやすい状態になっています。

これを解決するために、研究者たちは学習プロセスそのものをナビゲートする新しい方法を導入しました。彼らは、ロボットの脳が存在する数学的な空間を、単純な平坦な格子ではなく、地球の表面のような「曲がった表面」として扱いました。標準的な学習手法は直線的に進みますが、曲がった表面の上では非効率的になることがあります。新しい手法である「ガイデッド・リーマン最適化（Guided Riemannian Optimization）」は、この空間の曲率を理解しています。これは、学習の方向を問題の自然な輪郭に沿うように調整することで、ロボットの脳が最良の解をより速く見つけられるようにします。このアプローチは、まるで丘を登る際に、行き止まりや急な崖に突き当たるかもしれない直線的なルートを選ぶのではなく、地形の起伏を知っているハイカーが最も直接的なルートを取るようなものです。

チームは、現実世界の物理法則を模したシミュレーション環境において、四足歩行マシンである「Unitree AlienGo」ロボットを用いてこのシステムをテストしました。彼らはロボットに対し、凹凸のある地形の歩行、階段の昇降、そして低摩擦の傾斜面の登坂という3つの明確な課題を設定しました。彼らは、標準的な強化学習アルゴリズ、および曲がった表面を用いた学習アプローチを使用していない他のバージョンのデシジョン・トランスフォーマーを含む、いくつかの確立された手法と比較を行いました。その結果、新しいシステムに明確な優位性があることが示されました。すべてのタスクにおいて、ガイド付きの曲率を考慮した手法で訓練されたロボットは、他の手法よりも高いパフォーマンスに到達し、かつ少ない試行回数でそれを達成しました。

データは、ロボットが粗い地面を歩き、階段を登り、滑りやすい斜面を登る学習において、より高い安定性と速度を獲得したことを明らかにしました。訓練プロセス自体も大幅に効率化され、ロボットの予測がどれほど間違っているかを示す指標である「損失関数（loss function）」は、従来の手法よりもはるかに速く低下しました。統計分析により、これらの改善が偶然によるものではないことも確認されました。新しい手法は一貫して既存の最良の代替案を上回り、リアルタイムのプランナーと物語を読み取るモデルを組み合わせ、さらにその学習プロセスを幾何学的な理解に基づいて最適化することが、ロボット制御のための強力なツールとなることを証明しました。

この研究は、ロボット学習の未来が、慎重な計画か試行錯誤かのどちらかを選択することにあるのではなく、それらを織り合わせることにあることを示唆しています。プランナーを使用して高品質な例を提供し、専門的な数学的手法を用いて学習プロセスをナビゲートすることで、ロボットはより迅速かつ堅牢に複雑な物理的タスクを習得できます。研究者たちは、このアプローチがシミュレーションにおいて効果的に機能することを実証しており、条件が完璧であることは稀であり、失敗の代償が高い現実世界において、知的で適応力のあるロボットを配備するための有望な道筋を示しています。