Learning to Race in Minutes: Infoprop Dyna on the Mini Wheelbot

技術的概要：Infoprop Dyna によるミニホイールボットでの数分間でのレーシング学習

問題定義
高速で不安定かつ非線形なダイナミクスを特徴とするロボティックシステムの制御は、特に実ハードウェア上で直接学習する場合、依然として大きな課題です。強化学習（RL）は可能性を秘めていますが、従来の手法はしばしばサンプル効率の低さに悩まされ、成功したシミュレーションから実世界への転移（sim-to-real transfer）を達成するために、慎重に設計された物理ベースのシミュレータと広範なドメインランダム化の併用を必要とします。モデルベース強化学習（MBRL）は、ダイナミクスモデルを学習して実体験を想像上のロールアウトで補完することでサンプル効率を向上させますが、不完全なモデルは長視野計画中に「モデルの悪用（model exploitation）」を招き、実世界での性能を低下させる傾向があります。本研究で扱われる具体的な課題は、極めて非線形なヨー（yaw）ダイナミクスを持つ非完全駆動のユニサイクルロボット「ミニホイールボット」です。その制御は、地面との接触相互作用、小さな時定数、および作動への感度によって複雑化しており、正確なモデリングを困難にし、効果的な軌道追跡には長視野計画が不可欠です。

手法
著者らは、物理ベースのシミュレータに依存することなく、ミニホイールボットが実世界との相互作用から直接学習することを可能にする、最先端の不確実性認識型 MBRL フレームワーク「Infoprop Dyna」を採用しました。

• コアアルゴリズム: Infoprop Dyna は、モデル予測を真の信号（ground truth signal）のノイズを含む観測として扱います。情報理論を活用することで、このフレームワークはノイズによる蓄積的な歪みを追跡しつつ、推定された真の信号を回復します。このアプローチはモデルの悪用を軽減し、先行手法よりも長い視野にわたって信頼性の高いロールアウトを可能にします。
• ダイナミクスモデリング: 完全に観測され、記憶を持たない状態を仮定する従来のベンチマークとは異なり、ミニホイールボットはオンボードの状態推定に依存しています。したがって、学習された遷移モデルは、推定された物理状態と適用された制御入力の短い履歴に条件付けられ、次の推定状態を予測します。これにより、モデルは物理システムに加えて状態推定器のダイナミクスを暗黙的に捉えることが可能になります。
• トレーニングパイプライン: システムは分散トレーニング設定（図 2 に示す）を利用します。実世界のデータは物理ロボットによって収集され、SSH を介してローカルワークステーションに送信され、そこからデータセットが高性能コンピューティング（HPC）クラスターへ転送されます。モデル学習と方策最適化は、BRAX の上に構築された JAX ベースの実装を用いて行われます。重要なのは、トレーニングにシミュレーションモデルが使用されないことです。HPC クラスターは、学習されたダイナミクスモデルを用いて大規模な並列合成ロールアウトを生成し、物理シミュレータの必要性を代替します。
• 初期化: 安全性を確保し、有益な遷移を提供するため、実世界のデータセットは、近似モデル予測制御（AMPC）とジョイスティックインターフェースを用いてロボットを手動で運転して収集した 1 分間のデータでウォームスタートされます。

主な貢献

1. シミュレータ不要の実世界学習: 本研究は、Infoprop Dyna が慎重に設計されたシミュレーションから実世界へのパイプラインを必要とせず、ロボットが実世界との相互作用から直接複雑な制御方策を学習できることを実証しました。
2. 攻撃的な挙動の迅速な獲得: ミニホイールボットは、実世界での経験 11 分以内に固定されたトラックを周回するレーシングを学習し、保守的な運動から攻撃的なレーシング戦略へと進展しました。
3. 非自明な戦略の発見: 学習された方策は、高速でコーナーを navigated するための制御されたスリップなど、物理ベースのシミュレーションのみでは捉えにくい複雑な挙動を発見しました。
4. 分散トレーニングアーキテクチャ: 本論文は、HPC 上での大規模並列化によりトレーニング時間が実世界データ収集時間と同等になるパイプラインを提示しており、トレーニングが壁時計時間を支配していた従来のベンチマークとは対照的です。

結果
単一の連続したトレーニング実行において、エージェントは実世界との相互作用から 6 分後に最初の周回を成功裏に完了しました。11 分時点では、エージェントはピーク性能に達し、高い一貫性で複数の周回を完了しました。

• 性能指標: 最終的なレーシングエージェントは、平均速度 0.5 m/s、最高速度 0.97 m/s を達成しました。これに対し、初期の AMPC ベースラインは平均速度 0.15 m/s、最高速度 0.33 m/s でした。
• 効率性: レーシングエージェントは、AMPC エージェントの 3 倍以上の周回数を完了しました。
• 挙動の違い: AMPC が姿勢変換にジャイロ効果に依存していたのに対し、学習されたエージェントは高速コーナーを処理するために制御されたスリップを利用し、トラックの中心線により密着して高い速度を維持することを可能にしました。

意義
本論文は、これらの結果が、実用的なロボティックシステムにおいてデータ効率と最終的な高パフォーマンスの間のギャップを埋める Infoprop Dyna の実用的な可能性を浮き彫りにしていると主張しています。シミュレータなしで数分以内に挑戦的な非完全駆動システムが攻撃的なレーシング挙動を学習できることを実証することで、この研究は実世界モデルベース強化学習のより広範な採用に向けた実現可能な道筋を示唆しています。著者らはこれを、より大規模なアリーナや任意のトラックレイアウトへのこれらの手法のスケーリング、ならびにロボティックシステム全体へのより広範な応用のためのモジュール型インターフェースの開発への一歩として位置付けています。