車がただ走るのではなく、踊るような世界を想像してみてください。フォーミュラ1というハイステークスな舞台では、ドライバーはインコースをキープし、できるだけ速く走るためにタイヤを路面に吸い付かせます。しかし、ラリーレースでは、緩い砂利や雪の上で、最高のドライバーたちはある奇妙なことをします。それは、意図的にグリップを失わせることです。彼らは氷上のフィギュアスケーターのように、車を横滑りさせながらコーナーを駆け抜けます。これは「ドリフト」と呼ばれます。危険に聞こえますし、実際そうですが、なぜなら車が自分自身の物理法則と戦っているからです。しかし、正しく行われれば、それは実際に車をより速く旋回させ、レースをより早く終わらせる助けとなります。
コンピュータにこれをさせることは、エンジニアにとって悪夢です。通常、ロボットへの運転指導は、何をすべきかを正確に示したり、厳格なルールのセットを与えたりすることで行われます。しかし、ドリフトは混沌としています。車のタイヤは滑り、ステアリングの感覚は奇妙になり、物理現象は極めて予測不可能です。単にコンピュータに「車をスライドさせろ」と指示するだけでは、スピンして衝突してしまうかもしれません。また、あらゆる可能なスライドに対して完璧な数式を書こうとしても、現実の世界は複雑すぎるため、コンピュータは混乱してしまいます。そこで、科学者たちは別のトリック、すなわち「強化学習」に目を向けました。これは、ビデオゲームのキャラクターに何千回もゲームをプレイさせ、何度も死ぬことを繰り返させながら、最終的に勝ち方を覚えさせるようなものです。問題は、ゼロからロボットにドリフトを教えることは、幼児にトリプルバックフリップを教えるようなもので、最初はたいてい顔から転んでしまうということです。
本論文は、「トラック誘導型階層強化学習（Track-Guided Hierarchical Reinforcement Learning）」と呼ばれる手法を用いて、自動運転車にドリフトしてレースに勝つ方法を教える、巧妙な新しい手法を紹介しています。著者であるSheng Zhao氏とそのチームは、ロボットをいきなり深い淵に投げ込むのではなく、ビデオゲームのレベルのように、段階的に教えるべきだと気づきました。まず、彼らは非常に正確な数学モデルを使用して、たとえその経路が激しいスライドを伴うものであっても、トラック周囲の最も速い完璧な経路を算出しました。彼らはこれを「最小ラップタイム（Minimum-Lap-Time）」プランと呼んでいます。このプランは、ロボットにとってのリファレンス（参照）や地図として機能します。
次に、彼らはロボットに学習させました。しかし、単に「行け」と言ったわけではありません。彼らは「トラック誘導型」のアプローチを用いました。第一段階では、ロボットは直線上で、クラッシュせずに車をスライドさせる方法を学びます。第二段階では、鋭いヘアピンカーブをドリフトしながら曲がることを学びます。最後に第三段階で、それらすべてをフルレーストラック上で組み合わせ、どれだけ速く走れるかを試します。ロボットは、経路に沿って走行すること、適切な角度でスライドすること、そして素早く完走することに対してポイントを獲得します。彼らのコンピュータ・シミュレーションによる結果は、このステップ・バイ・ステップの手法が、一度にすべてを学ぼうとするよりもはるかに効果的であることを示しています。ロボットは効果的にドリフトすることを学習し、スライドしながらも車の安定性を維持し、テストした他のAI手法よりも大幅に速いラップタイムを記録しました。これらはすべてコンピュータ・シミュレーション内でのテストであり、まだ実車の実走行トラックで行われたわけではありませんが、適切なトレーニング・ガイドがあれば、ロボットも間もなくプロのラリードライバーのようにコーナーをドリフトして駆け抜けることができるようになることを示唆しています。
技術要約：最小ラップタイム計画を用いた自律走行車両ドリフトのためのトラック誘導型階層強化学習
問題提起
自律走行車両のドリフトは、高度に非線形なドリフト力学の安定化と、ラップタイムの厳格な最小化という、複雑な二重目的の制御課題を提示する。タイヤのグリップ限界内でレーシングラインを最適化するフォーミュラ1とは異なり、低摩擦路や低粘着路におけるラリーレースでは、意図的にトラクションを外してドリフトすることが求められる場合が多い。この操縦は、車両の向きをコーナー出口に向けて調整することでラップタイムを短縮させるが、タイヤおよびシャシーの強い非線形性に起因する重大な制御の困難さを伴う。既存の強化学習（RL）アプローチは、主に2つの障壁に直面している。(1) アクションレベルの教師データとして、コストのかかる車両固有のエキスパートによるデモンストレーションデータに大きく依存していること、(2) 学習の初期段階において、エージェントを物理的に意味のあるドリフト戦略へと導く構造化されたメカニズムが欠如しており、結果として最適ではない、あるいは安全でない方策を招きやすいことである。
手法
本論文では、**最小ラップタイム（MLT）ドリフト計画およびトラック誘導型強化学習（TgRL）**フレームワークを提案する。このアプローチは、エキスパートデータの不足と極限的な力学を直接学習することの難しさを解決するために、モデルベースの軌道プランナーと深層強化学習コントローラーを統合したものである。
最小ラップタイム（MLT）ドリフト計画:
- 高精度な非線形3自由度（3-DoF）車両モデルと、複合スリップ条件をシミュレートするためのマジックフォーミュラ（Magic Formula）タイヤモデルを用いた最適制御問題（OCP）を定式化する。
- 目的は、車両の位置、姿勢、横滑り角、およびヨーレートを含む、動的に実行可能でアグレッシブな参照軌道を生成することでラップタイムを最小化することである。
- 制約条件には、道路境界、状態制限（例：横滑り角 β∈[−π/6,π/6]）、および制御入力の制限が含まれる。
- 得られた軌道は、RLコントローラーのための高品質な事前データ（参照パス）として機能し、人間によるエキスパートデモンストレーションの必要性を排除する。
トラック誘導型強化学習（TgRL）:
- アルゴリズム: 著者らは、連続的な制御に適したオフポリシーのエントロピー正則化アクタークリティック手法である、ソフトアクター・クリティック（SAC）アルゴリズムを採用している。
- カリキュラム学習: 大きな横滑り角を伴う極限的な力学を直接学習する困難さを克服するため、進行的な3段階のトレーニング戦略を実装している。
- ステージ1（基本方策）: 単純化された直線コースでのトレーニングを行い、基本的なドリフト制御（タイヤのスリップ誘発と大きな横滑り角の管理）を学習する。
- ステージ2（コーナー方策）： ヘアピンカーブでのトレーニングを行い、ドリフトの開始、スリップ角の維持、およびスムーズな脱出に焦点を当てたドリフトコーナリングを学習する。
- ステージ3（レース方策）: 完全なクローズド・レーシングサーキット（Lkarting）でのトレーニングを行い、安定性を維持しながらラップタイムを最小化するためのスキルを統合する。
- 状態空間: 横方向／ヘディング／横滑り誤差、速度誤差、および将来の参照軌道上の点を含む。
- アクション空間: 連続的なステアリング角とスロットル入力であり、高速走行時のロールオーバーを防ぐために適応型アクションスムージング（AAS）戦略によって平滑化される。
- 報酬関数: 多目的報酬は以下を組み合わせる：
- 即時報酬: 横方向偏差、ヘディング、横滑り、および速度の誤差をペナルティとして課す。速度重み付き項により高速コーナリングを促進する。
- 終了報酬: エピソード終了時に発行される離散的な報酬。正の報酬はMLT計画の最適値への近さに基づいてスケールされ、負の報酬は衝突またはロールオーバーに対して、生存時間に反比例して適用される。
主な貢献
- 新規フレームワーク: 本論文は、最適制御ベースの軌道生成と深層RLをシームレスに統合した階層的計画・制御フレームワーク（MLT-TgRL）を導入し、エキスパートデータなしで自律エージェントが極限的なドリフト操作を実行できるようにした。
- MLTドリフト計画: 強力な事前データとしてアグレッシブで動的に実行可能なドリフト軌道を生成するために、特定のOCP定式化が開発され、高コストな人間によるデモンストレーションを効果的に代替している。
- 進行的なトレーニング手法: エージェントをステップバイステップ（基本ドリフト制御からコーナリング、そしてフルレースへ）で訓練する革新的なカリキュラム学習を導入した。これはトラック情報によって導かれ、即時追従項とMLT由来の終了報酬を組み合わせた特殊な報酬関数によって強化される。
結果
本フレームワークは、Lkarting、Willow Springs、Nelson Ledgesの3つのトラックを用いてCARLAシミュレータで検証された。
- ベースラインとの比較: 提案されたMLT+TgRLコントローラーは、標準的なSACベースラインおよび従来のRLベースのドリフトコントローラー（Caiら）と比較して、一貫して優れたラップタイムを達成した。Lkartingにおいて、MLT+TgRLフレームワークは平均ラップタイム45.4秒を達成し、Cai_DRIFTベースライン（51.2秒）を約**11%**上回った。
- 計画との比較: MLTプランナーは理論的な下限値（Lkartingにおいて33.1秒）を達成したが、TgRLコントローラーは、最小ラップタイム37.2秒、平均45.4秒という競争力のある結果を達成し、リアルタイム制御の設定における最適軌道の近似能力を示した。
- 安定性と力学: エージェントは大きな横滑り角を維持することに成功し（Lkartingにおいて、人間による運転の平均10.4°に対し、平均15.9°、ベースラインの16.3°）、ドリフト状態を維持する能力を確認した。また、コントローラーは低いヨー角追従誤差と最小限の横方向オフセット変動を維持した。
- アブレーション研究: MLTのガイダンスを除去した場合（センターライン参照を使用した場合）や、進行的なカリキュラムを除去した場合、性能は著しく低下し、モデルベースの事前情報と段階的なトレーニングアプローチの両方の必要性が確認された。終了報酬と適応型アクションスムージングの導入は、ラップタイムの一貫性とドリフト精度をさらに向上させた。
意義と主張
本論文の主な意義は、理論的に最適な計画と実用的なドリフト実行の間の溝を埋めることにある。モデルベースのプランナーによって動的に実行可能な参照を提供し、RLコントローラーによって未モデル化の力学やアクチュエーション遅延に適応させることで、本手法は安定性と再現性を向上させつつ、アグレッシブなドリフト操作を実現している。本研究は、構造化されたカリキュラムに基づく訓練が、最適軌道によって導かれることで、極限的な車両力学の学習に固有のデータ不足と探索の課題を克服できることを実証し、強化学習を現実世界の自律走行レースシステムに活用するための基礎を築いた。著者らは、現在のアプローチは効果的であるが、今後の課題として、異なる車両モデルや路面状況への汎用化、およびハードウェア・イン・ザ・ループ（HIL）実験の実装に焦点を当てるとしている。
毎週最高の computer science 論文をお届け。
スタンフォード、ケンブリッジ、フランス科学アカデミーの研究者に信頼されています。
受信トレイを確認して登録を完了してください。
問題が発生しました。もう一度お試しください。
スパムなし、いつでも解除可能。
週刊ダイジェスト — 最新の研究をわかりやすく。登録