⚡ electrical engineering

Learning to Tune Pure Pursuit in Autonomous Racing: Joint Lookahead and Steering-Gain Control with PPO

この論文は、強化学習（PPO）を用いて自動運転レーシングにおける純粋追跡（Pure Pursuit）のルック-ahead 距離と操舵ゲインをオンラインで最適に調整する手法を提案し、シミュレーションおよび実車実験において既存の手法やモデル予測制御（MPC）を上回る走行性能と追跡精度を実現したことを示しています。

原著者： Mohamed Elgouhary, Amr S. El-Wakeel

公開日 2026-02-23

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Mohamed Elgouhary, Amr S. El-Wakeel

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

🏎️ 物語：自動運転カーの「運転の悩み」

まず、自動運転カー（特にレーシングカー）が抱える大きな悩みから始めましょう。

カーブを曲がる時、車は「どのくらい先を見て、どのくらいハンドルを切るか」を決めなければなりません。
これを**「純粋追跡（Pure Pursuit）」という古典的なアルゴリズムでやっています。これは非常にシンプルで、まるで「前方の目標地点に向かって、一直線に走ろうとする」**ような感覚です。

しかし、ここには**「魔法のボタン」が 2 つ**あります。

先を見る距離（Lookahead）： 1 秒先を見るのか、5 秒先を見るのか？
ハンドルの利き具合（Steering Gain）： ハンドルを少しだけ切るのか、ガッツリ切るのか？

❌ 従来の方法の弱点

これまでの自動運転は、この 2 つのボタンを**「速度が速ければ距離を長く、遅ければ短く」**といった、人間が手作業で決めた「固定のルール」で操作していました。

問題点： 道路が変わったり、スピードが変わったりすると、この「固定ルール」が機能しなくなります。
- 先を見る距離が短すぎると、直線でも車が**「ジグザグに揺れて」**しまいます（蛇行）。
- 長すぎると、カーブで**「曲がりきれずに壁に激突」**してしまいます。
- まるで、**「山道でも高速道路でも、同じギアで走ろうとする」**ようなもので、効率が悪いのです。

💡 解決策：AI に「運転のコツ」を教える

この論文の研究者たちは、**「ルールを人間が作るのではなく、AI（強化学習）に自分で学ばせよう」**と考えました。

彼らが開発したのは、**「PPO（プロキシマル・ポリシー・オプティマイゼーション）」**という AI 学習アルゴリズムを使ったシステムです。

🧠 AI 運転手の役割

この AI は、車の「現在の速度」と「カーブのきつさ」を見て、**「今、この瞬間に最適な『先を見る距離』と『ハンドルの利き具合』はどれくらいか？」**を瞬時に判断します。

例え話：
- 従来の車： 「速度 100km/h なら、先を 50m 見て、ハンドルを 30% 切る」という**「マニュアル本」**に従って運転する新人ドライバー。
- この論文の車： 経験豊富な**「ベテランレーサー」**。
  - 急カーブが近づいたら、「あ、ここは先を短く見て、ハンドルをガッツリ切らないと！」と瞬時に判断。
  - 直線になったら、「あ、先を長く見て、ハンドルは優しく！」と判断。
  - しかも、このベテランは**「マニュアル本（ルール）」を持っていません。** 何万回も練習して、**「体で覚えたコツ」**だけで運転しています。

🛠️ どうやって実現したのか？（仕組みの解説）

シミュレーターでの修行：
まず、コンピューターの中にある「F1TENTH」という小さなレーシングカーのシミュレーターで、AI に何万回も練習させました。
- 練習方法： 速度を 30% 上げるなど、あえて難しい条件で練習させました。そうすれば、AI は「速度が変わっても通用するコツ」を学べるからです。
2 つのボタンを同時に調整：
多くの研究は「先を見る距離」だけを変えていましたが、この論文は**「先を見る距離」と「ハンドルの利き具合」の 2 つを同時に、AI が自由に調整**させました。
- 結果： 2 つをセットで調整する方が、1 つだけ変えるよりもはるかに速く、滑らかに走れることが証明されました。
リアルな車でのテスト：
シミュレーターで完璧になった AI を、実際の小さなレーシングカー（F1TENTH）に搭載してテストしました。
- 驚きの結果： 人間が作った「固定ルール」や、複雑な数式を使う「モデル予測制御（MPC）」という高級なシステムよりも、「シンプルに AI が調整した Pure Pursuit」の方が速く、安定して走りました。

🌟 この研究のすごいところ（まとめ）

シンプルさを保ちながら賢くなった：
複雑な AI 制御全体を車に任せるのではなく、「Pure Pursuit」というシンプルで分かりやすい仕組みの**「パラメータ（設定値）」だけ**を AI に任せる形にしました。
- 例え： 車のエンジン自体は変えずに、「ECU（電子制御ユニット）のセッティング」を AI が自動で行うようなイメージです。だから、計算が軽く、リアルタイムで動きます。
場所を選ばない（ゼロショット学習）：
「ホッケンハイム」というコースで練習した AI を、一度も見たことのない「モントリオール」や「ヤス・マリーナ」というコースに連れて行っても、**「あ、ここはカーブがきついから、先を見る距離を短くしよう」**と即座に適応できました。
- 例え： 東京で運転免許を取った人が、大阪やニューヨークに行っても、**「ルールを覚え直すことなく、その土地の交通事情に合わせて運転できる」**ようなものです。
安全なバックアップ：
もし AI がバグって変な指令を出したら、すぐに「人間が作った安全なルール（先生）」に切り替わる仕組みも入っています。

🎯 結論

この論文は、**「自動運転の未来は、複雑な AI 全体を黒箱にするのではなく、既存のシンプルで分かりやすい技術（Pure Pursuit）に、AI が『調整のコツ』を教えることで、さらに高性能化できる」**ことを示しました。

まるで、**「ベテランの運転手（AI）が、シンプルなマニュアル車（Pure Pursuit）を、最高のパフォーマンスで操る」**ようなイメージです。これにより、より安全で、より速い自動運転カーが実現できる可能性があります。

論文技術概要：自律レーシングにおける純粋追跡（Pure Pursuit）の学習によるチューニング

タイトル: Learning to Tune Pure Pursuit in Autonomous Racing: Joint Lookahead and Steering-Gain Control with PPO
著者: Mohamed Elgouhary, Amr S. El-Wakeel (West Virginia University)

1. 研究の背景と課題

自律レーシングにおいて、純粋追跡（Pure Pursuit: PP） はその計算効率と幾何学的な明確さから、経路追跡アルゴリズムとして広く採用されています。しかし、PP の性能は**「先見距離（Lookahead distance, $L_d$ ）」と「操舵ゲイン（Steering gain, $g$ ）」**という 2 つの主要パラメータの選択に極めて敏感です。

課題:
- $L_d$ が小さすぎると直線で振動し、大きすぎるとカーブでアンダーステア（曲がりきれない）を起こす。
- 従来の速度や曲率に基づくルールベースの適応制御は、特定のトラックや速度プロファイルに依存しやすく、異なる環境への転移（Generalization）が困難である。
- モデル予測制御（MPC）は高性能だが、モデル構築とオンライン最適化の負荷が高く、計算リソースが限られるプラットフォームでは実装が難しい。

本研究は、PP の幾何学的な制御則そのものを維持しつつ、RL（強化学習）を用いてパラメータをオンラインで最適化し、シンプルさと高性能を両立させることを目指しています。

2. 提案手法（Methodology）

2.1 全体アーキテクチャ

提案手法は、古典的な Pure Pursuit コントローラーと、近接政策最適化（PPO: Proximal Policy Optimization） を用いた強化学習エージェントを組み合わせるハイブリッドアプローチです。

入力（状態 $s_t$ ）:
- 車両速度 $v_t$
- 先見距離に応じた曲率タップ（近・中・遠）： $\kappa_{0,t}, \kappa_{1,t}, \kappa_{2,t}$
- 曲率変化量： $\Delta\kappa_t$
出力（行動 $a_t$ ）:
- 2 次元連続ベクトル：先見距離 $L_{t+1}$ と操舵ゲイン $g_{t+1}$
- 出力は ROS トピックを介して PP コントローラーに渡され、1 次遅れフィルタで平滑化された後に適用されます。
制御則:
- 操舵角 $\gamma$ は、 $L_d$ と $g$ を用いて $\gamma = g \cdot \frac{2y'}{L_d^2}$ として計算されます（ $y'$ は目標点までの横方向誤差）。
- $L_d$ は目標点の位置を決定し、 $g$ はその幾何学から導かれる曲率命令の倍率として機能します。両者は非冗長な役割を持ちます。

2.2 強化学習の設計

アルゴリズム: PPO (Stable-Baselines3 実装)。
報酬関数 ( $R_t$ ):
- 速度の最大化、教師信号（速度・曲率に基づく理想的な $L_d, g$ ）との一致、動作の滑らかさ、カーブ進入前の先見距離短縮ボーナス、衝突・低速ペナルティなどを組み合わせた複合的な設計。
トレーニング環境:
- F1TENTH Gym (ROS 2 統合) 上でシミュレーション。
- 訓練はホッケンハイムサーキットで行い、速度プロファイルを +30% スケールして難易度を上げ、過学習を防ぎつつ一般化能力を強化。
- 評価は未見のトラック（モントリオール、ヤス・マリーナ）で行う「ゼロショット」転移評価を実施。

2.3 システム実装

プラットフォーム: F1TENTH 1/10 スケール車 (LiDAR, IMU, VESC ドライブ)。
ローカリゼーション: モンテカルロ局所化 (MCL)。
参照経路: 最小曲率経路最適化アルゴリズムで生成されたグローバル経路。
セーフティ: RL のコマンドが古くなった場合、線形ルールに基づく「ティーチャー（フォールバック）」に自動切り替わる仕組みを備えています。

3. 主要な貢献 (Key Contributions)

解釈性と適応性の両立: PP の幾何学的制御則を維持しつつ、 $L_d$ と $g$ を同時にオンライン調整する RL フレームワークを提案。
実践的なトレーニングレシピ: 報酬設計、ハイパーパラメータ調整、安定化技術（KL 制約、勾配クリッピング等）を含む、曲率と速度を考慮したパラメータ調整ポリシーを学習する手法を確立。
シミュレーションから実車への転移: ROS 2 スタック上で F1TENTH 車を用いた実証実験を行い、シミュレーションで学習したポリシーを微調整なしで実車に適用可能であることを示した。
包括的な評価: 固定パラメータ PP、速度スケジュール型適応 PP、 $L_d$ みの RL 版、および MPC トラッカーとの比較を行い、ラップタイム、追跡精度、操舵の滑らかさにおいて優位性を立証。

4. 実験結果 (Results)

4.1 シミュレーション結果（モントリオール、ヤス・マリーナ）

ラップタイム: 提案手法（Joint $L_d, g$ $L_{d}, g$ ）は、すべてのベースライン（固定 PP、適応 PP、MPC）を上回る最短ラップタイムを記録しました。
- 例（モントリオール）: 提案手法 32.85 秒 vs 適応 PP 34.25 秒 vs MPC 48.06 秒。
一般化能力: 訓練データ（ホッケンハイム）とは異なるトラックでも、ゼロショットで高い性能を発揮しました。
アブレーション: $L_d$ だけでなく $g$ も学習する「Joint」版が、 $L_d$ みの版よりも安定性と速度の面で優れており、両パラメータの同時調整の重要性が確認されました。

4.2 実車実験結果

条件: 安全のため最高速度 6 m/s に制限された同一の速度プロファイルを使用。
結果: 提案手法（Joint $L_d, g$ ）が平均 9.46 秒で最速となり、MPC トラッカー（15.42 秒）や固定 PP（9.85 秒）を凌駕しました。
挙動: 学習されたポリシーは、カーブでは先見距離を短くし、直線では長くするなどの直感的な調整を行い、滑らかな軌道追跡を実現しました。
セーフティ: 評価走行中、フォールバックとなる「ティーチャー」モードへの切り替えは発生しませんでした（RL ポリシーが常に有効）。

5. 意義と結論

本研究は、深層強化学習が古典的な幾何学ベースの制御（Pure Pursuit）を置き換えるのではなく、パラメータチューニングを補完することで、解釈性を保ちながら適応性とロバスト性を大幅に向上させることを実証しました。

実用性: 複雑な MPC のような計算負荷をかけずに、軽量な ROS 2 インターフェースで実装可能。
転移性: シミュレーションで学習したポリシーが、実車環境でも微調整なしで機能することを確認。
将来展望: 極端なダイナミクスや不完全な参照経路に対するロバスト性のさらなる向上が今後の課題ですが、自律レーシングにおける「学習による制御パラメータ調整」の有効性を示す重要なステップとなりました。

このアプローチは、自律走行システムにおいて、透明性のある古典制御とデータ駆動型の適応性を融合させる新しいパラダイムを提供しています。