Temporally smoothed incremental model-based heuristic dynamic programming for command-filtered cascaded online learning flight control

あなたはロボットに飛行機の操縦を教えていると想像してください。風向きが変わったり、燃料の重さが変化したり、高度によって空気が薄くなったりするため、硬直した、あらかじめ書かれたマニュアルを与えたいとは思いません。代わりに、ロボットが仕事を通じて学び、進むにつれて完璧な動きを見つけ出すようにしたいのです。これが「近似動的計画法（ADP）」の世界です。ADPを、試行錯誤を通じて学び、そのたびに自分の脳（ニューラルネットワーク）をより良く調整していく、非常に賢い学生だと考えてください。それは、ビデオゲームのキャラクターが、プレイするほどに障害物を避けるのが上手くなっていくようなものですが、これは飛行機のような、実際には重厚な機械に対するものです。

しかし、落とし穴があります。これらの学習するロボットは、興奮したり混乱したりすると、痙攣（けいれん）し始めることがあります。鳥を見ようとして首を急に動かすときのように、コントロールスティックを激しく前後に動かしてしまうかもしれません。現実の世界では、これは危険です。それは機体を揺らし、燃料を浪費し、翼を動かす機械部品を破損させてしまいます。科学者たちの大きな疑問は、「いかにして、ロボットに素早く学習させつつ、同時にジッター（小刻みな震え）を生じさせないように教えるか？」ということです。私たちは、ロボットに対して「ねえ、滑らかに動いて。あの鳥を見るために首を急に動かさないで」と伝える方法を必要としています。

この論文は、飛行制御におけるまさにその問題に取り組んでいます。著者であるYifei Li氏とErik-Jan van Kampen博士は、これらの飛行ロボットが、落ち着いて安定して飛べるように訓練するための新しい方法を提案しています。彼らは「時間的に平滑化された増分モデルベース・ヒューリスティック動的計画法（TS-IHDP）」と呼ばれる手法を紹介しています。平易な言葉で言えば、これは、機体がバラバラにならないようにしながら、特定の迎角（機首がどれだけ高く向いているか）を追跡する方法を教えるための、凝ったレシピです。

研究者たちは、単にロボットに「滑らかになれ」と言うだけでは不十分であることを発見しました。重要なのは、いかに「賢く」震えに対して罰を与えるかです。彼らは、厳格かつ公平なコーチのように機能するシステムを開発しました。もしロボットの制御コマンドが激しく動き始めたら、コーチは自動的にルールを厳しくします。もしロボットが硬すぎて目標を逃しているなら、コーチはルールを緩めます。彼らはまた、ロボットの脳に対する「ローパスフィルタ」も追加しました。これは、高周波の神経質な信号が翼に届く前に滑らかにする、ショックアブソーバーのようなものです。

決定的なことに、彼らはすべてを行う一つの巨大な脳を作ったのではありません。代わりに、彼らは「カスケード型」の制御構造を設計しました。これは、二人一組のチームのようなものです。第一の人物である「アウターループ・エージェント」は、ミッション・コマンダー（任務指揮官）として機能します。その唯一の仕事は、飛行機の機首が向くべき最適な速度と方向（ピッチレート）を見極めることです。これでは翼には直接触れません。第二の人物である「インナーループ・エージェント」は、パイロットとして機能します。彼は指揮官の命令を聞き、機首をその方向に動かすために、実際に制御面（翼や尾翼）を動かします。このチームワークは極めて重要です。なぜなら、これによりロボットが混乱するのを防ぐからです。もし一つの巨大な脳が一度に両方の仕事をしようとすれば、負荷がかかりすぎて、痙攣し始めてしまうでしょう。タスクを分割することで、「指揮官」は全体像に集中でき、「パイロット」は滑らかな実行に集中できるため、システム全体の安定性が大幅に向上します。

コンピュータ・シミュレーションを通じて、彼らの新しい手法が機能することを示しました。彼らのロボットは以前よりもずっと滑らかに飛行することを学習し、通常これらのシステムで発生する激しい揺れを回避しました。彼らは目標をより正確に追跡し、自分自身の制御面を壊すこともありませんでした。論文は、この「滑らかさのコーチ」と「ショックアブソーバー付きのフィルタ」を組み合わせることで、データの駆動による飛行制御を、飛行機の物理特性が多少不確実であっても、より安全で信頼性の高いものにできることを示唆しています。

ジリジリとしたパイロットの物語

この仕組みがどのように機能するか、物語に飛び込んでみましょう。あなたがオウムに特定の歌を模倣させようとしていると想像してください。もしあなたが単に「真似して」と言うだけなら、オウムは興奮して、音符を速すぎたり、大きすぎたり、あるいは奇妙な間を置いて叫んでしまうかもしれません。飛行制御の世界では、この「オウム」はコンピュータの脳（ニューラルネットワーク）であり、「歌」は飛行経路です。

問題は、オウムが間違いを犯したとき、しばしば過剰に修正（オーバーコレクト）してしまうことです。激しく叫んだ後、今度は反対側に激しく修正しようとして、ジリジリとした混乱状態を作り出します。論文の中で、著者はこれを「振動的な制御動作」と呼んでいます。それは、車道を走行中に、車線を維持しようとしてハンドルを左へ、右へ、また左へと急に切っているようなものです。見た目は滑稽ですが、恐ろしいものであり、車を摩耗させます。

これを解決するために、著者らは新しい訓練システムを構築しました。まず、「増分モデル」と呼ばれるものを使用しました。これは、局所的な地図のようなものです。地球全体（飛行機の物理特性のすべて）を暗記しようとするのではなく、ロボットは今まさに目の前にある小さな地面の区画だけを見ます。「もし今、スティックをほんの少し右に押したら、次に何が起こるか？」と問いかけるのです。これは、旅全体のルートではなく、次の1インチの路面に集中して自転車の乗り方を学ぶようなもので、学習をより速く、より容易にします。

しかし、局所的な地図があったとしても、ロボットは依然としてジリジリと動く可能性があります。そこで、著者らは「時間的平滑化ペナルティ」を追加しました。あなたがオウムのトレーナーだと想像してください。あなたにはルールがあります。「もし音符の間で声の大きさを急激に変えたら、減点する」というルールです。コンピュータ内では、これは数学的なペナルティとなります。ロボットの制御信号が、ある瞬間から次の瞬間にかけてあまりにも速く変化するたびに、システムは「罰金」を科します。ロボットは、滑らかであることが良い成績を得る唯一の道であることを学習します。

ただし、難しい点がありました。罰金をどの程度にするか、という点です。もし罰金が小さすぎれば、オウムは叫び続けます。もし罰金が大きすぎれば、オウムは怖がって歌うのを止めてしまい、目標を逃してしまいます。著者らは、これを「プライマル・デュアル（原始・双対）」アプローチで解決しました。これは、オウムを見守り、リアルタイムで罰金を調整する賢いトレーナーがいるようなものです。もしオウムがまだジリジリしているなら、トレーナーは罰金を増やします。もしオウムが遅すぎて目標を逃しているなら、トレーナーは罰金を下げます。システムは、人間が推測する必要なく、自動的に完璧なバランスを見つけ出します。

最後に、「ローパスフィルタ」を追加しました。これは、ロボットの脳に対するノイズキャンセリング・ヘッドホンのようなものです。たとえロボットの脳が少しジリジリとした信号を送ったとしても、フィルターが翼に届く前にそれを滑らかにします。これは、デコボコ道にショックアブソーバーを取り付けるようなものです。車は依然として動きますが、乗り心地はずっと滑らかになります。

彼らが発見したこと

著者らは、これらのアイデアを飛行車両のコンピュータ・シミュレーションを通して検証しました。彼らは、この新しい「滑らかな」ロボットを、古い手法と比較テストしました。

結果は明白でした。この特別な滑らかさの訓練を持たない古い手法では、ロボットがジリジリと震えすぎるか、あるいは過剰修正のループに陥ってしまうかのどちらかでした。彼らは制御面を激しく揺らし、シミュレーション上では、車のエンジンが壊れるまで回転し続けるような、物理的な限界に達していることが示されました。

対照的に、この新しいTS-IHDP法は、滑らかに飛ぶことを学習するロボットを生み出しました。「ピッチレート」（機首が上下に動く速さ）と「制御面の偏向」（翼がどれだけ傾くか）は、はるかに穏やかでした。ロボットは単に震えを止めただけでなく、実際に、より良く飛行しました。目標となる迎角をより正確に追跡し、無駄な振動にエネルギーを浪費することもありませんでした。

興味深い発見の一つは、「賢いトレーナー」（プライマル・デュアル法）に関するものでした。著者らは、もしルールを厳格に設定しすぎると、ロボットが慎重になりすぎると発見しました。目標に追いつくための動きが遅くなり、追跡精度が低下してしまうのです。しかし、トレーナーにルールを自動調整させた場合、ロボットは滑らかでありながらも応答性の高い、絶妙なポイントを見つけ出しました。

彼らはまた、「風」が変わった場合（飛行機の物理特性の不確実性をシミュレートしたもの）に何が起こるかもテストしました。彼らの新しい手法、特にショックアブソーバー付きのフィルタで訓練されたロボットは、他の手法よりもこれらの驚きに対してはるかにうまく対処できました。ゲームのルールがわずかに変わっても、コースを維持することができたのです。

結論

この論文は、あらゆる飛行制御の問題を永遠に解決したと主張しているわけではありません。結局のところ、これはシミュレーションであり、実際の空を飛ぶ飛行機ではないからです。しかし、これは非常に有望な道筋を示唆しています。学習するロボットに対し、正確さと同じくらい「滑らかさ」を重視するように教え、行動を自動的に調整する方法を与えることで、データ駆動型の飛行制御をより安全で信頼できるものにできるのです。

著者らは、素早く学習するロボットと、滑らかに飛ぶロボットのどちらか一方を選ぶ必要はないことを示しました。局所的な地図、自動的なルール調整、そしてショックアブソーバーを適切に組み合わせれば、その両方を手に入れることができます。これは、自律飛行の未来を、ジリジリとしたビデオゲームのキャラクターのようなものではなく、優雅で安定した鳥のようなものにするための、一歩となります。