Constrained Performance Boosting Control for Nonlinear Systems

あなたはロボットにダンスを教えようとしていると想像してください。あなたは、ロボットに驚異的な華やかさとスピードで動いてほしいと考えていますが、同時に厳しいルールもあります。それは、「観客のつま先を踏んではいけない」「ステージの照明に躓いてはいけない」というものです。ロボット工学やエンジニアリングの世界において、これは「パフォーマンス（機械がいかに速く、上手く仕事をこなすか）」と「安全性（何も壊さず、誰も傷つけないこと）」の間の永遠の葛藤です。

長い間、エンジニアはニューラルネットワーク（人間の脳にヒントを得たコンピュータプログラム）を使って、ロボットに複雑な動きを教えてきました。これらのネットワークは、非常に柔軟なダンサーのようなもので、ほぼどんなルーティンでも学習できます。しかし、そこには落とし穴があります。あまりにも柔軟すぎるため、うっかりつま先を踏んでしまうことがないという保証が難しいのです。通常、エンジニアはこれに対処するために、学習に「ペナルティ」を加えることで解決しようとします。例えば、ロボットに対して「もしつま先を踏んだら、点数を減らすよ」と教えるようなものです。しかし、これはミスをした時にただ「痛っ！」と叫んで教えるようなものであり、多くの場合、ロボットが「動きを怖がりすぎて退屈な動きになる」か、あるいは「点数を稼ごうとしすぎて結局つま先を踏んでしまう」かのどちらかの結果を招きます。

大きな問いはこうです。「ロボットに、スター級のパフォーマンスと安全性のエキスパートとしての能力を、学習プロセスをめちゃくちゃにすることなく同時に教えることはできるのか？」これこそが、アイントホーフェン工科大学とスイスのEPFLの研究チームが解決しようとした課題です。彼らは、ロボットが安全であることを設計段階から保証しつつ、完璧に踊ることを学習できる、新しいニューラル制御の学習方法を開発しました。

「痛っ！」学習の問題点

かつて、研究者が制約（速度や位置など）を遵守しながらシステム（ロボットや化学プラントなど）を制御するニューラルネットワークを訓練したいと考えたとき、「パフォーマンス向上（Performance Boosting: PB）」と呼ばれる手法を用いていました。PBを、「あなたの体つき（構造）によってすでに安全であることは分かっているから、あとはもっと速くなれるようにしよう」と教えるコーチだと考えてください。このコーチは、ロボットの内部的な「重み（脳の設定）」を調整して、動きを改善していきます。

しかし、従来のPB法には盲点がありました。それは、「秒速0.5メートルを超えてはいけない」といった厳格な制限を扱う方法を知らなかったことです。これを解決するために、以前の試みでは単に「ソフトなペナルティ」を学習スコアに加えるという手法が取られました。もしロボットがルールを破ると、大きな「痛っ！（ペナルティスコア）」を与えます。このアプローチの問題は、それが「推測ゲーム」になってしまうことです。ペナルティが弱すぎれば、ロボットはルールを無視します。逆に強すぎれば、ロボットは臆病になり、動きが遅くなってしまいます。これは、子供に自転車の乗り方を教える際に、転ばせるか、あるいは壁に縛り付けるかのどちらかを選んでいるようなものです。どちらも、上手に自転車に乗れるようになるための助けにはなりません。

新しい解決策：ADMM-PB

この論文の著者たちは、「ADMM-PB」と呼ばれる巧妙な新しい学習ルーチンを提案しています。ルールを破った時にただ「痛っ！」と叫ぶのではなく、彼らは「交互方向マルチプライヤー法（Alternating Direction Method of Multipliers: ADMM）」という数学的な戦略を使用しています。

これがどのように機能するかを理解するために、2つの明確な役割を持つダンスのリハーサルを想像してみてください。

1. ダンサー（コントローラー）： これはロボットの脳です。その唯一の仕事は、ダンスを素晴らしく、かつスピーディーに見せることです。ルールについては気にせず、パフォーマンスだけに集中します。
2. セーフティ・コーチ（投影ステップ）： これは、ダンサーが動きを試した直後に行われる別個のステップです。コーチはダンサーの動きを見て、「よし、その動きは素晴らしかったが、つま先を踏んでしまったね。足を安全な場所へと優しく押し戻そう」と指示します。

ADMM-PB法では、これら2つの役割が交互に現れます。まず、「ダンサー」がパフォーマンスを向上させるために脳を更新します。次に、「セーフティ・コーチ」が介入し、ロボットの経路を数学的に「安全圏」へと投影（プロジェクション）し、ロボットの実際の脳の構造を変えることなく違反を修正します。そして、この行ったり来たりのプロセスを何度も繰り返します。

これがゲームチェンジャーである理由は、2つの目標を切り離しているからです。ロボットの脳は「設計段階から安全（safe-by-design）」な形状（つまり、どのような状況でも不安定になったり危険になったりしない形状）を維持します。そして、セーフティ・コーチがルールを処理します。これにより、ロボットはどれくらい怖がるべきかを推測する必要がなくなり、速く動きながら安全であることを学ぶことができるのです。

実験結果が示したこと

研究者たちは、この新しい手法が実際に機能するかどうかを確認するために、2つの異なるシナリオでテストを行いました。

ロボット・ランナー：
まず、2D平面上でターゲットに到達しようとする質点ロボットのシミュレーションを行い、円形の障害物を回避させる実験を行いました。彼らは、この新しいADMM-PB法を、従来の「ソフトなペナルティ」法と比較しました。

• 結果： 従来のメソッドは、まるでジェットコースターのようでした。「痛っ！」というペナルティをどれほど強く設定するかによって、ロボットは障害物に衝突するか、あるいは動きが遅くなりすぎるかのどちらかになりました。一方、新しいADMM-PB法は非常に一貫していました。学習はよりスムーズになり、決定的なことに、ルール違反が大幅に減少しました。ロボットは単に障害物を避けるだけでなく、臆病な亀になることもなく回避できました。研究者たちは、新手法はやや保守的（少し慎重）ではあるものの、従来の推測ゲーム的なアプローチよりも、スピードと安全性のバランスを取ることに非常に優れていることを見出しました。

3槽タンクシステム：
次に、より複雑なシステム、つまりパイプで接続された3つの液体タンクを用いたテストを行いました。ここでの目標は、液が溢れたり枯渇したりすることなく、流量を制御することです。

• 結果： ここでは、すでに従来の「ソフトなペナルティ」法を用いて訓練されたロボットからスタートしました。そして、ADMM-PBを「洗練（リファインメント）」のステップとして使用しました。これは、優れたダンサーに対して、仕上げの磨きをかけるようなものです。新しい手法は、ロボットが限界（具体的にはバルブの変化速度）を遵守する能力を、ロボットを遅くしたり不安定にしたりすることなく、約20%向上させました。これは、既存のコントローラーを取り上げ、ゼロから作り直すことなく、より安全にできることを証明しています。

まとめ

この論文は、宇宙のあらゆる問題を解決したと主張しているわけではありません。研究者たちは、彼らの手法がロボットの安定性（暴走しないこと）を保証する一方で、世界が非常に混沌としている場合、あらゆる可能な将来のシナリオにおいてルールを「決して破らない」ことを保証するものではない、と慎重に述べています。しかし、シミュレーションにおいて、新しい手法は従来の「ペナルティ」アプローチを一貫して上回りました。

重要なポイントは、この「ダンサーとコーチ」の分離（ADMM-PB）を用いることで、エンジニアは、ペナルティの重みの調整という煩わしい試行錯誤なしに、高いパフォーマンスと安全な制限の両方を備えたニューラル・コントローラーを訓練できるということです。これは、ロボットが単に賢いだけでなく、私たちの世界における信頼できる安全なパートナーとなるための、一歩となります。