SAC-enhanced iterative learning control with two-layer barrier mapping for nonlinear MIMO systems with asymmetric input constraints

ロボット工学や自動化機械の世界には、一度だけ動く機械と、数千回と同じタスクを繰り返す機械との間には明確な違いが存在します。ロボットアームが自動車のフレームを溶接しなければならないときや、プリンターが完璧な精度でプラスチックの層を積み重ねなければならないとき、それは同じ動きを何度も繰り返します。エンジニアたちは、もし機械が最初の試行で小さなミスを犯したとしても、そのエラーから学習して次の試行では正しく行うことができるということを、古くから知っています。イテレーティブ・ラーニング（反復学習）として知られるこの手法は、あらゆる反復を一つの教訓として扱い、経路が滑らかで正確になるまでシステムの動きを洗練させていきます。しかし、現実世界の機械は完璧ではありません。機械は予測不可能な凹凸、荷重の変化、そしてモーターがどれほど強く押し出すことができるかという物理的な限界に直面します。もし機械がエラーを修正しようとして押しすぎる強さで動こうとすれば、物理的な壁に衝突し、自身や製品を損傷させてしまう可能性があります。課題は、環境が試行ごとに予測不能に変化する場合でも、機械自身の物理的な境界を厳格に守りながら、ミスから学習するように教えることにあります。

江南大学とゼレノヴァ・グラ大学の研究チームは、複雑な複数の可動部を持つ機械に対して、この特定の問題を解決するための新しい手法を開発しました。彼らは、伝統的な学習アルゴリズムと、ソフトアクター・クリティックと呼ばれる現代的な人工知能技術を組み合わせた制御システムを作り上げました。このハイブリッドシステムは、タスクを実行するたびに環境がわずかに変化し、かつ機械に不均一で厳格な力の制限があるという、2つの困難な条件に直面する機械のために設計されています。多くの現実世界のシナリオでは、機械はある程度の強さで前方に押すことは許されるものの、後ろに引かれる際の制限は異なる場合があったり、あるいは方向によって異なる制限を持っていたりすることがあります。研究者たちの目標は、学習プロセス自体が強すぎる動きを提案しようとしたとしても、安全限界を一度も破ることなく、機械が効果的に学習できるようにすることでした。

彼らの解決策の核心は、彼らが「二重層バリア」と呼ぶ2段階の安全チェックにあります。ある機械がタスクを終え、次の準備をしている場面を想像してください。まず、システムは前回の実行によるエラーに基づいて、改善された新しい動きの計画を計算します。この計画が将来の使用のために保存される前に、第一の安全層を通過します。この層はフィルターのように機能し、動きの記憶が安全な境界内に留まるようにし、実行不可能または危険なコマンドを機械が「記憶」してしまうのを防ぎます。次に、機械が実際にタスクを実行する際、人工知能コンポーネントからリアルタイムの追加調整が行われます。このAIはスマートな補償器として機能し、風や摩擦のような予期せぬ乱れを感知して、微細かつ迅速な修正を行います。しかし、これらの修正もまた、機械を限界へと押しやる可能性があります。そのため、信号はモーターに到達する直前に第二の安全層を通過します。この第二のフィルターは、AIの提案がいかに強力であっても、あるいは外部の乱れがいかに強くても、最終的に機械に送られるコマンドが物理的な能力を超えないように保証します。

この手法をテストするために、研究者たちは、連結された質量がバネとダンパーによって接続されている複雑な機械システム（これは連結された部品がどのように共に動くかを理解するための一般的なモデルです）をシミュレーションしました。彼らは、試行ごとに変化するランダムで非反復的な乱れを加えながら、システムに特定の経路を辿るようプログラムしました。彼らは、標準的な学習コントローラーや他の制約処理手法を含む、いくつかの既存の手法と比較を行いました。その結果、彼らの新しい手法は他の手法を大幅に上回る成果を示しました。最終的な試行セットにおいて、この新手法は、次に優れた代替手法と比較して、平均的な追従誤差を半分以上に減少させました。決定的なことに、他の手法が機械の安全限界を逸脱する動きを時折提案した一方で、この新システムはゼロ違反という完璧な記録を維持しました。保存された学習コマンドと、機械に加えられた実際の力は、実験全体を通して厳格に安全圏内に留まりました。

この研究には、システムの各部分がどのように成功に貢献したかについての詳細な分析も含まれています。特定のコンポーネントをオフにすることで、研究者たちは、第一の安全層が機械の記憶を安全に保つために不可欠であり、第二の層がAIによる調整が行われる際の実際の物理的動作を安全に保つために必要であることを証明しました。両方の層が連携して機能しなければ、システムは危険なコマンドを保存するリスクを負うか、あるいはルールを破ることなく必要な修正を行うことができなくなります。人工知能コンポーネントは、ランダムな乱れに対抗する修正を生成することに成功し、それらを効果的に打ち消しました。研究者たちは、システムの学習および適応能力が単なるシミュレーション上の産物ではなく、機械が予測可能な誤差範囲内に留まることを保証する厳密な数学的分析から導き出された堅牢な結果であることを発見しました。この研究は、複雑で変化する環境においても、物理的な境界を越えることなく、高度に適応し、かつ厳格に安全な機械を構築することが可能であることを示しています。