Bounded Linear Programs for Data-Driven Optimal Control via Moment-Matching

地図も、コンパスも、水平線さえも見通せないまま、嵐の中を船を操縦しようとしている場面を想像してみてください。あなたはただ、船体に打ち付ける波を見、顔に当たる風の変化を感じることしかできません。これは、自律走行車から電力網に至るまで、複雑な機械を制御しなければならない多くのエンジニアや科学者が直面している現実です。彼らは完璧な設計図に頼る代わりに、「実践による学習」をしなければなりません。つまり、システムが異なる入力に対してどのように反応するかを観察し、失敗のコストを記録し、徐々に機能する戦略を組み立てていくのです。数十年にわたり、「線形計画法」と呼ばれる強力な数学的ツールが、このような状況において最適な戦略を見つけ出す手段を提供してきました。しかし、このツールには悪名高い欠点があります。システムを記述する変数の数が増えるにつれて、計算が制御不能になり、答えが無限大に発散して使い物にならなくなることがよくあるのです。それは、重りがどんどん重くなり続け、梁が折れてしまう天秤でバランスを取ろうとするようなものです。

ETHチューリッヒの研究チームは、システムが複雑でデータが乏しい場合でも、その天秤のバランスを保つ方法を見出しました。彼らは、最適な制御方策への数学的な探索を導く新しい手法を開発し、解が有限かつ実用的なものになることを保証しました。「モーメント・マッチング（moment-matching）」と呼ばれる手法を用いることで、望ましい解の数学的な「形状」を観測されたデータのパターンに一致させ、コンピュータが安定した答えを見つけられるようにしました。彼らの研究は、システムの背後にある物理学を事前に知る必要はなく、限られたデータのみを使用して、高次元で非線形なシステム（多くの可動部品と複雑な挙動を持つ機械）のコントローラーを設計することが可能であることを示唆しています。このアプローチは、理論的な可能性を信頼できるエンジニアリングツールへと変え、現実世界における、よりスマートで適応性の高い制御システムの扉を開くものです。

研究者たちが取り組んだ核心的な課題は、これらの数学的計算が暴走するのを防ぐことの難しさです。最適制御の世界における目標は、エネルギー消費や移動時間などのコストを最小化するために、機械が各瞬間に何をすべきかを指示する一連のルールを見つけることです。システムが単純であれば、標準的な手法で問題なく動作します。しかし、位置、速度、加速度といった多くの次元が相互に作用する複雑なシステムの場合、起こりうるシナリオの数は爆発的に増加します。研究者たちは、データ駆動型の手法を用いてこれを解決しようとするこれまでの試みが、数学的問題が「非有界（unbounded）」になるために失敗することが多いと指摘しました。これは、コンピュータが無限に大きくなる解を見つけようとし、事実上、計算がクラッシュしてしまうことを意味します。初期のいくつかの手法では、人工的な制約や正則化を加えることでこれを修正しようとしましたが、これらは最終的な結果を歪め、コントローラーの性能を低下させてしまうことがありました。また、膨大な量のデータに依存する方法もありましたが、実験がコストのかかる、あるいは危険を伴う現実世界のシナリオでは、そのようなデータの収集は不可能なことが多いのです。

これを解決するために、著者らは、データそのものを使って探索の境界を定義する手法を導入しました。解がどこにあるべきかを推測する代わりに、彼らはシステムの動きから収集されたデータに含まれる特定のパターンに着目しました。彼らはデータを高次元空間における点の集合として扱い、「この点によって支持される探索の方向を見つけられるか？」という単純な問いを立てました。もし探索の方向が、データによって作られた可能性の「円錐（cone）」と一致していれば、計算が有限に留まることが保証されます。彼らは、観測されたデータに基づいて（つまり、コンピュータに何を優先させるかを伝える数学的な重みである）コストベクトルを慎重に選択することで、解が有界であることを保証できることを実証しました。これは、既知の地形に基づいて到達可能な目的地を設定することに似ています。決して、世界の端の外側にあるかもしれない地点を目指すことではありません。

研究者たちは、このアイデアを2つの全く異なるタイプのシステムでテストしました。第一に、予測可能で直線的な挙動を示す「線形時不変システム」です。彼らは、小さなセットアップから30個の異なる状態変数を持つものまで、複雑さを増していく形でこれらのシステムをシミュレートしました。これらのテストにおいて、彼らは固定された不変のコストベクトルを使用する標準的な手法と比較を行いました。その結果は驚くべきものでした。標準的な手法は状態変数が2つを超えるシステムでは解を見つけることができませんでしたが、彼らのモーメント・マッチング・アプローチは、わずか500個のデータポイントを用いても、30個の変数を持つシステムに対して有限の解を見つけることに成功しました。学習されたコントローラーはほぼ完璧であり、理論上の最善の結果から1パーセント以内の誤差に収まりました。

次に、彼らはこの手法をより困難な領域、すなわち「非線形機械システム」へと押し進めました。これらは、弾性結合、非線形重力、および速度の3乗に比例して増加する抗力などが作用する、力が単純な直線に従わない機械です。これらのシステムは、小さな変化が劇的に異なる挙動を引き起こすため、制御が非常に難しいことで知られています。研究者たちは、最大10次元のこれらのシステムをシミュレートし、標準的な手法が失敗する場面でも、彼らの手法が安定した解を見つけられることを確認しました。ある特定のシミュレーションでは、自然状態では不安定（介入なしでは崩壊してしまう状態）な4次元システムを制御しました。学習されたコントローラーは、システムを安定した平衡状態へと導き、バランスを維持することに成功しましたが、制御されていない同じシステムはそのまま逸脱していきました。この成功の鍵は、データの量を増やすことではなく、データの使い方の賢さにありました。データのモーメント（要するに、観測された挙動の平均値や広がり）を一致させることで、数学的問題を解ける状態に保つコスト関数を構築できたのです。

このアプローチの素晴らしさは、その効率性と、手元にあるデータへの依存度にあります。研究者たちは、この手法がシステムの複雑さに対してデータポイントの数が少ない場合でも機能することを示しました。補助的なサンプルポイントのプールを増やすことで、さらに大きなシステムに対しても解を見つける可能性が高まることが分かりました。これは、ボトルネックがデータの量ではなく、そのデータの「解釈」にあることを示唆しています。この手法は、システムが線形であることや、ダイナミクスが既知であることを必要としません。必要なのは、収集されたデータが問題の形状を定義するのに十分な情報を提供していることだけです。この手法の設定にかかる計算コストは低く、標準的なコンピュータで迅速に解ける一連の線形方程式のみで構成されています。

結局のところ、この研究は、高次元空間におけるデータ駆動型制御への実用的な道筋を提供しています。それは、複雑な機械を制御するために膨大なデータセットや完璧なモデルが必要であるという考え方から、この分野を脱却させるものです。適切な数学的枠組みがあれば、比較的少量のデータであっても、安定かつ効果的なコントローラーを導き出すのに十分であることを示しています。研究者たちは、現在のシミュレーションは有望ではあるものの、この手法は決定論的な多項式特徴を持つシステムに対して証明されているものであると注意深く述べています。彼らは、ランダム性がより大きな役割を果たす確率的システムや、さらに複雑な種類の関数へとこの技術を拡張できる未来を見据えています。しかし、現時点においても、彼らは「次元の呪い」が長年これらの計算を悩ませてきた事実に対し、それを制御可能であることを実証したのです。最適な制御方策の探索を、観測されたデータの現実にしっかりと根付かせることで、彼らは理論的な概念を、より優れた、より安全で、よりインテリジェントな機械を構築するためのツールへと変えたのです。