Maximum Likelihood Estimation for System Identification of Networks of Dynamical Systems

技術要約：ネットワーク化された動的システムのシステム同定における最尤推定

問題提起
本論文は、相互接続された動的システムの開ループ伝達関数を同定するという課題に取り組んでいる。動的ネットワークのシステム同定に関する既存の研究は、トポロジー推定、単一モジュールの同定、およびネットワーク全体のダイナミクス同定に分類されるが、本研究は第三のカテゴリー、すなわち与えられたトポロジーにおけるネットワーク全体のダイナミクスの同定に焦点を当てている。

既存の最尤（ML）手法（例：[33]）における主要な制限は、ネットワーク内のすべてのノード信号が測定されている必要があることである。多くの実用的なシナリオでは、測定は一部のノードに対してのみ利用可能である。このような部分観測問題に対する標準的なML定式化は、代数リッカチ方程式を含む予測子に依存することが多く、数値的に解くことが困難な非凸最適化問題につながる。著者らは、ネットワークが特定の識別可能性条件を満たしている場合に限り、すべてのネットワークノードが測定されていなくても、一貫性と効率性を備えたMLフレームワークを確立することを目指している。

手法
著者らは、ネットワーク内の個々のシステムを表すARMAXモデルのパラメータ $(a, b, c, \lambda)$ を同定するための直接的なMLアプローチを提案している。その手法は、以下の主要な理論的およびアルゴリズム的ステップを通じて進行する：

1. モデル定式化： ネットワークは、線形静的フィードバック構造を介して相互接続された単入力単出力（SISO）ARMAXシステムの集合としてモデル化される。閉ループシステムは、外生信号とノイズを取り込んだ状態空間形式で記述される。
2. 予測子とイノベーション形式： 著者らは、カルマン予測子を定義する閉ループシステムのイノベーション形式を導出する。彼らは、関連する代数リッカチ方程式の解が一意であり、かつ予測子が安定するための条件（仮定A2およびA3）を確立する。
3. 一貫性と効率性： 論文では、ML推定値が一貫しており（データ長 $N \to \infty$ において真のパラメータに収束する）、かつ効率的である（クラメール・ラオの下限を達成する）ことを証明している。この証明は、「信号の情報の豊かさ（informativity）」および「生成的ネットワーク識別可能性（generic network identifiability）」の概念に基づいている。著者らは、生成的ネットワーク識別可能性の下では開ループ伝達関数 $(G)$ は一貫して同定できる一方で、ノイズダイナミクス $(H)$ は、全ノードの完全な測定や特定のネットワークトポロジーなどの特定の構造的条件が満たされない限り、一般には同定できないことを示している。
4. 等価な最適化定式化： 本手法の重要な方法論的貢献は、ML問題の再定式化である。標準的な定式化は、代数リッカチ方程式を伴う制約付き最適化問題として扱う。著者らは、未測定の状態およびノイズ系列を潜在変数（欠損データ）として扱うことで、この問題を制約のない最適化問題へと等価に定式化できることを示している。このアプローチは [15] および [32] に着想を得ており、最適化プロセス中の明示的な予測子制約やリッカチ方程式ソルバーの必要性を排除し、より効率的な数値解法を容易にする。

主な貢献
論文では、その貢献を以下のようにまとめている：

1. 理論的保証： ネットワークにおけるMLシステム同定の一貫性と効率性のための条件を確立している。これは、単一システムに関する先行研究をネットワークへと一般化し、エルゴード的なケースに対する代替的な証明を提供している。
2. 制約なしの最適化： ML同定問題を制約なしの最適化問題として定式化している。これにより、予測子ベースのML定式化において通常見られる非凸制約に伴う数値的な困難を回避している。
3. 部分測定への対応能力： 生成的ネットワーク識別可能性を満たしている場合、すべてのネットワークノードが測定されていなくても、本手法は適用可能である。これは、全ノードの観測可能性を必要とする既存のML手法とは対照的である。

結果
著者らは、動的システムのネットワーク（[16] の特定のトポロジー）を用いた数値実験を用いて、提案手法を検証している。

• PEMとの比較： 提案されたML手法を予測誤差法（PEM）と比較している。両方の手法が適用可能な場合（例：特定の信号によって線形予測子定式化が可能である場合）、ML手法はPEMと同等の適合値（fit values）を達成する。
• 部分データに対する堅牢性： 一部の信号（例：$u_3$）のみが測定されている場合でも、ML手法はネットワークダイナミクスを正常に同定できる。これは、線形PEM定式化が過学習やバイアスなしにすべての伝達関数を同定できないシナリオである。
• 性能指標： ML手法は、PEMと比較して計算時間がわずかに長く、非収束率が若干高い（問題の非凸性に起因する）ものの、特にPEMが過学習を起こしやすいデータが限られたシナリオにおいて、パラメータ推定の平均二乗誤差（MSE）とバイアスが低いことを示している。
• 識別可能性： 結果は、全ネットワーク測定の欠如によりノイズダイナミクス $H$ が完全に復元できない場合でも、本手法が開ループ伝達関数 $G$ を一貫して回収できることを裏付けている。

意義
本論文の主要な意義は、全ノードの観測可能性という厳格な要求を緩和した、理論的に健全で数値的に扱いやすいネットワーク同定のためのMLフレームワークを提供することにあると主張している。明示的な予測子制約を回避するように問題を再定式化することで、著者らはMLをより広範なクラスのネットワーク同定問題に適用することを可能にした。本研究は、線形PEM手法は計算速度では優れている可能性があるものの、複雑なネットワークシナリオや短いデータシーケンスにおいてはバイアスや過学習に陥る可能性がある一方で、提案されたMLアプローチは、一般的な識別可能性条件下で一貫かつ効率的な推定を実現するための、より堅牢なソリューションを提供することを強調している。著者らは、一部の伝達関数が既知である場合にも、これらの結果が自明に拡張できることを述べている。