Maximum Likelihood Estimation for System Identification of Networks of Dynamical Systems

기술 요약: 네트워크 동적 시스템 식별을 위한 최대 우도 추정(Maximum Likelihood Estimation)

문제 정의
본 논문은 상호 연결된 동적 시스템 네트워크의 개루프 전달 함수(open-loop transfer functions)를 식별하는 과제를 다룬다. 기존의 동적 네트워크 시스템 식별 연구는 위상(topology) 추정, 단일 모듈 식별, 그리고 전체 네트워크 역학 식별으로 분류되는데, 본 연구는 세 번째 범주인 주어진 위상에 대한 전체 네트워크 역학 식별에 초점을 맞춘다.

기존의 최대 우도(ML) 방법(예: [33])이 가진 주요 한계점은 네트워크의 모든 노드 신호가 측정되어야 한다는 요구 조건이다. 많은 실제 시나리오에서는 일부 노드에 대해서만 측정이 가능하다. 또한, 이러한 부분 관측 문제에 대한 표준 ML 정식화는 대수적 리카티 방정식(algebraic Riccati equations)을 포함하는 예측기(predictor)에 의존하며, 이는 수치적으로 해결하기 어려운 비볼록(non-convex) 최적화 문제로 이어진다. 저자들은 네트워크의 모든 노드가 측정되지 않더라도, 네트워크가 특정 식별 가능성 조건을 만족한다면 일관성(consistent)과 효율성(efficient)을 갖는 ML 프레임워크를 구축하고자 한다.

방법론
저자들은 네트워크 내 개별 시스템을 나타내는 ARMAX 모델의 파라미터 $(a, b, c, \lambda)$를 식별하기 위한 직접적인 ML 접근법을 제안한다. 방법론은 다음과 같은 핵심적인 이론적 및 알고리즘적 단계를 거친다:

1. 모델 정식화: 네트워크는 선형 정적 피드백 구조를 통해 상호 연결된 단일 입력 단일 출력(SISO) ARMAX 시스템들의 집합으로 모델링된다. 폐루프 시스템은 외생 신호와 노이즈를 포함하는 상태 공간 형태로 기술된다.
2. 예측기 및 혁신 형태(Innovation Form): 저자들은 칼만 예측기(Kalman predictor)를 정의하는 폐루프 시스템의 혁신 형태를 유도한다. 이들은 연관된 대수적 리카티 방정식의 해가 유일하고 예측기가 안정적이라는 조건(가정 A2 및 A3)을 설정한다.
3. 일관성 및 효율성: 본 논문은 ML 추정치가 일관되고(데이터 길이 $N \to \infty$에 따라 참값으로 수렴) 효율적(Cramér-Rao 하한을 달성)임을 증명한다. 이 증명은 신호의 "정보성(informativity)"과 "일반적 네트워크 식별 가능성(generic network identifiability)" 개념에 기초한다. 저자들은 일반적인 네트워크 식별 가능성 하에서 개루프 전달 함수($G$)는 일관되게 식별될 수 있는 반면, 노이즈 역학($H$)은 모든 노드를 완전히 측정하거나 특정 네트워크 위상과 같은 특수한 구조적 조건을 만족하지 않는 한 일반적으로 식별될 수 없음을 보여준다.
4. 동등한 최적화 정식화: 본 연구의 중요한 방법론적 기여는 ML 문제의 재정식화이다. 표준 정식화는 대수적 리카티 방정식을 포함하는 제약 최적화 문제로 취급한다. 저자들은 측정되지 않은 상태와 노이즈 시퀀스를 잠재 변수(missing data)로 취급함으로써, 문제를 제약 없는 최적화 문제로 동등하게 정식화할 수 있음을 보여준다. [15]와 [32]에서 영감을 얻은 이 접근 방식은 최적화 과정 중에 명시적인 예측기 제약이나 리카티 방정식 솔버를 사용할 필요를 제거하여, 더 효율적인 수치적 해결을 용이하게 한다.

핵심 기여
논문의 기여를 다음과 같이 요약한다:

1. 이론적 보장: 네트워크에 대한 ML 시스템 식별의 일관성과 효율성에 대한 조건을 확립한다. 이는 단일 시스템에 대한 기존 연구를 네트워크로 일반화하며, 에르고딕(ergodic) 사례에 대한 대안적인 증명을 제공한다.
2. 제약 없는 최적화: ML 식별 문제를 제약 없는 최적화 문제로 정식화한다. 이는 예측기 기반 ML 정식화에서 흔히 발견되는 비볼록 제약과 관련된 수치적 어려움을 회피한다.
3. 부분 측정 능력: 일반적인 네트워크 식별 가능성을 만족하는 경우, 모든 네트워크 노드가 측정되지 않더라도 적용 가능하다. 이는 완전한 노드 관측성을 요구하는 기존 ML 방법들과 대조된다.

결과
저자들은 동적 시스템 네트워크(특정 위상 [16] 사용)를 이용한 수치 실험을 통해 접근법을 검증한다.

• PEM과의 비교: 제안된 ML 방법은 예측 오차 최소화(Prediction Error Method, PEM) 접근법과 비교된다. 두 방법 모두 적용 가능한 경우(예: 선형 예측기 정식화를 허용하는 특정 신호가 존재하는 경우), ML 방법은 PEM과 대등한 적합도(fit values)를 달取得한다.
• 부분 데이터에 대한 강건성: ML 방법은 일부 신호(예: $u_3$)만 측정되는 상황에서도 네트워크 역학을 성공적으로 식별하며, 이는 선형 PEM 정식화가 과적합(overfitting)이나 편향(bias) 없이 모든 전달 함수를 식별하는 데 실패하는 시나리오이다.
• 성능 지표: ML 방법은 비볼록성으로 인해 PEM에 비해 약간 높은 계산 시간과 소량의 비수렴율을 보이지만, 특히 PEM이 과적합되는 경향이 있는 짧은 데이터 시퀀스 시나리오에서 파라미터 추정치의 평균 제곱 오차(MSE)와 편향이 더 낮음을 입증한다.
• 식별 가능성: 결과는 전체 네트워크 측정이 부족하여 노이즈 역학 $H$를 완전히 복구할 수 없는 경우에도, 본 방법이 개루프 전달 함수 $G$를 일관되게 회복할 수 있음을 확인시켜 준다.

의의
본 논문의 주요 의의는 엄격한 전체 노드 관측성 요구 조건을 완화하면서, 이론적으로 견고하고 수치적으로 다루기 쉬운 네트워크 식별용 ML 프레임워크를 제공한다는 점에 있다. 명시적인 예측기 제약을 피하기 위해 문제를 재정식화함으로써, 저자들은 더 넓은 범위의 네트워크 식별 문제에 ML을 적용할 수 있게 하였다. 본 연구는 선형 PEM 방법이 계산 속도는 더 빠를 수 있지만, 복잡한 네트워크 시나리오나 짧은 데이터 시퀀스에서 편향과 과적합 문제를 겪을 수 있는 반면, 제안된 ML 접근법은 일반적인 식별 조건 하에서 일관되고 효율적인 추정을 달성하기 위한 더 강력한 솔루션을 제공함을 강조한다. 저자들은 자신의 결과가 일부 전달 함수가 알려진 경우에도 당연히 확장됨을 언급한다.