Data-Driven Regularized Time-Limited h2 Model Reduction from Noisy Impulse Responses

히로키 사카모토와 가즈히로 사토의 논문 "노이즈가 포함된 임펄스 응답으로부터의 데이터 기반 정규화 시간 제한 $h_2$ 모델 축소"에 대한 상세한 기술적 요약은 다음과 같습니다.

1. 문제 제기

본 논문은 시스템 행렬 ($A, B, C$) 이 알려져 있지 않고 노이즈가 포함된 임펄스 응답 데이터만 이용 가능한 이산 시간 선형 시불변 (LTI) 시스템에 대한 **모델 차수 축소 (MOR)**의 과제를 다룹니다.

• 배경: 많은 공학적 응용 분야에서 시스템 성능은 유한 시간 구간($L$) 에 걸친 동작에 의해 결정됩니다. 표준 MOR 기법들은 종종 시스템 행렬에 대한 접근性或 무한 시간 구간 데이터를 가정합니다.
• 격차: 기존 데이터 기반 방법들 (로이너 프레임워크 또는 고유계실현 알고리즘 - ERA 등) 은 종종 시간 제한 $h_2$ 노름에서의 최적성을 보장하지 못하거나, 사용 가능한 임펄스 응답 데이터가 노이즈로 오염되었을 때 과적합에 시달립니다.
• 목적: 편향이나 오차를 유발할 수 있는 예비 시스템 식별 단계를 수행하지 않고, 오직 노이즈가 포함된 임펄스 응답 데이터만을 사용하여 시간 제한 $h_2$ 오차를 최소화하는 축소 모델 (ROM) 을 직접 구축하는 방법을 개발하는 것입니다.

2. 방법론

제안된 접근법은 데이터만으로 해결할 수 있는 정규화 최적화 문제를 공식화합니다.

A. 문제 공식화

목표는 실제 시스템과 축소 모델 간의 시간 제한 $h_2$ 오차를 최소화하는 행렬 $(\hat{A}, \hat{B}, \hat{C})$을 가진 ROM 을 찾는 것입니다.

• 목적 함수: 표준 시간 제한 $h_2$ 목적 함수가 임펄스 응답 데이터를 사용하여 재구성됩니다.
• 데이터 기반 목적 함수: 실제 임펄스 응답 $h[k]$는 알려져 있지 않으므로, 이 방법은 노이즈가 포함된 데이터 $\tilde{h}[k] = h[k] + \eta[k]$를 사용합니다. 데이터 피팅 항은 $\tilde{h}[k]$로부터 직접 구성됩니다.
• 정규화: 노이즈에 대한 과적합을 방지하기 위해 정규화 항 $R(\hat{\theta})$이 추가됩니다. 이 항은 커널 기반 시스템 식별에서 영감을 받았습니다. 이는 임펄스 응답이 사전 지식 (예: 부드러움과 안정성) 과 불일치하는 ROM 에 대해 패널티를 부과합니다.
  • 정규화는 임펄스 응답이 부드럽게 감쇠한다는 사전 지식을 인코딩하는 TC (Tuned Correlation) 커널을 사용합니다.
  • 전체 목적 함수는 다음과 같습니다:
    $$J_{L,\lambda}(\hat{\theta}) = \tilde{f}_{L,data}(\hat{\theta}) + \lambda R(\hat{\theta})$$
    여기서 $\lambda$는 정규화 매개변수입니다.

B. 기울기 유도 (핵심 기술적 기여)

데이터 기반 최적화에서의 주요 장애물은 시스템 행렬 없이 기울기를 계산하는 것입니다. 저자들은 정규화된 목적 함수의 기울기가 오직 노이즈가 포함된 임펄스 응답 데이터와 현재 ROM 매개변수만으로 표현될 수 있음을 증명합니다.

• 그들은 $\nabla_{\hat{A}} J$, $\nabla_{\hat{B}} J$, 그리고 $\nabla_{\hat{C}} J$에 대한 명시적 공식을 유도합니다.
• 결정적으로, 이러한 공식들은 원래 고차 시스템의 차수 $n$에 의존하지 않으므로, 대규모 시스템에 대해 확장 가능합니다.
• 이는 미지의 원래 행렬을 포함하는 리아푸노프 또는 실베스터 방정식을 풀어야 하는 필요성을 피하며, 이는 계산 비용이 많이 들 ($O(n^3)$) 뿐만 아니라 식별 없이는 불가능합니다.

C. 최적화 알고리즘

본 논문은 비볼록 최적화 문제를 해결하기 위한 기울기 기반 방법 (특히 아르미조 조건을 사용하는 백트래킹 라인 서치) 인 알고리즘 1을 제안합니다.

• 초기화: 이 알고리즘은 ERA 와 같은 표준 방법에서 얻은 ROM 이나 무작위 초기화로 시작할 수 있습니다.
• 수렴: 이론적 분석은 반복 시퀀스가 목적 함수의 정상점에 수렴함을 보장합니다.

3. 주요 기여

1. 정규화 시간 제한 $h_2$ MOR 의 공식화: 본 논문은 노이즈가 포함된 데이터로부터 직접 시간 제한 $h_2$ 오차를 최소화하는 프레임워크를 수립하며, 노이즈에 강건하게 대처하기 위해 커널 기반 정규화 항을 통합합니다.
2. 데이터 전용 기울기 표현: 목적 함수와 그 기울기가 오직 노이즈가 포함된 임펄스 응답 시퀀스만을 사용하여 계산될 수 있음을 보여주는 새로운 수학적 유도를 제공합니다. 이는 시스템 식별이나 원래 시스템 행렬에 대한 접근이 필요 없음을 제거합니다.
3. 확장성: 기울기 계산은 원래 시스템 차수 $n$에 독립적이므로, 기존 모델 기반 접근법이 불가능한 대규모 시스템에 적합합니다.
4. 노이즈에 대한 강건성: 정규화 항의 도입은 노이즈 조건 하에서 비정규화 데이터 기반 MOR 에서 흔히 발생하는 과적합 문제를 구체적으로 해결합니다.

4. 실험 결과

이 방법은 SLICOT 컬렉션의 CD 플레이어 벤치마크 (이산화되어 $n=120$) 를 사용하여 검증되었습니다.

• 저노이즈 시나리오 ($\sigma = 10^{-3}$):
  • 제안된 방법 (정규화 유무와 관계없이) 은 초기 ERA 모델에 비해 상대 시간 제한 $h_2$ 오차를 성공적으로 감소시켰습니다.
  • 초기화 지점으로 ERA 를 사용하는 것이 무작위 초기화보다 더 나은 최종 결과를 제공했습니다.
• 고노이즈 시나리오 ($\sigma = 0.5$):
  • 비정규화 방법 ($\lambda=0$): 알고리즘이 노이즈에 과적합하여, 초기 ERA 모델보다 더 높은 오차를 가진 최종 ROM 을 산출했습니다.
  • 정규화 방법 ($\lambda > 0$): 제안된 방법은 과적합을 성공적으로 억제했습니다. $\lambda$를 조정함으로써 알고리즘은 초기 지점과 비정규화 버전보다 현저히 낮은 오차를 가진 ROM 으로 수렴했습니다.
• SysID+ERA 와의 비교:
  • 저자들은 직접 최적화 접근법을 커널 기반 시스템 식별 후 ERA 를 수행하는 2 단계 파이프라인 (SysID+ERA) 과 비교했습니다.
  • 결과: 제안된 직접 정규화 방법은 다양한 노이즈 수준에서 SysID+ERA 보다 우수한 성능을 보였습니다. 이는 전체 임펄스 응답을 추정하는 중간 단계 (추정 오차를 도입함) 를 피하고 ROM 을 직접 최적화하는 것이 더 효과적임을 시사합니다.
• 극단적 노이즈: 매우 높은 노이즈 수준 ($\sigma=50$) 에서 모든 방법의 성능이 저하되어, 이 방법이 처리할 수 있는 신호 대 노이즈 비율의 한계를 나타냈으나, 정규화된 접근법은 여전히 테스트된 대안들 중에서 가장 잘 수행되었습니다.

5. 의의

본 논문은 최적 모델 축소 이론과 실용적인 데이터 기반 제약 사이의 격차를 메우기 때문에 중요합니다.

• 직접 최적화: "식별 후 축소" 패러다임을 넘어, $h_2$ 노름과 관련하여 수학적으로 엄밀한 "데이터로부터 직접 축소" 접근법을 제시합니다.
• 노이즈 강건성: 정규화를 MOR 목적 함수에 직접 통합함으로써, 센서 데이터가 본질적으로 노이즈가 포함된 실제 시나리오에 대한 강건한 해결책을 제공합니다.
• 계산 효율성: 시스템 차수 $n$을 알지 못해도 기울기를 계산할 수 있는 능력은, 메모리 또는 계산 제약으로 인해 기존 MOR 기법들이 실패하는 매우 대규모 시스템에 이 방법을 적용 가능하게 합니다.

요약하자면, 저자들은 노이즈가 포함된 데이터로부터 최적 축소 모델을 구축하기 위한 강건하고 확장 가능하며 이론적으로 근거된 알고리즘을 제시하며, 노이즈 환경에서 기존 식별 기반 파이프라인보다 우수한 성능을 입증했습니다.