Deep Koopman Learning using Noisy Data

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 복잡한 비선형 동역학 시스템을 제어하기 위해 선형화된 모델을 사용하는 것은 전통적인 방법이지만, 데이터 기반의 머신러닝 기법 (딥 뉴럴 네트워크, PINNs 등) 을 통해 비선형 시스템을 고차원 선형 공간으로 '리프팅 (Lifting)'하여 근사하는 쿠퍼만 연산자 (Koopman Operator) 기반 방법론이 주목받고 있습니다. 특히 딥 쿠퍼만 (Deep Koopman, DKO) 은 가시화 함수 (observable functions) 로 DNN 을 사용하여 유연성을 높였습니다.
• 문제점: 실제 응용 환경에서는 측정 데이터에 노이즈 (Measurement Noise) 가 항상 존재합니다. 기존 쿠퍼만 학습 방법들은 노이즈가 없는 이상적인 데이터를 가정하거나, 노이즈를 단순히 무시하는 경향이 있어, 노이즈가 있는 데이터로 학습할 경우 선형 시스템의 편향된 추정 (Biased Estimation) 이 발생하고 제어 성능이 저하될 수 있습니다.
• 핵심 과제:
  1. 상태 변수에 대한 알 수 있지만 유계 (Bounded) 인 측정 노이즈가 존재하는 상황에서 동역학을 학습하는 것.
  2. 비선형 가시화 함수 (DNN) 를 통해 노이즈가 변환될 때 발생하는 복잡한 상관관계를 고려하여, 노이즈의 영향을 완화하는 방법론을 개발하는 것.

2. 제안된 방법론 (Methodology)

저자들은 DKND (Deep Koopman Learning with Noisy Data) 라는 새로운 프레임워크를 제안했습니다. 이 방법은 기존 DKO 의 손실 함수를 수정하여 노이즈 영향을 명시적으로 모델링하고 최소화합니다.

• 기본 접근:
  • 실제 상태 $x_t$는 알 수 없으며, 관측된 노이즈가 포함된 데이터 $y_t = x_t + w_t$만 사용 가능합니다.
  • 기존 방식은 $y_t$와 $y_{t+1}$ 간의 오차만 최소화하려 했지만, 이는 노이즈로 인해 왜곡된 동역학을 학습하게 만듭니다.
• 새로운 손실 함수 (Loss Function) 설계:
  • 저자들은 실제 상태 기반의 이상적인 모델 $\tilde{f}$와 노이즈가 포함된 데이터 기반의 모델 $\bar{f}$ 사이의 차이를 최소화하는 상한선 (Upper Bound) 을 유도했습니다.
  • 제안된 손실 함수 $L_f$는 두 가지 구성 요소로 나뉩니다:
    1. 데이터 적합성 항 ($L_{f,1}$): 관측된 노이즈 데이터 $(y_t, u_t)$를 사용하여 리프트된 공간에서의 동역학 ($A, B, C$ 행렬) 과 DNN 파라미터 $\theta$를 학습합니다.
    2. 노이즈 불일치 최소화 항 ($L_{f,2}$): 노이즈가 없는 이상적 모델과 노이즈가 있는 모델 간의 차이를 노이즈의 유계 ($w_{max}$) 와 Lipschitz 연속성을 가정하여 추정하고, 이를 최소화하도록 DNN 파라미터 $\theta$를 조정합니다.
• 알고리즘 (DKND):
  • 반복적 최적화:
    1. 현재 DNN 파라미터 $\theta_k$를 고정하고, 최소 제곱법 (Moore-Penrose pseudoinverse 사용) 으로 행렬 $A, B, C$를 계산합니다.
    2. 계산된 행렬을 고정하고, 제안된 손실 함수 (Eq. 22) 에 대한 기울기 하강법 (Gradient Descent) 으로 $\theta_k$를 업데이트합니다.
  • 이 과정을 수렴할 때까지 반복하여 최적의 쿠퍼만 표현 (DKR) 을 찾습니다.
• 가정: 측정 노이즈 $w(t)$는 유계 ($\|w(t)\| \le w_{max}$) 이며, 가시화 함수 $g(\cdot, \theta)$는 Lipschitz 연속입니다.

3. 주요 기여 (Key Contributions)

1. 노이즈에 강한 딥 쿠퍼만 프레임워크 제안: 측정 노이즈가 유계라는 조건 하에서, 노이즈가 DNN 기반 가시화 함수를 통해 어떻게 변환되는지를 분석하고 이를 보상하는 새로운 데이터 기반 학습 프레임워크를 제시했습니다.
2. 실현 가능한 최적화 전략: 노이즈의 영향을 직접적으로 제거하는 대신, 노이즈로 인한 모델 간 편차를 최소화하는 손실 함수를 설계하여 구현이 용이하고 계산적으로 효율적인 알고리즘을 개발했습니다.
3. 이론적 근거: 제안된 방법이 원래의 이상적인 손실 함수 (실제 상태 기준) 의 상한선을 최소화함을 수학적으로 증명했습니다.

4. 실험 결과 (Results)

• 실험 환경:
  • 데이터셋: 2D 선형 시스템, Cartpole, Lunar Lander (OpenAI Gym), 무인 수상 차량 (실제 데이터) 등 4 가지 벤치마크.
  • 노이즈 유형: 가우시안 노이즈, 포아송 분포, 균일 분포 (Uniform) 등 다양한 유계 노이즈를 추가.
  • 비교 대상: 기존 딥 쿠퍼만 (DK), 총최소제곱법 기반 DMD (DMD-TLS), 다층 퍼셉트론 (MLP).
• 성능 지표: 테스트 데이터에 대한 Root Mean Square Deviation (RMSD).
• 결과 요약:
  • 정확도: 제안된 DKND 방법은 모든 노이즈 유형과 시스템 복잡도에서 다른 방법들 (DK, MLP, DMD-TLS) 보다 더 낮은 평균 RMSD를 기록했습니다.
  • 노이즈 강도에 따른 강건성: 특히 균일 분포 노이즈 (Uniform noise) 와 노이즈 크기가 커질수록 (예: $w_{max}$ 증가), 기존 방법들의 오차가 급격히 증가한 반면, DKND 는 상대적으로 오차 증가폭이 작아 뛰어난 강건성 (Robustness) 을 입증했습니다.
  • 시각화: 예측 오차 그래프에서 DKND 는 다른 방법들에 비해 오차의 진폭이 작고 안정적임을 보여주었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용적 가치: 실제 로봇 및 자율 시스템은 항상 센서 노이즈에 노출되어 있습니다. 이 연구는 노이즈가 있는 실제 데이터에서도 신뢰할 수 있는 동역학 모델을 학습할 수 있는 방법을 제공함으로써, 쿠퍼만 기반 제어 기법의 실용성을 크게 높였습니다.
• 제약 사항 및 향후 과제:
  • 현재 방법은 노이즈가 '유계 (Bounded)'라는 가정에만 의존하며, 노이즈의 정확한 분포나 크기가 성능에 미치는 정량적 영향을 완전히 규명하지는 못했습니다.
  • DNN 의 비볼록 (Non-convex) 최적화 특성상 전역 최적해 대신 국소 최적해에 수렴할 수 있는 한계가 존재합니다.
  • 향후 연구에서는 학습된 동역학을 기반으로 한 최적 제어 전략 설계 및 노이즈 한계치에 대한 민감도 분석이 필요할 것으로 보입니다.

결론적으로, 본 논문은 노이즈가 있는 환경에서 딥 쿠퍼만 학습의 정확도와 안정성을 획기적으로 개선한 방법론을 제시하며, 데이터 기반 제어 시스템의 신뢰성 향상에 중요한 기여를 했습니다.