Simultaneous model discovery and state estimation under high data corruption

1. 문제 제기 (Problem Statement)

기존의 물리 법칙 기반 미분 방정식은 기본 물리학과 역학에서는 성공적이지만, 재료 과학부터 생물학에 이르는 복잡한 시스템에서는 관측 데이터를 기반으로 한 경험적 가정 (phenomenological assumptions) 이 필요합니다. 최근 데이터 기반 모델 발견 (Model Discovery) 연구가 활발하지만, 다음과 같은 주요 과제가 존재합니다:

• 높은 노이즈 (Noisy Data): 기존 SINDy(Sparse Identification of Nonlinear Dynamics) 와 같은 잔차 회귀 (residual regression) 기반 방법론은 데이터의 노이즈에 매우 민감합니다.
• 불완전한 데이터 (Incomplete Data): 관측 데이터가 도메인 전체에 존재하지 않거나, 일부 상태 변수가 측정되지 않은 경우 (latent variables) 기존 방법은 적용이 어렵습니다.
• 상태 추정 (State Inference): 모델 발견 과정에서 실제 시스템의 상태 (ground state) 를 정확히 복원하는 것은 특히 카오스 시스템에서 초기 조건에 대한 민감도로 인해 어렵습니다.
• 비선형 파라미터 (Nonlinear in Parameters): 많은 기존 방법이 파라미터에 대해 선형인 방정식 구조를 가정하는데, 이는 모델의 표현력을 제한합니다.

이 논문은 노이즈가 심하고 데이터가 불완전한 상황에서도 Ordinary Differential Equations (ODE) 의 방정식 구조를 발견하고, 동시에 시스템의 상태를 추정할 수 있는 새로운 프레임워크를 제안합니다.

2. 방법론 (Methodology)

2.1. 하이브리드 희소 회귀 (Hybrid Sparse Regression)

저자들은 데이터와 모델의 불확실성을 모두 고려한 최대 가능도 추정 (Maximum Likelihood Estimation, MLE) 기반의 하이브리드 회귀 전략을 사용합니다.

• 목적 함수: 파라미터 $\theta$와 상태 변수 $u$를 동시에 최적화합니다.
  $$L_\lambda(\theta, u) = \|N(u; \theta)\|^2_2 + \lambda \|\hat{u} - u|_D\|^2_2$$
  여기서 첫 번째 항은 모델 방정식 $N(u; \theta)=0$의 잔차 (모델 오차), 두 번째 항은 관측 데이터 $\hat{u}$와 추정 상태 $u$ 간의 차이 (데이터 오차) 입니다.
• $\lambda$의 역할: 데이터와 모델의 상대적 불확실성 비율을 나타냅니다. $\lambda$가 작으면 전통적인 파라미터 추정 (최소 제곱법) 에 가깝고, $\lambda$가 크면 잔차 최소화 (SINDy 방식) 에 가깝습니다. 이 방법은 두 극단 사이의 최적점을 찾아 노이즈에 강건합니다.

2.2. 희소성 확보 및 모델 선택 (Sparsity and Model Selection)

• 희소성 유도: $l_0$ 노름 (비영항 개수) 을 직접 최적화하는 것은 계산적으로 불가능하므로, Mohimani et al. 이 제안한 부드러운 근사 함수를 사용하여 기울기 기반 최적화가 가능하도록 합니다.
  $$\|\theta\|_\epsilon = \sum (1 - \exp(-\theta_i^2 / 2\epsilon^2))$$
• 모델 선택 알고리즘: 베이지안 정보 기준 (BIC) 을 사용하여 모델의 적합도와 복잡도 간의 균형을 맞춥니다.
  • 적응형 가지치기 (Adaptive Pruning): 초기에 모든 항을 포함하고, BIC 점수가 개선되는 방향으로 항을 제거하거나 (Forward Refinement), 과도하게 제거된 경우 다시 추가하는 (Backward Recovery) 과정을 반복합니다.
  • 이 과정은 BIC 점수가 최소가 될 때까지 반복되어 가장 간결하고 정확한 모델을 찾습니다.

2.3. 최적화 및 수치적 구현 (Optimization)

• 2 차 최적화: Levenberg-Marquardt (LM) 방법의 2 차 변형을 사용합니다.
• 자동 미분 (Automatic Differentiation): 기울기 (Gradient) 와 헤시안 (Hessian) 행렬을 자동 미분으로 계산합니다.
• 희소 헤시안 활용: ODE 의 이산화 구조에서 헤시안 행렬이 희소 (sparse) 하다는 점을 이용합니다. 그래프 색칠 (Graph Coloring) 알고리즘을 적용하여 헤시안 - 벡터 곱 (HVP) 의 수를 최소화함으로써 대규모 최적화 문제를 효율적으로 해결합니다. 이는 기존 1 차 최적화 방법 (L-BFGS 등) 보다 훨씬 빠른 수렴 속도를 보입니다.

3. 주요 기여 (Key Contributions)

1. 동시 추정 프레임워크: 파라미터 추정과 상태 추정을 동시에 수행하여 노이즈가 심하고 데이터가 부족한 상황에서도 강건한 모델 발견을 가능하게 함.
2. BIC 기반 적응형 모델 선택: 임계값 (threshold) 기반의 단순 제거가 아닌, 통계적 정보 기준 (BIC) 을 사용하여 모델의 구조를 체계적으로 탐색하고 최적화함.
3. 2 차 최적화의 실용화: 자동 미분과 그래프 색칠 기법을 결합하여 대규모 ODE 시스템에서도 2 차 최적화 (Hessian 기반) 를 실용적으로 적용 가능하게 함.
4. 비선형 파라미터 지원: 파라미터에 대해 선형인 방정식 구조에 국한되지 않고, 비선형 항 (예: $e^{ax}$) 을 포함하는 일반적인 모델 구조를 다룰 수 있음.

4. 실험 결과 (Results)

논문은 Van der Pol 발진기, Lorenz 시스템, Lorenz-96 시스템, Colpitts 발진기 등 다양한 표준 테스트 케이스를 사용하여 방법을 검증했습니다.

• 노이즈 내성: 10% 에서 50% 에 이르는 높은 수준의 가우시안 노이즈가 포함된 데이터에서도 기존 최첨단 알고리즘인 WSINDy보다 우수한 성능을 보였습니다. 특히 파라미터 추정 오차 (RE) 와 모델 구조 복원률 (TPR, True Positive Rate) 에서 WSINDy 를 압도했습니다.
• 불완전한 데이터: 연속적인 구간이 누락되거나 무작위로 데이터가 제거된 경우에도 정확한 상태 궤적과 방정식을 복원했습니다.
• 카오스 시스템: Lorenz 시스템과 같이 초기 조건에 민감한 카오스 시스템에서도 노이즈가 있더라도 실제 상태 (ground state) 를 정확하게 복원할 수 있음을 확인했습니다.
• 비선형 항 발견: Colpitts 발진기 실험에서 지수 함수 항 ($e^{ax}$) 과 같은 비선형 파라미터를 가진 항을 성공적으로 발견하고 파라미터 값을 추정했습니다.
• 이산화 격자 영향: 데이터 샘플링 간격과 모델 최적화 격자 간격의 관계를 분석하여, 적절한 격자 세분화가 정확도 향상에 기여함을 보였습니다.

5. 의의 및 결론 (Significance and Conclusion)

이 논문은 데이터 기반 과학 (Data-driven Science) 분야에서 중요한 진전을 이뤘습니다.

• 강건성: 실제 관측 데이터에서 흔히 발생하는 노이즈와 결측치 문제를 해결할 수 있는 강력한 도구를 제공합니다.
• 유연성: 파라미터에 선형인 모델에 국한되지 않고, 복잡한 비선형 동역학 시스템에도 적용 가능합니다.
• 확장성: 자동 미분과 2 차 최적화 기법의 도입은 더 복잡한 편미분 방정식 (PDE) 이나 대수 - 미분 방정식 (DAE) 으로 확장할 수 있는 기반을 마련했습니다.

결론적으로, 제안된 방법은 물리 법칙과 관측 데이터를 결합하여 복잡한 시스템을 식별하는 데 있어 기존 방법론들의 한계를 극복하고, 높은 정확도와 신뢰성을 제공하는 새로운 표준이 될 수 있음을 시사합니다.