Robust Sparse Identification of Nonlinear Dynamics via Least Trimmed Squares

기술 요약: 최소 절단 제곱법을 통한 비선형 동역학의 강건한 희소 식별

문제 정의
희소 식별 비선형 동역학(SINDy) 프레임워크는 관측 데이터로부터 지배 방정식(governing equations)을 발견하는 데 널리 사용되는 데이터 기반 방법론이다. 그러나 표준 SINDy 구현은 측정 노이즈에 매우 민감하며, 특히 이상치(outlier)에 매우 취약하다. SINDy는 시간 미분 근사치를 위해 유한 차분법(finite-difference)에 의존하기 때문에, 오염된 데이터 포인트는 미분 추정치를 심각하게 왜곡하여 편향된 회귀 문제를 야기하고 가짜 모델 항(spurious model terms)을 식별하게 만들 수 있다. Trimmed SINDy, Weak SINDy (WSINDy), Ensemble SINDy (E-SINDy)와 같은 기존의 강건한 변형들이 제안되었으나, 이들은 한계점을 가진다. Trimmed 방식은 이상치 탐지와 희소 회귀를 하나의 비볼록 최적화(non-convex optimization) 과정에 결합하여, 오염된 샘플을 완전히 배제하지 못할 가능성이 있다. WSINDy는 노이즈 민감도를 줄여주지만 테스트 함수와 적분 영역을 선택하는 복잡성을 초래한다. E-SINDy는 재표집(resampling)을 통해 안정성을 개선하지만, 계산 비용이 많이 들 수 있으며 오염된 하위 샘플로부터 발생하는 편향을 여전히 물려받을 수 있다.

방법론: ILTS-SINDy 파이프라인
저자들은 이상치 필터링과 희소 회귀를 두 개의 순차적인 단계로 분리하는 강건한 식별 파이프라인인 ILTS-SINDy를 제안한다. 이러한 "필터링 후 희소화(filter-then-sparsify)" 전략은 두 작업을 공동으로 수행하는 방법들과 대조를 이룬다.

1. 1단계: 반복적 최소 절단 제곱(Iterative Least Trimmed Squares, ILTS) 필터링
   첫 번째 단계는 모델 피팅 전에 데이터 오염을 해결하기 위해 이상치를 식별하고 제거한다. 이 방법은 반복적 최소 절단 제곱(ILTS) 알고리즘을 채택한다.

• 메커니_즘: ILTS는 가장 작은 잔차(residual)들의 제곱합을 반복적으로 최소화한다. 이는 일부 데이터 집합에 대한 회귀 계수를 추정하는 과정과, 가장 작은 잔차를 가진 $p$개의 관측치만을 유지하도록 이 데이터 집합을 업데이트하는 과정을 번갈아 수행한다.
• 결과: 이 과정은 점진적으로 가장 일관된 데이터 포인트들에 집중하며, 이상치의 위치에 대한 사전 지식 없이도 이상치의 영향을 효과적으로 완화한다. 출력값은 인라이어(inlier, 정상치)로 추정된 데이터만을 포함하는 "정제된" 데이터셋(축소된 행렬 $\hat{A}$ 및 벡터 $\hat{b}$)이다.
• 파라미터 선택: 인라이어의 수 $p$는 알려진 이상치 비율 $q$를 기반으로 설정된다. 저자들은 중앙 차분법(central finite differences)을 사용하기 때문에, 단 하나의 이상치가 최대 3개의 미분 추정치(해당 점과 그 이웃들)를 오염시킬 수 있다는 점에 주목한다. 따라서 $p = (m+1) - \lfloor 3q(m+1) \rfloor$로 설정한다.

2. 2단계: 순차적 임계값 처리 최소 제곱법(Sequentially Thresholded Least Squares, STLS)
   두 번째 단계는 정제된 데이터셋에 대해 희소 모델 식별을 수행한다.

• 메커니즘: 정제된 데이터에 표준 STLS가 적용된다. 이는 전체 후보 라이브러리를 사용하여 최소 제곱 문제를 풀고, 작은 계수들을 0으로 임계값 처리함으로써 반복적으로 희소성을 강제한다. 회귀는 남은 활성 항들만을 사용하여 수렴할 때까지 다시 풀린다.
• 결과: 이는 초기 데이터 오염에 강건한 지배 방정식($\dot{x}_i(t) = \sum \alpha_{i,j} \theta_j(x(t))$)의 간결한 표현을 산출한다.

주요 기여

• 분리된 프레임워크: 주요 기여는 이상치 탐지(ILTS를 통한)와 희소 회귀(STLS를 통한)의 구조적 분리이다. 이는 희소 추정 단계에서 오염된 샘플이 인라이어로 잘못 분류될 수 있는 공동 최적화 접근 방식의 트레이드오프를 피한다.
• 심각한 오염에 대한 강건성: 이 방법은 실험에서 나타난 바와 같이 상당한 수준의 데이터 오염(최대 20%)을 처리하면서도 진정한 지배 방정식을 회복하는 능력을 갖추도록 설계되었다.
• 알고리즘 통합: 본 논문은 SINDy 응용을 위해 ILTS(알고리즘 2)와 STLS(알고리즘 1)를 통합된 파이프라인(알고리즘 3)으로 공식화한다.

수치 결과
저자들은 세 가지 벤치마크 동역학 시스템(SIR 모델, 로렌츠 시스템, 로트카-볼테라 시스템)의 합성 데이터셋을 사용하여 ILTS-SINDy를 표준 SINDy(STLS 포함) 및 E-SINDy와 비교 평가하였다. 실험에는 다양한 수준의 가우시안 노이즈와 2.5%에서 20% 사이의 이상치 비율($q$)이 포함되었다.

• 지지 구조 회복 정확도(Support Recovery Accuracy): ILTS-SNDy는 모든 시스템과 조건에서 가장 높은 평균 지지 구조 회복 정확도를 달성했다. 표준 SINDy의 성능은 오염이 증가함에 따라 크게 저하되었고, E-SINDy는 중간 정도의 강건성을 보였으나, ILTS-SINDy는 심각한 오염 하에서도 1.0에 가까운 정확도를 유지했다.
• 정확한 회복률(Exact Recovery Rate): 핵심 지표는 진정한 희소 패턴(활성 항의 정확한 집합)의 정확한 회복이었다. 표준 SINDy는 대부분의 오염된 시나리오에서 정확한 회복에 실패했다. E-SINDy는 높은 지지 구조 정확도를 보였으나 낮은 정확한 회복률을 보였는데, 이는 궤적은 올바르게 재구성할 수 있어도 잘못된 모델 구조를 식별할 수 있음을 시사한다. 반면, ILTS-SINDy는 높은 이상치 수준에서도 SIR 시스템에 대해 거의 완벽한 회복을 유지하고 로렌츠 및 로트카-볼테라 시스템에 대해 강력한 성능을 보이며 우수한 정확한 회복률을 입증했다.

의의 및 주장
본 논문은 ILTS-SINDy가 특히 강력한 데이터 오염 환경에서 기존의 강건한 SINDy 변형들보다 유의미한 개선을 제공한다고 주장한다. 이상치를 희소 회귀 전에 필터링함으로써, 이 방법은 더 깨끗한 회귀 문제를 생성하여 기초적인 지배 방정식의 보다 신뢰할 수 있는 식별을 이끌어낸다. 저자들은 이 접근 방식이 예측 정확도를 높일 뿐만 아니라, 더 중요하게는 동역학 시스템의 올바른 구조적 발견을 보장한다고 단언한다.

본 연구는 현재 범위에 있어 겸손한 태도를 취하며, 인라이어 수 $p$를 결정하기 위해 이상치 비율 $q$에 대한 정확한 지식이 필요함을 명시하고 있다. 향후 과제로 $q$를 데이터 기반으로 추정하는 적응형 절차를 포함하는 것, 제어(외부 입력)가 포함된 SINDy로 확장하는 것, 그리고 실제 데이터셋에서 접근 방식을 검증하는 것을 제시하였다. 이 논문은 추가 검증 없이 모든 동역학 시스템에 대한 보편적 적용 가능성을 주장하지 않으나, 테스트된 합성 벤치마크에서의 효능을 강조하고 있다.