Full-Field State Estimation from Sparse Point Sensors via Adaptive  Data-Driven Modeling and Sequential Data Assimilation for Nonlinear Dynamical Systems

대륙 전체의 날씨를 추측하려고 한다고 상상해 보십시오. 하지만 당신에게는 무작위로 흩어져 있는 몇 개의 마을에 놓인 소수의 온도계뿐입니다. 이것이 해류, 혈관 속의 혈류, 또는 제트 엔진을 통해 퍼지는 열과 같은 복잡한 시스템을 모니터링하는 과학자와 엔지니어들이 매일 겪는 고충입니다. 그들은 이 시스템이 어떻게 작동해야 하는지에 대한 물리학적 원리는 알고 있지만, 현실 세계의 측정값은 종종 희소하고, 노이즈가 많으며, 불완전합니다. 이는 마치 몇 개의 조각만 가지고 있고 그중 일부는 얼룩진 상태로 거대한 퍼즐을 완성하려는 것과 같습니다.

이를 해결하기 위해 과학자들은 보통 두 가지 주요 도구에 의존합니다. 첫째, 그들은 "모델"을 사용하는데, 이는 시스템이 시간이 지남에 따라 어떻게 진화하는지를 예측하는 수학적 레시피와 같습니다. 둘째, "데이터 동화(data assimilation)"를 사용하며, 이는 적은 수의 센서로부터 얻은 새로운 측정값을 바탕으로 예측을 끊임없이 미세하게 조정하는 세련된 방식입니다. 그러나 이러한 전통적인 레시피는 시스템이 너무 복잡하거나 비선형적일 때(즉, 작은 변화가 거대하고 예측 불가능한 효과를 일으킬 때), 또는 레시피 자체가 잘못된 가정에 기반했을 때 실패하는 경우가 많습니다. 여기서 핵심적인 질문은 이것입니다: 완벽한 물리학을 미리 알지 못하더라도, 우리가 실제로 가진 희소하고 지저분한 데이터로부터 직접 "레시 recipe"를 학습할 수 있을까?

이 논문은 그렇다고 답하며, 멈추지 않고 학습하는 탐정처럼 영리하고 자기 수정적인 파이프라인을 구축함으로써 이를 증명합니다. 위스콘신 대학교 밀워키의 수비크 로이(Souvik Roy)와 동료들이 이끄는 연구진은 아주 적은 비율의 센서만을 사용하여 시스템의 전체 고해상도 상태를 복구하는 완전한 데이터 기반 프레임워크를 개발했습니다. 연구진은 이를 세 가지 시나리오(시뮬레이션된 열 방정식, 시뮬레이션된 유체 흐름(Burgers 방정식), 그리고 NOAA의 실제 해양 온도 데이터)를 통해 테스트했습니다. 이들의 방법론은 세 가지 기술을 결합합니다. 즉, 희소한 데이터로부터 퍼즐의 빈 조각을 추측하는 "압축 센싱(compressed sensing)", 시스템이 어떻게 움직이는지 학습하는 "제어 기능이 포함된 동적 모드 분해(DMDc)", 그리고 새로운 데이터가 들어올 때마다 추측을 끊임없이 수정하는 "칼만 필터(Kalman filter)"를 사용하는 것입니다.

비결은 시스템이 한 번 배우고 멈추는 것이 아니라는 점에 있습니다. 저자들은 모델을 업데이트하지 않고 너무 오래 실행하면, 모델이 표류하기 시작하여 오답을 낼 수 있다는 것을 발견했습니다. 이를 해결하기 위해 그들은 두 가지 적응형 기능을 추가했습니다. 첫째, 모델은 현재 관찰된 데이터를 사용하여 주기적으로 스스로를 "재보정(re-calibrate)"함으로써 현재의 행동 양식에 맞게 튜닝됩니다. 둘째, 모델은 DCC-GARCH라는 통계적 도구를 사용하여 자신의 예측을 얼마나 신뢰할지, 혹은 노이즈가 섞인 센서 데이터를 얼마나 신뢰할지에 대한 자신의 "신뢰 수준"을 끊임없이 업데이트합니다. 시뮬레이션에서 이 접근 방식은 단 0.5%의 센서만을 사용하고 매우 노이즈가 심한 측정값(신호 대 잡음비 5 dB)을 다루는 상황에서도 높은 정확도로 전체 영역의 상태를 재구성할 수 있게 해주었습니다. 결과는 정적인 모델은 결국 실패하겠지만, 이 적응형 및 자기 수정 시스템은 오차를 낮게 유지한다는 것을 보여주었으며, 이는 모델이 실시간으로 학습하고 적응하게 만든다면 매우 적은 수의 센서로도 복잡한 비선형 역학을 추적할 수 있음을 입증합니다.

탐정의 도구 상자: 작동 원리

이것이 어떻게 작동하는지 이해하기 위해, 우리가 모니터링하려는 시스템이 거대하고 보이지 않는 열이나 유체의 바다라고 상상해 봅시다. 우리는 바다 전체를 볼 수 없지만, 특정 위치의 온도나 속도를 보고하는 몇 개의 떠 있는 부표(센서)를 가지고 있습니다.

1단계: 빈칸 채우기 (압축 센싱)
첫 번째 과제는 데이터가 몇몇 지점에서만 존재한다는 것입니다. 단순히 그 지점들만 본다면 매우 흐릿한 그림을 얻게 됩니다. 저자들은 **압축 센싱(Compressed Sensing)**이라는 기술을 사용합니다. 이것은 이미지가 특정한 패턴을 가지고 있다면, 단 몇 개의 흩어진 픽셀만으로도 전체 이미지를 재구성할 수 있는 마술과 같습니다. 이 경우, "패턴"이란 데이터가 효율적으로 표현될 수 있는 특정 수학적 언어(이 논문에서는 열이나 온도와 같이 매끄러운 장(field)에 적합한 이산 코사인 변환을 사용함)를 가지고 있다는 것입니다. 알고리즘은 희소하고 노이즈가 섞인 센서 판독값을 가져와서, 그 순간의 전체 장이 어떤 모습일지 추측하기 위해 퍼즐을 풉니다. 이는 페이지 위의 몇 개 점을 보고, 그 점들이 특정 모양에 속한다는 것을 알기에 나머지 그림을 그려내는 것과 같습니다.

2단계: 춤사위 배우기 (DMDc)
알고리즘이 훈련 기간 동안 시스템의 "전체" 그림을 확보하고 나면, 이제 시스템이 어떻게 움직이는지 배워야 합니다. 여기서 **제어 기능이 포함된 동적 모드 분해(DMDc)**가 등장합니다. 무용수를 관찰한다고 상상해 보십시오. 다음 동작을 예측하기 위해 근육과 중력의 물리학을 알 필요는 없습니다. 그저 그들이 춤추는 것을 잠시 지켜보고 패턴을 배우면 됩니다. DMDc는 정확히 이 작업을 수행합니다. 이 기술은 일련의 "전체 그림"(스냅샷)들을 살펴보고, 시스템이 한 순간에서 다음 순간으로 어떻게 진화하는지를 설명하는 간단하고 선형적인 규칙을 학습합니다. "제어(Control)" 부분은 외부의 힘(예: 히터가 켜지거나 바람이 부는 것)이 춤의 양상을 어떻게 바꾸는지도 함께 학습한다는 것을 의미합니다. 결정적으로, 이 과정은 전적으로 데이터로부터 이루어집니다. 컴퓨터는 물리 법칙의 지배 방정식을 미리 전달받을 필요가 없습니다.

3단계: 끊임없는 교정 (칼만 필터링)
이제 모델은 미래를 예측할 수 있습니다. 하지만 문제는 모델은 근사치이며, 센서는 노이즈가 있다는 점입니다. 만약 모델은 온도가 20°C일 것이라고 예측하는데 센서는 22°C라고 말한다면, 누구를 믿어야 할까요? 여기서 **칼만 필터(Kalman Filter)**가 등장합니다. 칼만 필터는 현명한 심판 역할을 합니다. 모델의 예측과 새로운 센서 측정값 사이의 무게를 잽니다. 센서에 노이즈가 많다면 모델을 더 신뢰하고, 센서가 깨끗하다면 센서를 더 신뢰합니다. 그런 다음 현재 상태에 대한 추정치를 업데이트합니다. 이 과정은 '예측, 측정, 교정, 반복'의 루프로 진행됩니다.

반전: 왜 "설정 후 망각(Set and Forget)"이 실패하는가

이 논문은 이 연구를 단순한 시도들과 구분 짓는 중요한 점을 지적합니다: 한 번 학습된 모델은 오랫동안 지속하기에 충분하지 않다는 것입니다.

만약 첫 100초 동안의 데이터로 모델을 훈련시킨 뒤, 손대지 않고 1,000초 동안 실행한다면 오차는 커질 것입니다. 시스템의 행동이 변할 수도 있고, 초기 훈련에서 포착하지 못한 방식으로 "춤"이 진화할 수도 있기 때문입니다. 저자들은 정적인 모델(변하지 않는 규칙을 가진 모델)이 특히 혼돈스러운 비선형 시스템에서 현실로부터 멀리 표류하게 될 것이라는 점을 발견했습니다.

이를 해결하기 위해 그들은 두 가지 적응형 메커니즘을 도입했습니다:

1. 시간 적응형 재보정(Time-Adaptive Recalibration): 똑같은 "춤 동작"을 영원히 사용하는 대신, 시스템은 주기적으로 멈춰서 자신이 수집한 가장 최근의 데이터(칼만 필터에 의한 교정 내용 포함)를 살펴보고 규칙을 다시 배웁니다. 이는 마치 음악가가 곡을 연습하다가 템포가 변한 것을 깨닫고, 계속 연주하기 전에 새로운 템포에 맞춰 악보를 다시 익히는 것과 같습니다. 이는 모델이 구시대적인 현실에 갇히는 것을 방지합니다.
2. 적응형 불확실성 (DCC-GARCH): 이것이 가장 정교한 부분입니다. 표준 칼만 필터에서는 모델 예측에 존재하는 "노이즈"나 불확실성이 어느 정도인지 추측해야 합니다. 보통 엔지니어들은 고정된 수치를 선택하고 운에 맡깁니다. 하지만 복잡하고 변화하는 시스템에서 불확실성은 고정되어 있지 않고 계속 변합니다. 저자들은 DCC-GARCH(동적 조건 상관 일반 자기회귀 조건부 이분산성)라는 통계 도구를 사용하여, 필터가 실시간으로 자신의 불확실성을 스스로 학습하도록 했습니다. 이 도구는 모델이 범한 최근의 "실수"(잔차)를 관찰하고 그에 따라 신뢰도를 조정합니다. 모델이 큰 실수를 하기 시작하면 필터는 모델에 대해 회의적이 되어 센서를 더 신뢰하게 됩니다. 반대로 모델이 잘 작동하고 있다면 모델을 더 신뢰하게 됩니다.

결과: 그들이 발견한 것

저자들은 이 "적응형 탐정"을 세 가지 매우 다른 도전 과제에 대해 테스트했습니다:

• 비선형 열 방정식: 온도 구배에 따라 열 전도 능력이 변하는 물질 내의 열 확산을 시뮬레이션했습니다.
• 강제된 버거스 방정식(Forced Burgers Equation): 외부 힘에 의해 구동되는 충격파와 난류를 포함한 유체 흐름을 시뮬레이션했습니다.
• NOAA 해수면 온도(SST): 무질서하고 노이즈가 많으며, 단순한 "제어 입력"이 없는(그저 자연스럽게 진화하는) 실제 해양 온도 데이터입니다.

연구 결과:

• 희소해도 충분하다: 센서가 공간 영역의 단 **0.5%**만을 커버하고 있음에도 불구하고(즉, 99.5%의 영역이 관측되지 않은 상태), 시스템은 높은 정확도로 전체 장을 재구성할 수 있었습니다.
• 노이즈 저항성: 센서 데이터에 노이즈가 매우 심한 경우(5 dB 신호 대 잡음비)에도 시스템은 안정적이었습니다. 열 방정식의 경우, 5 dB에서 오차(RMSE)는 3.08이었고, 데이터가 깨끗한 20 dB에서는 1.48로 떨어졌습니다. 버거스 방정식의 경우, 5 dB에서 오차는 0.058이었고 20 dB에서는 0.032였습니다.
• 적응의 힘: 가장 중요한 발견은 정적 모델과 적응형 모델 간의 비교였습니다.
  • 재보정되지 않는 모델(DMDc만 사용)은 시간이 지남에 따라 오차가 급격히 증가했습니다.
  • 칼만 필터링을 사용하지만 규칙을 업데이트하지 않는 모델(DMDc-KF)은 더 나았지만 여전히 표류했습니다.
  • 완전 적응형 모델(재보정과 DCC-GARCH 포함)은 오차를 낮고 안정적으로 유지했습니다. 열 방정식의 경우, 전체 미관측 추정 구간 동안 총 상대 오차가 5% 미만으로 유지되었던 반면, 비적응형 버전들은 이 정확도를 유지하는 데 실패했습니다.
• 센서 밀도: 시스템은 적은 수의 센서로도 잘 작동했지만, 센서를 추가하면 당연히 정확도가 향상되었습니다. 그러나 핵심적인 교훈은, 모델의 적응적 특성 덕분에 가장 희소한 구성에서도 잘 작동할 수 있었다는 점입니다.

이것이 의미하는 바 (그리고 그렇지 않은 것)

이 논문은 복잡한 시스템을 모니터링하기 위해 반드시 완벽한 물리 방정식을 알 필요는 없다는 것을 보여줍니다. 컴퓨터가 희소한 데이터로부터 직접 역학을 학습하게 하고, 이후 자신의 규칙과 신뢰도를 끊임없이 업데이트하게 함으로써, 우리는 일어나는 현상에 대한 명확하고 전체적인 그림을 얻을 수 있습니다.

하지만 저자들은 한계점도 명시하고 있습니다. 이것은 시뮬레이션 및 데이터 기반 연구이지, 실제 제트 엔진이나 해양에서의 물리적 실험이 아닙니다.

• 훈련 요구 사항: 시스템은 압축된 표현을 학습하기 위해 초기 훈련 단계에서 상당한 양의 데이터(영역의 약 10%~30%)가 여전히 필요합니다. 센서가 아예 0개인 상태에서 시작할 수는 없습니다.
• 고정된 센서: 현재 방식은 센서가 고정된 위치에 있다고 가정합니다. 드론처럼 움직이는 센서를 처리하는 기능은 아직 갖추지 못했습니다.
• 시간 단계: 모델은 훈련 데이터와 동일한 시간 간격으로 예측합니다. 즉, 일일 데이터를 바탕으로 12시간 사이의 상태를 마법처럼 예측할 수는 없습니다.

요약하자면, 이 논문은 비선형 동적 시스템에 있어 "설정 후 망각(set-it-and-forget-it)" 방식의 모델은 실패의 레시피라는 점을 시사합니다. 상태 추정의 미래는 자신이 틀릴 수도 있음을 인정할 줄 알고, 실수로부터 배울 줄 알며, 세상이 변함에 따라 자신의 규칙을 업데이트할 수 있는 유연함을 갖춘 시스템에 달려 있습니다. 저자들은 이러한 시스템의 프로토타입을 구축했으며, 시뮬레이션 결과 이는 놀라울 정도로 잘 작동했습니다.