Model-Free Neural State Estimation in Nonlinear Dynamical Systems: Comparing Neural and Classical Filters

이 논문은 시스템 방정식 없이 데이터만으로 학습하는 모델 프리 신경망 필터 (특히 상태 공간 모델) 가 비선형 동적 시스템에서 강력한 비선형 칼만 필터와 유사한 상태 추정 성능을 보이면서도 훨씬 높은 추론 처리량을 달성한다는 것을 체계적인 실험을 통해 입증합니다.

핵심

이 논문은 **"복잡한 시스템을 예측할 때, 전통적인 수학 공식이 정말 필요한가, 아니면 AI 가 데이터만 보고도 똑똑하게 추측할 수 있는가?"**라는 아주 흥미로운 질문을 던집니다.

간단히 말해, **"수학 공식 없이 오직 경험 (데이터) 만으로 배운 AI 가, 정교한 수학적 필터를 이길 수 있을까?"**를 실험으로 증명해낸 연구입니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🌪️ 비유: 폭풍우 속의 배를 조종하는 두 명의 선장

상상해 보세요. 거친 바다에서 배를 조종해야 하는 두 명의 선장이 있습니다.

1. 전통적인 선장 (기존 필터):

   • 이 선장은 정밀한 해류도, 바람의 법칙, 배의 무게 중심 등 모든 물리 법칙을 외우고 있습니다.
   • 그는 "바람이 이 정도 불면 배는 이렇게 움직일 거야"라고 수학 공식으로 계산하며 항로를 잡습니다.
   • 장점: 법칙을 정확히 알고 있으면 매우 정확합니다.
   • 단점: 만약 바다의 흐름이 예상과 다르거나 (공식이 틀리면), 혹은 배에 낡은 부품이 있어서 법칙이 안 통하면, 그는 당황해서 배를 잃어버릴 수 있습니다. 또한 매번 계산하는 데 시간이 꽤 걸립니다.

2. AI 선장 (신경망 필터):

   • 이 선장은 물리 법칙을 하나도 모릅니다. 대신, **수만 번의 항해 기록 (데이터)**만 보고 배운 사람입니다.
   • 그는 "아, 전에 비가 오고 바람이 불 때 배가 이렇게 흔들렸었지? 이번에도 비슷할 거야"라고 경험과 패턴을 기억하며 추측합니다.
   • 장점: 공식이 복잡한 비선형 상황 (예상치 못한 난파) 에서도 데이터 패턴을 잘 따라가며, 계산 속도가 엄청나게 빠릅니다.
   • 단점: 데이터를 충분히 많이 봐야 합니다.

🔍 이 연구가 한 일: "실전 대결"

연구자들은 이 두 선장을 5 가지 다른 난이도의 바다 (시나리오) 에 보내서 실력을 겨루게 했습니다.

• 비행기 추락 시뮬레이션 (공기 저항이 변하는 상황)
• 레이더로 물체 추적 (방향만 알 수 있는 상황)
• 혼돈의 나비 효과 (작은 변화가 큰 결과를 만드는 복잡한 시스템)
• 여러 개의 막대가 연결된 진자 (서로 얽혀 움직이는 복잡한 구조)
• 드론 비행 (공중에서 균형을 잡는 상황)

🏆 결과: AI 의 놀라운 승리

결과가 매우 흥미로웠습니다.

1. AI 가 수학을 이겼다?

   • 특히 Mamba라는 최신 AI 모델은, 복잡한 물리 법칙을 전혀 모르고도 전통적인 선장 (수학 공식) 과 거의 똑같은 정확도로 배를 조종했습니다.
   • 심지어 전통적인 선장이 "공식이 안 맞아!"라고 실수하는 상황에서도 AI 는 데이터를 기반으로 잘 대처했습니다.

2. 속도 차이는 하늘과 땅 차이

   • 전통적인 선장이 계산하는 동안, AI 선장은 이미 수백 번이나 다음 행동을 결정했습니다.
   • AI 는 실시간으로 빠르게 반응해야 하는 드론이나 로봇에게 훨씬 유리합니다.

3. 누가 가장 잘했나?

   • 모든 AI 모델이 다 잘한 건 아닙니다. 하지만 Mamba와 같은 최신 '상태 공간 모델 (State-Space Models)'은 전통적인 선장 못지않게 훌륭했습니다.
   • 반면, 오래된 방식의 AI(RNN 등) 나 최신의 거대 언어 모델 (Transformer) 은 이 특정 작업에서는 조금 뒤처지기도 했습니다.

💡 핵심 메시지 (한 줄 요약)

"복잡한 세상을 예측할 때, 정확한 공식이 없더라도 AI 는 '경험 (데이터)'을 통해 그 공식을 스스로 찾아내어, 전통적인 수학 방법만큼이나 잘, 그리고 훨씬 빠르게 해낼 수 있습니다."

⚠️ 하지만 주의할 점 (연구의 한계)

물론 AI 가 만능은 아닙니다.

• 데이터가 부족하면: AI 는 배를 타본 적이 없으면 (데이터가 없으면) 아무것도 모릅니다. 전통적인 선장은 공식만 있으면 처음 보는 바다에서도 어느 정도 항해할 수 있습니다.
• 예측의 이유: AI 는 "왜 이렇게 될까?"에 대한 설명을 해주지 않습니다. 그냥 "이렇게 될 것 같아"라고 답할 뿐이죠. 안전이 최우선인 곳에서는 이 '설명 불가능함'이 문제가 될 수 있습니다.

🚀 결론

이 연구는 **"AI 가 이제 단순한 패턴 인식을 넘어, 동적인 시스템을 예측하는 '필터'로서도 충분히 신뢰할 수 있다"**는 것을 증명했습니다. 앞으로 로봇, 자율주행, 드론 등 복잡한 시스템을 제어할 때, 수학 공식을 다 적어 넣지 않아도 데이터만 주면 AI 가 알아서 잘 해낼 수 있는 시대가 왔음을 시사합니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 로봇공학, 자율 시스템, 사이버 - 물리 시스템 등 많은 제어 응용 분야에서 시스템은 프로세스 노이즈, 센서 노이즈, 부분 관측성으로 인해 불확실성 하에서 운영됩니다.
• 핵심 과제: 노이즈가 섞이고 불완전한 측정값으로부터 잠재 상태 (latent state) 를 정확하게 추정하는 것은 효과적인 제어의 필수 요소입니다.
• 기존 방법의 한계:
  • 고전적 필터 (칼만 필터, 입자 필터 등): 시스템 동역학과 노이즈 모델을 명시적으로 정의해야 합니다. 모델이 정확할 때는 강력하지만, 비선형성이 강하거나 모델 불일치 (model mismatch) 가 발생하면 성능이 급격히 저하됩니다.
  • 신경망 기반 추정기: 시스템 방정식 없이 데이터만으로 학습이 가능하지만, 이러한 모델이 비선형 동역학 시스템에서 원리 있는 필터 (principled filter) 로서 작동하는지, 아니면 단순히 훈련 데이터의 통계적 규칙성만 학습하는지는 명확하지 않았습니다. 특히 장기적 (long-horizon) 평가에서 오차가 누적되는지에 대한 연구가 부족했습니다.
• 연구 질문: 시스템 모델에 대한 접근 권한 없이 데이터만으로 학습된 모델 프리 (model-free) 신경 상태 추정기가, 정확한 모델 기반 고전적 필터와 비선형 시스템에서 경쟁력 있는 성능을 낼 수 있는가?

2. 방법론 (Methodology)

저자들은 다양한 비선형 시나리오에 걸쳐 신경망 모델과 고전적 필터를 체계적으로 비교하는 실험적 프레임워크를 구축했습니다.

• 평가 시나리오 (5 가지 벤치마크):

  1. 탄도 재진입 (Ballistic Re-entry): 중력과 대기 밀도, 항력 계수가 포함된 비선형 강하 모델.
  2. 방위각만 추적 (Bearings-only Tracking): 2 차원 단일 센서 기반의 표적 추적 (비선형 관측 모델).
  3. 로렌츠 96 (Lorenz 96): 카오스 특성을 가진 표준 데이터 동화 테스트베드.
  4. N 링크 펜듈럼 (N-link Pendulum): 강하게 결합된 비선형 동역학을 가진 다관절 시스템.
  5. 평면 쿼드콥터 (Planar Quadrotor): 수직 평면 내 운동이 제한된 쿼드콥터 모델.

• 비교 대상 모델:

  • 고전적 필터: 확장 칼만 필터 (EKF), 무향 칼만 필터 (UKF), 앙상블 칼만 필터 (EnKF), 입자 필터 (PF).
  • 신경망 모델 (약 10 만 개 파라미터로 통일):
    • Transformer 기반: GPT-2, Filterformer.
    • 상태 공간 모델 (SSM): Mamba, Mamba-2.
    • 순환 신경망 (RNN): GRU, LSTM.
  • 학습 조건: 모든 신경망 모델은 시스템 동역학, 관측 함수, 노이즈 분포에 대한 정보 없이 오직 관측 데이터와 제어 입력 시퀀스만으로 학습되었습니다.

• 평가 지표:

  • 정확도: 시간 단계별 RMSE, 평균 RMSE, MedAE, NRMSE.
  • 강건성: 다양한 신호 대 잡음비 (SNR) 수준에서의 성능, 장기 추론 시 오차 누적 (Drift Ratio).
  • 효율성: 추론 처리량 (Throughput, iter/s).
  • 안정성: 이상치 (Outlier) 탐지 비율.

3. 주요 기여 (Key Contributions)

1. 체계적인 실증 비교: 고전적 필터와 다양한 신경망 아키텍처 (RNN, Transformer, SSM) 간의 포괄적인 비교를 통해, 명시적인 시스템 지식 없이도 신경망이 우수한 상태 추정이 가능함을 입증했습니다.
2. 상태 공간 모델 (SSM) 의 우위성 규명: 제어된 학습과 장기 평가 결과, **Mamba 및 Mamba-2 와 같은 상태 공간 모델 (SSM)**이 다른 신경망 아키텍처보다 일관되게 우수한 성능을 보였으며, 강력한 고전적 필터 (EKF, UKF) 의 성능에 근접하거나 이를 능가하는 것을 발견했습니다.
3. 실용적 이점 제시: 신경망 모델이 시스템 모델을 알지 못함에도 불구하고, 고전적 필터에 비해 **훨씬 높은 추론 처리량 (Throughput)**을 달성하여 실시간 및 자원 제약 환경에서의 잠재력을 보여주었습니다.
4. 오픈 소스: 실험 코드와 벤치마크를 공개하여 결과의 재현성을 보장했습니다.

4. 주요 결과 (Key Results)

• 성능 비교 (RMSE 및 장기 안정성):
  • **SSM (Mamba, Mamba-2)**은 대부분의 비선형 시나리오에서 다른 신경망 모델 (GRU, LSTM, Transformer) 보다 우수한 성능을 보였습니다.
  • 특히 탄도 재진입과 방위각 추적 시나리오에서 SSM 은 강력한 고전적 필터 (UKF, PF) 와 유사하거나 더 나은 정확도를 달성했습니다.
  • 로렌츠 96에서는 SSM 이 EKF/UKF 와 거의 동등한 성능을 보였습니다.
  • N 링크 펜듈럼과 쿼드콥터와 같은 복잡한 시스템에서도 신경망 모델은 모델 불일치에 취약한 고전적 필터 (예: PF 의 경우 입자 붕괴 발생) 보다 안정적인 성능을 유지했습니다.
• 노이즈 강건성: 훈련 시보다 높은 수준의 관측 노이즈에서도 신경망 모델 (특히 SSM) 은 성능 저하가 적어 강건함을 입증했습니다.
• 계산 효율성:
  • 신경망 모델은 모든 시나리오에서 고전적 필터보다 수십 배에서 수백 배 높은 추론 처리량을 기록했습니다.
  • 예: GRU/LSTM 은 초당 약 10 만 회 이상의 반복 (iter/s) 을 수행하는 반면, 고전적 필터는 수백에서 수천 회 수준이었습니다. 이는 신경망이 병렬 처리가 가능하고 재귀적 계산의 오버헤드가 적기 때문입니다.
• 오차 누적 (Drift): 장기 시뮬레이션에서 SSM 은 오차가 급격히 누적되는 경향이 적어 장기 상태 추정에 적합함이 확인되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 데이터 기반 필터링의 유효성 입증: 이 연구는 시스템 모델에 대한 명시적 지식이 없더라도, 데이터만으로 학습된 신경망 (특히 SSM) 이 비선형 동역학 시스템에서 안정적이고 정확한 상태 추정을 수행할 수 있음을 실증적으로 증명했습니다.
• 고전적 필터와의 관계 정립: 정확한 시스템 모델을 가진 경우 고전적 필터가 여전히 최선일 수 있지만, 모델이 불확실하거나 복잡할 때는 신경망 기반 추정기가 강력한 대안이 될 수 있음을 시사합니다.
• 실시간 제어 적용 가능성: 높은 추론 처리량과 모델 프리 특성은 로봇공학 및 자율 주행과 같은 실시간 제어 시스템에서 신경망 기반 상태 추정의 실용성을 크게 높여줍니다.
• 한계 및 향후 과제: 신경망은 여전히 많은 양의 학습 데이터 (데이터 - 파라미터 비율 약 20:1) 를 필요로 하며, 불확실성 보정 (uncertainty calibration) 이나 사후 분포의 질적 평가는 향후 연구가 필요한 영역입니다.

요약하자면, 이 논문은 **모델 프리 신경망 (특히 Mamba 계열의 SSM)**이 비선형 시스템에서 고전적 필터를 능가하거나 견줄 만한 정확도를 유지하면서도 압도적인 계산 효율성을 제공한다는 것을 보여주어, 제어 및 상태 추정 분야의 패러다임 전환을 시사하는 중요한 연구입니다.