Double projection for reconstructing dynamical systems: between stochastic and deterministic regimes

이 논문은 동적 변분 오토인코더 기반의 '이중 투영 (double projection)' 방법을 제안하여 관측 데이터로부터 시스템 상태 궤적과 잡음 시계열을 동시에 추정함으로써, 저차원 상태 공간에서 다단계 예측이 가능한 확률적 동적 시스템을 학습하고 이를 결정론적 모델과 비교 평가합니다.

핵심

이 논문은 **"우리가 관찰한 데이터의 숨겨진 규칙과 우연한 소음을 동시에 찾아내는 새로운 방법"**을 소개합니다.

기존의 과학적 모델링은 보통 두 가지 중 하나를 선택했습니다.

1. 완벽한 결정론 (Deterministic): 모든 것이 정해진 법칙대로 움직인다고 가정 (예: 행성 운동).
2. 완전한 확률론 (Stochastic): 모든 것이 무작위 소음 (Noise) 에 의해 움직인다고 가정.

하지만 현실 세계 (뇌 신호, 심장 박동, 주식 시장 등) 는 이 두 가지가 섞여 있습니다. "규칙적인 흐름"과 "예측 불가능한 소음"이 동시에 작용하죠. 이 논문은 바로 이 두 가지를 한 번에 찾아내는 새로운 기술을 제안합니다.

---

🎨 핵심 비유: "나쁜 날씨를 예측하는 두 명의 탐정"

이 새로운 방법 (DPDSR) 을 이해하기 위해 두 명의 탐정이 사건 현장 (데이터) 을 조사한다고 상상해 보세요.

1. 기존 방법의 문제점

기존의 탐정들은 보통 한 가지 역할만 했습니다.

• A 형사 (결정론적 모델): "이 사건은 100% 법칙대로 일어났다! 소음은 없다!"라고 믿고, 모든 것을 복잡한 수학적 법칙으로 설명하려 합니다. 하지만 소음이 섞인 데이터에서는 법칙을 찾으려다 오히려 엉뚱한 가설을 세우거나, 예측이 빗나가면 완전히 무너집니다.
• B 형사 (확률론적 모델): "모든 게 무작위야! 소음 때문에 예측할 수 없어!"라고 생각합니다. 소음만 강조하다 보니, 실제로 존재하는 규칙적인 흐름을 놓쳐버립니다.

2. 이 논문의 새로운 방법: "쌍둥이 탐정 (Double Projection)"

이 논문은 두 명의 탐정을 동시에 투입합니다.

• 탐정 1 (상태 추정): "이 사건이 어떻게 진행되었는지 (상태)"를 추리합니다. (예: "그때 그 사람은 A 위치에서 B 위치로 이동했다.")
• 탐정 2 (소음 추정): "그 과정에서 **무슨 우연한 소음 (Noise)**이 있었는지"를 추리합니다. (예: "A 에서 B 로 갈 때, 갑자기 바람이 불어서 방향이 살짝 틀어졌다.")

이 두 탐정은 서로 협력합니다.

1. 데이터를 보고 두 가지 (규칙적인 흐름 + 우연한 소음) 를 동시에 추정합니다.
2. 추정된 소음을 다시 시스템에 주입하여, 미래의 상황을 시뮬레이션해 봅니다.
3. 결과가 실제 데이터와 맞는지 확인하며 두 탐정의 추리를 계속 다듬습니다.

이 방식의 가장 큰 장점은 **"소음까지도 학습 데이터로 활용한다"**는 점입니다. 기존 방법들은 소음을 '방해꾼'으로 치부하고 버렸지만, 이 방법은 소음까지 정교하게 분석해서 더 정확한 모델을 만듭니다.

---

🧪 실험 결과: 어떤 일이 일어났을까?

저자들은 이 방법을 6 가지 다른 시나리오 (카오스, 세포 분열, 심장 박동 등) 에 적용해 보았습니다.

1. 규칙적인 세계 (예: 로렌츠 어트랙터):
   • 소음이 거의 없는 완벽한 규칙 세계에서는, 기존 결정론적 방법도 잘 작동했습니다. 하지만 이 새로운 방법도 소음 없이도 똑같이 잘 작동했습니다.
2. 소음이 많은 세계 (예: 뇌신호, 심전도):
   • 여기서는 기존 방법들이 고생했습니다. 규칙을 찾으려다 소음에 휩쓸려 엉뚱한 예측을 했습니다.
   • 하지만 **쌍둥이 탐정 (이 방법)**은 "아, 이건 규칙이 아니라 소음 때문이구나!"라고 바로 알아차리고, 소음 패턴까지 학습하여 실제와 매우 유사한 미래를 예측했습니다.

⏱️ '교사 (Teacher)'의 역할과 타이밍

이 방법에는 **'교사 강제 (Teacher Forcing)'**라는 독특한 훈련 방식이 쓰입니다.

• 비유: 학생이 문제를 풀다가 틀리면, 선생님이 바로 정답을 알려주는 것입니다.
• 문제: 선생님이 너무 자주 정답을 알려주면 (짧은 간격), 학생은 스스로 생각할 줄 모르고 정답만 외웁니다. 너무 드물게 알려주면 (긴 간격), 학생은 엉뚱한 방향으로 헤매다가 완전히 틀립니다.
• 이 논문의 발견:
  • 짧은 간격 (자주 정답 알려줌): 모델이 규칙적인 (결정론적) 세계를 학습합니다.
  • 긴 간격 (드물게 정답 알려줌): 모델이 소음에 의존하는 (확률적) 세계를 학습합니다.
  • 결론: 우리가 원하는 데이터의 성격 (규칙적인지, 소음이 많은지) 에 따라 '선생님이 정답을 알려주는 타이밍'을 조절하면, 가장 좋은 모델을 만들 수 있다는 것을 증명했습니다.

---

💡 요약: 왜 이것이 중요한가?

이 논문은 **"현실 세계는 규칙과 소음이 섞여 있다"**는 사실을 인정하고, 이를 해결하기 위해 두 가지 정보를 동시에 추출하는 새로운 AI 기술을 제안했습니다.

• 기존: 소음을 무시하거나, 규칙만 찾으려다 실패.
• 이 방법: 소음과 규칙을 동시에 찾아내어, 뇌 질환 진단, 심장 모니터링, 복잡한 기후 예측 등 불확실성이 큰 현실 문제를 훨씬 정확하게 모델링할 수 있게 되었습니다.

마치 **"비 오는 날의 운전"**을 배울 때, 단순히 "도로 법칙 (규칙)"만 외우는 게 아니라, "빗물에 미끄러지는 정도 (소음)"까지 함께 학습해야 안전한 운전자가 될 수 있는 것과 같은 원리입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 많은 과학 분야에서 관측된 데이터로부터 동적 시스템의 수학적 모델을 학습하는 것은 중요한 과제입니다. 최근에는 인공 신경망을 활용한 데이터 기반 접근법이 주목받고 있습니다.
• 문제점:
  • 기존의 동적 시스템 재구성 (DSR, Dynamical System Reconstruction) 방법들은 주로 결정적 (Deterministic) 모델을 가정합니다. 그러나 실제 데이터는 복잡한 생성 과정이나 제한된 실험 데이터로 인해 결정적 모델로 설명하기 어렵거나, 계산 비용이 너무 큰 경우가 많습니다.
  • 확률적 (Stochastic) 모델은 노이즈를 포함하여 이러한 불확실성을 다루지만, 기존 확률적 모델 (예: DVAE) 은 고차원의 상태 공간이나 단일 단계 예측에 의존하여 장기적인 동역학을 학습하거나 해석하기 어렵다는 한계가 있습니다.
  • 특히, 카오스 시스템이나 장기 의존성을 가진 데이터를 학습할 때 'Teacher Forcing' 전략을 사용하지 않으면 학습이 불안정해지거나, 반대로 너무 자주 사용하면 모델이 데이터에 과도하게 의존하여 일반화 성능이 떨어지는 문제가 발생합니다.

2. 제안된 방법론 (Methodology)

저자들은 이중 투영 동적 시스템 재구성 (DPDSR, Double Projection Dynamical System Reconstruction) 이라는 새로운 방법을 제안합니다. 이는 동적 변분 오토인코더 (DVAE) 계열의 방법론을 확장한 것입니다.

핵심 아이디어: 이중 투영 (Double Projection)

기존의 DVAE 가 관측 데이터를 잠재 상태 (Latent State) 로만 매핑하는 것과 달리, DPDSR 은 관측 데이터를 두 가지로 동시에 매핑합니다.

1. 시스템 상태 (System States, $\hat{z}$): 동적 시스템의 내부 상태 시퀀스.
2. 노이즈 시계열 (Noise Time Series, $\epsilon$): 시스템을 구동하는 외부 노이즈의 시퀀스.

모델 구조 및 학습 과정

• 인코더 (Encoder): WaveNet 아키텍처 (1 차원 확장 컨볼루션) 를 사용하여 관측 데이터 $x$로부터 상태 $\hat{z}$와 노이즈 $\epsilon$의 사후 분포를 추정합니다. 노이즈의 경우 자기회귀적 (Autoregressive) 가우시안 분포를 가정하여 표현력을 높였습니다.
• 생성 모델 (Generative Model):
  • 상태 전이: $z_t = \tanh(f(z_{t-1}) + B\epsilon_t)$ (잔차 연결을 가진 2 층 퍼셉트론).
  • 관측: $x_t = g(z_t) + \Sigma_\eta \eta_t$.
  • 여기서 $B$는 노이즈가 주입되는 행렬로, 저차원의 노이즈 ($d_\epsilon \le d_z$) 를 사용하여 모델의 해석 가능성을 높입니다.
• 학습 전략 (Teacher Forcing):
  • 시스템은 추정된 초기 조건과 사후 분포에서 샘플링된 노이즈를 사용하여 진화합니다.
  • 매 $\tau$ (Teacher Forcing Interval) 단계마다 시뮬레이션된 상태가 추정된 상태 $\hat{z}_t$로 교체됩니다. 이는 장기 의존성 학습을 안정화하고 그래디언트 소실/폭발 문제를 완화합니다.
• 손실 함수: 관측 데이터 재구성 손실, 추정된 상태 재구성 손실, 그리고 잠재 노이즈의 KL 발산 (Prior 와의 차이) 을 최소화합니다.

3. 주요 기여 (Key Contributions)

1. 저차원 상태 공간 학습: 계산적 표현력을 인코더 (WaveNet) 에 위임함으로써, 동적 모델 자체는 상대적으로 저차원의 상태 공간을 가지도록 설계되었습니다. 이는 고차원 RNN 기반 모델보다 동역학적 구조 분석에 훨씬 유리합니다.
2. 확률적 vs 결정적 비교 가능성: 제안된 방법의 특수한 경우 (노이즈가 없는 경우) 는 완전히 결정적인 방법 (SPDSR) 이 됩니다. 이를 통해 동일한 아키텍처 내에서 확률적 요소의 역할을 체계적으로 비교 분석할 수 있습니다.
3. 사후 분포 기반 다단계 예측: 기존 방법들이 다단계 예측 시 노이즈를 사전 분포 (Prior) 에서 샘플링하는 것과 달리, DPDSR 은 사후 분포 (Posterior) 에서 노이즈를 샘플링하여 더 정확한 다단계 예측이 가능함을 주장합니다.
4. Teacher Forcing Interval ($\tau$) 의 영향 규명: $\tau$의 크기에 따라 학습된 모델의 동역학이 결정적 카오스 영역에서 확률적 (노이즈 주도) 영역으로 전환되는 현상을 발견하고 정량화했습니다.

4. 실험 결과 (Results)

저자들은 6 가지 벤치마크 문제 (시뮬레이션 및 실험 데이터) 에 대해 DPDSR 을 평가했습니다.

• 데이터셋:

  1. 로렌츠 시스템 (Lorenz, 결정적 카오스)
  2. 세포 주기 (Cell cycle, 결정적 카오스)
  3. 더블 웰 (Double well, 노이즈 주도)
  4. 카오스 RNN (RNN, 고차원 카오스)
  5. 뉴런 전위 (Neuron, 실험 데이터)
  6. 심전도 (ECG, 실험 데이터)

• 성능 비교:

  • 결정적 모델 (SPDSR, GTF-TD): 로렌츠나 세포 주기 같은 결정적 카오스 데이터에서는 잘 작동했으나, 노이즈가 지배적인 데이터 (Double well, Neuron 등) 에서는 성능이 떨어졌습니다.
  • 기존 확률적 모델 (DKF, RSSM, AR-LSTM): DPDSR 은 노이즈가 포함된 데이터에서 가장 우수한 성능을 보였습니다. 특히 ECG 데이터에서 심박수 간격 (ISI) 의 변동을 재현하는 데 있어 다른 방법들보다 우월했습니다.
  • 종합 점수: 분포 거리, 스펙트럼 거리, 단기 예측 오차 등을 종합한 점수에서 DPDSR 이 대부분의 데이터셋에서 최상위권을 기록했습니다.

• 동역학 분석 (Attractor Analysis):

  • $\tau$의 영향: 작은 $\tau$ 값에서는 모델이 결정적 카오스를 학습하는 반면, 큰 $\tau$ 값에서는 노이즈에 의해 주도되는 동역학 (확률적 영역) 을 학습하는 것을 확인했습니다.
  • 적응적 Teacher Forcing: 기존 결정적 모델에서 제안된 적응적 $\tau$ 설정 전략이 확률적 모델에서는 최적의 해로 수렴하지 않을 수 있음을 발견했습니다. 따라서 현재는 파라미터 탐색 (Grid Search) 이 가장 안정적인 방법으로 권장됩니다.

5. 의의 및 결론 (Significance & Conclusion)

• 이론적 통찰: 이 연구는 동적 시스템 재구성에서 확률적 요소와 Teacher Forcing 전략이 어떻게 상호작용하여 모델의 동역학적 특성 (카오스 vs 노이즈 주도) 을 결정하는지를 명확히 보여줍니다.
• 실용적 가치: 복잡한 생물학적 신호 (뇌, 심장 등) 나 물리 시스템처럼 노이즈가 내재된 데이터를 모델링할 때, 저차원의 해석 가능한 상태 공간과 함께 높은 예측 정확도를 제공하는 강력한 도구를 제공합니다.
• 한계 및 향후 과제: Teacher Forcing Interval ($\tau$) 을 자동으로 최적화하는 적응적 전략의 부재가 주요 한계로 지적되었으며, 다양한 시간 척도 (Multi-scale) 를 가진 시스템을 처리하기 위한 아키텍처 개선이 향후 과제로 남았습니다.

요약하자면, 이 논문은 이중 투영 전략을 통해 상태와 노이즈를 동시에 학습함으로써, 결정적 카오스와 확률적 동역학 모두를 효과적으로 재구성할 수 있는 새로운 프레임워크를 제시하고, 이를 통해 동적 시스템의 본질적인 특성을 탐구할 수 있는 길을 열었습니다.