⚡ electrical engineering

RTS Smoother-Guided Learning of Physics-Based Neural Differential Models

본 논문은 해석 가능한 기계론적 구조를 보존하면서 부분적인 상태 관측으로부터 상미분 방정식의 누락된 구성 요소를 학습하기 위해, Rauch–Tung–Striebel(RTS) 스무더 기반의 상태 추정과 신경망 파라미터 최적화 사이를 교차하는 2단계 하이브리드 신경-물리 프레임워크를 제안한다.

원저자: Ahmet Demirkaya, Georgios Stratis, Tales Imbiriba, Zachary D. Danziger, Deniz Erdogmus

게시일 2026-07-17

📖 6 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Ahmet Demirkaya, Georgios Stratis, Tales Imbiriba, Zachary D. Danziger, Deniz Erdogmus

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 탐정이 되어 미스터리를 풀고 있다고 상상해 보십시오. 하지만 당신에게는 용의자의 움직임을 찍은 흐릿한 스냅샷 몇 장뿐이며, 나머지 이야기는 사라진 상태입니다. 과학의 세계에서도 이는 흔히 발생하는 문제입니다. 심장 박동, 화학 반응의 거품, 혹은 뉴런의 발화와 같이 시간이 지남에 따라 변화하는 것들을 연구할 때 말이죠. 과학자들은 이러한 변화를 설명하기 위해 '상미분 방정식(Ordinary Differential Equations, ODE)'이라는 수학적 레시피를 사용합니다. ODE를 하나의 지침서라고 생각한다면, 그것은 "만약 시스템이 지금 이 상태에 있다면, 아주 짧은 순간 뒤에는 정확히 어디에 있을 것인가"를 알려줍니다. 보통 이 레시피들은 완벽하지만, 현실 세계에서는 이 전체 레시피를 알지 못하는 경우가 많습니다. 빠진 재료들이 있고, 우리는 시스템의 모든 부분을 볼 수 없습니다. 온도만 측정할 수 있고 압력은 모를 수도 있으며, 전압은 알지만 세포 내부의 숨겨진 스위치는 보지 못할 수도 있습니다. 이로 인해 미래를 예측하거나 과거를 이해하는 것은 매우 어려워집니다. 왜냐하면 그 빠진 조각들이 가장 중요한 부분일 수도 있기 때문입니다.

이 논문은 바로 그 골칫거리를 다룹니다. 저자들은 빈칸을 채우기 위한 영리한 새로운 방법을 제안합니다. 노이즈에 혼란을 느낄 수 있는 블랙박스 형태의 컴퓨터 프로그램으로 빠진 부분을 추측하는 대신, 그들은 '시간 여행' 도구인 '라우치-퉁-스트리벨(Rauch–Tung–Striebel, RTS) 스무더(smoother)'를 사용합니다. 당신이 영화를 보고 있는데 프로젝터가 깜빡거리며 프레임을 건너뛰고 있다고 상상해 보십시오. 일반적인 관객(또는 표준 컴퓨터 필터)은 방금 본 것에만 의존하여 다음에 무슨 일이 일어날지 추측하려 합니다. 하지만 RTS 스무더는 영화 전체를 처음부터 끝까지 시청한 다음, 과거뿐만 아니라 미래로부터 얻은 단서들을 활용하여 지나간 프레임을 다시 채워 넣는 탐정과 같습니다. 이 "모든 것을 보는" 관점을 사용하여 숨겨진 상태를 추론함으로써, 저자들은 물리 법칙과 인공지능이 결합된 하이브리드 모델이 게임의 누락된 규칙을 학습하도록 가르칩니다. 그들은 이 방법이 한 단계씩 숨겨진 상태를 추측하는 데 의존하는 다른 인기 있는 방법들에 비해, 숨겨진 부분을 재구성하고 미래를 예측하는 데 훨씬 더 뛰어나다는 것을 발견했습니다.

탐정의 딜레마: 빠진 조각들과 노이즈 섞인 단서들

생물학에서 공학에 이르기까지 많은 분야에서 과학자들은 시스템이 어떻게 진화하는지 모델링하기 위해 수학을 사용합니다. 하지만 종종 그 수학은 불완전합니다. 자동차가 앞으로 움직인다는 것은 알지만, 엔진이 가속 페달에 어떻게 반응하는지는 정확히 모를 수 있습니다. 혹은 뉴런의 전기적 스파이크는 볼 수 있지만, 그것을 일으키는 아주 작은 내부 스위치는 놓칠 수도 있습니다. 설상가상으로 우리의 센서는 불완전합니다. 우리는 마치 폭풍 속에서 속삭임을 들으려는 것처럼 노이즈가 섞인 측정값을 얻게 되며, 종종 모든 것을 동시에 측정할 수도 없습니다.

이 논문은 하이브리드 접근 방식을 제안합니다. 우리가 확실히 알고 있는 수학적 부분(기계론적 부분)은 유지하고, 우리가 모르는 부분은 신경망(AI의 일종)을 사용하여 학습하는 것입니다. 까다로운 점은 이 AI를 훈련시키는 과정입니다. 보통 AI를 가르치려면 '그라운드 트루스(ground truth)', 즉 시스템이 실제로 지나온 숨겨진 경로를 알아야 합니다. 하지만 우리가 숨겨진 부분을 측정할 수 없다면, 그 진실을 가질 수 없습니다. 다른 방법들은 순환 신경망(RNN)을 사용하여 숨겨진 경로를 추측하려고 하는데, 이는 마치 이야기를 한 문장씩 읽으며 내용을 암기하려는 학생과 같습니다. 만약 이야기가 엉망이거나 학생이 피곤하다면(노이즈가 섞인 데이터), 그들은 길을 잃을 수 있습니다.

시간 여행 솔루션

이 논문의 저자들은 다른 경로를 택했습니다. 숨겨진 경로를 한 단계씩 추측하는 대신, 그들은 RTS 스무더라는 도구를 사용했습니다. RTS 스무더를 숨겨진 이야기의 첫 단어를 쓰기 전에 시스템의 측정값 전체를 처음부터 끝까지 읽는 매우 똑똑한 편집자라고 생각하십시오. 전체 타임라인을 보기 때문에, 그것은 노이즈를 매끄럽게 다듬고 직접 측정되지 않았더라도 숨겨진 변수들이 어떤 경로를 거쳤을 가능성이 가장 높은지를 파악할 수 있습니다.

이 과정은 춤을 추듯 두 가지 단계가 번갈아 가며 진행됩니다:

추측(The Guess): 먼저, AI의 뇌를 고정시킨 다음, 노이즈가 섞인 측정값과 알려진 물리 법칙을 바탕으로 숨겨진 상태(잠재 상태)를 추측하기 위해 RTS 스무더를 사용합니다. 이를 통해 실제 정답처럼 보이는 "매끄러운(smoothed)" 궤적을 얻습니다.
학습(The Lesson): 그다음, 이 매끄러운 궤적을 마치 실제 진실인 것처럼 취급합니다. 저자들은 이를 사용하여 신경망이 누락된 물리 방정식을 어떻게 채워 넣어야 하는지 가르칩니다.
반복(Repeat): 경로를 추측하는 것과 AI를 가르치는 것 사이를 번갈아 가며 수행하여 모델이 숙련될 때까지 반복합니다.

이것이 왜 중요한가: 장기적인 관점

다른 방법들의 큰 문제 중 하나는, 다음 1초를 예측하는 데는 뛰어나지만 다음 1시간을 예측하는 데는 형편없다는 점입니다. 만약 첫 단계에서 작은 실수를 한다면, 그 실수는 눈덩이가 언덕을 굴러 내려가는 것처럼 점점 커져서 결국 예측이 완전히 틀려지게 됩니다. 저자들은 AI가 단지 한 단계 앞만 내다보도록 훈련하는 것만으로는 부족하다는 것을 깨달았습니다.

그래서 그들은 "장기 호라이즌(long-horizon)" 테스트를 추가했습니다. 단순히 AI에게 "다음 1초를 예측할 수 있니?"라고 묻는 것이 아니라, "다음 50초를 예측할 수 있니?"라고 물었습니다. 만약 AI가 시간이 지남에 따라 진실에서 벗어나면, 그 모델에 벌칙을 부여합니다. 이는 AI가 단순히 찰나의 순간에 작동하는 지름길이 아니라, 시스템의 실제 근저에 깔린 규칙을 학습하도록 강제합니다.

결과: 더 명확한 그림

저자들은 단순한 진자 운동부터 효모 세포의 에너지 사이클이나 뉴런의 전기적 발화와 같은 복잡한 생물학적 모델에 이르기까지 다섯 가지 서로 다른 시스템에서 이 방법을 테스트했습니다. 모든 경우에서 그들은 자신들의 방법을 다른 인기 있는 AI 기술들과 비교했습니다.

진자(The Pendulum): 무게추의 위치만 측정되었을 때(속도는 측정되지 않았음에도), 그들의 방법은 숨겨진 속도를 완벽하게 재구성하고 진동을 올바르게 유지했습니다.
뉴런(The Neuron): 뇌 세포 모델의 경우, 세포가 언제 발화할지를 제어하는 숨겨진 "게이트(gate)" 변수를 직접 측정하지 않았음에도 성공적으로 재구성했습니다.
화학 반응(The Chemical Reaction): 복잡한 화학 시스템에서, 그들은 숨겨된 화학 농도를 회복하고 진동 패턴을 안정적으로 유지했습니다.

결과는 인상적이었습니다. 시뮬레이션에서 그들의 방법은 숨겨진 상태를 추측하는 데 있어 다른 방법들보다 오차를 엄청난 폭으로 줄였습니다. 예를 들어, 효모 모델의 경우 다른 방법들의 오차가 약 0.19였다면, 그들의 방법은 단 0.0004로 떨어졌습니다. 또한 그들의 모델은 장기간 동안 정확성을 유지한 반면, 다른 모델들은 경로를 이탈한다는 점도 발견했습니다.

견고성: 노이즈 처리 능력

아마도 가장 흥격적인 발견은 이 방법이 나쁜 데이터를 얼마나 잘 처리하는가였을 것입니다. 저자들은 "폭풍"이 점점 더 거세지는 상황을 시뮬레이션하며 측정값의 노이즈를 점진적으로 높여 테스트했습니다. 신호가 매우 약한 상황(신호 대 잡음비가 단 5인 경우)에서도 RTS 스무더는 여전히 숨겨진 변수를 위한 일관된 경로를 재구성할 수 있었습니다. 이는 이 방법이 매우 견고하며, 데이터가 지저�스러운 실제 환경에서도 쉽게 무너지지 않는다는 것을 시사합니다.

핵심 요약

이 논문이 과학의 모든 미스터리를 해결했다고 주장하는 것은 아닙니다. 만약 데이터가 극도로 희소하거나 노이즈의 성격이 예상과 다르다면, 이 방법 역시 혼란을 겪을 수 있음을 인정합니다. 그러나 이 논문은 누락된 조각이 있는 복잡한 시스템을 이해하려는 과학자들에게 강력한 새로운 도구를 제공합니다. "시간 여행" 스무더를 사용하여 학습 과정을 가이드함으로써, 그들은 정확할 뿐만 아니라 해석 가능하기까지 한 하이브리드 모델을 구축할 수 있습니다. 즉, 어떤 부분이 알려진 물리 법칙에 기반하고 어떤 부분이 AI에 의해 학습되었는지 알 수 있다는 뜻입니다.

핵 핵심적인 교훈은, 때로는 미래를 이해하기 위해 단지 다음 단계를 보는 것이 아니라 전체 그림을 보아야 한다는 것입니다. 고전 수학의 신뢰성과 AI의 유연성을 결-합하고, 영리한 "모든 것을 보는" 훈련 기법을 사용함으로써, 이 방법은 우리가 모든 것을 볼 수 없는 상황에서도 현실 세계의 더 나은 디지털 트윈을 구축할 수 있도록 도와줍니다.

기술 요약: 물리 기반 신경 미분 모델의 RTS 스무더 가이드 학습 (RTS Smoother-Guided Learning of Physics-Based Neural Differential Models)

문제 정의

상미분 방정식(ODE)은 물리학, 생물학, 공학 등의 분야에서 동역학 시스템을 모델링하는 표준적인 도구입니다. 그러나 실제 응용 분야에서는 두 가지 주요 과제에 직면합니다:

알려지지 않았거나 불완전한 역학: 기계론적 모델(mechanistic models)은 종종 부분적으로만 명시되며, 누락된 항, 단순화된 피드백 메커니즘, 또는 폐쇄형 방정식(closed-form equations)으로 포착할 수 없는 대상 특유의 효과를 포함하고 있습니다.
부분적이고 노이즈가 섞인 측정: 일반적으로 일부 상태 변수만이 관측되며, 이는 종종 간접적이고 노이즈를 동반하므로 전체 상태를 재구성하기 어렵습니다.

기계론적 모델과 신경망을 결합하는 기존의 하이브리드 접근 방식은 종종 잠재 상태(latent states)를 추론하기 위해 학습된 신경 인코더나 순환 구조(예: Latent ODEs, GRU-ODE-Bayes)에 의존합니다. 저자들은 강한 노이즈, 불규칙한 샘플링, 또는 심각한 부분 상태 측정 상황에서 이러한 학습된 추론 메커니즘이 취약해질 수 있으며, 그 잠재 표현(latent representations)이 물리적 해석력이나 안정성을 결여할 수 있다고 주장합니다.

방법론

본 논문은 알려진 ODE 구성 요소는 명시적으로 유지하면서, 누락된 구성 요소는 신경망으로 표현하는 하이브리드 신경-물리 프레임워크를 제안합니다. 핵심 혁신은 학습된 인코더 대신 라우흐-퉁-스 트리벨(Rauch–Tung–Striebel, RTS) 스무더를 활용하여 상태 추정과 파라미터 학습을 교대로 수행하는 반복적인 2단계 알고리즘입니다.

1. 문제 정식화

시스템은 다음과 같은 확률적 상태 공간 모델로 모델링됩니다:

역학: $\dot{x}(t) = f_\theta(x(t)) + w(t)$ , 여기서 $f_\theta$ 는 파라미터 $\theta$ 를 가진 부분적으로 알려진 모델입니다.
측정: $y(t_k) = h(x(t_k)) + \epsilon_k$ .
목표는 노이즈가 섞인 부분적 관측값들이 주어졌을 때 파라미터 $\theta$ 에 대한 음의 결합 로그 가능도(negative joint log-likelihood)를 최소화하는 것입니다. 잠재 상태 $x$ 는 관측되지 않으므로 직접적인 최적화는 실행 불가능합니다.

2. RTS 가이드 학습 루프

저자들은 미지의 잠재 궤적을 RTS 스무더에 의해 생성된 평활 추정치 $\hat{x}$ 로 대체하며, 이 추정치를 학습을 위한 "의사 정답(pseudo-ground truth)"으로 취급합니다. 프로세스는 다음을 교대로 수행합니다:

단계 1: 상태 추정 (RTS Smoothing):
고정된 신경망 파라미터 $\theta$ 를 사용하여, RTS 스무더는 전체 측정 시퀀스를 처리하여 잠재 상태 궤적 $\hat{x}_{0:T}$ 와 관련 공분산 $P_{0:T}$ 를 추정합니다. 이 단계는 알려진 기계적 구조와 노이즈 모델을 활용하여, 단순히 과거 데이터만을 사용하는 것(필터링의 경우)과 달리 전체 관측 이력과 일치하는 상태를 추론합니다.
단계 2: 파라미터 업데이트 (Backpropagation):
평활된 궤적 $\hat{x}$ 와 공분산 $P$ 를 고정된 것으로 간주하고, 서로게이트 손실 함수(surrogate loss function)를 최소화하기 위해 경사 하강법을 통해 신경망 파라미터 $\theta$ 를 업데이트합니다.

3. 다중 호라이즌 학습 목적 함수

학습 손실은 여러 예측 호라이즌( $n \in \mathcal{H}$ )에 대한 오차의 가중 합으로 계산됩니다:
$\mathcal{L} = \frac{1}{T_{tot}} \sum_{i,n} \left( \| e^{(y)}_{k+n} \|^2_{R^{-1}} + \| e^{(x)}_{k+n} \|^2_{P^{-1}_{k+n}} \right)$

관측 오차: 역측정 노이즈 공분산( $R^{-1}$ )에 의해 가중치가 부여됩니다.
잠재 상태 오차: 스무더의 공분산( $P^{-1}$ )에 의해 가중치가 부여됩니다. 이는 신뢰도 가중치 역할을 합니다. 즉, 스무더가 불확inc한 경우(큰 $P$ ), 해당 오차의 가중치는 낮아집니다.
다중 호라이즌: 저자들은 단일 단계( $n=1$ ) 학습이 특히 부분적으로 관측된 시스템에서 장기적 안정성을 확보하기에 불충분하다고 주장합니다. 미측정 변수의 오차는 몇 단계의 적분 후에야 나타날 수 있기 때문입니다. 따라서 손실 함수에는 더 긴 시간 척도에 걸친 롤아웃(rollout) 오차가 포함됩니다.

4. 하이브리드 아키텍처

역학 모델 $f_\theta$ 는 다음과 같이 분할됩니다:

$x_{phys}$ : 알려진 해석적 역학을 가진 상태 ( $\dot{x}_{phys} = f_{phys}$ ).
$x_{unk}$ : 알려지지 않은 역학을 가진 상태로, 전체가 신경망으로 대체됨 ( $\dot{x}_{unk} = f_{unk}$ ).
이는 알려진 물리학의 해석 가능성을 보존하면서 누락된 항을 학습합니다.

주요 기여

RTS-스무더 가이드 학습: 본 논문은 RTS 스무딩을 사용하여 잠재 상태에 대한 역학적으로 일관된 의사 타겟을 생성함으로써, 하이브리드 Neural-ODE를 학습하는 방법을 도입하여 상태 추정과 신경 역학 학습을 분리했습니다.
추정과 학습의 분리: 인코더-디코더를 함께 학습하거나 테스트 시 온라인 필터링이 필요한 방법과 달리, 이 접근 방식은 스무딩 정보를 독립적인 하이브리드 ODE로 증류(distill)합니다. 최종 배포된 모델은 온라인 상태 추정기를 필요로 하지 않습니다.
불확실성 인식 가중치 부여: 학습 손실은 스무더의 사후 공분산( $P_k$ )을 사용하여 상태 전이 오차에 가중치를 부여함으로써, 신경망이 높은 신뢰도를 가진 상태 추정으로부터 더 많이 학습하도록 보장합니다.
다중 호라이즌 목적 함수: 손실 함수에 더 긴 롤아웃 호라이즌을 포함함으로써, 단일 단계 학습이 방지하지 못하는 장기 예측에서의 오차 누적 문제를 해결합니다.

실험 결과

방법론은 다양한 복잡도(선형, 비선형, stiff)와 부분 관측성을 가진 5가지 벤치마크 시스템에서 평가되었습니다:

조화 진동자 (Harmonic Oscillator): 1D 미측정 상태.
Hodgkin–Huxley 뉴런: 미측정 게이팅 변수를 가진 stiff한 다상태 생물물리학적 모델.
망막 혈액 순환 (Retinal Circulation): 간접 측정을 포함하는 생리학적 모델.
브뤼셀레이터 (Brusselator): 진동 거동을 보이는 비선형 반응 네트워크.
효모 당분해 (Yeast Glycolysis): 고차원 생화학적 진동자.

성능 지표:

잠재 상태 RMSE: 제안된 방법은 5개 시스템 중 4개에서 가장 낮은 오차를 달ت했으며, 특히 Yeast Glycolysis에서 NeuralODE, GRU-ODE-Bayes, CKF 기반 베이스라인 대비 현저한 개선을 보였습니다 (예: $1.92 \times 10^{-1}$ 에서 $4.08 \times 10^{-4}$ 로 감소).
롤아웃 Hausdorff 거리: 모든 5개 시스템에서 가장 낮은 거리를 달성하여, 지상 참값(ground truth)과의 우수한 장기 궤적 정렬을 입증했습니다.
강건성: 실험 결과, 제안된 방법은 높은 측정 노이즈(낮은 SNR) 환경에서도 안정성을 유지하는 반면, 인코더 기반 방법들은 취약해지는 경향을 보였습니다.
절제 연구 (Ablation Studies): RTS 가이드, 잠재 상태 손실, 또는 공분산 가중치를 제거했을 때 모두 성능 저하가 발생하여, 세 가지 구성 요소의 필요성을 확인했습니다.

의의 및 주장

저자들은 자신들의 접근 방식이 특히 데이터가 희소하거나 노이즈가 많은 시나리오에서 순수 데이터 기반 잠재 추론에 대한 강력한 대안을 제공한다고 주장합니다. 고전적인 칼만 스무딩을 활용함으로써 다음과 같은 이점을 얻습니다:

해석 가능성 유지: 모델의 알려진 기계론적 부분이 명시적으로 유지됩니다.
안정성 향 향상: 스무더는 부분 관측 상황에서 학습된 인코더가 흔히 보이는 "취약성"을 방지하는 일관된 궤적을 제공합니다.
배포 용이성: 최종 출력은 컴팩트한 물리 기반 신경 미분 방정식이므로, 추론 시 필터나 스무더를 실행하는 계산적 오버헤드 없이 전방향 시뮬레이션이 가능합니다.

결론적으로, 본 논문은 이 방법이 알려진 측정 함수와 가우시안 노이즈를 가정하지만, 고전적인 상태 추정과 현대적인 신경 미분 방정식 학습 사이의 간극을 효과적으로 메워, 부분적으로 관측된 시스템에서 누락된 역학을 발견하는 신뢰할 수 있는 프레임워크를 제공한다고 밝히고 있습니다.