Bayesian Inference of Discretization Error Means in ODEs via Ensemble Kalman Filtering

당신이 롤러코스터의 미래 경로, 기상 시스템, 또는 흔들리는 진자의 움직임을 예측하려고 한다고 상상해 보십시오. 과학자들은 이러한 것들이 어떻게 움직이는지 설명하기 위해 '상미분 방정식(Ordinary Differential Equations, ODEs)'이라는 수학적 레시피를 사용합니다. 문제는 이 레시レシピ가 종이 위에 완벽하게 풀기에는 너무 복잡하다는 점입니다. 그래서 우리는 컴퓨터를 사용하여 강을 건너는 돌을 하나씩 밟아 나가는 하이커처럼, 아주 작은 불연속적인 단계들을 앞으로 나아가며 문제를 해결합니다. 이를 '이산화(discretization)'라고 합니다. 하지만 컴퓨터가 한 번 발을 내디딜 때마다 미세한 실수가 발생합니다. 이 실수들은 쌓여가고, 결국 하이커는 강 반대편이 아닌 엉뚱한 곳에 도착할 수도 있습니다. 수십 년 동안 수학자들은 "이 오차는 아마 이 정도보다 작을 것이다"라고 말할 수는 있었지만, 오차가 정확히 어디에 있는지, 혹은 어느 방향으로 하이커를 밀어내고 있는지는 말할 수 없었습니다. 그들은 단지 간격의 크기만을 추측할 수 있었을 뿐, 방향은 알지 못했습니다.

이 논문은 그 간극 속으로 뛰어들어 새롭고 흥미로운 아이디어를 제안합니다. 저자인 토요이 쇼지(Shoji Toyota)와 미야타케 유토(Yuto Miyatake)는 이러한 컴퓨터의 실수를 고정된 오류가 아니라, 우리가 추적할 수 있는 신비롭고 방랑하는 유령처럼 취급할 것을 제안합니다. 그들은 이를 '이산화 오차 평균(discretization error mean)'이라고 부릅니다. 오차의 크기만을 추측하는 대신, 그들은 유령이 정확히 어디에 있고 어느 방향으로 표류하고 있는지를 알아내고자 합니다. 이를 위해 그들은 '앙상블 칼만 필터(Ensemble Kalman Filter)'라는 영리한 통계 도구를 사용합니다. 이 필터는 마치 수많은 '만약에' 시나리오를 머릿속에 담고 있는 매우 똑똑한 탐정과 같습니다. 새로운 데이터(예: 롤러코스터가 실제로 있는 위치를 찍은 사진)가 들어오면, 탐정은 현실과 가장 잘 일치하는 시나리오를 찾기 위해 모든 시나리오를 업데이트합니다. 이 탐정 작업에 오차가 보통 축적되는 방식에 기반한 특정 규칙('마르코프 사전 확률(Markov prior)')을 결합함으로써, 그들은 숨겨진 오차의 경로를 추론하고 컴퓨터의 경로를 진실에 맞게 수정할 수 있습니다.

문제: 컴퓨터의 "발걸음" 실수

당신이 종이 위에 매끄럽고 완벽한 곡선을 그리려고 하는데, 오직 자와 연필만을 사용하여 짧은 직선들로만 그려야 한다고 상상해 보십시오. 당신은 A 지점에서 시작하여 B로 가는 짧은 선을 긋고, 그다음 C로 가는 또 다른 선을 긋습니다. 곡선을 흉내 내기 위해 직선을 사용하기 때문에, 당신은 필연적으로 완벽한 선에서 벗어나게 될 것입니다. 컴퓨터 과학의 세계에서도 우리가 복잡한 방정식을 풀 때 정확히 이런 일이 일과 같습니다. 컴퓨터는 시스템이 시간에 따라 어떻게 변하는지 시뮬레이션하기 위해 아주 작은 단계(이를 '단계 크기(step size)'라고 함)를 밟습니다. 각 단계는 미세한 '이산화 오차(discretization error)'를 발생시킵니다.

보통 과학자들이 이러한 컴퓨터 시뮬레이션을 사용할 때, 그들은 오차가 무시할 수 있을 만큼 작다고 가정합니다. 하지만 까다로운 상황들—예를 들어 나비의 날갯짓이 날씨를 바꿀 수 있는 카오스 시스템이나, 거대하고 복 complex한 문제들—에서는 이러한 작은 오차들이 거대한 실수로 커질 수 있습니다. 컴퓨터는 진자가 한 방향으로 흔들리고 있다고 생각하지만, 실제로는 반대 방향으로 흔들리고 있을 수도 있습니다. 큰 질문은 이것입니다: 우리가 컴퓨터가 얼마나 틀렸는지 어떻게 알 수 있으며, 더 중요한 것은, 어떻게 그것을 바로잡을 수 있는가?

기존 방식 vs 새로운 방식

이 논문 이전에 이러한 오차를 처리하는 몇 가지 방법이 있었습니다.

1. "경계(Bounds)" 접근법: 전통적인 수학은 "오차는 확실히 5% 미만이다"라고 말할 수 있었습니다. 하지만 컴퓨터가 4% 높은지 혹은 4% 낮은지는 말해주지 못했습니다. 이는 길을 잃었다는 것은 알지만, 어느 방향으로 돌아서야 할지는 모르는 것과 같았습니다.
2. "분산(Variance)" 접근법: 최근의 일부 방법들은 오차를 무작위적인 불확실성의 구름으로 취급했습니다. 그들은 오차가 얼마나 퍼져 있는지(분산)는 추정할 수 있었지만, 평균 오차는 0이라고 가정했습니다. 이는 "유령이 이 방 안 어디에나 있을 수 있지만, 평균적으로는 그곳에 없다"라고 말하는 것과 같습니다. 이는 당신이 얼마나 확신할 수 있는지는 알려주지만, 경로를 수정하는 데는 도움이 되지 않습니다.

이 논문의 저자들은 평균 오차가 0이라고 가정하는 것이 잘못된 추측이라고 주장합니다. 때때로 컴퓨터는 일관되게 한 방향으로 흐를 수 있습니다. 그들은 새로운 접근법을 제안합니다: 이산화 오차 평균. 오차 구름의 크기만을 추측하는 대신, 그들은 그 구름의 중심, 즉 '평균'을 찾고자 합니다. 만약 평균을 찾을 수 있다면, 컴퓨터가 정확히 어느 방향으로 표류하고 있는지 알 수 있고, 솔루션을 다시 궤도에 올릴 수 있습니다.

탐정 도구: 앙상블 칼만 필터링

이 숨겨진 "평균 오차"를 찾기 위해, 저자들은 **앙상블 칼만 필터(EnKF)**라고 불리는 도구를 사용합니다. 이는 기상 예보와 데이터 과학에서 사용되는 표준 기술입니다.

당신에게 100명의 탐정(하나의 '앙상블')이 있다고 상상해 보십시오. 각 탐정은 오차 유령이 어디에 숨어 있는지에 대해 조금씩 다른 이론을 가지고 있습니다.

• 예측 단계(Prediction Step): 시간이 흐름에 따라, 탐정들은 오차가 보통 어떻게 행동하는지에 기초하여 자신들의 이론을 업데이트합니다. 그들은 오차가 특정한 방식으로 성장하고 변화한다는 것을 알고 있습니다.
• 수정 단계(Correction Step): 그다음, 새로운 증거(센서 읽기 값과 같은 관측값)가 도착합니다. 탐정들은 이 새로운 데이터를 살펴봅니다. 만약 어떤 탐정의 이론이 데이터와 일치하지 않는다면, 그들은 자신의 이론을 조정합니다. 만약 일치한다면, 그 이론을 유지합니다.
• 마법: 새로운 데이터를 확인한 후 100명의 탐정의 이론을 평균함으로써, 팀은 오차가 실제로 어디에 있는지에 대한 매우 정확한 그림을 얻게 됩니다.

이 논문의 핵심 혁신은 이 도구를 사용할 수 있도록 문제를 설정한 것입니다. 그들은 "오차 평균"을 마치 움직이는 자동차의 위치처럼 시간에 따라 진화하는 숨겨진 상태로 취합니다. 오차가 단계마다 어떻게 변하는지를 설명하는 특정 수학적 규칙('마르코프 사전 확률')을 사용하여, 그들은 오차 수정이라는 복잡한 문제를 EnKF가 효율적으로 처리할 수 있는 깔끔하고 풀기 쉬운 퍼즐로 바꿉니다.

"유령"의 규칙: 오차가 움직이는 방식

그들의 방법에서 결정적인 부분은 오차 유령이 어떻게 움직이는지를 정의하는 것입니다. 저자들은 고전 수학의 규칙을 빌려옵니다: 전역 오차(Global errors)는 국소 오차(local errors)의 축적이다.

복도를 걷는 것을 생각해 보십시오. 만약 당신이 중심에서 약간 벗어난 작은 발걸음을 내디딘다면(국소 오차), 당장은 눈치채지 못할 수도 있습니다. 하지만 계속해서 약간씩 중심에서 벗어난 발걸음을 내딛는다면, 결국 벽 쪽으로 멀리 벗어나게 될 것입니다(전역 오차). 저자들은 이 행동을 모방하는 '마르코프 사전 확률'을 제안합니다. 그들은 다음 단계의 오차가 현재 단계의 오차에서 약간 이동한 버전이며, 여기에 새로운 "노이즈"(국소 오차)가 더해진 것이라고 가정합니다.

또한 그들은 컴퓨터가 단계 크기($h$)를 점점 줄여나감에 따라(즉, $h$가 0에 가까워짐에 따라), 그들의 방법이 올바르게 작동한다는 것을 수학적으로 증명했습니다. 추정된 오차는 예상된 속도로 줄어들며, 이는 우수한 수치 해석 방법이 그러하듯 정상적으로 작동함을 보여줍니다. 이는 그들의 "유령 추적"이 단순히 운 좋은 추측이 아니라, 수학적으로 타당한 접근 방식이라는 확신을 줍니다.

테스트에 적용하기

그들의 아이디어가 실제로 작동하는지 확인하기 위해, 저자들은 두 가지 실험을 수행했습니다.

1. 흔들리는 진자 (The Swinging Pendulum)
그들은 진자(줄에 매달린 무게추)가 앞뒤로 흔들리는 것을 시뮬레이션했습니다. 그들은 이를 풀기 위해 단순하고 약간 부정확한 컴퓨터 방식(오일러 방법)을 사용했습니다. 그런 다음, 진자의 위치에 대한 노이즈가 섞인 관측값을 EnKF에 입력했습니다.

• 결과: 이 방법은 "오차 평균"을 성공적으로 추적했습니다. 그림의 왼쪽 패널들은 추정된 오차(음영 처리가 된 파란색 선)가 실제 오차(검은색 선)와 매우 밀접하게 일치함을 보여줍니다.
• 수정: 이 추정된 오차를 사용하여 컴퓨터의 경로를 수정했을 때, 결과적인 궤적(오른쪽 패널)은 가공되지 않은 원본 컴퓨터 시뮬레이션보다 실제의 완벽한 경로에 훨씬 더 가깝게 붙어 있었습니다. 컴퓨터가 크고 서툰 발걸음을 떼고 있음에도 불구하고, 이 방법은 실수의 방향을 파악하여 이를 바로잡았습니다.

2. 피츠휴-나구모 모델 (The FitzHugh–Nagulo Model)
이 모델은 신경 세포가 어떻게 발화하는지(뇌나 심장 속에서)를 설명하는 데 사용됩니다. 이는 진자보다 더 복잡하고 "뾰족한(spiky)" 형태를 띱니다.

• 결과: 역시 방법은 작동했습니다. 모델의 두 변수 모두에 대해 오차 평균을 추적했습니다. 수정된 솔루션은 실제 경로를 따랐으며, 이는 이 방법이 단순한 흔들림뿐만 아니라 복잡하고 생물학적인 시스템에서도 작동한다는 것을 입증했습니다.

발견한 것 (그리고 발견하지 못한 것)

이 논문은 이산화 오차를 시간에 따라 진화하는 특정 "평균"을 가진 확률 변수로 취급함으로써, EnKF를 사용하여 데이터로부터 이 평균을 추론할 수 있음을 보여줍니다.

• 성공: 그들은 이 접근법이 오차의 크기(얼마나 큰가)와 방향(어느 쪽으로 밀어내는가)을 모두 정확하게 정량화할 수 있음을 보여주었습니다.
• 한계: 저자들은 자신들의 방법이 기본 모델이 옳다는 것을 전제로 한다는 점을 주의 깊게 언급합니다. 만약 모델 자체가 틀렸다면(예: 진자의 물리 법칙이 잘못 기술되었다면), 이 방법은 오차를 "수정"하려고 시도하겠지만 결국 데이터를 잘못된 모델에 맞추게 될 수도 있습니다. 또한 그들은 아직 "평균"과 "분산" 접근법을 결합하지 않았으며, 이것이 향후 과제가 될 수 있다고 언급했습니다.

이것이 왜 중요한가

이 논문은 엄청나게 작은 단계들을 사용하지 않고도(이는 계산 시간이 너무 오래 걸립니다) 컴퓨터 시뮬레이션을 더 신뢰할 수 있게 만드는 새로운 방법을 제시합니다. 통계적 탐정 작업을 통해, 우리는 "거친" 시뮬레이션을 가져와서 실제에 훨씬 더 가깝도록 다듬을 수 있습니다. 이는 컴퓨터의 실수를 숨겨진 부채가 아니라, 눈에 보이고 수정 가능한 특징으로 바꿉니다. 기상 예보관부터 교량을 설계하는 엔지니어에 이르기까지, 컴퓨터 모델에 의존하는 모든 이들에게 이것은 그들의 예측이 단순히 '근사치'가 아니라 '실제'가 되도록 보장하는 강력한 도구입니다.