Stable Neural Stochastic Differential Equations in Analyzing Irregular Time Series Data

문제점: "고장 난 시계"와 "추측 게임"

당신이 환자의 건강 상태, 주식의 움직임, 또는 목소리의 소리를 추적하려고 한다고 상상해 보세요. 완벽한 세상이라면, 마치 시계가 규칙적으로 똑딱거리는 것처럼 매 초마다 데이터 포인트를 얻을 수 있을 것입니다. 하지만 현실 세계의 데이터는 엉망입니다. 때로는 센서가 고장 나기도 하고, 의사가 기록하는 것을 잊어버리기도 하며, 데이터가 무작위한 시간에 도착하기도 합니다.

이것을 **불규칙 시계열 데이터(Irregular time series data)**라고 부릅니다. 이는 마치 페이지 번호가 빠져 있거나 장(chapter)의 순서가 뒤섞인 이야기를 따라가려는 것과 같습니다.

기존의 컴퓨터 모델(표준 AI와 같은 모델)은 이야기를 완벽하게 번호가 매겨진 1, 2, 3, 4 페이지로 읽을 줄만 아는 학생와 같습니다. 만약 당신이 그들에게 1페이지를 준 다음 5페이지, 그다음 2페이지를 준다면, 그들은 혼란에 빠져 실패하게 됩니다.

이전의 해결책: "매끄러운 강물" (Neural ODEs)

이를 해결하기 위해 연구자들은 **뉴럴 상미분 방정식(Neural Ordinary Differential Equations, Neural ODEs)**을 발명했습니다. 이것을 매끄럽게 흐르는 강물이라고 생각해 보세요. 설령 당신이 무작위로 정해진 지점에서만 강물을 관찰하더라도, 이 모델은 그 지점들 사이에서도 물이 연속적으로 흐른다고 가정합니다. 모델은 빈 공간을 아름답게 채워줍니다.

하지만 현실 세계가 항상 매끄러운 강물인 것은 아닙니다. 때로는 갑작스러운 물보라, 예측 불가능한 파도, 또는 "노이즈(noise)"가 발생할 수 있습니다. 이러한 현상을 처리하기 위해 과학자들은 강물에 약간의 무작위성을 더하여 **뉴럴 확률 미분 방정식(Neural Stochastic Differential Equations, Neural SDEs)**을 만들었습니다. 이것은 일정한 흐름(current)과 동시에 간헐적인 무작위 물보라가 발생하는 강물과 같습니다.

결정적인 실수: "불안정한 배"

이 논문은 사람들이 이러한 "무작위 강물"(Neural SDEs)을 구축할 때 저지른 주요 문제를 지적합니다. 그들은 강물의 움직임(drift, 표류)과 무작위 물보라(diffusion, 확산)를 설계할 때 일반적이고 "나이브(naïve)"한 방식을 사용하려 했습니다.

저자들은 이를 제대로 된 선체 없이 배를 만드는 것에 비유합니다. 그냥 나무 조각들을 아무렇게나 던져 모아 놓으면, 평온한 날에는 괜찮아 보일지 몰라도, 파도가 치는 순간(데이터가 누락되거나 데이터의 성격이 변하는 순간) 배는 뒤집히고 맙니다.

기술적인 용어로, 이러한 나이브한 모델들은 다음과 같은 문제를 일으킵니다:

• 폭발(Explode): 숫자가 너무 커져서 컴퓨터가 다운됩니다.
• 불안정화(Destabilize): 모델이 혼란에 빠져 엉뚱하고 잘못된 답을 내놓습니다.
• 수렴 실패(Fail to converge): 모델이 올바른 패턴을 학습하지 못합니다.

논문의 그림 1(Figure 1)은 이를 생생하게 보여줍니다. 특정 설계의 "무작위 물보라"는 작동하지만, 설계되지 않은 일반적인 방식은 모델의 오차(loss)를 급격히 치솟게 만들어 모델을 쓸모없게 만듭니다.

해결책: 세 가지 "안정적인 배"

저자들은 수학적으로 증명된 세 가지 특정 설계의 Neural SDE를 제안합니다. 배를 어떻게 만들지 막연히 추측하는 대신, 거친 파도 속에서도 안정적인 것으로 알려진 세 가지 유형의 배를 직접 제작했습니다.

1. 랑주뱅 유형(Langevin-type) SDE: 이것은 자연스럽게 잔잔한 항구로 안착하도록 설계된 배를 생각하면 됩니다. 배가 너무 멀리 밀려나면 다시 안정적인 상태로 끌어당기는 내장 메커니즘을 가지고 있습니다. 이는 결국 안정화되는 패턴을 학습하는 데 탁월합니다.
2. 선형 노이즈(Linear Noise) SDE: 이것은 배의 속도와 파도의 크기(노이즈)가 직접 연결된 배와 같습니다. 배가 빨라지면 파도도 커지지만, 예측 가능하고 통제된 방식으로 커집니다. 이는 예측 불가능하고 거대한 파도에 의해 배가 휘둘리는 것을 방지합니다.
3. 기하학적(Geometric) SDE: 이 배는 수면 아래로 가라앉을 수 없습니다(항상 양수 값을 유지합니다). 이는 생물학적 뉴런이 작동하는 방식(뉴런은 '켜짐' 아니면 '꺼짐'이며, 음수가 될 수 없음)을 모델링한 것입니다. 따라서 심박수나 가격처럼 음수가 될 수 없는 데이터를 다루기에 완벽합니다.

비밀 재료: "제어된 경로(Controlled Path)"
이 배들이 엉망인 이야기를 더 잘 읽을 수 있도록, 저자들은 "제어된 경로"를 추가했습니다. 이는 배 옆에서 함께 걸으며 이야기의 빠진 페이지가 정확히 어디인지, 그리고 그 사이의 이야기가 어떻게 흐르는지를 짚어주는 가이드와 같습니다. 이는 모델이 단순히 값(value)뿐만 아니라 데이터의 *타이밍(timing)*을 이해하도록 돕습니다.

왜 중요한가: "흔들리지 않는 우산"

이 논문은 이 새로운 모델들이 **강건하다(robust)**고 주장합니다.

당신이 폭풍 속에서 우산을 들고 있다고 상상해 보세요.

• 기존 모델들은 저렴한 종이 우산과 같습니다. 바람(누락된 데이터)이 조금만 불어도 우산이 찢어져 당신은 흠뻑 젖게 됩니다.
• 새로운 모델들은 첨단 기술이 적용된, 흔들리지 않는 우산과 같습니다. 바람의 방향이 갑자기 바뀌거나(분포 변화/distribution shift), 비가 더 세차게 내려도(데이터 누락 증가) 우산은 굳건히 버팁니다.

저자들은 입력 데이터가 약간 변하더라도(예: 데이터 포인트의 30%, 50%, 또는 70%가 누락되더라도), 자신들의 모델이 무너지지 않는다는 것을 수학적으로 증명했습니다. 모델은 여전히 정확한 답을 내놓습니다.

결과: 경주에서의 승리

연구팀은 30개의 서로 다른 데이터셋(기존의 "매끄러운 강물" 모델 및 표준 AI 포함)을 사용하여 이 세 가지 "안정적인 배"를 테스트했습니다. 이 데이터셋들은 각각 다른 종류의 폭풍과 같았습니다:

• 의료 데이터: vital sign(활력 징후)이 누락된 중환자실(ICU) 기록.
• 음성: 배경 소음이 섞인 오디오 클립.
• 로보틱스: 껑충껑득 뛰는 로봇의 움직임 데이터.

결과:

• 보간(Interpolation): 이야기의 빠진 페이지를 채우라는 요청을 받았을 때, 이 모델들은 다른 어떤 모델보다 뛰어난 성능을 보였습니다.
• 분류(Classification): 데이터를 식별하라는 요청을 받았을 때(예: "이 환자가 패혈증인가?" 또는 "이 단어가 '예'인가 '아니오'인가?"), 이 모델들이 가장 정확했습니다.
• 누락된 데이터(Missing Data): 누락된 데이터의 양이 많아질수록 기존 모델들의 성능은 점점 악화되었습니다. 반면, 새로운 모델들은 강력함을 유지했으며, 데이터의 70%가 사라진 상황에서도 정확도를 거의 잃지 않았습니다.

요약

요약하자면, 이 논문은 다음과 같이 말합니다: "기존의 방식대로 AI 시계열 모델에 무작위성을 추가하는 것은 모델을 불안정하게 만들고, 데이터가 누락되었을 때 실패하기 쉽게 만듭니다. 우리는 수학적으로 안정적인 세 가지 새로운 버전을 설계했으며, 이는 흔들리지 않는 배처럼 작동합니다. 이 새로운 모델들은 엉망이고 불완전하며 불규칙한 데이터를 현재 사용 가능한 그 어떤 모델보다 훨씬 더 잘 처리할 수 있으며, 실세계 시계열 분석의 새로운 골드 스탠다드(gold standard)가 될 것입니다."