🤖 machine learning

Two-stage Odd Residual Flows for Mean-Preserving Probabilistic Time Series Forecasting

본 논문은 정확한 점 예측을 위해 사전 훈련된 결정론적 모델을 사용하고, 유연한 잔차 분포를 학습하기 위해 엄격히 기함수(odd function)인 제한된 노멀라이징 플로우(normalizing flow)를 사용하는 방식으로 평균 예측과 불확실성 추정을 분리하는 새로운 프레임워크인 Two-stage Odd Residual Flows(TORF)를 제안하며, 이를 통해 비용이 많이 드는 샘플링 없이도 결정론적 정확도와 확률 밀도 추정 모두에서 최첨단 성능을 달성한다.

원저자: Kiran Madhusudhanan, Christian Klötergens, Lars Schmidt-Thieme, Vijaya Krishna Yalavarthi

게시일 2026-08-12

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kiran Madhusudhanan, Christian Klötergens, Lars Schmidt-Thieme, Vijaya Krishna Yalavarthi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 다음 주 날씨를 예측하려고 한다고 상상해 보세요. 당신은 두 가지를 원합니다. 구체적인 온도 수치(예: "72°F가 될 것입니다")와 자신이 얼마나 확신하는지에 대한 감각(예: "68°F에서 76°F 사이가 될 수도 있습니다")입니다. 데이터 과학의 세계에서 이것은 **확률적 시계열 예측(probabilistic time series forecasting)**이라고 불립니다. 이는 과거의 패턴(전력 사용량, 주식 가격, 또는 교통 흐름 등)을 살펴보고, 단순히 하나의 추측을 내놓는 것이 아니라, 가능성의 전체 지도를 그려내며 다음에 올 것을 추측하는 기술입니다.

오랫동안 과학자들은 까다로운 절충안과 씨름해 왔습니다. 만약 당신이 이상하고 복잡한 패턴(갑작스러운 폭풍우 같은)을 처리할 수 있도록 매우 유연한 모델을 만들려고 하면, 종종 핵심적인 숫자를 틀리게 됩니다. 이는 마치 구름의 모양을 아름답고 복잡하게 그려냈지만, 정작 비가 올지 해가 뜰지는 말해주지 않는 기상 예보관과 같습니다. 반대로, 핵심 숫자를 맞히는 데 탁월한 모델을 만들면, 그 모델은 세상이 단순하고 지루하다고 가정하여 흥미롭거나 위험한 변수들을 놓치곤 합니다. 큰 질문은 이것이었습니다. "핵심 숫자를 잘 맞히는 날카로운 추측가이면서 동시에 불확실성을 그려내는 유연한 예술가가 될 수 있는 모델을 가질 수 있을까?"

이 논문은 TORF(Two-stage Odd Residual Flows)라는 영리한 새로운 프레임워크를 소개하며 "네, 가능합니다!"라고 말합니다. 저자들은 이 두 가지 일을 동시에 하려고 하는 것이 문제였다는 점을 깨달았습니다. 대신, 그들은 업무를 두 개의 별도 팀으로 나누었습니다. 먼저, 매우 집중력이 높은 "점 예측기(Point Predictor)"가 혼란은 무시한 채 오직 핵심 숫자를 최대한 정확하게 맞히는 데 집중하게 합니다. 그다음, 두 번째 팀인 "잔차 흐름(Residual Flow)"을 투입합니다. 이 팀의 유일한 임무는 실제 세상이 그 특정 숫자 주변에서 어떻게 꿈틀거릴 수 있는지 파악하는 것입니다.

여기 마법 같은 트릭이 있습니다. 두 번째 팀은 "기함수(odd function)"라고 불리는 특별한 수학적 규칙으로 구축되었습니다. 이것을 완벽하게 균형 잡힌 시소라고 생각해 보세요. 왼쪽의 꿈틀거림(한파를 나타냄)이 아무리 거칠더라도, 오른쪽에는 그와 대등하고 반대되는 꿈틀거림(폭염)이 존재합니다. 시소가 완벽하게 균형을 이루고 있기 때문에 중심점은 절대 움직이지 않습니다. 즉, 두 번째 팀은 첫 번째 팀이 예측한 핵심 숫자를 실수로 옮겨버리지 않으면서도, 매우 복잡하고 유연하며 심지어 다중적인 형태를 가진 불확실성의 지도를 그려낼 수 있습니다.

논문은 이 2단계 접근 방식이 놀라울 정도로 효과적이라는 것을 보여줍니다. 연구진이 전력망, 교통 체증, 기상 관측소와 같은 실제 데이터를 사용하여 테스트했을 때, TORF는 거의 모든 다른 방법들을 압도했습니다. 단순히 핵심 숫자를 잘 맞혔을 뿐만 아니라, 경쟁 모델들보다 불확실성을 훨씬 더 잘 설명해 냈습니다. 실제로 장기 예측(720단계 앞을 내다보는 예측)에서, TORF는 기존 최상위 모델들과 비교했을 때 핵심 추측의 정확도는 최대 25%, 불확실성 지도의 품질은 최대 35%까지 향상시켰습니다.

또한 저자들은 첫 번째 단계를 위해 바퀴를 새로 발명할 필요가 없다는 점을 보여주었습니다. 당신이 SimpleTM과 같은 기존의 "점 예측기"를 가져다 끼우기만 하면, TORF 시스템은 즉시 그것을 유연한 불확실성 지도를 갖춘 모델로 업그레이드해 줍니다. 이는 신뢰할 수 있는 구식 자동차 엔진에 첨단 자율 조절 서스펜션 시스템을 장착하는 것과 같습니다. 엔진은 여전히 차를 완벽하게 앞으로 나아가게 하지만, 이제는 가장 울퉁불퉁하고 예측 불가능한 도로 위에서도 승차감이 매끄러워집니다.

요약하자면, 이 논문은 "평균을 추측하는 일"과 "혼돈을 추측하는 일"을 분리하고, 수학적으로 균형 잡힌 다리를 통해 이 둘을 연결함으로써, 우리는 마침내 정밀하면서도 미래가 얼마나 불확실한지에 대해 정직한 예측을 할 수 있게 된다고 주장합니다.

기술 요약: 평균 보존 확률적 시계열 예측을 위한 2단계 홀수 잔차 흐름 (Two-stage Odd Residual Flows)

문제 정의

확률적 시계열 예측(TSF)은 에너지 관리 및 금융과 같은 도메인에서 리스크 민감한 의사결정에 매우 중요합니다. 그러나 기존 방식들은 분포의 유연성(복잡하고 비가우시안적인 불확실성을 모델링하는 능력)과 평균 예측 정확도 사이의 근본적인 트레이드오프에 직면해 있습니다.

파라미터 기반 방법 (예: 평균 분산 추정 - MVE): 이 방법들은 고정된 분포 패밀리(일반적으로 이분산 가우시안)를 가정하고 음의 로그 가능도(NLL)를 통해 파라미터를 최적화합니다. 비록 분석적인 평균을 제공하지만, 결합 NLL 학습은 평균 학습과 분산 학습 사이의 내재적 충돌을 생성합니다. Seitzer 등(2022)이 보여준 바와 같이, NLL 그래디언트는 역분산( $1/\sigma^2$ )에 의해 스케일링되므로, 고분산 영역이 평균 학습에 기여하는 정도가 낮아집니다. 이는 특히 장기 예측 설정에서 점 예측(point prediction) 정확도를 저하시키는 원인이 됩니다.
유연한 생성 모델 (예: Diffusion, Normalizing Flows, VAEs): 이러한 모델들은 경직된 분포 가정을 피하고 복잡한 밀도를 포착할 수 있습니다. 그러나 이들은 평균 중심의 손실 함수보다는 분포적 목적 함수(예: ELBO 또는 log-likelihood)를 최적화합니다. 결과적으로 예측 평균은 전체 밀도를 적합시키는 과정의 암묵적인 부산물일 뿐이며, 직접적으로 감독되지 않습니다. 또한, 평균을 복구하기 위해 비용이 많이 드는 몬테카를로 샘플링이 필요한데, 이는 고차원에서 추정 오차를 심화시킵니다. 실증적 결과에 따르면, 최첨단 확률적 모델(예: K2VAE)은 결정론적 점 예측 모델(예: SimpleTM)보다 평균 정확도 측면에서 지속적으로 뒤처지는 경향이 있습니다.

방법론: 2단계 홀수 잔차 흐름 (TORF)

평균 예측과 불확실성 추정을 분리하기 위해, 저자들은 잔차 분포를 유연하게 모델링하면서 평균 보존을 보장하는 2단계 프레임워크인 TORF를 제안합니다.

1단계: 결정론적 평균 추정

사전 학습된 오프더쉘프 점 예측 모델(예: SimpleTM)을 사용하여 조건부 평균 추정치 $\hat{Y} = f_{\theta_1}(X)$ 를 생성합니다. 이 단계는 평균 제곱 오차(MSE) 목적 함수 하에 독립적으로 학습됩니다. 모델 파라미터 $\theta_1$ 은 학습 후 동결되어, 이후의 불확실성 모델링에 의해 평균 예측이 왜곡되지 않도록 보장합니다.

2단계: 잔차를 위한 제한된 정규화 흐름 (Restricted Normalizing Flow)

두 번째 단계는 **제한된 정규화 흐름(RNF)**을 사용하여 잔차 분포 $\epsilon = Y - \hat{Y}$ 를 모델링합니다.

홀수 함수 제약 (Odd Function Constraint): 핵심 혁신은 흐름 아키텍처를 엄격한 홀수 함수( $f(-u) = -f(u)$ )로 제한하는 것입니다. Kobayashi와 Aotani(2023)의 이론적 보장에 따라, 기저 분포가 대칭(예: 표준 정규 분포)이고 변환이 홀수 함수라면, 변환된 변수의 기댓값은 분석적으로 0이 됩니다( $E[\epsilon] = 0$ ). 이는 샘플링 없이도 전체 모델의 예측 평균이 정확히 $\hat{Y}$ 임을 수학적으로 보장합니다.
잔차 홀수 스플라인 (Residual Odd Splines, ROSS): 저자들은 이를 홀수 함수로 제약된 유리 이차 신경 스플라인 흐름(RQ-NSF)을 사용하여 구현했습니다. 양의 영역과 음의 영역에 걸쳐 빈(bin) 파라미터를 미러링하는 대신, 스플라인은 입력의 크기를 처리하고 부호를 복원함으로써 $f(0)=0$ 과 정확한 홀수 대칭을 보장합니다.
선형 스케일링 레이어 (Linear Scaling Layer, LSL): 입력 범위를 스플라인의 서포트(support)에 적응시키기 위해 조건부 스케일링 레이어가 전단에 배치됩니다. 결정적으로, 이 레이어는 홀수 대칭 속성을 보존하기 위해 오직 스케일링만을 사용하며 이동(translation)은 사용하지 않습니다.
아키텍처: 흐름은 각각 LSL과 ROSS 레이어를 포함하는 $K$ 개의 블록으로 구성됩니다. 경량 1D 컨볼루션 네트워크(SplineNet)는 컨텍스트 임베딩(동결된 1단계 인코더에서 유도됨)을 스플라인 파라미터로 매핑하여 장기 예측에 대한 효율성을 확보합니다.

이론적 보장

홀수 함수의 합성(LSL 및 ROSS)은 홀수 함수 성질을 유지한다는 구성 원리에 따라, 대칭인 기저 분포에 적용될 때 결과적인 잔차 밀도는 0을 중심으로 대칭이 됩니다. 논문의 Lemma 1은 이것이 예측 분포의 분석적 평균과 중앙값이 정확히 1단계 예측값과 일치함을 증명하며, 평균 추정을 위한 몬테카를로 샘플링의 필요성을 제거합니다.

주요 기여

분리된 프레임워크: TORF는 평균 예측을 밀도 추정으로부터 격리하여, 높은 성능의 점 예측 모델을 분포 왜곡 없이 사용할 수 있게 합니다.
홀수 제약 잔차 흐름: ROSS(Residual Odd Splines)의 도입은 유연한 비가우시안 밀도 추정을 가능하게 하는 동시에, 1단계의 정확한 분석적 평균을 증명 가능한 방식으로 보존하여 표준 정규화 흐름의 샘플링 오차 문제를 해결합니다.
효율적인 아키텍처: 경량 CNN 기반의 SplineNet은 시계열 컨텍스트를 흐름 파라미터로 효율적으로 매핑하여, 장기 예측 및 고차원 다변량 설정으로의 확장성을 제공합니다.
최첨단 성능: 이 프레임워크는 다양한 데이터셋에 대해 결정론적 정확도(NMAE)와 확률적 밀도 추정(CRPS) 모두에서 새로운 벤치마크를 수립했습니다.

실험 결과

저자들은 17개의 실제 데이터셋(단기 8개, 장기 9개)에 대해 점 예측기(PatchTST, iTransformer) 및 확률적 모델(K2VAE, TimeGrad, CSDI, GRU-NVP)을 포함한 12개의 베이스라인과 함께 TORF를 평가했습니다.

장기 예측 (Long-Horizon Forecasting): TORF는 9/9 데이터셋에서 NMAE를, 7/9 데이터셋에서 CRPS를 달성하며 최첨단 성능을 보였습니다. 주목할 만한 개선 사항으로는 가장 강력한 베이스라인인 K2VAE 대비 CRPS +35.4% (ETTh2-L), NMAE +25.1% (ETTm2-L)의 향상이 있었습니다.
단기 예측 (Short-Horizon Forecasting): TORF는 5/8 데이터셋에서 NMAE를, 6/8 데이터셋에서 CRPS를 달성하며 승리했습니다.
절제 연구 (Ablation Studies):
- 2단계 분해 자체(가우시안 변형인 MVE-2S)만으로도 12개 분포 지표 중 11개에서 K2VAE를 능가하였으며, 이는 분리가 평균 정확도 향상의 주된 동인임을 확인시켜 줍니다.
- 홀수 제약 흐름(TORF)은 비가우시안 잔차를 모델링함으로써 가우시안 베이스라인보다 CRPS를 더욱 개선했습니다.
- 선형 스케일링 레이어(LSL)를 제거하면 성능이 크게 저하되어, 적응형 입력 스케일링의 필요성을 입증했습니다.
- CNN 기반 SplineNet을 MLP로 교체할 경우 장기 예측 시 메모리 부족(OOM)이 발생하여, 제안된 아키텍처의 효율성을 보여주었습니다.
백본 불가지론 (Backbone Agnosticism): 1단계 모델로 iTransformer를 사용했을 때도 TORF의 흐름 하이퍼파라미터가 효과적으로 전이되었으며, 확률적 성능이 기초가 되는 점 예측기의 품질을 추종함을 확인했습니다.

의의 및 주장

본 논문은 TORF가 확률적 시계열 예측에서 오랫동안 지속된 분포의 유연성과 평균 정확도 사이의 트레이드오프를 해결한다고 주장합니다. 잔차 흐로에 홀수 대칭을 엄격히 적용함으로써, 몬테카를로 샘ple링의 계산 비용이나 추정 오차 없이 예측 평균이 분석적으로 추적 가능하며 1단계 예측값과 동일함을 보장합니다.

저자들은 TORF를 다음과 같은 새로운 최첨단 프레임워크로 정의합니다:

결합 NLL 학습이나 샘플링 노이즈로 인해 평균이 저하되는 기존 확률적 모델들에 비해 우수한 **점 예측 정확도(NMAE)**를 달성합니다.
가우시안 베이스라인이 놓치는 복잡한 비가우시안 잔차 구조를 포착함으로써 강력한 **밀도 추정(CRPS)**을 제공합니다.
확산 모델(Diffusion)이나 표준 흐름 모델의 샘플링 기반 추론에 따르는 메모리와 시간 비용을 피하는 계산 효율적인 솔루션을 제공합니다.

이 연구는 많은 시계열 작업에서 (홀수 흐름에 의해 보장되는) 평균의 "충실함(faithfulness)"이 전체적인 성능 향상을 이끄는, 이전에 충분히 활용되지 않았던 중요한 속성임을 시사합니다.