🤖 machine learning

Evaluating Generative Time-Series Models on Data with Point Masses

이 논문은 생성적 시계열 모델을 위한 표준 평가 프로토콜이 흔히 점 질량(예: 0)을 고려하지 못하여, 데이터 구조의 불일치로 인해 결론이 뒤바뀔 수 있는 오도된 벤치마크를 초래하며, 신중하고 일치된 프로토콜로 평가했을 때 자기회귀 허들 모델이 조건부 흐름 모델보다 유의미하게 더 우수한 성능을 보인다는 점을 밝히고 있다.

원저자: Jian Xu

게시일 2026-08-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jian Xu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 미래를 예측하도록 가르치려 한다고 상상해 보세요. 그런데 단순히 날씨나 주가를 맞히는 것이 아니라, 주로 발생하지 않는 일들을 예측하라고 요구하는 것입니다. 예를 들어 차량 공유 앱을 생각해 봅시다. 하루 중 대부분의 시간 동안에는 호출이 발생하지 않습니다. 혹은 태양광 패널의 경우, 하루 중 절반은 에너지를 전혀 생산하지 못합니다. 데이터 과학의 세계에서 이러한 데이터는 "점 질량(point masses)을 가진 시계열"이라고 불립니다. 이는 데이터가 0으로 가득 차 있다가 간헐적인 활동의 분출로 이어지는 형태를 띠고 있다는 것을 뜻하는 멋진 표현입니다.

이러한 패턴을 예측하기 위해 과학자들은 "생성 모델(generative models)"을 사용합니다. 이 모델들을 매우 정교한 예술가라고 생각할 수 있습니다. 이들은 데이터의 형태를 학습한 다음, 미래가 어떤 모습일지에 대한 새롭고 현실적인 그림을 그려냅니다. 대부분의 경우, 이 예술가들은 "플로우 매칭(flow matching)"이라는 기법을 사용하는데, 이는 마치 부드럽고 연속적인 찰흙 판을 데이터에 맞게 늘리고 비트는 것과 같습니다. 문제는, 부드러운 찰흙 판은 결코 날카롭고 뚜렷한 점을 형성할 수 없다는 점입니다. 아주 근접하게 만들 수는 있지만, 수학적으로 완벽한 "0"을 만들어내어 그 상태를 유지할 수는 없습니다. 오직 0처럼 보이는 아주 작고 얇은 스파이크만을 만들 수 있을 뿐입니다.

이것이 왜 중요할까요? 만약 당신이 전력을 관리하거나 예비 부품을 배달하는 앱을 만들고 있다면, 언제 아무 일도 일어나지 않는지 정확히 알아야 하기 때문입니다. 만약 당신의 모델이 실제로는 아무런 요청이 없음에도 불구하고 차량 호출이 발생할 아주 미세한 가능성이 있다고 생각한다면, 당신은 돈을 낭비하거나 중요한 배달 기회를 놓칠 수 있습니다. 이 논문은 단순하지만 까다로운 질문을 던집니다. 이 부드러운 예술적 모델들이 실제로 "아무 일도 일어나지 않는" 순간을 예측하는 데 서툰 것일까요, 아니면 우리가 그것을 측정하는 방식 자체가 잘못된 것일까요?

이 논문의 저자는 차량 공유 요청이나 날씨 패턴처럼 0으로 가득 찬 데이터를 대상으로 이 부드러운 예술적 모델들을 시험대에 올리기로 했습니다. 저자는 "부드럽게" 설계된 모델이 과연 "아무것도 일어나지 않음"을 예측하는 기술을 진정으로 마스터할 수 있는지 알고 싶었습니다. 연구 결과는 약간의 반전이 있었습니다. 이 부드러운 모델들은 사건이 언제 발생하는지를 예측하는 특정 작업에서는 패배했지만, 그것이 모델이 형편없는 예술가여서도, 혹은 그들의 부드러운 특성 때문도 아니었습니다. 그들은 심판들이 잘못된 채점표를 사용하고 있었기 때문에 패배한 것이었습니다.

먼저, 연구진은 이 모델들을 테스트하는 표준적인 방식이 마치 마라톤 선수를 결승선 직전의 마지막 몇 걸음만 보고 판단하는 것과 같다는 사실을 발견했습니다. 많은 데이터셋에서 "0"(조용한 순간들)은 폭풍 전의 가뭄처럼 특정한 패턴을 가지고 나타납니다. 표준적인 테스트 방식은 실제 세상의 모습을 대변할 만큼 충분한 0을 포함하지 않는 시간 구간을 선택하는 경우가 많았습니다. 예를 들어, "rideshare"라는 데이터셋의 경우 실제 데이터는 47%가 0이었지만, 테스트 구간에는 0이 5%밖에 없었습니다. 이는 빵을 만드는 데 전문인 요리사에게 케이크를 만들어 보라고 테스트하는 것과 같았습니다. 연구진이 이를 수정하여 테스트 구간이 실제 데이터와 유사하게 만들었을 때, 부드러운 모델들은 발생 통계(occurrence statistics) 측면에서 훨씬 더 형편없어 보였지만, 여과 없이 6개 데이터셋 중 3개에서 여전히 **최고의 종합 점수(CRPS)**를 유지했습니다. 이는 혼란스러운 현실을 드러냈습니다. 즉, 일반적인 정확도 경쟁에서 "승리"하고 있는 모델이 0을 예측하는 특정 경쟁에서는 "패배"하고 있었다는 것입니다.

다음으로, 연구진은 모델이 실제로 무엇을 배우고 있는지 확인하기 위해 영리한 트릭을 도입했습니다. 그들은 모델의 예측값을 카드 덱을 섞듯이 순서를 뒤섞었습니다. 이는 "무엇"(강수량이나 차량 호출량)은 그대로 유지하면서 "언제"(타이밍과 순서)는 파괴하는 방식입니다. 연구진은 차량 공유 데이터셋과 같은 일부 데이터셋에서, 0의 타이밍을 예측하는 모델의 능력이 너무 떨어져서 카드를 섞어도 성능이 더 나빠지지 않는다는 것을 발견했습니다. 모델은 가뭄의 패턴을 실제로 학습하고 있는 것이 아니라, 그저 추측하고 있었던 것입니다. 실제로 차량 공유 데이터셋에서는 훨씬 더 단순한 모델인 "오토레그레시브 허들(autoregressive hurdle)" 모델(이는 한 단계씩 체크하는 로지스틱 분류기와 같습니다)이 화려한 부드러운 모델을 무려 153배라는 엄청난 차이로 이겼습니다. 이는 자전거가 페라리를 153배 차이로 이긴 것과 같습니다.

또한, 논문은 이 부드러운 모델들이 믿을 수 없을 정도로 불안정하다는 것을 보여주었습니다. 동일한 모델을 서로 다른 시작점(시드 값)으로 다섯 번 훈련시키면, 결과가 극단적으로 요동칠 수 있습니다. 한 데이터셋에서는 시드 값을 바꾸는 것만으로도 0을 예측하는 성능이 최대 62%까지 변했습니다. 반면, 더 단순한 모델들은 매우 견고했으며 매번 동일한 답을 내놓았습니다.

마지막으로, 저자는 "하이브리드" 접근 방식을 시도했습니다. 부드러운 모델의 사건 크기(예: 강수량)를 예측하는 능력은 가져오되, 0이 발생하는 시점에 대해서는 단순하고 명시적인 규칙을 교체해 넣었습니다. 저자는 이것이 완벽한 해결책이 될 것이라고 생각했습니다. 하지만 그렇지 않았습니다. 하이브리드 모델은 단 하나의 데이터셋에서만 작동했을 뿐이며, 나머지 데이터셋에서는 성능이 더 떨어졌습니다. 진정한 승자는 화려한 하이브리드가 아니라 단순한 단계별 분류기였습니다.

이 논문의 핵심 결론은 문제는 부드러운 모델 자체가 본질적으로 고장 났거나 그 작업에 부적합해서가 아니라는 점입니다. 문제는 우리가 일반적으로 이 모델들을 테스트하는 방식이 그 결함들을 숨기고 있으며, 오해의 소지가 있는 순위를 매기고 있다는 것입니다. 논문은 0으로 가득 찬 데이터를 다룰 때, 실상을 제대로 파악하기 위해 모델을 평가하는 방식을 수정해야 한다고 제안합니다. 테스트 방법을 수정하지 않는다면, 우리는 잘못된 도구에 찬사를 보내고, "부드러운지" 혹은 "단순한지"와 상관없이 실제로 작동하는 도구들을 놓치게 될 수도 있습니다. 저자는 이것이 모델 클래스 자체의 실패가 아니라, 평가 프로토콜과 데이터 사이의 특정한 불일치임을 명확히 하고 있습니다.

기술 요약: 점 질량(Point Masses)이 존재하는 데이터에 대한 생성적 시계열 모델의 평가

문제 정의
생성 모델을 벤치마킹하는 데 사용되는 많은 시계열 데이터셋은 단일 값(주로 0)에 상당한 확률 질량을 포함하고 있으며, 이는 "비(no) 강수", "요청된 승차 없음", 또는 "주문된 부품 없음"과 같은 이벤트를 나타낸다. 이는 "혼합(mixture)" 데이터 법칙을 생성한다: 즉, 0에서의 원자(atom)와 양수 값에 대한 연속 분포가 공존한다. 그러나 최첨단 연속 상태 생성 모델(예: flow matching, diffusion models)은 절대 연속적인 소스 분포를 전송하도록 설계되었다. 표준적인 정칙성 조건 하에서, 이러한 모델들은 절대 연속적인 출력을 생성하며, 이는 이론적으로 정확히 0을 생성할 확률이 0임을 의미한다. 결과적으로, 이러한 모델들은 자신이 본질적으로 표현할 수 없는 특징(원자)을 재현해야 하는 과제를 안게 된다. 본 논문은 이러한 구조적 불일치가 연속 모델을 체계적으로 저해하는지, 그리고 명시적인 발생 프로세스(occurrence processes)가 해결책을 제공하는지 조사하는 동시에, 현재 이 모델들이 어떻게 평가되고 있는지에 대한 결정적인 결함들을 식별한다.

방법론 및 평가 프로토콜
저자는 다양한 정도의 제로-인플레이션(0%에서 94%까지)을 가진 6개의 데이터셋에 초점을 맞추어 생성적 시계열 모델에 대한 엄격한 재평가를 수행한다. 연구는 마르코프 체인, 준-마르코프 프로세스(semi-Markov processes), 그리고 자기회귀 허들 모델(autoregressive hurdle models)을 포함하여 간헐적 수요(intermittent demand) 문헌에서 유래된 여러 베이스라인과 조건부 플로우 매칭(conditional flow matching) 모델을 비교한다.

본 방법론은 평가 아티팩트(artifact)를 모델 성능으로부터 분리하기 위해 세 가지 구체적인 분석 제어 장치를 도입한다:

윈도우 유사성 분석(Window Resemblance Analysis): 저자는 모델이 각 시계열의 마지막 $H$ 스텝에 대해 점수를 받는 표준적인 "롤링 오리진(rolling-origin)" 평가 프로토콜을 분석한다. 저자는 비정상적(non-stationary) 원자 프로세스의 경우, 이러한 평가 윈도우가 전체 데이터셋과 현저히 다른 제로 비율을 가질 수 있음을 입증한다(예: 46.9%의 0을 가진 데이터셋이 5.3%의 0만을 가진 윈도우로 평가되는 경우).
탈상관 제어(The Decorrelation Control): 시간적 결합(temporal coupling)이 특정 통계량에 기여하는 구체적인 정도를 측정하기 위해, 저자는 각 타임 스텝에서 샘플 인덱스를 독립적으로 치환하는 제어 실험을 제안한다. 이 연산은 시간적 결합(run-length 구조)을 파괴하지만, 타임스텝별 예측 주변 분포(marginal)와 따라서 연속 순위 확률 점수(CRPS)를 구성상 불변하게 유지한다. 이를 통해 모델이 학습한 궤적 결합이 선택된 지표에 얼마나 기여하는지 직접 측정할 수 있다.
시드 민감도 분석(Seed Sensitivity Analysis): 연구는 5개의 훈련 시드에 걸쳐 모델을 벤치마킹하여 안정성을 평가하며, 플로 모델의 확률적 특성과 결정론적 베이스라인을 대조한다.

주요 결과

평가 아티팩트: 표준적인 롤링 오리진 프로토콜은 종종 데이터셋을 대표하지 않는 레짐(regime)을 평가한다. 한 사례(승차 공유)에서는 데이터셋의 0 비율이 46.9%이지만, 평가 윈도우는 5.3%에 불과했다. 이러한 불일치는 심각하여 저자의 결론을 뒤집기도 했는데, 처음에 강력한 자기회귀 허들 모델이 노출 편향(exposure bias) 때문에 "경고의 대상"처럼 보였으나, 시계열별 분할(series-wise split) 하에서는 가장 강력한 성능을 보이는 것으로 나타났다.
모델 성능: 매칭된 프로토콜(시계열별 분할) 하에서, 자기회귀 발생 허들(단계별로 롤아웃된 로지스틱 분류기)이 6개 중 5개의 데이터셋에서 조건부 플로보다 우수한 성능을 보였다. 승차 공유 데이터셋에서 허들 모델은 제로-런 길이(zero-run length) 오차( $W_1$ ) 측면에서 플로보다 153배 더 나은 성능을 보였다.
지표 발산(Metric Divergence): 모델의 순위는 선택된 지표에 따라 크게 달라진다. 자기회귀 허들은 발생 통계량(제로-런 길이, 스펠ल 퀀타일, 생존 함수)에서 우위를 점하는 반면, 플로는 종종 최고의 CRPS를 달umb한다. 이 두 가족의 지표는 모델 순위에 동의하지 않는다.
결합 기여도: 탈상관 제어는 플로 모델에서 학습된 시간적 결합이 여러 데이터셋(예: rideshare, car_parts)에서 제로-런 통계량에 거의 또는 전혀 기여하지 않음을 보여준다. 승차 공유 데이터셋의 경우, 플로의 제로-런 길리에 대한 성능은 탈상관된 샘플의 성능과 구별되지 않았으며, 이는 결합이 해당 통계량에 아무런 가치를 더하지 못함을 의미한다.
불안정성: 플로 모델의 발생 통계량은 훈련 시드에 따라 매우 불안정하며, 특정 데이터셋에서 최대 62%까지 변동한다. 반면, 발생 베이스라인들은 결정론적이다.
하이브리드 실패: 플로에 준-마르코프 발생 프로세스를 대체 삽입하는 "하이브리드" 접근 방식은 단 하나의 데이터셋에서만 성능을 개선했고 나머지 다섯 개에서는 악화시켰다. 이는 특정 발생 메커니즘(자기회귀 vs 준-마르코프)의 선택이 단순히 명시적인 프로세스를 추가하는 것보다 더 중요하다는 것을 시사한다.

의의 및 주장
본 논문은 관찰된 성능 격차가 연속 상태 모델이 원자를 처리하는 데 있어 갖는 본질적인 무능력 때문이 아니라, 현재의 평가 프로토콜에 있는 측정 문제에서 기인한다고 주장한다. 저자는 연속적 생성 모델링이 근본적으로 잘못되었다고 주장하는 것이 아니라, 다음과 같이 주장한다:

평가 윈도우가 중요하다: 표준적인 롤링 오리진 프로토콜은 윈도우의 원자 구조가 데이터셋과 다를 경우 오도된 결과를 낼 수 있다.
결합은 검증되어야 한다: 모델이 관련 통계량에서 자신의 탈상관된 샘플보다 뛰어난 성능을 보이지 않는 한, 시간적 구조를 학습했다고 인정해서는 안 된다.
지표 선택이 결정적이다: 서로 다른 발생 통계량(예: 런-길이 vs 스펙트럴)은 서로 다른 모델 순위를 산출하며, 실무자는 자신의 사용 사례에 부합하는 지표를 선택해야 한다.
안정성 보고: 발생 통계량에 대해 단일 실행 결과만을 보고하는 것은 불충분하며, 시드 간의 확산(spread)을 반드시 보고해야 한다.

논문은 준-마르코프 프로세스를 플로에 삽입하는 것이 "명백한 해결책"이 아니라고 결론짓는다. 대신, 자기회귀 허들 접근 방식이 이러한 특정 데이터셋들에 대해 더 우월한 방법이며, 평가 프레임워크는 데이터의 원자 구조를 적절히 반영하도록 조정되어야 한다고 결론 내린다.

유사한 논문