기술 요약: 계절적 추세 이상 탐지 (STAD)

문제 정의

시계열 데이터에서 이상치를 탐지하는 것은 금융, 에너지, 의료와 같은 다양한 도메인에서 매우 중요한 과제입니다. 그러나 기존 방법론들은 복잡한 구조를 가진 실제 데이터에 적용될 때 상당한 한계에 직면합니다. 전통적인 접근 방식은 대개 일정한 베이스라인을 가정하거나 점 이상치(point anomalies)에만 집중합니다. CAPA(Collective And Point Anomalies)와 같은 최신 방법론들은 점 이상치와 집단 이상치(collective anomalies)를 모두 탐지할 수 있지만, 일반적으로 가우시안 노이즈를 동반한 일정한 베베이스라인을 가정하며 작동합니다.

실제 환경의 시계열 데이터는 흔히 다항식 추세(polynomial trends)와 주기적인 계절적 패턴을 보입니다. 이러한 구성 요소가 존재할 때, 표준 분해 방법(예: STL, RobustSTL)은 실제 이상치와 구조적 변동을 구분하는 데 실패하는 경우가 많습니다. 특히, 집단 이상치(연속된 이상치 지점들의 그룹)는 추세나 계절성 성분에 흡수되어 위음성(false negatives)을 초래할 수 있습니다. 반대로, 강한 추세와 계절성은 이상치를 가려버려, 이를 고려하지 않는 방법론에서 위양성(false positives)을 유발할 수 있습니다. 시계열을 추세, 계절성, 이상치 성분으로 동시에 분해하면서 점 및 집단 이상치를 정확하게 식별할 수 있는 견고한 통계적 방법론이 부족한 실정입니다.

방법론: 계절적 추세 이상 탐지 (STAD)

저자들은 다항식 추세와 계절적 성분을 처리할 수 있도록 기존의 이상 탐지 프레임워크를 확장한 새로운 접근 방식인 STAD를 제안합니다. 이 방법은 관측된 시계열 $Y$를 다음과 같이 네 가지 성분으로 분해합니다:
$$Y = A + T + S + \varepsilon$$
여기서 $A$는 이상치(집단 및 점 이상치 모두 포함), $T$는 다항식 추세, $S$는 주기적 계절 성분, $\varepsilon$은 가우시안 노이즈를 나타냅니다.

STAD 알고리즘은 다음의 네 가지 반복 단계를 거칩니다:

1. 초기 추정 (Initial Estimation):

   • 추세 (Trend): 계절성을 제거하기 위해, 데이터는 계절 주기 $P$의 배수인 시차 $D$를 사용하여 차분됩니다. 이 차분된 시리즈에 견고한 추세 추정기를 적용하여 초기 추세 추정치 $\hat{T}_0$를 얻습니다.
   • 계절성 (Seasonality): 원본 데이터에서 초기 추세를 뺍니다. 그 후 잔여물에 견고한 계절성 추정기를 적용하여 초기 계절성 추정치 $\hat{S}_0$를 얻습니다.

2. 정밀 추세 추정 (Refined Trend Estimation):

   • 정밀한 추세는 잔여물 $Y - \hat{S}_0$에 견고한 추세 추정기를 적용하여 추정됩니다.
   • 샘플링 전략: 집단 이상치를 처리하기 위한 핵심적인 혁신은 체계적인 샘플링 전략입니다. 이 방법은 시계열을 서로 소의 세그먼트로 나누고, 교대하는 세트(홀수 또는 짝수 인덱스 세그먼트)에서 서브 세그먼트를 샘플링합니다. 이는 높은 확률로 적어도 하나의 서브 샘플이 집단 이상치로부터 자유롭다는 것을 보장하며, 이를 통해 대규모의 이상 블록이 존재하는 상황에서도 신뢰할 수 있는 다항식 추세 추정을 가능하게 합니다.
   • 이 샘플링 과정을 $J$번 반복하며, 이상 탐지 단계에 적용되는 패널티 비용 함수를 최소화하는 추세 추정치를 선택합니다.

3. 정밀 계절성 추정 (Refined Seasonality Estimation):

   • 추세가 정밀해지면, 이전 단계에서 이상치로 식별된 구간을 명시적으로 제외한 $Y - \hat{T}$에 견고한 계절성 추정기를 적용하여 계절 성분을 재추정합니다.
   • 계절성이 매끄럽다고 가정되는 경우, 추정된 계절 계수에 스플라인 평활화(spline smoothing)를 적용합니다.

4. 이상 탐지 (Anomaly Detection):

   • 마지막으로, $Y - \hat{T} - \hat{S}$에 수정된 버전의 CAPA 알고리즘을 적용하여 이상 성분 $A$를 추정합니다.
   • 이 단계에서는 집단 및 점 이상치의 개수, 위치, 크기를 식별하기 위해 패널티 비용 접근 방식(Generalized Functional Pruning Optimal Partitioning - GFPOP)을 사용합니다.

주요 기여

• 새로운 분해 프레임워크: STAD는 단일 통계적 프레임워크 내에서 다항식 추세, 계절 성분, 그리고 점 및 집단 이상치를 동시에 추정하는 최초의 방법입니다.
• 추세 추정을 위한 견고한 샘플링: 본 논문은 높은 확률로 비이상적 서브 샘플의 존재를 보장하는 체계적인 샘플링 절차를 도입합니다. 이는 대규모 집단 이상치에 의해 편향될 수 있는 표준 견고 추정기(M-추정기 등)의 한계를 극복합니다.
• 이론적 보장: 저자들은 STAD가 다음을 수행함을 입증하는 통계 이론을 확립했습니다:
  • 이상치의 개수를 일관되게 추정합니다.
  • 이상치, 추세, 계절 성분의 추정 오차에 대한 점근적 $L_2$ 상한을 제공합니다.
  • 이상치의 시작 및 종료 지점이 실제 값과 근접함을 보장합니다(로그 오차 범위 내).
• 비정상성(Non-Stationarity) 처리: 일정한 베이스라인을 가정하는 CAPA와 달리, STAD는 다항식 추세와 계절성에 의해 구동되는 비정상 데이터를 수용합니다.

결과

STAD의 성능은 광범적인 시뮬레이션 연구와 실제 응용 사례를 통해 평가되었습니다.

• 시뮬레이션 연구:

  • STAD는 자신의 "오라클(oracle)" 버전(참 true trend 또는 seasonality를 알고 있는 모델) 및 표준 방법들과 비교되었습니다.
  • 이상치 길이: STAD는 이상치가 시계열 길이의 약 25%까지 될 때까지 오라클과 거의 유사한 성능을 보입니다. 이상치가 너무 길어져 비이상적 서브 샘플을 식별할 수 없게 되면 성능이 저하됩니다.
  • 계절적 주기: 이 방법은 데이터에 최소 5번의 계절 주기가 있다면 다양한 계절적 주기에 대해 견고함을 유지합니다.
  • 다중 이상치: STAD는 다양한 길이와 크기를 가진 여러 집단 이상치를 성공적으로 탐지하며, 대부분의 시나리오에서 오라클 성능과 일치하는 모습을 보였습니다.
  • 튜닝: 연구는 정확도와 계산 비용 사이의 좋은 절충안을 제공하는 기본 튜닝 파라미터($J=20$ 샘플링 반복, $\lambda_{coll}=4$, $\lambda_{point}=3$)를 제안합니다.

• 실제 응용:

  • 이 방법은 일간 계절성과 장기 추세를 보이는 영국 전력 수출 가격 데이터(Octopus Agile)에 적용되었습니다.
  • 비교: 이 데이터에 적용했을 때, CAPA는 높은 패널티 파라미터를 설정했음에도 불구하고 계절적 패턴으로 인한 많은 수의 위양성을 탐지했습니다.
  • STAD 성능: STAD는 데이터를 성공적으로 분해하고 세 개의 유의미한 집단 이상치를 식별했습니다. 이 이상치들은 재생 에너지 발전량이 높았던 시기와 상관관례를 보였으며, 이는 구조적 이상치와 일반적인 계절적 변동을 구분해내는 본 방법론의 실용적 유용성을 입증합니다.

의의 및 주장

본 논문은 STAD가 복잡한 비정상 구조가 존재하는 시계열 분석의 결정적인 공백을 메운다고 주장합니다. 저자들은 현재의 방법들이 추세와 계절성이 뚜렷한 데이터에는 부적합하며, 이로 인해 집단 이상치가 가려지거나 계절적 패턴이 이상치로 오인되는 경우가 빈번하다고 강조합니다.

엄격한 통계 이론을 확립하고 강력한 유한 표본 성능을 입증함으로써, 저자들은 STAD를 에너지 시장 및 금융 모니터링과 같이 고정밀 이상 탐지가 필요한 도메인을 위한 견고한 도구로 포지셔닝합니다. 이 연구는 CAPA 알고리즘의 이론적 토대를 더 일반적인 설정으로 확장하여, 기저 베이스라인이 일정하지 않은 경우에도 이상치의 개수와 위치에 대한 일관된 추정치를 제공합니다. 저자들은 이 방법이 다항식 추세와 정상적(stationary) 계절 성분으로 제한되어 있지만, 실제 시계열 데이터의 구조적 문제를 다루는 데 있어 중요한 진전이라고 언급합니다.