Unsupervised Feature Based Algorithms for Time Series Extrinsic Regression

기술 요약: 시계열 외생 회귀를 위한 비지도 특징 기반 알고리즘

문제 정의
시계열 외생 회귀 (TSER) 는 시계열 자체에서 직접 유도되지 않은 연속형 반응 변수를 추정하기 위해 일련의 학습 시계열을 기반으로 예측 모델을 구축하는 작업을 포함합니다 (예측과 달리). 시계열 분류 (TSC) 와 예측은 잘 연구되어 왔으나, TSER 은 상대적으로 덜 주목받아 왔습니다. 이전 벤치마크 연구 [5] 는 19 개의 문제를 아카이브로 구축하고 13 개의 알고리즘을 평가하여, 딥러닝 (InceptionTime) 과 커널 기반 방법 (ROCKET) 이 잘 수행되었으나 단일 알고리즘이 다른 것들을 현저히 능가하지는 않았음을 발견했습니다. 저자들은 모델 정확도를 향상시키고 초기 벤치마크 이후의 진전 부재를 해결하기 위해 해당 분야에 추가적인 연구가 필요하다고 주장합니다.

방법론
본 연구는 세 가지 주요 방법론적 단계를 통해 TSER 지형을 확장합니다:

1. 아카이브 확장: 저자들은 TSER 벤치마크 아카이브를 19 개에서 63 개의 데이터셋으로 늘렸습니다. 이 새로운 컬렉션에는 원래 19 개에 추가하여 24 개의 단변량 데이터셋과 20 개의 다변량 데이터셋이 포함되어 있으며, Kaggle 대회와 응용 연구 저장소에서 출처를 얻었습니다. 데이터셋은 경제 분석, 에너지 모니터링, 환경 과학, 장비 건강, 감정 분석 등 다양한 분야를 포괄합니다. 데이터 전처리에는 결측값을 위한 선형 보간과 길이가 다른 시계열을 위한 잘라내기가 포함되었습니다.
2. 알고리즘 적응 및 구현: 본 연구는 최첨단 TSC 알고리즘을 회귀 작업에 적응시켰습니다. 핵심 초점은 변환 단계에서 타겟 변수를 사용하지 않고 시계열을 특징 벡터로 변환하는 비지도 특징 기반 접근법에 맞춰져 있습니다.
   • FreshPRINCE: TSFresh 특징 추출 라이브러리 (약 800 개의 비지도 특징 생성) 와 회전 숲 (RotF) 회귀기를 결합한 파이프라인입니다. RotF 는 C4.5 분류기를 CART 회귀기로 대체하고 예측을 평균화하여 회귀 작업에 적응되었습니다.
   • DrCIF (다양한 표현 정규 구간 숲): 구간 기반 앙상블입니다. 시계열을 원래 시계열, 1 차 차분, 주기도 세 가지 표현으로 분할한 후, 이러한 표현 내에서 무작위 구간을 선택하고 요약 특징 (Catch22 세트와 평균, 기울기 등 7 가지 표준 통계량 사용) 을 추출합니다. 이 연결된 특징들 위에 CART 회귀기 앙상블이 훈련됩니다.
   • 기타 기준선: 본 연구는 표준 ML 모델 (Ridge, SVR, Random Forest, XGBoost), 함수형 선형 모델 (FPCR), 거리 기반 방법 (유클리드 거리 및 DTW 를 사용한 kNN), 컨볼루션/커널 방법 (ROCKET, MultiROCKET), 그리고 딥러닝 아키텍처 (FCN, ResNet, 단일 및 앙상블 InceptionTime, CNN) 를 포함한 총 21 개의 회귀기를 평가했습니다.
3. 실험 설계: 통계적 견고성을 보장하기 위해 데이터셋당 30 개의 재표본 (학습/테스트 분할) 을 사용하여 실험을 수행했습니다. 성능은 평균 제곱근 오차 (RMSE) 로 측정되었습니다. 통계적 유의성은 Holm 보정을 적용한 쌍별 윌콕슨 부호 순위 검정으로 평가되었으며, 중요 차이 (CD) 다이어그램을 통해 시각화되었습니다.

주요 기여

1. 데이터셋 확장: 44 개의 새로운 데이터셋을 공개하여 총 TSER 아카이브를 63 개의 문제로 늘렸습니다.
2. 알고리즘적 혁신: 성공적인 TSC 방법론에서 적응된 두 가지 새로운 TSER 알고리즘인 FreshPRINCE와 DrCIF를 도입했습니다.
3. 포괄적인 벤치마킹: 표준 오프더셸 모델, 함수형 분석, 딥러닝을 포함한 21 개의 서로 다른 회귀기에 대한 엄격한 평가를 통해 해당 분야에 대한 새로운 기준선을 제시했습니다.
4. 오픈 소스: scikit-learn 호환 구현체 제공 및 상세한 재현성 가이드라인 마련.

결과

• 기준선 재현: 원래 19 개의 데이터셋에서 본 연구는 [5] 의 결과를 재현하여, 단일 알고리즘이 다른 것들을 현저히 지배하지는 않았음을 확인했으나, 덜 보수적인 통계적 보정을 적용하면 알고리즘의 순서가 약간 변경됨을 확인했습니다.
• 확장된 아카이브 성능: 전체 63 개 데이터셋 아카이브에서 Random Forest 와 Rotation Forest (RotF) 와 같은 표준 회귀기는 많은 시계열 특화 딥러닝 및 커널 방법보다 우수한 성능을 보였습니다. 특히 RotF 는 최상위 성능을 보이는 표준 알고리즘으로 부상했습니다.
• 새로운 제안의 우월성: 본 연구는 FreshPRINCE와 DrCIF가 최상위 성능을 보이는 표준 회귀기 (RotF) 와 딥러닝 앙상블 (InceptionTimeE) 을 포함한 테스트된 다른 18 개의 모든 회귀기를 현저히 능가함을 입증했습니다.
  • DrCIF와 FreshPRINCE는 가장 낮은 평균 RMSE 순위를 달성했습니다.
  • InceptionTimeE는 특정 문제에서 종종 최상위 순위를 차지했으나, 높은 분산과 불안정성을 보였으며 다른 모델이 성공한 데이터셋에서 예측 관계를 찾지 못하는 경우가 빈번했습니다.
  • 절대성 연구: FreshPRINCE 에 대해, 성능 향상은 TSFresh 변환과 RotF 회귀기의 특정 조합에서 비롯됨을 확인했습니다. TSFresh 를 다른 회귀기 (Random Forest 또는 XGBoost 등) 와 함께 사용했을 때는 RotF 짝짓기와 같은 결과를 얻지 못했습니다.
• 데이터 특성: 성능은 데이터 속성에 따라 달라졌습니다. DrCIF 는 짧은 시계열과 채널 수가 적은 다변량 데이터에서 상대적으로 더 잘 수행된 반면, FreshPRINCE 는 더 큰 학습 데이터셋과 5 개 이상의 채널을 가진 데이터셋에서 뛰어난 성과를 보였습니다.

의의 및 주장
본 논문은 TSER 분야가 정체되어 있으며 제안된 비지도 특징 기반 접근법이 중요한 도약이라고 주장합니다. 저자들은 다음과 같이 주장합니다:

• 이전에 평가된 어떤 회귀기도 표준 분류기의 회귀 적응 (특히 Rotation Forest) 을 능가할 수 없습니다.
• FreshPRINCE와 DrCIF만이 표준 Rotation Forest 회귀기를 현저히 능가하는 유일한 모델이며, TSER 에 대한 새로운 최첨단 (state-of-the-art) 을 확립했습니다.
• 최상위 알고리즘 간의 성능 다양성은 이질적 앙상블이 향후 연구에 유익한 분야일 수 있음을 시사합니다.
• 본 연구는 이전의 작은 데이터셋에서 도출된 결론의 한계를 드러내는 더 견고하고 큰 벤치마크 (63 개 데이터셋) 를 제공합니다.

저자들은 한계에 대해 겸손하게 언급하며, 데이터가 무작위로 표본 추출되지 않았을 수 있어 (특정 분야가 과대표될 가능성), 계산적 제약으로 인해 하이퍼파라미터 튜닝이 수행되지 않았으며, 잔차 분석과 같은 복잡한 진단 분석이 수행되지 않았음을 지적합니다. 그러나 그들은 비지도 특징 추출과 견고한 앙상블 회귀기의 결합이 현재 가장 효과적인 접근법임을 입증함으로써 TSER 분야 발전을 위한 중요한 기여를 제공했다고 결론지었습니다.