HIVE-COTE 2.0: a new meta ensemble for time series classification

기술 요약: HIVE-COTE 2.0

문제 정의
시계열 분류 (TSC) 는 단변량 또는 다변량일 수 있는 시계열로부터 이산적인 클래스 레이블을 예측하는 작업을 포함합니다. UCR 시계열 분류 아카이브가 도입된 이후 상당한 진전이 이루어졌으나, 현재 이 분야는 다양한 데이터셋 전반에 걸쳐 일관되게 다른 모든 알고리즘을 능가하는 단일 알고리즘이 부재한 상태입니다. 현재 최첨단 (SOTA) 기술에는 딥러닝 접근법 (InceptionTime), 트리 기반 앙상블 (TS-CHIEF), 변환 기반 방법 (ROCKET), 그리고 이종 메타앙상블 (HIVE-COTE 1.0) 이 포함됩니다. 그러나 기존 방법들은 종종 정확도와 계산 효율성 사이에서 트레이드오프를 하거나 그 반대의 상황을 겪습니다. 더 나아가, 다변량 시계열 분류 (MTSC) 는 단변량 TSC 에 비해 덜 발전되어 있으며, 표준 동적 시간 왜곡 (DTW) 벤치마크를 유의미하게 능가하는 알고리즘은 드뭅니다.

방법론
저자들은 변환 기반 앙상블의 계층적 투표 집단 (Hierarchical Vote Collective of Transformation-based Ensembles) 을 대폭 업그레이드한 **HIVE-COTE 2.0(HC2)**을 제안합니다. HC2 는 서로 다른 네 가지 구성 분류기를 결합한 이종 메타앙상블로, 각 분류기는 특정 데이터 표현 도메인에서 '동급 최강 (best in class)'을 대표합니다. 이 앙상블은 각 구성 요소의 확률 분포를 훈련 데이터에서의 추정 정확도에 기반하여 가중치를 부여하는 교차 검증 정확도 가중 확률 앙상블 (CAWPE) 구조를 활용합니다.

HC2 를 구성하는 네 가지 분류기는 다음과 같습니다:

1. Temporal Dictionary Ensemble (TDE): HC1 의 BOSS/cBOSS 분류기를 대체하는 사전 기반 접근법입니다. TDE 는 시계열을 심볼릭 푸리에 근사 (Symbolic Fourier Approximation) 를 사용한 단어 수 히스토그램과 바이그램 (bigram) 수로 변환합니다. 이는 지역적 패턴을 포착하기 위해 공간 피라미드를 통합하며, 메모리 사용량을 관리하기 위해 차원을 부분 표본 추출하는 새로운 다변량 확장을 포함합니다.
2. Diverse Representation Canonical Interval Forest (DrCIF): 시계열 숲 (TSF) 과 무작위 구간 스펙트럴 앙상블 (RISE) 을 대체하는 구간 기반 앙상블입니다. DrCIF 는 원래 시계열, 1 차 미분 시계열, 그리고 주기도를 포함하는 세 가지 표현에서 여러 구간에 걸쳐 특징을 추출합니다. 표준 요약 통계량과 "catch22" 특징 집합을 포함한 29 개의 특징 풀을 활용하여 다양한 의사결정 트리를 구축합니다.
3. The Arsenal: ROCKET 분류기들의 새로운 앙상블입니다. ROCKET 은 무작위로 초기화된 합성곱 커널을 사용하여 선형 릿지 회귀 분류기를 위한 특징을 생성하지만, CAWPE 가중치 체계에 필요한 신뢰할 수 있는 확률 추정을 생성하는 데 어려움을 겪습니다. The Arsenal 은 여러 개의 작은 ROCKET 분류기를 앙상블하고 다수결 투표를 사용하여 확률 추정을 생성함으로써 이를 해결하며, 메타앙상블에 통합되기에 적합하게 만듭니다.
4. Shapelet Transform Classifier (STC): HC1 에서의 모양 변환 (shapelet-based) 구성 요소는 유지되지만 사용성 기능이 강화되었습니다. 과적합을 방지하고 계산 시간을 단축하기 위해 포괄적인 탐색 대신 모양 (phase-independent subseries) 에 대한 무작위 탐색을 사용합니다.

주요 기여

• 새로운 분류기: 기존 사전 기반 및 구간 기반 구성 요소를 각각 대체하는 우월한 TDE 와 DrCIF 의 도입.
• The Arsenal: 가중 메타앙상블 투표에 필요한 확률 추정을 생성하도록 ROCKET 알고리즘을 적응시킨 새로운 앙상블 전략.
• 다변량 기능: HC2 는 명시적으로 다변량 시계열 분류 (MTSC) 를 처리하도록 설계되었으며, TDE 와 DrCIF 를 확장하여 여러 차원을 효율적으로 처리합니다.
• 사용성 개선: HC2 는 "계약 (contracting, 사용자가 최대 실행 시간을 설정할 수 있음)"과 "체크포인트 (checkpointing, 훈련을 일시 중지하고 재개할 수 있음)"를 도입하여 알고리즘의 계산 비용에 대한 이전의 비판을 해결했습니다.
• 절제 분석 (Ablative Analysis): 저자들은 네 가지 구성 요소 전체로 이루어진 앙상블이 구성 요소의 부분집합이나 개별 분류기 중 어느 것보다도 유의미하게 우수함을 입증하여 이종 접근법의 필요성을 검증했습니다.

결과
저자들은 UCR 아카이브의 112 개 단변량 데이터셋과 UEA 아카이브의 26 개 다변량 데이터셋에서 각 데이터셋당 30 개의 층화 재표본 (stratified resamples) 을 사용하여 HC2 를 평가했습니다.

• 정확도: HC2 는 단변량 및 다변량 데이터셋 모두에서 현재 최첨단 알고리즘 (InceptionTime, TS-CHIEF, ROCKET, HC1) 보다 유의미하게 높은 정확도를 보입니다. UCR 아카이브에서 HC2 는 모든 경쟁자보다 유의미하게 나은 평균 순위를 달성했으며, 다음으로 좋은 알고리즘 대비 문제당 평균 정확도 향상폭이 1% 이상입니다.
• 확률 추정: Arsenal 의 포함은 HC1 과 원시 ROCKET 에 비해 앙상블의 클래스 확률 추정 능력 (부정 로그 우도로 측정) 을 크게 향상시킵니다.
• 효율성: HC2 는 ROCKET 보다 계산적으로 더 비용이 많이 듭니다 (모든 112 개 UCR 데이터셋을 순차적으로 훈련하는 데 약 340 시간 소요되는 반면 ROCKET 은 2.85 시간 소요). 그러나 HC2 는 HC1 과 TS-CHIEF 보다 빠릅니다. 저자들은 매우 큰 문제의 경우 "계약" 기능을 통해 HC2 가 통제된 시간 범위 내에서 합리적인 결과를 생성할 수 있다고 지적합니다 (예: 대규모 데이터셋에서 4 시간 내에 최종 정확도의 98% 달성).
• MTSC 성능: UEA 다변량 아카이브에서 HC2 는 DTW-D, ROCKET, HC1, CIF 를 유의미하게 능가하여 다변량 분류에 대한 새로운 벤치마크를 수립했습니다.

의의
이 논문은 HIVE-COTE 2.0 이 시계열 분류의 새로운 최첨단 기술을 대표한다고 주장합니다. 그 주요 의의는 모양, 구간, 사전, 합성곱 커널 등 여러 데이터 표현을 활용하는 신중하게 구축된 이종 앙상블이 전문화된 단일 표현 알고리즘과 딥러닝 접근법을 일관되게 능가할 수 있음을 입증한 데 있습니다. 저자들은 이러한 성공은 시계열 데이터의 차별적 특징이 종종 서로 다른 도메인에 존재하기 때문이며, 단일 표현이 모든 문제에 충분하지 않기 때문이라고 주장합니다. 각 도메인별 동급 최강 알고리즘을 결합함으로써 HC2 는 우수한 일반화 성능을 달성합니다. 논문은 계산 비용이 매우 큰 데이터셋의 경우 여전히 과제이지만, 정확도 향상과 개선된 사용성 기능 (계약/체크포인트) 으로 인해 HC2 가 고성능 시계열 분류를 위한 견고하고 실용적인 해결책이 된다고 결론지었습니다.