💻 computer science

MSTAR: Multi-Scale Backbone Architecture Search for Timeseries Classification

본 논문은 다양한 데이터셋과 도메인에 걸쳐 최첨단 성능을 달성하며 시계열 분류를 위한 최적의 아키텍처를 자동으로 발견하기 위해 주파수와 시간 해상도를 동시에 최적화하는 멀티 스케일 백본을 갖춘 새로운 신경망 구조 탐색 프레임워크인 MSTAR을 제안한다.

원저자: Tue M. Cao, Nhat H. Tran, Hieu H. Pham, Hung T. Nguyen, Le P. Nguyen

게시일 2026-08-05

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tue M. Cao, Nhat H. Tran, Hieu H. Pham, Hung T. Nguyen, Le P. Nguyen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 미스터리를 풀기 위해 탐정이 되었다고 상상해 보십시오. 하지만 지문이나 발자국을 찾는 대신, 당신은 길고 복잡한 소리 녹음본을 듣고 있습니다. 이것이 바로 **시계열 분류(Time Series Classification)**의 세계입니다. 과학에서 이것은 심장 박동, 스마트폰의 움직임, 또는 위성 이미지의 깜빡임처럼 시간에 따라 변하는 데이터를 관찰하고 무엇이 일어나고 있는지 알아내는 기술입니다. 데이터는 마치 여러 가지 다른 음표가 동시에 연주되는 하나의 노래와 같습니다. 어떤 음표는 주된 멜로디(중요한 정보)가 되고, 다른 음표들은 그저 정적이나 배경 소음이 됩니다.

오랫동안 이 퍼즐을 풀고자 했던 과학자들은 두 가지 주요 문제에 직착해 왔습니다. 첫째, 그들은 어떤 '음표'(주파수)를 들어야 할지에만 집착하여, 그 음표들이 언제 발생했는지는 무시하곤 했습니다. 이는 노래의 음정만 알고 리듬은 잊어버린 채 곡을 식별하려는 것과 같습니다. 음정은 알 수 있어도, 그것이 빠른 드럼 솔로인지 느린 발라드인지 구분할 수는 없는 것과 마찬가지입니다. 둘째, 그들은 가능한 모든 소리를 한꺼번에 잡기 위해 하나의 거대하고 초복잡한 기계를 만들려고 시도했습니다. 이는 모래알 하나하나까지 다 잡을 수 있을 만큼 구멍이 아주 작은 그물을 만드는 것과 같았지만, 그 그물은 너무 무겁고 엉켜서, 특히 해변(데이터셋)이 거대해질 때면 어디로도 끌고 갈 수 없게 되었습니다. 기존 방식들은 작은 해변에서는 괜찮았지만, 데이터가 커지면 무너졌으며, 인간이 완벽한 설계를 추측해야 했습니다. 이는 모든 데이터셋이 고유하기 때문에 느릴 뿐만 아니라 자주 틀리는 작업이었습니다.

여기, 하노이 과학기술대학교와 빈 유니버시티(VinUniversity)의 연구진이 개발한 새로운 접근 방식인 MSTAR가 등장했습니다. 이는 마치 똑똑하고 자동화된 설계자처럼 행동합니다. MSTAR는 설계를 추측하거나 투박하고 거대한 그물을 만드는 대신, **신경 구조 탐색(Neural Architecture Search, NAS)**이라는 기술을 사용합니다. 이것은 단순히 레시피를 따르는 것이 아니라 새로운 레시피를 발명하는 로봇 요리사와 같습니다. 이 로봇은 방대한 식재료 창고(다양한 크기의 필터와 도구들)와 마법의 맛보기 숟가락을 가지고 있습니다. 로봇은 자신이 요리하고 있는 특정 식사(데이터셋)에 딱 맞는 완벽한 조합(아키텍처)을 찾기 위해 수천 가지의 서로 다른 '레시피'를 시험해 봅니다.

논문에 따르면 MSTAR의 비결은 **시간 해상도(time resolution)**가 주파수만큼이나 중요하다는 점을 깨달은 데 있습니다. 심장 박동 소리를 듣는다고 상상해 보십시오. 건강한지 아픈지를 판단하려면 단순히 비트가 발생했다는 사실뿐만 아니라, 그 비트가 정확히 언제 발생했는지도 알아야 합니다. MSTAR는 '음표'를 제대로 잡아내면서도 '시간'을 선명하게 유지하는 설계를 찾아냅니다. 연구진은 컴퓨터가 최적의 구조를 자동으로 검색하게 함으로써, 심장 모니터부터 위성 이미지에 이르기까지 다양한 분야에서 아주 작은 데이터셋(10,000개의 기록)과 거대한 데이터셋(100만 개의 기록)을 모두 훨씬 더 잘 처리할 수 있는 모델을 구축할 수 있음을 발견했습니다.

실험에서 MSTAR는 단순히 추측하지 않고 측정했습니다. PTB-XL이라는 심장 데이터셋에서, MSTAR는 기존의 최고 모델들을 제치고 높은 수치일수록 좋은 점수인 척도에서 0.9355를 기록하며 최적의 설계를 찾아냈습니다. 위성 이미지 데이터셋에서는 정확도를 **89.0%**로 향상시켰고, 스마트폰 활동 추적기에서는 0.953의 점수에 도달했습니다. 논문은 이러한 결과가 단순히 운이 아니었음을 보여줍니다. '시간'을 선명하게 유지하는 모델의 부분을 제거했을 때 점수가 떨어졌는데, 이는 사건이 발생하는 '때'를 추적하는 것이 얼마나 중요한지를 입증합니다. 나아가 연구진은 이 새로운 백본(backbone)이 강력한 '비전 트랜스포머(Vision Transformers, 주로 사진에 사용되는 AI 모델)'와 결합되어 안구 운동을 예측할 수 있음을 보여주었으며, 이는 이 유연하고 시간 인지적인 설계가 미래 AI의 강력한 토대가 될 수 있음을 시사합니다.

이 논문은 단순히 '그물'을 크게 만들거나 '음표'에만 집중하는 것이 충분하다는 생각에 반론을 제기합니다. 기존의 방식대로 모델을 수동으로 설계하는 것은 너무 느릴 뿐만 아니라, 모든 데이터셋이 자신만의 고유한 리듬을 가지고 있기 때문에 목표를 놓치기 쉽다는 것입니다. 대신, MSTAR는 각 특정 문제에 맞춰 크기와 타이밍의 완벽한 균형을 찾도록 자동화된 시스템을 활용하는 것이 최선의 길임을 제안합니다. 비록 이 논문이 시계열의 모든 미스터리를 해결했다고 주장하는 것은 아니지만, 이러한 자동화된 다중 스케일 탐색이 차세대 시간 읽기 AI를 구축하는 데 있어 더 신뢰할 수 있고 확장 가능한 방법이라는 강력한 증거를 제공하고 있습니다.

기술 요약: MSTAR: 시계열 분류를 위한 다중 스케일 백본 아키텍처 탐색

문제 정의

시계열 분류(TSC)는 다양한 주파수 성분을 포착하는 것과 시간 해상도(time resolution)를 유지하는 것 사이의 근본적인 트레이드오프에 직면해 있습니다. 기존의 접근 방식은 크게 두 가지 범주로 나뉘며 각각 뚜렷한 한계를 가집니다:

주파수 중심 방법론: Omni-Scale CNN이나 다양한 커널 크기를 사용하는 앙상블 기법은 넓은 수용 영역(receptive field)을 확보하여 주파수를 추출하는 것을 목표로 합니다. 그러나 이들은 대규모 데이터셋에 적용할 때 확장성 문제가 발생하곤 합니다. 고정되거나 수동으로 설계된 아키텍처는 서로 다른 데이터셋의 고유한 주파수-노이즈 프로파일에 적응하기 어렵고, 더 긴 신호를 커버하기 위해 수용 영역을 확장하면 과적합이 발생하거나 시간 해상도가 크게 저하되는 문제가 따릅니다.
딥러닝 모델: InceptionTime, 1D-ResNet, TCN과 같은 모델들은 더 나은 확장성을 제공하지만, 수동으로 설계된 구조에 의존합니다. 이러한 고정된 아키텍처는 특정 데이터셋에 최적화된 수용 영역의 집합을 포착하지 못할 수 있으며, 수동 설계 과정은 최적성을 보장하지 못하면서도 많은 시간이 소요됩니다.

저자들이 식별한 핵심적인 간극은 시간 해상도를 간과하고 있다는 점입니다. 주파수를 필터링하는 것이 TSC의 주요 초점이지만, 저자들은 추출된 특징의 시간 해상도 또한 매우 중요하다고 주장합니다. 주파수를 집계하는 큰 커널은 종종 정밀한 시간 위치를 흐리게 만들어, 유익한 주파수가 시간에 따라 변하는 비정상성(non-stationary) 신호에서 중요한 예측 정보를 손실하게 만듭니다.

방법론

MSTAR 프레임워크

저자들은 특정 데이터셋에 최적화된 다중 스케일 합성곱 백본을 자동으로 발견하도록 설계된 신경 아키텍처 탐색(NAS) 프레임워크인 MSTAR(Multi-Scale Time series ARchitecture search)를 제안합니다.

1. 다중 스케일 탐색 공간 (Multi-Scale Search Space):

구조: 탐색 공간은 Inception 스타일의 아키텍처(예: InceptionTime)에서 영감을 받은 **셀 기반 그래프(cell-based graph)**입니다. 이는 입력 및 출력 노드와 함께 세 개의 레이어로 구분된 13개의 노드로 구성됩니다.
연산 (Operations): 노드 사이의 엣지는 합성곱(convolution), 맥스 풀링(max pooling), 평균 풀링(average pooling), 항등 연산(identity)을 포함합니다.
커널 크기: 탐색 공간은 유연한 커널 크기를 허용합니다. 합성곱 커널은 $\{1, 3, 5, 9, 19, 39\}$ 중에서 선택할 수 있으며, 풀링 커널은 $\{3, 5, 9\}$ 중에서 선택합니다.
채널 관리: 계산 복잡성을 최소적으로 유지하면서 스태킹을 통해 넓은 수용 영역을 가질 수 있도록 병목 채널(bott려 채널, 32개)과 표준 채널(128개) 설계를 통합했습니다.
목표: 이 공간은 주파수 추출과 높은 시간 해상도 사이의 균형을 맞추는 아키텍처를 발견하여, 단순한 다중 스케일 접근 방식의 과도한 파라미터 문제를 피할 수 있게 합니다.

2. 탐색 전략 (Search Strategy):

알고리즘: 이 프레임워크는 BANANAS에서 영감을 받은 **베이지안 최적화(Bayesian Optimization, BO)**와 신경 예측기(neural predictor) 접근 방식을 활용합니다.
오토인코더 (CAE): 탐색 공간에 대해 사전 학습된 합성곱 오토인코더(Convolutional Autoencoder)가 인접 행렬(아키텍처를 나타냄)을 연속적인 벡터 공간으로 인코딩합니다. 이를 통해 시스템은 이산적인 아키텍처 그래프를 회귀에 적합한 형식으로 투영할 수 있습니다.
예측기 (Predictors): 인코딩된 벡터를 기반으로 아키텍처의 성능(레이블)을 추정하는 일련의 예측기를 학습시킵니다.
최적화 루프:
1. 무작위 아키텍처 팝퓰레이션을 초기화합니다.
2. 현재 팝퓰레이션에 대해 예측기를 학습시킵니다.
3. 획득 함수(Expected Improvement)를 사용하여 유망한 아키텍처를 선택합니다(상위 성과자의 변이 및 무작위 샘플링을 통해).
4. 상위 후보들을 처음부터 학습시켜 평가합니다.
5. 팝퓰레이션을 업데이트하고 반복합니다.

3. 트랜스포머와의 통합:
이 프레임워크는 트랜스포머 모듈의 백본 역할을 하도록 설계되었습니다. 저자들은 전역적 문맥 이해를 활용하기 위해 발견된 MSTAR 백본을 학습되지 않은 상태 및 사전 학습된 Vision Transformer(ViT)와 결합하여 성능을 입증했습니다.

주요 기여

새로운 탐색 공간: TSC를 위해 특별히 설계되어 주파수 추출과 시간 해상도를 모두 최적화할 수 있는 다중 스케일 합성곱 백본 탐색 공간을 도입했습니다.
자동화된 아키텍처 발견: 수동 설계를 제거하고, 소규모(1만 개 샘플)부터 대규모(100만 개 샘플)에 이르기까지 다양한 도메인의 데이터셋에 대해 서로 다른 최적의 아키텍처를 찾아내는 프레임워크를 제공합니다.
시간 해상도 분석: 시간 해상도가 TSC 성능의 결정적 요소이며, 주파수 중심의 접근 방식에서 흔히 간과된다는 것을 보여주는 분석적 실험을 수행했습니다.
백본의 범용성: 발견된 CNN 백본이 ViT와 결려졌을 때 InceptionTime과 같은 표준 백본보다 우수한 성능을 보이며 효과적인 특징 추출기로 기능할 수 있음을 입증했습니다.

실험 결과

저자들은 네 가지 도메인의 네 가지 데이터셋에 대해 MSTAR를 평가했습니다:

PTB-XL (ECG): AUC 0.9355를 달성하여, 이전의 SOTA인 IncepSE(0.9343) 및 기타 딥러닝 베이스라인을 능가했습니다.
Satellite (SITS): 89.0% 정확도를 달성하여 OmniScaleCNN(85.9%)과 TCN(86.0%)을 앞질렀습니다.
Smartphone HAR: F1-micro 점수 0.953을 달성하여, 이전의 SOTA인 InnoHAR(0.945)를 넘어섰습니다.
EEGEyeNet: ViT의 백본으로 사용되었을 때, MSTAR-VIT-pre-trained는 RMSE 51.3을 달성하여, 이전의 SOTA인 EEGVIT-pre-trained(55.4)를 크게 앞질렀습니다. 주목할 점은 기본 MSTAR-VIT 모델(53.3) 역시 EEGVIT-pre-trained(55.4)와 표준 EEGVIT(61.7)보다 우수한 성능을 보였다는 것입니다.

절제 연구 (Ablation Studies):

시간 해상도: 연속 웨이브렛 변환(CWT) 스펙트로그램을 이용한 시각화를 통해, 더 큰 수용 영역이 주파수 강도는 높이지만 시간 해상도를 저하시킨다는 것을 확인했습니다. 시간 해상도가 높은(작은 커널을 가진) 노드를 제거했을 때 모델 성능이 크게 저하되었으며, 이는 시간 해상도의 중요성을 입증합니다.
오토인코더: 합성곱 오토인코더(CAE)가 탐색 공간 재구성에 있어 변이형 오토인코더(VAE)보다 훨씬 뛰어난 성능을 보였으며(MSE 5.389 vs 14.202), 신경 예측기의 Spearman 상관관계를 개선했습니다.

의의 및 주장

본 논문은 MSTAR가 최적의 수용 영역 탐색을 자동화함으로써 기존 TSC 방법들의 확장성 및 적응성 한계를 해결한다고 주장합니다. 저자들은 자신들의 작업이 순수하게 주파수 기반의 필터링에서 시간 해상도를 포함하는 총체적인 관점으로 초점을 전환하고 있음을 강조합니다.

이 연구의 의의는 다음과 같습니다:

자동화된 탐색이 특정 데이터셋에 대해 수동으로 설계된 아키텍처보다 우수한 아키텍처를 산출할 수 있음을 증명했습니다.
시간 해상도가 TSC 성능의 결정적이고 종종 무시되는 구성 요소임을 확립했습니다.
다양한 데이터 크기와 도메인에서 효과적으로 작동하며, 현대적인 트랜스포머 아키텍처와 성공적으로 통합될 수 있는 확장 가능한 백본을 제공합니다.

저자들은 향후 연구에 대해 겸허한 태도를 유지하며, 트랜스포머와의 통합이 효과적이긴 하지만 기초적인 구현 단계이며, 이는 더 발전된 하이브리드 모델로 가는 길을 열어준다고 언급했습니다. 또한, 자신들의 탐색 공간에 확장 합성곱(dilated convolutions)이나 스퀴즈 앤 엑세레이션(squeeze-and-excitation) 모듈과 같은 연산을 포함하도록 확장할 수 있다고 덧붙였습니다.