Amortized Neural Clustering of Time Series based on Statistical Features

기술적 요약: 통계적 특징 기반 시계열의 비용 분산 신경 군집화

1. 문제 제기

시계열 군집화는 금융, 의료, 환경 과학 등 분야에서 대규모 시퀀스 집합을 분석하기 위한 중요한 비지도 학습 작업입니다. 특징 기반 군집화 (통계적 특징 추출 후 기존 군집화 알고리즘 적용) 는 널리 사용되는 접근법이지만, 다음과 같은 지속적인 한계를 겪고 있습니다:

• 특징 선택: 분석가는 판별력 있는 특징을 수동으로 선택해야 하며, 이 작업은 도메인 지식에 크게 의존합니다.
• 알고리즘 선택: 특정 특징 공간에 대한 최적의 군집화 알고리즘 (예: K-means, K-medoids, 계층적) 을 선택하는 것은 어렵습니다. 각 알고리즘은 데이터에 적합하지 않을 수 있는 서로 다른 목적 함수를 최적화하기 때문입니다.
• 군집 수 선택: 많은 알고리즘은 사전에 지정된 입력인 군집 수 ($K$) 를 요구하지만, 실제 군집 수는 종종 알려져 있지 않습니다.
• 최적화 한계: 전통적인 알고리즘은 종종 휴리스틱 (예: 여러 무작위 초기화) 에 의존하며 전역 최적점으로의 수렴을 보장하지 않습니다.

본 논문은 각 데이터셋마다 특정 최적화 문제를 해결하는 방식에서 벗어나, 일반화 가능한 의사결정 규칙을 학습하는 방향으로 전환함으로써 이러한 과제를 해결하는 프레임워크를 제안합니다.

2. 방법론

본 논문은 특징 기반 시계열 군집화를 위한 비용 분산 신경 추론 (amortized neural inference) 프레임워크를 소개합니다. 새로운 데이터에 군집화 알고리즘을 적용하는 대신, 이 방법은 시계열 데이터를 실제 군집 분할에 매핑하는 **최적 의사결정 규칙 ($\delta^*$)**을 근사하도록 신경망을 훈련시킵니다.

핵심 구성 요소:

• 시뮬레이션 기반 훈련: 신경망은 알려진 기본 과정 (예: AR 과정, GARCH 과정) 에서 생성된 대규모 합성 시계열 데이터셋으로 훈련됩니다. 각 시뮬레이션된 데이터셋에 대해 "실제" 분할이 알려져 있습니다.
• 특징 추출: 이 접근법은 군집화 알고리즘에 대해 알고리즘 중립적이지만 통계적 특징에 의존합니다. 논문은 다음을 활용합니다:
  • 자기상관: 선형 과정 (AR) 을 위해.
  • 분위수 자기상관 (QAF): 비선형 동역학과 꼬리 의존성 (GARCH 과정) 을 포착하기 위해.
• 네트워크 아키텍처: 이 모델은 Deep Sets 프레임워크에 기반한 쌍별 학습 (pairwise learning) 접근법을 사용합니다.
  • 특징 벡터의 집합을 입력으로 받습니다.
  • 임의의 시계열 쌍이 동일한 군집에 속할 확률을 예측합니다.
  • 아키텍처는 개별 시계열을 위한 공유 임베딩 네트워크, 치환 불변성을 보장하는 대칭적 집계 (합계), 그리고 시그모이드 출력을 가진 다층 퍼셉트론 (MLP) 을 사용합니다.
• 추론 및 분할:
  • 훈련이 완료되면, 네트워크는 새로운 시계열 특징 집합에 대해 단일 순전파를 수행하여 쌍별 친밀도 행렬을 생성합니다.
  • 이 행렬은 학습된 친밀도 구조를 인코딩합니다.
  • 표준 그래프 기반 방법 (특히 스펙트럴 군집화 또는 Louvain 방법) 이 이 행렬에 적용되어 최종 이산 군집 라벨을 추출합니다.
  • 중요한 점은 Louvain 버전은 사전 지정 없이 군집 수를 자동으로 결정할 수 있다는 것입니다.

훈련 시나리오:
프레임워크는 다양한 생성 메커니즘 하에서 테스트되었습니다:

1. 시나리오 1: AR(3) 과정과 자기상관 특징을 사용하여 고정된 $n$(시계열 수) 과 $K$(군집 수) 사용.
2. 시나리오 2: 군집 생성을 위한 중국 식당 과정 (CRP) 을 사용하여 가변적인 $n$과 $K$ 사용, 현실적인 이질적인 데이터셋 크기를 시뮬레이션.
3. 시나리오 3: Student-t 혁신과 QAF 특징을 가진 GARCH(1,1) 과정을 사용하여 가변적인 $n$과 $K$ 사용, 금융 스타일의 변동성에 대한 성능 테스트.
4. 시나리오 4: 훈련 데이터는 AR(3) 이지만 테스트 데이터에는 비선형 SETAR 모델이 포함된 모델 오지정 테스트.

3. 주요 기여

• 군집화를 위한 비용 분산 추론: 본 논문은 일반적으로 베이지안 사후 확률 추정에 사용되는 비용 분산 추론 패러다임을 시계열의 비지도 군집화에 적용합니다. 이는 계산 부하를 초기 훈련 단계로 이동시켜 새로운 데이터에 대한 빠른 추론을 가능하게 합니다.
• 알고리즘 중립성: 데이터에서 직접 친밀도 구조를 학습함으로써, 이 방법은 특정 군집화 알고리즘 (예: K-means) 선택이나 하이퍼파라미터 튜닝에 대한 의존성을 줄입니다.
• 자동 군집 결정: Louvain 방법의 통합을 통해 프레임워크의 한 버전이 군집 수를 자동으로 추론할 수 있게 되어, 군집화 문헌의 주요 미해결 문제를 해결합니다.
• 강건한 특징 학습: 이 프레임워크는 명시적 모델 적합 (예: GARCH 계수 추정) 이 필요 없이 통계적 특징, 특히 분위수 자기상관이 복잡한 의존성 구조 (변동성 군집 포함) 를 효과적으로 포착할 수 있음을 보여줍니다.

4. 실증 결과

포괄적인 시뮬레이션 연구와 실제 세계 적용이 수행되었습니다:

• 합성 데이터 (AR 과정): 고정 및 가변 군집 수 시나리오에서 제안된 신경 접근법은 전통적인 방법 (K-means, K-medoids, 계층적 군집화) 보다 일관되게 우월하거나 동등한 성능을 보였습니다. 이 이점은 많은 수의 시계열과 군집 ($n=200, K=7$) 이 포함된 복잡한 시나리오와 짧은 시계열 길이의 경우 가장 두드러졌습니다.
• 합성 데이터 (GARCH 과정): QAF 특징을 사용할 때, 제안된 방법의 스펙트럴 군집화 버전은 GARCH(1,1) 과정을 군집화하는 데 가장 높은 정확도를 달성했습니다. Louvain 버전은 약간 낮은 성능을 보였지만, 실제 $K$를 요구하지 않으면서도 경쟁력 있는 성능을 유지했습니다.
• 강건성: 모델 오지정 하 (AR 로 훈련, SETAR 로 테스트) 에서 제안된 방법은 강력한 성능을 유지하여 학습된 의사결정 규칙이 정확한 모델 가정을 넘어 일반화됨을 나타냈습니다.
• 실제 세계 적용: 이 방법은 S&P 500 소속 50 개 기업의 일일 로그 수익률에 적용되었습니다. QAF 특징을 사용하여 프레임워크는 세 가지 뚜렷한 변동성 군집을 식별했습니다. 결과는 t-SNE 를 통해 검증되었으며, 이는 그룹 간 명확한 분리를 보여 변동성 역학의 차등 감지를 확인했습니다.

5. 중요성과 주장

본 논문은 이 프레임워크가 전통적인 시계열 군집화에 대한 데이터 기반, 자동화, 적응형 대안을 제공한다고 주장합니다. 그 주요 중요성은 다음과 같습니다:

• 인간 개입 감소: 분석가가 특징, 알고리즘, 또는 군집 수를 수동으로 선택할 필요성을 최소화합니다.
• 확장성: 비용 분산 특성은 초기 훈련 비용 이후 새로운 데이터셋에 대한 빠른 추론을 가능하게 하여, 스트리밍 또는 대규모 응용에 적합합니다.
• 유연성: 이 프레임워크는 시뮬레이션 범위와 특징 추출을 변경 (예: 자기상관에서 분위수 기반 측정으로) 하여 특정 시간 역학에 맞추어 다양한 도메인에 적응할 수 있습니다.

저자들은 이 방법이 응용 도메인과 일치하도록 시뮬레이션 체계의 신중한 설계가 필요하지만, 과학 및 산업 도메인 전반의 시계열 데이터 자동 군집화를 위한 새로운 가능성을 성공적으로 열었다고 결론지었습니다.