🤖 machine learning

Soft-MSM: Differentiable Context-Aware Elastic Alignment for Time Series

본 논문은 기존 방법인 Soft-DTW 보다 시계열 클러스터링 및 분류에서 우수한 성능을 보이는 경사 기반 최적화를 가능하게 하기 위해 Move-Split-Merge 거리를 매끄럽게 만드는 차분 가능한 문맥 인식 탄성 정렬 손실 함수인 Soft-MSM 을 소개합니다.

원저자: Christopher Holder, Anthony Bagnall

게시일 2026-05-04

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Christopher Holder, Anthony Bagnall

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

두 곡을 비교해 보려고 상상해 보세요. 하나는 약간 빠르게, 다른 하나는 약간 느리게 연주됩니다. 처음부터 끝까지 음 하나하나를 딱 맞춰 정렬하려 한다면 (마치 딱딱한 자처럼), 박자가 맞지 않기 때문에 완전히 다르게 보일 것입니다.

**다이나믹 타임 워핑 (DTW)**은 곡의 타임라인을 늘리고 줄여서 박자가 완벽하게 맞도록 해주는 똑똑한 청자와 같습니다. 이를 통해 두 곡이 실제로는 같은 곡임을 확인할 수 있게 됩니다. 이는 심박수, 주가, 모션 센서와 같은 시간 기반 데이터를 비교할 때 매우 유용합니다.

하지만 문제가 하나 있습니다. 이"똑똑한 청자"는 다소 경직되어 있습니다. 시간을 어떻게 늘릴지 갑자기 날카로운 결정을 내립니다. 현대 AI 는 조각가가 천천히 돌을 깎아내듯 미세하고 부드러운 조정을 통해 학습하는 세계에서는, 이러한 갑작스러운 결정이 걸림돌이 됩니다. AI 는 개선을 위해 필요한"기울기"를 계산할 수 없어 혼란에 빠집니다.

이제 이 논문에서 소개된 새로운 방법인 Soft-MSM이 등장합니다.

기존 방식의 문제점

이 논문은 시간 비교를 위한 매우 똑똑한 특정 방법인 **MSM(Move-Split-Merge)*에 초점을 맞춥니다. MSM 을 단순히 시간을 늘리는 것을 넘어 음악의맥락*까지 이해하는 초고급 청자로 생각해 보세요.

Move(이동): 음을 약간 이동시키는 것.
Split(분할): 음이 너무 길다면 두 개로 나눌 수 있습니다.
Merge(병합): 두 음이 너무 가까우면 하나로 합칠 수 있습니다.

MSM 은 이 분야에서 뛰어나며, 유사한 데이터를 그룹화하는 작업과 같은 과제에서 표준적인"똑똑한 청자"(DTW) 를 종종 능가합니다. 하지만 원래의 DTW 와 마찬가지로"단단한"결정을 내립니다."이 음은 분명히 분할되어야 한다"거나"이것은 분명히 병합되어야 한다"고 말합니다. 이러한 결정이 날카롭고 갑작스럽기 때문에, 부드럽고 연속적인 피드백이 필요한 현대 AI 모델을 훈련시키는 데 사용할 수 없습니다.

해결책: Soft-MSM

저자들은 Soft-MSM을 개발했습니다. 초지능 청자 (MSM) 에게"흐릿한"시각을 부여한 것이라고 상상해 보세요. 음을 분할할지 병합할지 갑자기 단단하게 결정하는 대신, Soft-MSM 은"이것이 분할일 확률은 60% 이고 병합일 확률은 40% 입니다"라고 말합니다.

이"흐릿함"은 수학적으로 매끄럽습니다. 이를 통해 AI 는 언덕의 경사를 보고 데이터를 어디로 살짝 밀어야 비교가 더 좋아질지 정확히 알 수 있습니다. 이는 거칠고 통과할 수 없는 산을 부드럽고 걷기 쉬운 언덕으로 바꿉니다.

어떻게 구현했는지

이를 작동시키기 위해 저자들은 새로운"게이트키퍼"메커니즘을 발명해야 했습니다.

이전 게이트: 원래 MSM 은 엄격한 규칙에 따라 완전히 열리거나 완전히 닫히는 게이트를 가지고 있었습니다.
새로운 게이트: 이를 서서히 열리는"부드러운 게이트"로 대체했습니다. 이로써 수학이 시스템을 통과할 때 끊어지지 않게 되었고, AI 가 복잡한"분할 및 병합"논리를 통해 개선 방향인 기울기 (gradients) 를 계산할 수 있게 되었습니다.

발견한 결과

연구자들은 이 새로운 방법을 112 개의 서로 다른 데이터셋(매우 다양한 시간 기반 데이터) 으로 테스트했습니다. 그들이 발견한 바는 다음과 같습니다.

더 나은 평균화: 유사한 시계열의"평균"형태를 찾는 작업 (예: 크리켓 심판의 신호 평균 찾기) 에서 Soft-MSM 은 이전 방법들보다 훨씬 더 깨끗하고 정확한 평균을 생성했습니다. 노이즈에 혼란을 느끼지 않았습니다.
더 나은 그룹화 (클러스터링): Soft-MSM 을 사용하여 유사한 항목들을 그룹화했을 때, 이전 최선 방법들 (예: Soft-DTW) 보다 훨씬 더 뛰어난 성과를 보였습니다. 마치 지저분한 옷 더미를 정리하는 더 나은 정렬 알고리즘을 가진 것과 같았습니다.
더 나은 분류: 이러한 평균들을 사용하여 새로운 데이터가 어떤 범주에 속하는지 추측했을 때, Soft-MSM 이 더 정확했습니다.

트레이드오프

이 논문은 이러한 부드러움을 얻기 위해 치러야 할 작은 대가를 지적합니다. 원래 MSM 은 완벽한"거리 척도 (metric)"였습니다 (거리에 관한 엄격한 수학 규칙을 따름). Soft-MSM 은 부드러운 기울기 기반 학습에 사용될 수 있는 능력을 얻기 위해 그 완벽한 수학적인 경직성을 희생합니다. 그러나 저자들은 대부분의 실용적인 AI 작업에서 완벽하게 거리를 측정하는 것보다 부드럽게 학습할 수 있는 능력이 훨씬 더 가치 있다고 주장합니다.

요약

이 논문은 강력한 시계열 비교 방법 (MSM) 을 현대의 부드러운 학습 AI 와 호환되게 만드는 새로운 도구인 Soft-MSM을 소개합니다. 날카롭고 갑작스러운 결정을 부드럽고 확률적인 것으로 대체함으로써, 컴퓨터가 시간 기반 데이터에서 더 나은 패턴을 학습할 수 있게 하여 더 나은 평균, 더 나은 그룹화, 그리고 더 정확한 예측을 가능하게 합니다. 해당 코드는 이미 aeon이라는 오픈소스 툴킷에서 다른 사람들이 사용할 수 있도록 제공되고 있습니다.

Christopher Holder 와 Anthony Bagnall 의 논문 "Soft-MSM: Differentiable Context-Aware Elastic Alignment for Time Series"에 대한 상세한 기술적 요약입니다.

1. 문제 제기

시계열 머신러닝 (TSML) 은 시퀀스 간의 시간적 정렬 불일치를 처리하기 위해 거리 측정에 크게 의존합니다. **탄성 거리 (Elastic distances)**인 동적 시간 와핑 (DTW) 과 Move-Split-Merge (MSM) 와 같은 방법들은 시간 축을 늘이거나 줄이는 최적 정렬 경로를 찾아 이를 해결합니다.

탄성 거리의 한계: 클러스터링 및 분류와 같은 작업에 효과적이지만, 기존 탄성 거리들은 **미분 불가능 (non-differentiable)**합니다. 이로 인해 신경망이나 반복적 평균화와 같은 경사 기반 최적화에서 손실 함수로 직접 사용할 수 없습니다.
기존 해결책의 한계: Soft-DTW는 재귀식 내의 경직된 최소값 (hard minimum) 을 부드러운 소프트-최소값 (soft-minimum) 연산자로 대체하여 DTW 를 미분 가능하게 만들었습니다. 그러나 Soft-DTW 는 MSM과 같은 다른 탄성 거리로 직접 확장할 수 없습니다. MSM 은 세 값의 국소적 순서에 의존하는 맥락 인식 전이 비용 (context-aware transition costs)(분할/병합 패널티) 을 사용하므로 종종 DTW 보다 성능이 우수합니다. MSM 비용 함수의 조각적 (piecewise) 성질은 표준 소프트-최소값 접근법으로 쉽게 미분할 수 없는 비부드러운 영역을 생성합니다.

2. 방법론: Soft-MSM

저자들은 Move-Split-Merge 거리의 부드러운 미분 가능 완화 버전인 Soft-MSM을 제안합니다. 핵심 과제는 MSM 의 맥락 인식 구조를 유지하면서 전이 비용을 미분 가능하게 만드는 것이었습니다.

주요 기술적 혁신:

전이 비용을 위한 부드러운 게이트 대용 함수:
- 기존 MSM 비용 함수는 점 $x$ 가 이웃 $y$ 와 $z$ 사이에 있을 때 고정된 패널티 $c$ 를 적용하고, 그렇지 않을 경우 추가 패널티를 부과합니다. 이는 비미분 가능한 경계를 가진 조각 함수입니다.
- 해결책: 저자들은 쌍곡 탄젠트와 유사한 근사를 사용하여 부드러운 between-gate 함수 $g(x, y, z)$ 를 도입합니다:
  $g(x, y, z) = \frac{1}{2} \left( 1 - \frac{u}{\sqrt{u^2 + \epsilon}} \right), \quad \text{where } u = (x-y)(x-z)$
- 이 게이트는 $x$ 가 $y$ 와 $z$ 사이에 있을 때 1, 그렇지 않을 때 0 으로 부드럽게 전환되어 결정 경계를 통해 기울기가 흐를 수 있게 합니다.
- 전이 비용은 다음과 같이 재정의됩니다:
  $\text{trans}_\gamma(x, y, z; c) = c + (1 - g(x, y, z)) \cdot \text{softmin}_\gamma((x-y)^2, (x-z)^2)$
- 또한 국소 거리 내의 절대 차이를 제곱 차이로 대체하여 $x=y$ 에서의 미분 가능성을 보장합니다.
순방향 및 역방향 재귀:
- 순방향 통과 (Forward Pass): 새로운 부드러운 전이 비용을 통합하고 경직된 최소값 대신 소프트-최소값 연산자 ( $\text{softmin}_\gamma$ ) 를 사용하여 누적 비용 행렬 $C$ 를 계산합니다.
- 역방향 통과 (Backward Pass): 소프트 정렬 행렬 (soft alignment matrix) $A$ 와 입력 시계열에 대한 **야코비안 (기울기)**을 유도합니다. 기울기는 정렬 확률로 가중치가 부여된 대각선 (일치), 수직 (분할), 수평 (병합) 에지에서의 기여도로 분해됩니다.
이론적 속성:
- 미분 가능성: $\gamma > 0$ 및 $\epsilon > 0$ 에 대해 연속적으로 미분 가능함이 증명되었습니다.
- 한계 행동: $\gamma \to 0$ 및 $\epsilon \to 0$ 일 때, Soft-MSM 은 점별적으로 표준 MSM 재귀식 (제곱 편차 포함) 으로 수렴합니다.
- 거리성 (Metricity): Soft-MSM 은 거리 (metric) 가 아닙니다(구별 불가능한 대상의 동일성 위반 및 음수 발생 가능). 이를 해결하기 위해 저자들은 음수 방지 및 자기 거리가 0 이 되도록 하는 발산 보정 공식 (divergence-corrected formulation)(Soft-DTW 발산과 유사) 을 제안합니다.
- 복잡도: 표준 MSM 과 동일한 $O(m^2)$ 시간 및 공간 복잡도를 유지합니다.

3. 주요 기여

최초의 미분 가능 MSM: Move-Split-Merge 거리의 미분 가능 버전의 첫 번째 공식으로, 경사 기반 학습에서의 사용을 가능하게 합니다.
새로운 부드러운 게이트: MSM 의 맥락 의존적 분할/병합 패널티를 원래 거리의 구조적 이점을 잃지 않고 처리하는 부드러운 게이팅 함수에 대한 수학적 유도.
폐쇄형 기울기 (Closed-Form Gradients): Soft-MSM 을 사용하여 시계열 시퀀스를 직접 최적화할 수 있도록 하는 야코비안 변환 유도.
구현: 이 방법은 오픈 소스 aeon 툴킷에 구현되어 재현성을 지원합니다.

4. 실험 결과

저자들은 세 가지 주요 시나리오에 걸쳐 112 개의 UCR 시계열 데이터셋에서 Soft-MSM 을 평가했습니다:

A. 시계열 평균화 (Barycentre)

목표: 입력 시퀀스 집합과의 거리 합을 최소화하는 대표 시계열 (barycentre) 을 찾습니다.
비교: Soft-MSM Barycentre (Soft-MBA) 대 표준 MSM Barycentre (MBA) 및 확률적 서브그래디언트 MBA (SSG-MBA).
결과: Soft-MBA 는 (부드러움 매개변수 $\gamma$ 에 따라) 데이터셋의 **97.2% 에서 100%**에서 MBA 와 SSG-MBA 보다 낮은 MSM Fréchet 손실을 달성했습니다. 이는 경직된 대응물보다 훨씬 우수한 성능을 보였으며, 미분 가능한 완화로 인해 더 나은 수렴과 더 낮은 손실로 이어짐을 입증했습니다.

B. 시계열 클러스터링

목표: 탄성 중심점을 사용한 k-means 활용.
비교: Soft-MBA 대 Soft-DTW Barycentre (Soft-DBA), k-Shape, 및 유클리드 k-means.
결과:
- Soft-MBA 는 클러스터링 정확도와 조정 랜 지수 (ARI) 모두에서 Soft-DBA 를 크게 능가했습니다.
- Soft-MBA 는 근본적으로 다른 유사도 측정을 사용했음에도 강력한 기준선인 k-Shape와 경쟁 가능한 성능을 보였습니다.
- Soft-MBA 는 Soft-DBA 에 비해 부드러운 매개변수 $\gamma$ 에 대해 더 큰 견고성을 보여주었습니다.

C. 최근접 중심점 분류

목표: 클래스 프로토타입 (barycentres) 까지의 거리를 기반으로 시계열을 분류합니다.
결과: Soft-MBA 프로토타입을 사용한 분류기는 Soft-DBA 프로토타입을 사용한 분류기보다 훨씬 높은 정확도와 균형 잡힌 정확도를 달성했습니다.
정성적 분석: CRICKETX 데이터셋에서 Soft-MBA 는 다른 방법들이 생성한 노이즈가 많은 프로토타입과 비교하여 더 부드럽고 해석 가능한 클래스 프로토타입을 생성했습니다 (명확하게 "6 점" 신호를 포착).

5. 중요성 및 영향

간극 해소: Soft-MSM 은 고성능 탄성 거리 (MSM 등) 와 현대적인 경사 기반 딥러닝 프레임워크 간의 간극을 성공적으로 해소합니다.
Soft-DTW 대비 우위: 결과는 많은 시계열 작업에서 MSM 이 DTW 보다 우수한 거리 측정치임을 시사하며, 단순히 Soft-DTW 를 사용하는 것보다 미분 가능하게 만드는 것이 더 나은 결과를 낳습니다.
광범위한 적용 가능성: 이 방법은 MSM 기반 손실 함수를 다음에 사용할 수 있는 문을 엽니다:
- 딥 시계열 예측.
- 데이터 증강을 위한 생성 모델.
- 약지도 정렬 및 분할.
- 표현 학습 (예: Series2Vec).
유도적 편향 (Inductive Bias): 이는 "이동, 분할, 병합" 연산에 기반한 새로운 유도적 편향을 제공하며, 특히 조각적 상수 또는 이벤트 주도 시계열 데이터에 유용합니다.

결론적으로, Soft-MSM 은 시계열 머신러닝의 중요한 발전으로, 평균화, 클러스터링, 분류 작업에서 기존 Soft-DTW 기반 접근법보다 우수한 성능을 보이는 미분 가능하고 맥락 인식적인 탄성 거리를 제공합니다.