🤖 machine learning

Divide and Contrast: Learning Robust Temporal Features without Augmentation

이 논문은 윈도우 내의 중첩된 서브블록을 대비시킴으로써 데이터 증강, 여러 인코더 통과, 시퀀스 길이에 의존하는 계산의 필요성을 제거하면서 여러 작업에서 최첨단 성능을 달성하는 시간 계열 표현 학습을 위한 효율적인 비지도 프레임워크인 Divide and Contrast(Di-COT)를 소개합니다.

원저자: Abdul-Kazeem Shamba, Kerstin Bach, Gavin Taylor

게시일 2026-05-21

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Abdul-Kazeem Shamba, Kerstin Bach, Gavin Taylor

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇이 사람의 움직임을 담은 비디오를 보고 다양한 인간 활동을 인식하도록 가르친다고 상상해 보세요. 보통 로봇을 이렇게 잘 가르치려면 인간 교사가 비디오의 모든 초를 지켜보며 "이건 걷기입니다", "이건 뛰기입니다", "이건 넘어지기입니다"라고 말해줘야 합니다. 이는 많은 인간의 라벨링 작업이 필요하기 때문에 비용이 많이 들고 느립니다.

이 논문은 인간 교사 없이, 데이터를 속이는 복잡한 '요령'을 사용하지도 않으며, 훈련에 영원히 걸리지 않는 새로운 방법인 Di-COT(Divide and Contrast, 분할과 대비)을 소개합니다.

다음은 이를 간단한 개념으로 나누어 설명한 작동 원리입니다:

1. 기존 방법의 문제점

심장 박동, 주가, 또는 모션 센서와 같은 시계열 데이터를 위한 대부분의 현재 AI 방법들은 다음 두 가지 방식으로 학습하려고 시도합니다:

증강 (Augmentation): 비디오를 흐리게 하거나, 속도를 높이거나, 뒤집어 '가짜' 버전을 만든 후, 원본과 가짜가 동일하다고 AI 에게 가르치려 합니다. 저자들은 이는 모자를 쓴 개, 파란색으로 칠해진 개, 그리고 뒤집힌 개를 보여줌으로써 아이에게 개를 인식하도록 가르치는 것과 같다고 주장합니다. 작동은 하지만, 이는 messy(불편하고 복잡) 하며 계산 부하가 큽니다.
단계별 비교: 일부 방법은 비디오의 매 초를 다음 초와 비교합니다. 논문은 이는 한 글자씩 다음 글자와 비교하며 이야기를 배우려는 것과 같다고 주장합니다. 만약 이야기가 "고양이가 앉았다"에서 "개가 뛰었다"로 바뀐다면, "cat"의 't'와 "dog"의 'd'를 비교하는 것은 의미가 없습니다. 이는 혼란을 초래합니다.

2. Di-COT 의 해결책: "분할과 대비"

Di-COT 은 전체 비디오나 매 초를 보는 대신 "분할과 대비" 전략을 사용합니다.

유추: 퍼즐 조각 접근법
영화 필름의 긴 띠 (시계열 데이터) 가 있다고 상상해 보세요.

옛 방식: 띠 전체를 한 번에 보거나, 매 프레임 (초) 을 개별적으로 봅니다.
Di-COT 방식: 가위로 띠를 잘라 몇 개의 겹치는 퍼즐 조각(서브 블록) 으로 만듭니다.
- 정확히 반으로 자르지 않고, 카드 덱을 섞듯이 약간 겹치게 자릅니다.
- 그런 다음 AI 에게 질문합니다: "이 퍼즐 조각을 보여줄 때, 같은 영화 필름에서 바로 앞에 오는 다른 퍼즐 조각은 무엇입니까?"

왜 이것이 더 나은가요?

가짜 데이터 없음: AI 는 흐릿하거나 뒤집힌 버전이 아닌 실제 영화 필름에서 학습합니다.
혼란 없음: 단일 프레임 (초) 대신 퍼즐 조각 (시간 블록) 을 사용함으로써 AI 는 맥락을 학습합니다. 두 걸음 사이의 미세한 전환에 혼란을 겪는 대신, "걷기" 덩어리가 또 다른 "걷기" 덩어리를 따른다는 것을 이해합니다.
속도: 몇 개의 퍼즐 조각만 서로 비교하므로 수학 계산이 훨씬 간단하고 빠릅니다. 1,000 개의 개별 픽셀 대신 5 개의 퍼즐 조각을 비교하는 것과 같습니다.

3. AI 가 학습하는 방법 (게임)

AI 는 "전조자 (이전 것) 추측" 게임을 합니다.

데이터 덩어리를 가져와 5 개에서 10 개의 겹치는 조각으로 나눕니다.
3 번 조각을 보고 "당신 바로 앞에 온 조각은 무엇입니까?"라고 묻습니다.
2 번 조각이라고 추측합니다.
맞으면 점수를 얻습니다. 5 번이나 1 번 조각을 추측하면 틀렸음을 학습합니다.

이 게임을 수백만 번 반복함으로써 AI 는 "이건 뛰기입니다"라고 알려주는 것 없이도 유사한 활동 (예: "뛰기") 이 함께 그룹화되고 다른 활동들은 멀리 떨어지는 정신적 지도를 구축하는 법을 배웁니다.

4. 결과: 빠르고 정확함

저자들은 심장 모니터, 수면 추적기, 활동 센서와 같은 여섯 개의 거대한 실제 데이터셋과 많은 작은 벤치마크에서 이를 테스트했습니다.

경주: 그들은 Di-COT 을 다른 최상위 AI 방법들과 비교했습니다.
승자: Di-COT 이 경주를 이겼습니다. 활동을 인식하고 유사한 데이터를 그룹화하는 데 있어 가장 높은 정확도를 달성했습니다.
속도: 가장 빨랐습니다. 다른 방법들이 걸린 시간의 일부만으로 훈련을 완료했습니다.
- 유추: 다른 방법들이 추가 수학 계산과 가짜 데이터를 수행하는 무거운 배낭을 메고 달리는 마라톤 선수라면, Di-COT 은 가벼운 배낭을 멘 스프린터로, 완벽한 자세로 결승선에 가장 먼저 도착했습니다.

5. 이것이 중요한 이유 (논문에 따르면)

이 논문은 Di-COT 이 주요한 트레이드오프를 해결한다고 주장합니다. 보통 다음 두 가지 중 하나를 선택해야 합니다:

높은 정확도(하지만 시간이 오래 걸리고 많은 컴퓨팅 파워가 필요함).
빠른 속도(하지만 AI 가 그리 똑똑하지 않음).

Di-COT 은 둘 다 가지고 있다고 주장합니다. 가짜 데이터를 주입하거나 컴퓨터를 여러 번 실행할 필요 없이 "견고한" 특징 (데이터의 노이즈가 아닌 핵심 의미를 이해하는 것) 을 학습합니다.

요약하자면:
Di-COT 은 시간 기반 데이터 (움직임이나 심장 박동 등) 를 이해하도록 컴퓨터를 가르치는 새로운 방법입니다. 요령을 쓰거나 모든 미세한 세부 사항을 보는 대신, 데이터를 겹치는 덩어리로 자르고 간단한 "무엇이 먼저 왔는가?" 게임을 합니다. 이는 인간이 데이터를 라벨링할 필요 없이 AI 를 더 똑똑하고, 빠르며, 효율적으로 만들어 이전 방법들보다 우월합니다.

기술 요약: Divide and Contrast (Di-COT)

문제 정의

시계열 표현을 위한 자기지도 학습 (SSL) 은 라벨링된 데이터에 대한 의존성을 줄이면서도 강력한 하위 작업 성능을 유지하는 것을 목표로 합니다. 그러나 기존 대비 학습 접근법은 다음과 같은 중대한 한계에 직면해 있습니다:

계산 비효율성: 많은 방법들이 인코더를 여러 번 통과해야 하거나 (앵커, 양의 쌍, 음의 쌍용) 유사도 계산을 위해 동적 시간 와핑 (DTW) 과 같은 비용이 많이 드는 연산에 의존합니다.
데이터 증강 편향: 데이터 증강 (예: 마스킹, 시간 영역/주파수 영역 변환) 에 크게 의존하는 접근법은 학습된 특징 임베딩을 왜곡시키는 귀납적 편향을 도입하여 일반화 능력을 저해할 수 있습니다.
시간적 가정 실패: 최근의 효율적인 방법들 (예: CaTT) 은 시간적으로 인접한 타임스텝을 대비함으로써 시간적 근접성이 의미적 유사성을 함의한다고 가정합니다. 이 가정은 급격한 사건 전환이 발생하는 데이터셋 (UCR 및 UEA 벤치마크에서 흔함) 에서 자주 실패하여, 의미적으로 구별되지만 시간적으로 가까운 타임스텝이 잘못되어 양의 쌍으로 취급되는 "거짓 양성 (false positives)"을 초래합니다.
확장성 문제: 일부 방법의 손실 계산은 배치 크기와 시퀀스 길이에 따라 이차적으로 증가하여 긴 시계열 윈도우에는 실행 불가능합니다.

방법론: Divide and Contrast (Di-COT)

Di-COT 은 데이터 증강이나 인코더 다중 통과 없이 견고한 시간적 특징을 학습하도록 설계된 비지도 프레임워크입니다. 이는 표현 공간 내의 밀집 분류 작업으로 시간적 대비 학습을 재해석합니다.

핵심 메커니즘

확률적 서브-블록 분할: 전체 시퀀스나 개별 타임스텝을 처리하는 대신, Di-COT 은 각 시계열 윈도우를 반복마다 $k$ 개의 겹치는 서브-블록으로 확률적으로 분할합니다. 서브-블록의 수 $k$ 는 균일 분포 $U\{k_{min}, \dots, k_{max}\}$ 에서 샘플링됩니다.
- 서브-블록은 겹침 비율 $\rho \in (0, 1)$ 로 제어되는 길이 $L$ 과 스트라이드 $s$ 를 가집니다.
- 이 확률성은 인코더가 여러 시간적 세밀도에 노출되도록 하여, 명시적인 계층적 설계 없이도 짧은 및 장거리 문맥 전반에 걸친 견고성을 암묵적으로 장려합니다.
서브-블록 인코딩: 각 서브-블록은 공유 시간 인코더 $f_\theta$ 를 통과한 후 시간 차원을 따라 풀링되어 단일 임베딩 벡터를 생성합니다.
대비 목적 (다음 서브-블록 예측):
- 양의 쌍: 동일한 인스턴스 내의 시간적으로 인접한 서브-블록은 양의 쌍으로 간주됩니다. 구체적으로, 서브-블록 $j$ 에 대해 선행하는 서브-블록 $j-1$ 이 대상입니다.
- 음의 쌍: 동일한 시퀀스 내의 모든 다른 서브-블록이 음의 쌍으로 작용합니다.
- 수식화: 이 작업은 다중 클래스 분류 문제로 공식화됩니다. 각 서브-블록 $j$ 에 대해 모델은 그 선행 이웃의 인덱스를 예측합니다. 손실은 온도 스케일된 교차 엔트로피 손실 (서브-블록 인덱스에 적용된 InfoNCE 와 유사) 입니다:
  $\mathcal{L}_{CE} = -\frac{1}{Bk} \sum_{i=1}^{B} \sum_{j=0}^{k-1} \log \frac{\exp(S^{(i)}_{j, p^*(j)} / \tau)}{\sum_{p=0}^{k-1} \exp(S^{(i)}_{j, p} / \tau)}$
  여기서 $S^{(i)}_{j,p}$ 는 서브-블록 $j$ 와 $p$ 간의 유사도이며, $p^*(j)$ 는 대상 인덱스 ( $j>0$ 인 경우 $j-1$ , 첫 번째 서브-블록인 경우 $0$) 입니다.

효율성 및 확장성

복잡도: 손실 계산은 시퀀스 길이 $T$ 가 아닌 배치 크기 $B$ 와 서브-블록 수 $k$ 에 의존합니다. 설계상 $k \ll T$ 이므로, 시간 복잡도는 $O(Bk^2d)$ 이고 메모리 복잡도는 $O(Bk^2)$ 입니다. 이는 시퀀스 길이와 무관하여 매우 긴 시퀀스에서도 효율적인 학습을 가능하게 합니다.
증강/다중 통과 부재: 내부 서브구조를 대비함으로써 Di-COT 은 데이터 증강의 필요성을 없애고, 다양한 증강된 뷰를 양의 쌍으로 취급하는 방법들이 요구하는 인코더 다중 통과를 제거합니다.

주요 기여

증강 없는 프레임워크: Di-COT 은 데이터 증강, 타임스텝 마스킹, 그리고 인코더 다중 통과를 제거하여 계산 오버헤드를 줄이고 표현 왜곡을 방지합니다.
동적 서브-블록 대비: 이 방법은 확률적 서브-블록을 사용하여 개별 인스턴스 내에서 대비를 도입합니다. 이는 급격한 전환 동안 실패하는 단순한 타임스텝 수준의 구별을 방지하고 다양하며 의미 있는 표현을 장려합니다.
분류로의 재공식화: 시간적 대비 학습은 교차 엔트로피 분류 작업으로 재공식화됩니다. 이는 모든 서브-블록을 신호로 활용하는 밀집 감시를 제공하면서도 온도 스케일된 InfoNCE 의 특성을 유지합니다.
최첨단 성능: 이 프레임워크는 분류, 클러스터링, kNN, 그리고 교차 데이터셋 전이 작업 전반에 걸쳐 최첨단 결과를 달성하면서 훈련 시간을 크게 단축합니다.

실험 결과

저자들은 Di-COT 을 여섯 개의 대규모 실세계 데이터셋 (PAMAP2, WISDM2, HARTH, SLEEP, ECG, SKODA) 과 UCR/UEA 벤치마크에서 평가했습니다.

선형 평가: Di-COT 은 대규모 데이터셋에서 SSL 방법들 중 평균 정확도가 가장 높았으며, TS2Vec, TF-C, CaTT 와 같은 베이스라인을 능가했습니다. 여러 데이터셋에서 완전 지도식 엔드투엔드 모델의 성능과 일치하면서도 훨씬 적은 훈련 시간이 필요했습니다.
저라벨 환경: 1% 라벨링된 데이터 설정에서 Di-COT 은 다른 모든 SSL 방법과 동일한 제한된 데이터로 엔드투엔드 훈련된 완전 지도식 베이스라인을 능가하여 우수한 라벨 효율성을 입증했습니다.
비모수 kNN: Di-COT 은 1-최근접 이웃 분류에서 가장 좋은 성능을 보였는데, 이는 학습된 임베딩이 의미적으로 유사한 샘플이 밀접하게 매핑된 잘 구조화된 지역 이웃을 가지고 있음을 나타냅니다.
클러스터링: Di-COT 은 정규화된 상호 정보 (NMI) 와 조정된 랜지수 (ARI) 에서 가장 높은 점수를 달성하여, 지상 진실 클래스와 일치하는 전역적으로 일관된 클러스터를 학습함을 시사합니다.
교차 데이터셋 전이: 전이 학습 실험 (예: HARTH $\to$ PAMAP2) 에서 Di-COT 은 베이스라인에 비해 더 강력한 도메인 일반화를 보여주어 분포 변화에 대한 견고성을 나타냈습니다.
효율성: Di-COT 은 일관되게 딥러닝 기반 접근법 중 가장 낮은 훈련 시간을 요구했습니다. 예를 들어, 대규모 데이터셋에서 약 2.88 시간 동안 훈련한 반면 다른 방법들은 3.47~11.48 시간이 소요되었습니다.

중요성 및 주장

이 논문은 Di-COT 이 기존 시계열 대비 학습 방법들의 근본적인 트레이드오프, 즉 효율성을 위한 시간적 근접성 활용과 일반화를 위한 의미적 일관성 유지 사이의 긴장을 해결한다고 주장합니다.

시간적 역동성에 대한 견고성: 개별 타임스텝이 아닌 정보성 서브구조를 대비함으로써 Di-COT 은 모든 인접 타임스텝이 의미적으로 유사하다고 가정하는 방법들 내재적인 "거짓 양성" 문제를 피합니다. 이는 빈번한 사건 변화가 있는 데이터셋에 특히 효과적입니다.
확장성: 손실 계산이 시퀀스 길이와 무관하기 때문에 Di-COT 은 긴 시계열로 효율적으로 확장될 수 있으며, 이는 메모리 및 계산 비용이 시퀀스 길이에 따라 이차적으로 증가하는 CaTT 와 같은 방법들의 한계를 극복합니다.
실용적 적용성: 이 프레임워크는 라벨이 부족한 시나리오에 대한 실용적인 해결책으로 제시되며, 우수한 정확도 - 계산 트레이드오프를 제공합니다. 저자들은 이 방법이 분류, 클러스터링, 검색에서 뛰어나지만, 미세한 시간 예측이 필요한 예측 작업과는 직교할 수 있는 대비적 성격 (구별적 구조에 초점) 을 가지고 있음을 지적하며, 이는 한계이자 향후 연구 방향으로 식별됩니다.

저자들은 Di-COT 이 지역적으로 일관되고 전역적으로 잘 조직화되며 도메인 간 전이가 가능한 표현을 학습하여 비지도 시계열 표현 학습의 새로운 최첨단을 확립했다고 강조합니다.