DyWPE: Signal-Aware Dynamic Wavelet Positional Encoding for Time Series Transformers

본 논문은 이산 웨이블릿 변환을 활용하여 입력 시계열로부터 직접 임베딩을 생성하는 신호 인식형 위치 인코딩 프레임워크인 DyWPE 를 소개하며, 이를 통해 다양한 데이터셋에 걸쳐 복잡한 비정상 동역학을 처리하는 기존 방법들보다 우수한 성능을 달성함을 보여줍니다.

핵심

로봇에게 숫자 시리즈 (시계열) 로 전달된 이야기를 이해하도록 가르치려 한다고 상상해 보세요. AI 세계에서는 이를 위한 인기 있는 도구로 Transformer가 있습니다. Transformer 는 이야기 전체를 한 번에 살펴봄으로써 의미를 파악하는 초지능 독자로 생각할 수 있습니다.

하지만 함정이 하나 있습니다. Transformer 는 본질적으로 순서에 '맹목'입니다. 책의 페이지를 뒤섞어도 Transformer 는 같은 단어들을 보지만, 어느 페이지가 먼저고 어느 페이지가 마지막인지 알지 못합니다. 이를 해결하기 위해 우리는 보통 로봇에게 각 페이지마다 "너는 1 페이지야", "너는 2 페이지야"라고 알려주는 '이름표'를 붙여줍니다. 이를 **위치 인코딩 (Positional Encoding)**이라고 합니다.

문제: "일률적"인 이름표

이 논문은 이러한 이름표를 부여하는 기존 방식이 결함이 있다고 주장합니다. 현재 로봇은 오직 페이지 번호에 기반한 범용 이름표를 받습니다.

• 결함: 이야기 속 두 페이지를 상상해 보세요. 10 페이지는 아무 일도 일어나지 않는 차분하고 조용한 장면입니다. 100 페이지는 빠른 액션이 펼쳐지는 혼란스러운 폭발 장면입니다.
• 기존 방식: 로봇은 "10 페이지"용 이름표와 "100 페이지"용 이름표를 받습니다. 하지만 이야기의 내용이 바뀌어도 태그는 변하지 않습니다. 로봇은 두 페이지가 모두 "페이지"라는 이유만으로 조용한 장면과 폭발 장면을 정확히 동일하게 취급합니다. 이는 데이터의 실제 분위기를 무시하는 것입니다.

이는 심박수 모니터나 주가 가격과 같은 시계열 데이터에는 치명적입니다. 왜냐하면 "분위기"가 끊임없이 변하기 때문입니다. 때로는 신호가 매끄럽고 느리지만, 다른 때는 거칠고 빠릅니다. 기존 방법은 이를 무시합니다.

해결책: DyWPE (지능형 이름표)

저자들은 DyWPE(동적 웨이블릿 위치 인코딩, Dynamic Wavelet Positional Encoding)를 소개합니다. 숫자에 기반한 범용 이름표를 대신하여, 그들은 해당 순간 데이터에서 실제로 일어나는 일에 기반한 스마트하고 맞춤형 태그를 로봇에게 부여합니다.

다음은 간단한 비유를 통해 그들이 어떻게 수행하는지 설명한 것입니다:

1. 웨이블릿 "현미경" (DWT)
폭풍우에 대한 길고 지저분한 오디오 녹음이 있다고 상상해 보세요.

• 기존 방법은 단순히 "이것은 5 분째"라고 말합니다.
• DyWPE 방법은 **웨이블릿 변환 (Wavelet Transform)**이라는 특수한 수학 도구를 사용합니다. 이는 확대와 축소가 가능한 현미경과 같습니다. 이 도구는 신호를 서로 다른 "레이어"로 분해합니다:
  • 큰 그림: 폭풍우의 느리고 굴러가는 파도 (저주파).
  • 세부 사항: 번개의 날카로운 갈라짐과 빠른 비 (고주파).

2. "동적 게이팅" (스마트 필터)
현미경이 신호를 이러한 레이어로 분해하면, DyWPE 는 단순히 레이어를 보는 것을 넘어 이를 이용해 위치 태그를 생성합니다.

• 해당 순간의 신호가 차분하고 느리면, 태그는 "나는 타임라인의 차분한 지점이다"라고 말합니다.
• 신호가 혼란스럽고 빠르면, 태그는 "나는 타임라인의 혼란스러운 지점이다"라고 말합니다.
• 이는 지도상의 위치가 아닌, 현재 걷고 있는 날씨에 따라 색이 변하는 여행자의 배지를 주는 것과 같습니다.

3. 다시 조립하기
마지막으로, 이 맞춤형 태그들을 다시 연결하여 Transformer 에 입력합니다. 이제 Transformer 가 데이터를 읽을 때, 단순히 어디에 있는지만 아는 것이 아니라, 어떤 종류의 순간을 경험하고 있는지도 알게 됩니다.

그들이 발견한 것

연구진은 다음과 같은 10 가지 다른 데이터셋에서 이 새로운 "스마트 태그" 시스템을 테스트했습니다:

• EEG 뇌파 (수면 및 자기 조절).
• 인간 움직임 (걷기, 달리기).
• 오디오 (일본어 모음).
• 교통 및 센서.

결과:

• 더 높은 정확도: 거의 모든 테스트에서 "스마트 태그"(DyWPE) 를 가진 로봇이 기존 "범용 태그"를 사용한 로봇보다 데이터를 더 잘 이해했습니다.
• 긴 이야기: 개선 효과는 긴 데이터 시퀀스에서 특히 컸습니다. 이야기가 길어질수록 기존 방식은 혼란을 겪었지만, DyWPE 는 날카로움을 유지했습니다.
• 복잡한 신호: 패턴이 급격히 변하는 지저분하고 복잡한 신호 (예: 뇌파) 에서 가장 잘 작동했습니다.
• 속도: 신호를 분석하기 위해 더 많은 작업을 수행하지만, 여전히 실용적일 정도로 빠르며 기존 최선 방법들에 비해 속도를 크게 저하시키지 않습니다.

결론

이 논문은 AI 가 데이터의 실제 "형태"를 무시하지 않고, 오히려 데이터 자체가 위치 태그를 결정하도록 함으로써 시간 기반 정보를 이해하는 훨씬 더 지능적이고 정확한 모델을 얻을 수 있다고 주장합니다. 이는 단순히 "1, 2, 3"을 세는 로봇과 "1 은 차분하고, 2 는 혼란스럽고, 3 은 조용하다"는 것을 이해하는 로봇의 차이와 같습니다.

기술 요약

기술 요약: DyWPE – 시계열 트랜스포머를 위한 신호 인식 동적 웨이블릿 위치 인코딩

1. 문제 제기

현재 트랜스포머 아키텍처의 위치 인코딩 (PE) 방법들은 근본적으로 **신호 무관 (signal-agnostic)**합니다. 정현파 인코딩, 학습 가능한 절대 임베딩, 또는 상대적 위치 체계를 활용하든, 이러한 방법들은 추상적인 시퀀스 인덱스 ($0, 1, \dots, L-1$) 에서만 위치 정보를 도출합니다. 이들은 입력 신호의 근본적인 특성을 전혀 고려하지 않습니다.

이러한 한계는 시계열 분석에서 치명적입니다. 시계열 데이터는 종종 복잡하고 비정상적인 동역학 및 다중 스케일 패턴을 나타내기 때문입니다. 전통적인 PE 는 동일한 절대 인덱스에서 발생하는 서로 다른 시간적 맥락 (예: 안정적이고 분산이 낮은 구간 versus 변동성이 크고 고주파 진동) 에 동일한 위치 표현을 할당합니다. 이러한 고유한 시간적 서명을 포착하지 못함은 효과적인 모델링을 방해하며, 특히 통계적 특성이 시간에 따라 변하거나 서로 다른 주파수 성분이 고유한 의미론적 의미를 지닌 비정상 신호의 경우 더욱 그렇습니다. 최근 연구들은 PE 전략 간 성능 차이를 지적했으나, 신호 독립적 위치의 근본적인 한계를 해결하는 기존 방법은 존재하지 않습니다.

2. 방법론: 동적 웨이블릿 위치 인코딩 (DyWPE)

저자들은 시퀀스 인덱스가 아닌 입력 시계열 신호 콘텐츠에서 직접 위치 임베딩을 생성하는 새로운 프레임워크인 DyWPE를 제안합니다. 핵심 철학은 위치 인코딩을 인덱스의 함수 ($P = f(\text{indices})$) 가 아닌 신호의 학습 가능한 함수 ($P = f(X, \theta)$) 로 취급하는 것입니다.

아키텍처는 다섯 가지 순차적 단계를 통해 작동합니다:

1. 채널 프로젝션: 다변량 입력의 경우, 학습 가능한 프로젝션 벡터 ($w_{channel}$) 가 입력 채널들을 단일 대표 채널 ($x_{mono}$) 로 압축하여 가장 관련성 높은 시간적 동역학을 포착합니다.
2. 다중 레벨 웨이블릿 분해: 프로젝션된 신호에 $J$-레벨 1 차원 이산 웨이블릿 변환 (DWT) 을 적용합니다. 이를 통해 다음과 같은 결과를 얻습니다:
   • 저주파, 대규모 추세를 나타내는 근사 계수 ($c_{A_J}$).
   • 고주파, 세밀한 패턴을 나타내는 상세 계수 ($c_{D_j}$).
3. 학습 가능한 스케일 임베딩: 모델은 각 시간적 스케일 ($e_{A_J}, e_{D_J}, \dots, e_{D_1}$) 을 위한 "원형 (prototypes)"으로 작용하는 학습 가능한 임베딩 벡터를 도입합니다.
4. 동적 변조: 이것이 핵심 혁신입니다. 실제 웨이블릿 계수가 게이트 메커니즘을 통해 학습 가능한 스케일 임베딩을 동적으로 변조합니다:
   $$\text{gate}(e, c) = (\sigma(W_g e) \odot \tanh(W_v e)) \otimes c'$$
   이를 통해 위치 표현은 신호의 실제 콘텐츠를 기반으로 스케일 원형에 가중치를 부여함으로써 신호의 국소적 행동 (예: 과도한 스파이크와 부드러운 추세를 구분) 에 적응할 수 있습니다.
5. 재구성: 변조된 다중 스케일 정보는 웨이블릿의 완벽한 재구성 특성을 활용하여 역 DWT(IDWT) 를 사용하여 길이 $L$의 시퀀스로 합성되며, 최종 위치 임베딩 $P_{DyWPE}$를 생성합니다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 제시합니다:

1. 최초의 신호 인식 프레임워크: DyWPE 는 시퀀스 인덱스가 아닌 신호 콘텐츠에서 직접 위치 정보를 도출하는 최초의 위치 인코딩 방법입니다.
2. 계산 효율성: 구현은 선형 $O(L)$ 복잡도를 갖는 DWT/IDWT 연산을 활용하여, 다른 고급 PE 방법에서 흔히 발견되는 2 차 스케일링을 피합니다.
3. 종합적 검증: 10 개의 다양한 시계열 데이터셋에 걸친 광범위한 실험을 통해 8 가지 기존 PE 방법보다 일관된 우월성을 입증했습니다.
4. 애블레이션 분석: 동적 변조 및 다중 스케일 분해와 같은 특정 구성 요소의 필요성을 검증하여, 신호 인식 및 계층적 분석이 성능 향상에 결정적임을 보여주었습니다.

4. 실험 결과

실험은 인간 활동 인식 (HAR), 오디오, EEG 분류, 센서 데이터 (UEA 아카이브 포함) 를 아우르는 10 개의 데이터셋에서 수행되었습니다. DyWPE 프레임워크는 PatchTST 모델에 통합되어 8 가지 베이스라인 (예: Sinusoidal, Learnable, RoPE, ALiBi, T-PE) 과 비교되었습니다.

• 전체 성능: DyWPE 는 10 개 데이터셋 중 6 개에서 최고 정확도를 달성했으며, 나머지 데이터셋에서는 상위 2 위를 기록했습니다.
• 긴 시퀀스: 이 방법은 특히 긴 시퀀스에서 현저한 개선을 보였습니다. 예를 들어, SelfRegulationSCP2 데이터셋 (1152 타임스텝) 에서 DyWPE 는 61.2% 정확도를 달성하여 다른 방법들을 크게 앞섰습니다.
• 생체의학 신호: 복잡한 생리학적 동역학 (Sleep EEG, SelfRegulation) 이 관련된 도메인에서 DyWPE 는 일관되게 최상위 성능을 보여주며, 다중 스케일 패턴을 효과적으로 포착했습니다.
• 계산적 트레이드오프: 신호 처리로 인해 신호 무관 방법 대비 약간의 실제 오버헤드가 발생하지만, 상대적 오버헤드 (베이스라인 대비 1.48 배) 는 다른 최첨단 (SOTA) 방법들과 경쟁력 있으며, 많은 방법들이 더 높은 오버헤드 (예: T-PE 의 1.95 배) 와 2 차 복잡도를 갖는다는 점에 비추어 볼 때 경쟁적입니다.

애블레이션 연구 결과

• 신호 인식: 동적 변조를 제거 (정적 웨이블릿 PE) 한 경우 모든 데이터셋에서 평균 **1.09%**의 성능 저하가 발생하여, 신호 특성에 적응하는 것이 필수적임을 확인했습니다.
• 다중 스케일 분석: 전체 DyWPE 와 단일 스케일 변형을 비교한 결과, 다중 스케일 분해는 복잡한 신호 (예: SR2 에서 +7.3%) 에 유익하지만, 단순한 패턴은 깊은 분해를 필요로 하지 않을 수 있음을 보여주었습니다.
• 웨이블릿 유형: Daubechies(db4) 가 강력한 기본값으로 작용했지만, Biorthogonal 웨이블릿 (예: bior2.2) 은 복잡한 신호에서 약간의 개선을 보여주어, 재구성 특성이 신호 인식 인코딩에 도움이 될 수 있음을 시사합니다.

5. 중요성 및 주장

본 논문은 DyWPE 가 시계열 트랜스포머의 근본적인 간극, 즉 위치 정보와 신호 동역학 사이의 단절을 해결한다고 주장합니다. 지역적 패턴 인식의 부담을 위치 인코딩 계층으로 이관함으로써, DyWPE 는 자기 주의 (self-attention) 메커니즘이 더 효과적으로 장거리 및 고수준 의존성을 포착할 수 있게 합니다.

저자들은 DyWPE 를 단순한 점진적 개선이 아닌, 인덱스 기반에서 콘텐츠 기반 위치로 전환하는 패러다임의 변화로 위치시킵니다. 결과는 비정상적이거나 다중 스케일 특성을 가진 시계열 데이터의 경우, 위치 인코딩에 신호 인식 귀납적 편향을 통합하는 것이 최첨단 성능을 달성하는 데 필수적임을 시사합니다. 이 연구는 복잡한 시간적 데이터를 포함하는 순차 모델링 작업에서 위치 정보가 어떻게 개념화되어야 하는지에 대한 새로운 기준을 확립합니다.