WaveSSM: Multiscale State-Space Models for Non-stationary Signal Attention

이 논문은 국소적 시간 지지를 가진 웨이블릿 프레임을 기반으로 한 새로운 상태 공간 모델인 WaveSSM 을 제안하여, 기존 다항식 기반 모델보다 생리학적 신호 및 음성 명령과 같은 비정상적 신호의 국소적 구조를 더 효과적으로 포착하고 성능을 향상시킨다는 것을 보여줍니다.

핵심

🎧 핵심 아이디어: "전체 기록을 한 번에 보는 것 vs. 중요한 순간만 집어보는 것"

기존의 인공지능 모델 (SSM 이나 S4 등) 은 과거의 데이터를 기억할 때, 거대한 책장을 상상해 보세요. 이 책장은 과거의 모든 사건을 한 권의 두꺼운 책에 모두 담고 있습니다. 하지만 이 책의 페이지가 서로 뒤섞여 있어서, "어제 오후 3 시에 무슨 일이 있었지?"라고 물을 때, 책 전체를 뒤적여야만 답을 찾을 수 있습니다. 모든 페이지가 서로 얽혀 있어, 특정 순간의 사건을 정확히 찾아내기 어렵습니다.

WaveSSM은 이 방식을 완전히 바꿉니다. 대신 **마치 '스냅샷'이나 '포토북'**처럼 작동합니다.

• WaveSSM은 과거의 데이터를 시간순으로 잘게 나누어, **중요한 순간 (예: 심장 박동의 이상, 갑작스러운 소리)**을 각각의 작은 사진처럼 따로따로 정리해 둡니다.
• 그래서 "어제 오후 3 시의 이상 신호"를 찾을 때, 책 전체를 뒤적일 필요 없이 해당되는 사진 한 장을 바로 꺼내 볼 수 있습니다.

🌊 왜 '웨이브릿 (Wavelet)'인가?

이 모델의 핵심은 **'웨이브릿 (Wavelet)'**이라는 수학적 도구를 사용한다는 점입니다.

1. 기존 방식 (다항식): 마치 긴 줄로 전체를 재는 것과 같습니다. 줄의 한 끝을 잡으면 다른 끝까지 모두 영향을 받습니다. 그래서 '지금'의 작은 변화가 '과거' 전체의 기록을 흐리게 만들 수 있습니다.
2. WaveSSM 방식 (웨이브릿): 마치 손전등을 켜는 것과 같습니다. 손전등 빛은 특정 부분만 비추고, 그 밖은 어둡게 유지합니다.
   • 이 모델은 손전등처럼 특정 시간과 특정 크기 (주파수) 의 신호만 집중적으로 비추며 기억합니다.
   • 그래서 **갑작스러운 소리 (Transient)**나 심장 박동의 순간적인 변화처럼 짧지만 중요한 사건을 놓치지 않고 정확히 포착할 수 있습니다.

🏥 실제 활용 예시: "심장 박동과 음성 인식"

이 모델이 어디에 좋은지 두 가지 예로 설명해 드릴게요.

1. 심장 건강 (ECG 데이터)

• 상황: 심전도 (ECG) 를 볼 때, 심장 박동이 평소와 다르게 '딱' 하고 한 번 뛰는 순간이 중요합니다.
• 기존 모델: 전체 심전도 그래프를 흐릿하게 보다가, 그 '딱' 하는 순간을 놓치거나 다른 부분과 섞어서 해석할 수 있습니다.
• WaveSSM: 그 '딱' 하는 순간을 확대경으로 찍어내듯 정확히 포착합니다. 그래서 심장 질환을 더 정확하게 진단할 수 있습니다. (논문 결과, PTB-XL 데이터셋에서 기존 모델보다 더 좋은 성능을 보였습니다.)

2. 음성 명령 (Speech Commands)

• 상황: "Stop!"이라고 외치는 순간의 소리는 매우 짧고 급격하게 변합니다.
• 기존 모델: 소리의 전체적인 흐름을 기억하려다, 그 짧은 순간의 특징이 흐려질 수 있습니다.
• WaveSSM: 소리의 순간적인 변화를 잘게 쪼개서 기억하므로, 소리가 조금 변해도 (예: 목소리가 낮아지거나 높아져도) 명령어를 정확히 알아듣습니다.

🧩 왜 이 모델이 더 나을까요? (비유)

• 기존 모델 (S4 등): "모든 것을 한 번에 기억하려다 보니, 중요한 순간과 사소한 소음이 섞여버린다." (전체적인 흐름은 좋지만, 국소적인 변화에는 약함)
• WaveSSM: "중요한 순간은 따로, 사소한 부분은 따로 정리한다." (특히 비정상적인 신호나 갑작스러운 변화를 다룰 때 압도적으로 유리함)

🚀 결론

이 논문은 **"과거의 모든 것을 한 덩어리로 기억하는 것보다, 중요한 순간을 시간과 크기에 따라 잘게 나누어 기억하는 것이 더 똑똑하다"**는 것을 증명했습니다.

WaveSSM 은 마치 현미경과 망원경을 동시에 갖춘 카메라처럼, 멀리 있는 큰 흐름도 보되, 가까이 있는 아주 작은 순간의 변화도 놓치지 않는 차세대 인공지능 모델입니다. 이는 의료 진단, 음성 인식, 그리고 다양한 센서 데이터를 분석하는 데 혁신을 가져올 것으로 기대됩니다.

기술 요약

WaveSSM: 비정상 신호 주의를 위한 다중 스케일 상태 공간 모델 (WaveSSM) 기술 요약

이 논문은 시퀀스 모델링, 특히 장기 의존성과 국소적인 과도 현상 (transient events) 을 동시에 처리해야 하는 비정상 신호 (non-stationary signals) 를 위한 새로운 상태 공간 모델 (State-Space Models, SSM) 인 WaveSSM을 제안합니다.

1. 문제 정의 (Problem)

기존의 SSM(예: HiPPO, S4, Mamba) 은 장기 의존성을 모델링하는 데 탁월한 성능을 보이지만, 다음과 같은 근본적인 한계가 있습니다.

• 전역적 지지 (Global Support) 의 한계: 기존 SSM 은 Legendre, Laguerre, Chebyshev 등의 직교 다항식 (orthogonal polynomials) 기반의 기저 함수를 사용하여 상태 전이 역학을 구성합니다. 이러한 기저 함수는 신호의 전체 시간 영역에 걸쳐 지지 (support) 를 가지므로, 신호의 특정 국소적 영역이나 급격한 변화 (점프, 과도 현상) 를 효율적으로 표현하거나 선택적으로 주의를 기울이기 어렵습니다.
• 비정상 신호 처리의 비효율성: 생체 신호 (ECG), 오디오, 금융 시계열 데이터와 같이 국소적이고 비정상적인 구조를 가진 신호의 경우, 전체 역사를 하나의 선형 결합으로 압축하는 방식은 중요한 국소적 정보를 희석시킬 수 있습니다.
• 시간적 주소 지정 (Temporal Addressability) 부재: HiPPO 기반 모델은 전체 입력 역사를 저장할 수는 있지만, 특정 시간 구간 (disjoint windows) 을 독립적으로 검색하거나 조작하는 것은 선형 중첩 (superposition) 으로 인해 어렵습니다.

2. 방법론 (Methodology)

저자들은 Wavelet Frames(웨이브릿 프레임) 를 기반으로 한 새로운 SSM 인 WaveSSM 을 제안합니다.

2.1. 웨이브릿 프레임 기반 SSM 구축

• SaFARi 프레임워크 활용: HiPPO 를 일반화한 SaFARi(State-Space Models for Frame-Agnostic Representation) 프레임워크를 활용하여, 직교 다항식이 아닌 임의의 프레임 (Frame) 에서 SSM 파라미터 (A, B 행렬) 를 유도합니다.
• 국소화된 상태 표현: 웨이브릿 프레임 (Morlet, Gaussian-derivative, Mexican hat, Daubechies, DPSS 등) 은 시간 - 주파수 영역에서 국소화된 (localized) 특성을 가집니다. 이를 통해 잠재 상태 (latent state) 의 각 차원이 입력 신호의 특정 시간 구간과 대응되도록 설계됩니다.
• 다중 스케일 (Multiscale) 특성: 다양한 스케일 (scale) 의 웨이브릿 원자 (atoms) 를 사용하여 신호의 다양한 시간 해상도에서 정보를 표현하고 전파할 수 있습니다.

2.2. 안정성 고려 (Stability Considerations)

• 이중 프레임 (Dual Frame) 문제: 웨이브릿 프레임은 일반적으로 중복 (redundant) 이고 비직교적이므로, 역행렬 계산 시 수치적 불안정성이 발생할 수 있습니다.
• 프레임 강화 (Frame Tightening): 프레임 연산자 $S = FF^*$의 조건수 (condition number) 를 개선하기 위해 행렬 $F$를 화이트닝 (whitening) 하는 $F \leftarrow S^{-1/2}F$ 변환을 적용하여, 수치적으로 안정된 상태 전이 행렬을 유도합니다.

2.3. S4 아키텍처 통합

• 학습된 웨이브릿 기반 동역학을 S4 아키텍처의 대각선 + 저랭크 (DPLR, Diagonal-Plus-Low-Rank) 파라미터화에 통합합니다. 이를 통해 파라미터 수와 계산 복잡도를 $O(N^2)$에서 $O(N)$으로 줄이면서도 효율적인 병렬 연산을 가능하게 합니다.

3. 주요 기여 (Key Contributions)

1. 웨이브릿 유도 SSM (Wavelet-induced SSMs): 연속 및 이산 웨이브릿 프레임에서 SSM 역학을 원칙적으로 유도했습니다. 이로 인해 상태 좌표가 시간적으로 국소화되어, 서로 다른 시간 영역의 정보가 상태의 서로 다른 부분집합에 저장되도록 합니다.
2. 안정성 분석 및 설계: 웨이브릿 유도 역학이 가져오는 수치적 안정성 문제를 분석하고, 프레임 강화 (tightening) 기법을 통해 장기적인 커널 (kernel) 을 안정화하는 설계 선택을 제시했습니다.
3. 근사 이론적 우월성 증명: 국소적 불규칙성 (점프, 급격한 전환) 이 있는 함수를 근사할 때, 웨이브릿이 전역 다항식 (Legendre 등) 보다 훨씬 효율적인 수렴 속도 ($N^{-s}$ vs $N^{-1/2}$) 를 가진다는 이론적 근거와 실험적 검증을 제공했습니다.
4. 실증적 검증: PTB-XL(심전도), Speech Commands(오디오), Informer(시계열 예측), Long Range Arena(LRA) 등 다양한 벤치마크에서 기존 SSM(S4) 및 다른 모델들을 능가하는 성능을 입증했습니다.

4. 실험 결과 (Results)

• PTB-XL (심전도 분류): 비정상적인 심전도 파형 (부정맥, 전도 차단 등) 을 감지하는 데 WaveSSM 이 가장 우수한 AUROC 점수를 기록했습니다. 특히 Daubechies 기반 모델 (WaveSSMdb6T) 이 전체 점수에서 1 위를 차지했습니다.
• Speech Commands (음성 인식): 원시 오디오 (16kHz) 에서 S4 보다 높은 정확도 (약 96.5%) 를 달성했습니다. 8kHz 로의 주파수 이동 (zero-shot resampling) 상황에서도 경쟁력 있는 성능을 보였습니다.
• 시계열 예측 (Informer): ETTh, Weather, ECL 데이터셋에서 S4 대비 일관되게 낮은 MSE(평균 제곱 오차) 를 기록하며 장기 예측 성능을 개선했습니다.
• Long Range Arena (LRA): ListOps, Text, Retrieval, Image 등 6 개 작업 중 4 개에서 S4 를 능가했습니다. 다만, 매우 긴 컨텍스트 (PathX) 에서는 국소성 편향 (locality bias) 으로 인해 확장성에 한계를 보였습니다.
• 연속 창 복사 (Continuous Window Copying) 태스크: 여러 개의 겹치지 않는 시간 창을 동시에 저장하고 선택적으로 검색하는 태스크에서 WaveSSM 은 S4 보다 약 10 배 낮은 재구성 오차를 보였습니다. 이는 웨이브릿 기반 상태가 각 시간 창을 독립적인 상태 좌표에 매핑하여 간섭을 최소화하기 때문입니다.

5. 의의 및 결론 (Significance)

WaveSSM 은 시퀀스 모델링 분야에서 전역적 기저 (global basis) 에서 국소적 기저 (localized basis) 로의 전환이 비정상 신호 처리에 필수적임을 보여줍니다.

• 선택적 주의 메커니즘: Attention 메커니즘 없이도 상태 공간 모델 내에서 "주목 (attention)"과 유사한 메커니즘을 구현하여, 특정 시간 구간의 정보를 독립적으로 저장하고 검색할 수 있게 합니다.
• 생체 신호 및 오디오 최적화: 국소적 과도 현상이 중요한 생체 신호 (ECG, EEG) 및 오디오 처리 분야에서 기존 SSM 보다 우수한 대안으로 자리 잡을 수 있습니다.
• 이론과 실전의 결합: 웨이브릿 이론의 근사적 우월성을 현대적인 딥러닝 아키텍처 (SSM) 에 성공적으로 통합하여, 계산 효율성과 표현력을 동시에 확보했습니다.

결론적으로, WaveSSM 은 장기 의존성 모델링의 효율성을 유지하면서도 국소적 사건을 정밀하게 포착할 수 있는 새로운 패러다임을 제시합니다.