기술 요약: 이종 IoT 센싱 신호를 위한 이벤트 정렬 동적 토큰화 Dywave

1. 문제 제기

사물인터넷 (IoT) 시스템은 인간 활동 인식 (HAR) 및 환경 모니터링과 같은 애플리케이션을 지원하기 위해 IMU, ECG, 음향과 같은 이종 센싱 신호의 연속적인 스트림을 생성합니다. 자연어 (단어) 나 비전 (공간 패치) 과 달리, 이러한 신호는 직관적이고 이산적인 의미 단위가 부재합니다. 이들은 본질적으로 비정상적이며, 다중 스케일이고, 시간적으로 이질적이며, 정보가 균일한 간격이 아닌 물리적 이벤트 간의 전이에 인코딩되어 있습니다.

현재 최첨단 접근 방식은 이러한 신호를 토큰화하기 위해 균일한 윈도우화(고정 크기 패칭) 에 의존합니다. 이 방법은 세 가지 중요한 한계를 제시합니다:

1. 의미 정렬 불일치: 고정된 경계는 본질적인 물리적 이벤트 전이와 거의 일치하지 않아 이벤트 분할을 초래하고 근본적인 의미를 흐리게 만듭니다.
2. 비효율성: 균일한 패칭은 중복되고 정적인 구간과 중요하며 역동적인 돌발 구간 모두에 동일한 계산 자원을 할당하여, 정보를 추가하지 않은 채 입력 토큰 길이와 계산 비용을 증가시킵니다.
3. 초매개변수 민감성: 최적의 패치 크기와 스트라이드는 애플리케이션별로 다르며, 광범위하고 시간이 많이 소요되는 도메인별 조정이 필요하며, 보편적으로 효과적인 구성은 존재하지 않습니다.

이는 원시 센싱 신호가 물리적 일관성을 잃거나 과도한 지연을 초래하지 않고 대규모 시퀀스 모델로 효과적으로 처리될 수 없는 "토큰화 격차"를 만들어냅니다.

2. 방법론: Dywave

저자들은 내재된 시간적 구조와 근본적인 물리적 이벤트에 정렬된 컴팩트한 입력 표현을 구축하는 동적 토큰화 프레임워크인 Dywave를 제안합니다. Dywave 는 아키텍처 변경 없이 Transformer, Mamba2 와 같은 주류 백본 인코더와 호환되는 모듈형 프론트엔드로 작동합니다. 파이프라인은 네 단계로 구성됩니다:

2.1. 계층적 임베딩 추출

Dywave 는 **최대 중첩 이산 웨이블릿 변환 (MODWT)**을 활용하여 원시 신호를 다중 해상도 시간 - 주파수 표현으로 분해합니다. 표준 DWT 와 달리 MODWT 는 비축소 (undecimated) 방식으로, 원래 시퀀스 길이를 보존합니다.

• 디테일 스트림: 경량 합성곱 레이어를 사용하여 고주파 과도 현상을 포착합니다.
• 컨텍스트 스트림: 적응형 다운샘플링이 적용된 경량 허니글래스 트랜스포머를 사용하여 느리게 변하는 장거리 추세를 인코딩합니다.
• 퓨전: 이러한 스트림은 세밀한 과도 현상과 글로벌 컨텍스트 모두를 포착하는 통합된 계층적 임베딩 ($E_F$) 을 형성하기 위해 연결됩니다.

2.2. 시간적 앵커 형성

고정된 분할 대신, Dywave 는 의미적 전이에서 시간적 앵커를 적응적으로 식별합니다.

• 주도성 추정: 모델은 계층적 임베딩의 프로젝션된 키 및 쿼리 벡터 간의 코사인 유사도를 사용하여 인접한 시간 단계 간의 표현 변화를 측정함으로써 이벤트 주도성 ($P_t$) 을 추정합니다. 높은 주도성은 급격한 표현 변화 (이벤트) 를 나타냅니다.
• 앵커 선택: 노이즈와 과도한 할당을 피하기 위해 Dywave 는 시간적 Non-Maximum Suppression (NMS) 을 적용한 후 Top-K 선택을 통해 컴팩트한 앵커 집합 ($A$) 을 추출합니다. 앵커의 수는 압축 비율 $\tau$로 제한됩니다.

2.3. 동적 시간 정보 퓨전

앵커가 식별되면, Dywave 는 인접한 시간 단계를 앵커 정렬 토큰으로 집계합니다.

• 클러스터 형성: 각 시간 단계는 시간적 근접성에 기반하여 가장 가까운 앵커에 할당됩니다.
• 주도성 가중 풀링: 각 클러스터 내의 임베딩은 주도성 점수를 가중치로 사용하여 집계됩니다. 이는 안정적이고 중복된 구간을 압축하는 동시에 정보 전달이 풍부한 전이를 우선시합니다.
• 출력: 결과는 원시 신호 지속 시간이 아닌 의미적 복잡도에 맞춰 길이가 조정되는 컴팩트한 토큰 시퀀스 ($E$) 입니다.

2.4. 훈련 목적

압축된 토큰이 다중 스케일 정보를 유지하도록 보장하기 위해 Dywave 는 보조 재구성 손실을 사용합니다. 경량 디코더는 퓨전된 임베딩에서 원래 웨이블릿 계수를 재구성합니다. 총 손실은 하류 작업 손실과 재구성 손실의 조합입니다 ($L = L_{task} + \lambda_{rec} \cdot L_{rec}$). 이는 고주파 과도 현상과 저주파 추세를 모두 보존하도록 압축을 정규화합니다.

3. 주요 기여

1. 토큰화 격차의 식별: 이 논문은 물리적 센싱 신호에 인간이 직관적인 의미 단위가 부족하다는 점과 균일한 패칭이 물리적 이벤트 역동성과 정렬되지 않음을 강조합니다.
2. Dywave 프레임워크: 웨이블릿 기반 계층적 분해와 주도성 기반 앵커 선택을 사용하여 원시 신호를 컴팩트하고 이벤트 정렬된 토큰으로 변환하는 새로운 동적 토큰화 모듈입니다.
3. 실증적 검증: HAR, 스트레스 평가, 객체 감지를 아우르는 다섯 가지 실제 데이터셋에 대한 광범위한 평가는 우수한 성능과 효율성을 입증합니다.

4. 실험 결과

Dywave 는 Transformer 및 Mamba2 백본을 사용하여 다섯 가지 데이터셋 (Ego4D, MOD, PAMAP2, RWHAR, WESAD) 에서 평가되었습니다.

• 정확도: Dywave 는 특히 Mamba2 백본을 사용할 때 HAR 작업에서 PatchTST, MedFormer, DropPatch 등 기존 최첨단 방법보다 최대 12% 높은 정확도를 달성합니다.
• 효율성: 주류 시퀀스 모델에서 입력 토큰 길이를 최대 75% 감소시켜 계산 오버헤드를 크게 낮춥니다.
• 토큰 분포: 토큰 수가 신호 길이와 선형적으로 상관관계를 갖는 고정 패치 방법과 달리, Dywave 의 토큰 수는 의미적 구조에 의해 결정됩니다. 예를 들어, Ego4D(30 초 시퀀스) 에서 Dywave 는 더 높은 정확도를 달성하면서 PatchTST 보다 훨씬 적은 수의 토큰을 사용합니다.
• 강건성:
  • 도메인 이동: Dywave 는 고정 패치 방법이 심각한 저하를 겪는 교차 도메인 일반화 (예: 지진에서 오디오로) 및 헤드만 파인튜닝 상황에서 더 높은 정확도를 유지합니다.
  • 노이즈: Dywave 는 가우시안 노이즈 주입에 대해 더 큰 강건성을 보이며, 성능 저하가 기준선보다 점진적으로 발생합니다.
  • 시퀀스 길이: 고정 패치 방법이 광범위한 그리드 검색을 필요로 하는 반면, Dywave 는 초매개변수를 재조정하지 않고도 다양한 시퀀스 길이 (5 초에서 30 초) 에서 잘 일반화됩니다.
• 미세 활동 분해: Ego4D 에 대한 정성적 분석은 Dywave 가 "청소"와 같은 거친 활동을 "도달", "닦기"와 같은 세밀한 미세 활동으로 자동으로 분해할 수 있으며, 경계를 감지 가능한 운동 변화와 정렬시킬 수 있음을 보여줍니다.

5. 중요성 및 주장

저자들은 Dywave 가 인간 중심 센싱의 근본적인 병목 현상, 즉 현재 토큰화 방식이 센싱 데이터의 물리적 구조를 존중하지 못하는 문제를 해결한다고 주장합니다. 정적이고 균일한 윈도우에서 동적이고 이벤트 정렬된 토큰화로 전환함으로써, 이 프레임워크는 다음과 같은 것을 가능하게 합니다:

• 물리적으로 기반을 둔 표현: 토큰은 임의의 시간 조각이 아닌 고유한 물리적 이벤트에 해당합니다.
• 적응형 효율성: 계산 자원은 정보 밀도에 따라 할당되어 엣지 장치에서 지연 시간과 메모리 사용량을 줄입니다.
• 향상된 일반화: 이 방법은 도메인별 초매개변수 조정에 덜 의존하는 전이 가능한 표현을 학습합니다.

이 논문은 IoT 시스템에서 확장 가능하고 의미 있는 학습을 위해 적응적이고 물리적으로 정보된 입력 표현이 필수적이라고 결론지었습니다. Dywave 를 단순히 성능 향상 도구가 아닌, 연속적인 센서 스트림과 이산적인 딥러닝 입력 사이의 격차를 메우는 원칙적인 접근법으로 위치시킵니다. 저자들은 Dywave 가 전처리 오버헤드를 도입하지만, 이는 백본 계산의 상당한 감소로 상쇄되어 리소스가 제한된 장시간 센싱 시나리오에 특히 적합하다고 지적합니다.