기술 요약: VCR: 불완전한 웨어러블 신호를 위한 유효한 문맥 표현 학습

1. 문제 정의

웨어러블 장치는 다중 모달 신호 (예: PPG, EDA, ACC, TEMP) 를 통해 지속적이고 비침습적인 건강 모니터링을 제공합니다. 그러나 실제 세계 배포는 두 가지 결합된 과제로 인해 방해받고 있습니다:

1. 레이블 부족: 하류 건강 작업 (감정 인식, 수면 단계 분류, 활동 인식) 은 레이블이 지정된 데이터의 부족으로 고통받고 있습니다.
2. 모달리티 누락: 하드웨어 제약, 사용자 행동 (예: 전력 절약을 위해 PPG 비활성화), 또는 장치 제한으로 인해 센서가 자주 중단됩니다. 이로 인해 특정 시간 창에서 전체 모달리티가 결여되는 "구조적 누락"이 발생합니다.

기존의 자기지도 학습 (SSL) 접근법은 사전 훈련 중 완전한 모달리티 가용성을 종종 가정합니다. 누락된 시나리오에 적용될 때, 현재 방법들은 일반적으로 전체 결여된 신호를 재구성하려고 시도합니다. 저자들은 모달리티별 세부 사항 (예: 특정 노이즈 패턴 또는 고유한 생리학적 드리프트) 이 종종 나머지 센서들로부터 식별 불가능하므로 이는 결함이 있다고 주장합니다. 관찰 불가능한 세부 사항을 재구성하도록 모델을 강요하는 것은 "환각"—학습된 표현에 노이즈를 주입하여 견고성을 저하시키는 그럴듯하지만 근거 없는 데이터 생성—을 장려합니다.

2. 방법론: VCR 프레임워크

저자들은 환각과 같은 관찰 불가능한 세부 사항을 재구성하지 않고 모달리티 누락에 강건한 표현을 학습하도록 설계된 2 단계 자기지도 프레임워크인 VCR(Valid Contextual Representation) 을 제안합니다.

A. 직교 토크나이저 (1 단계)

첫 번째 단계는 분리에 중점을 둡니다. 핵심 가설은 어떤 모달리티의 잠재 정보도 다음과 같이 분리될 수 있다는 것입니다:

• 공유 의미 ($s$): 모달리티 간에 상관관계가 있는 정보 (예: PPG 와 ACC 모두에서 보이는 심박수 패턴).
• 모달리티별 잔차 ($p$): 다른 센서들로부터 추론할 수 없는 고유한 정보 (예: EDA 의 피부 임피던스 드리프트).

엄격한 분리를 강제하고 정보 누출을 방지하기 위해 VCR 은 기하학적 직교 토크나이저를 사용합니다:

• 교정 및 화이트닝: 경량 잔차 어댑터가 인코더 임베딩을 교정한 후, 단위 공분산 행렬을 근사화하기 위해 화이트닝 과정이 뒤따릅니다.
• 직교 투영: 학습 가능한 매개변수 행렬이 QR 분해를 거쳐 정규 직교 기저를 형성합니다. 이 기저는 임베딩을 공유 부분 공간 ($s = Ph$) 과 특정 잔차 부분 공간 ($p = (I-P)h$) 으로 엄격하게 분리하는 투영 연산자$P$를 정의합니다.
• 통계적 독립성: 가우시안 분포 잠재 표현에 대한 가정 하에, 이 기하학적 직교성은 통계적 독립성 ($I(s; p) \approx 0$) 을 보장합니다.
• 하이브리드 최적화: 토크나이저는 다음을 사용하여 훈련됩니다:
  • 교차 모달 대비 손실: 모달리티 간 공유 의미 정렬을 위해 $s$에만 적용됩니다.
  • 모달리티 내 재구성: 고유한 세부 사항을 보존하기 위해 $p$에만 적용됩니다.
  • 화이트닝 정규화: 독립성 조건을 유지하기 위해 적용됩니다.

B. 누락 인식 MoE 백본 (2 단계)

두 번째 단계는 토크나이저에서 온 토큰들을 처리하여 다양한 가용성 패턴 하에서 문맥 표현을 학습합니다.

• 아키텍처: 희소 혼합 전문가 (MoE) 백본. 각 토큰의 모달리티 출처와 구성 요소 유형 ($s$ 대 $p$) 을 명시적으로 식별하기 위해 학습 가능한 파티션 임베딩이 주입됩니다.
• 라우팅: 라우터는 관찰된 모달리티 세트에 따라 다른 전문가들을 동적으로 활성화하여, 누락된 데이터의 간섭 없이 특정 모달리티 조합에 전문화되도록 합니다.
• 훈련 목표 (마스킹 재구성):
  • 무작위 마스킹: 사용 가능한 모달리티에 대한 표준 패치 마스킹을 적용하여 $s$와 $p$ 모두를 재구성합니다.
  • 구조적 마스킹: 전체 모달리티가 제거됩니다. 핵심적으로, 재구성 목표는 유효성 인식적입니다:
    • 하나의 모달리티가 누락된 경우, 모델은 비추론 가능한 특정 구성 요소 ($p$) 를 명시적으로 제외하고 오직 공유 구성 요소 ($s$) 만 재구성합니다.
    • 여러 개의 모달리티가 누락된 경우, 공유 구성 요소조차도 추론 불가능할 수 있으므로 해당 모달리티에 대한 재구성은 완전히 생략됩니다.
  • 이 설계는 모델이 관찰 불가능한 세부 사항을 환각하도록 강요하는 것을 방지합니다.

3. 주요 기여

1. 유효성 인식 학습: 공유 및 특정 구성 요소를 구조적으로 분리하는 직교 토크나이저의 도입. 이는 환각과 같은 완성을 효과적으로 완화하는 추론 가능한 정보만을 대상으로 하는 재구성 목표를 가능하게 합니다.
2. 누락 인식 MoE 백본: 다양한 모달리티 가용성 패턴에 계산을 적응시키고, 0 채우기나 특수 토큰으로 인한 노이즈를 피하는 학습 가능한 파티션 임베딩을 갖춘 희소 아키텍처.
3. 2 단계 정보 보존: 분리 및 대비 정렬을 통해 정보 무결성을 먼저 보존한 후, 가변 모달리티에 의한 지배를 피하며 마스킹 잠재 재구성을 통해 견고한 문맥 의미를 학습하는 훈련 전략.

4. 실험 결과

VCR 은 네 가지 데이터셋 (WESAD, DaLiA, AAUWSS, WEEE) 과 네 가지 작업 (감정 감지, 활동 인식, 수면 단계 분류, VO2 예측) 으로 구성된 포괄적인 벤치마크에서 평가되었습니다.

• 완전 모달리티 성능: VCR 은 모든 작업에서 지도 학습 베이스라인 (ResNet, ViT, FlexMoE) 과 사전 훈련된 자기지도 베이스라인 (SimCLR, LSM, LSM-2 등) 을 모두 능가하여, 모든 센서가 사용 가능한 경우 누락에 대한 견고성이 성능 저하를 초래하지 않음을 입증했습니다.
• 단일 모달리티 누락: 하나의 센서가 제거된 시나리오에서 VCR 은 보고된 88 개 지표 중 65 개에서 최상이거나 두 번째로 좋은 성능을 달성했습니다. 특히 ACC 와 같은 중요한 센서가 누락되었을 때, VCR 은 다른 방법들에서 보이는 급격한 하락에 비해 점진적인 감소를 보이며 베이스라인보다 훨씬 높은 성능을 유지했습니다.
• 다중 모달리티 누락: VCR 은 2 개 또는 3 개의 누락된 모달리티 조합 전반에 걸쳐 견고하게 유지되었으며, 베이스라인 대비 일관되게 Top-1 또는 Top-2 에 랭크되었습니다.
• 환각 분석: 완전한 원시 신호를 재구성하는 LSM-2 와 VCR 을 비교한 사례 연구는 LSM-2 가 누락된 데이터를 재구성할 때 더 큰 표현 변화와 의미적 불일치를 유발했음을 보여주었습니다. $s$와 $p$의 엄격한 분리는 이러한 변화를 방지하여, 추론 불가능한 세부 사항의 재구성을 피하는 것이 표현 유효성을 보존함을 확인했습니다.
• 분리 검증: 힐베르트 - 슈미트 독립성 기준 (HSIC) 을 사용한 정량적 분석은 VCR 이 FOCAL 과 같은 소프트 제약 베이스라인에 비해 $s$와 $p$ 간의 의존성을 현저히 낮게 달성했음을 보여주었습니다.

5. 중요성 및 주장

이 논문은 VCR이 표현 유효성을 우선시함으로써 다중 모달 웨어러블 모델의 사전 훈련을 위한 새로운 표준을 확립한다고 주장합니다. 저자들은 전체 누락된 신호를 재구성하는 일반적인 관행이 근본적으로 결함이 있다고 주장하는데, 이는 모델이 관찰 불가능한 세부 사항을 추측하게 만들어 하류 성능을 저하시키는 환각을 초래하기 때문입니다.

엄격한 기하학적 분리를 강제하고 재구성 목표를 추론 가능한 공유 구성 요소로 제한함으로써, VCR 은 견고한 학습을 위한 구조적 기반을 제공합니다. 이 프레임워크는 다양한 건강 모니터링 작업과 센서 구성 전반에 걸쳐 효과적으로 유지되는 범용 솔루션으로 제시되며, 이상화된 전체 센서 훈련과 불완전한 웨어러블 데이터의 현실 사이의 중요한 격차를 해소합니다. 저자들은 현재 평가가 단일 장치 유형 (Empatica E4) 에 초점을 맞추고 있지만, 프레임워크의 모달리티 중립적 성격이 더 넓은 일반화의 잠재력을 시사한다고 언급하며, 이는 향후 연구 방향이라고 덧붙였습니다.