Closing the Modality Gap in Zero-Shot HAR: Contrastive Training and Separability-Optimized Prototypes on IMU Data

기술 요약: 제로샷 HAR에서의 모달리티 간극(Modality Gap) 해소

문제 정의
관성 측정 장치(IMU) 기반의 인간 행동 인식(HAR)을 위한 제로샷 학습(Zero-Shot Learning, ZSL)은 근본적인 "모달리티 간극(modality gap)" 문제에 직면해 있다. 시간적 인코더(temporal encoders)에 의해 생성된 센서 임베딩과 언어 모델(예: Sentence-BERT)에 의해 생성된 의미론적 프로토타입(semantic prototypes)은 임베딩 공간 내에서 기하학적으로 분리된 영역을 점유한다. 결과적으로, "running"이라고 라벨링된 센서 윈도우는 "running"이라는 단어의 텍스트 임베딩과 자연스럽게 정렬되지 않는다. 기존의 접근 방식들은 이러한 간극을 사후 교정(post-hoc corrections)에 의존하는 추론 시점의 문제로 취급하거나, 풍부한 의미론적 표현이 차지하는 영역으로 인코더를 유인하기에 불충분한 의미론적 타겟(단일 단어 라벨)을 사용하는 경우가 많았다.

방법론
저자들은 PAMAP2 데이터셋을 사용하여 7가지 구성을 체계적으로 평가하였다. 실험에서는 14개의 관측된 활동 클래스와 4개의 미관측 클래스(running, descending stairs, vacuum cleaning, folding laundry)를 활용하였으며, 피험자 108번과 109번을 테스트를 위해 제외하였다. 실험 설계는 두 가지 주요 요소를 변수로 두었다:

1. 인코더 학습 목적 함수(Encoder Training Objectives):

   • 베이스라인(Baseline): 단일 단어 라벨 이름을 Sentence-BERT 프로토타입으로 사용하는 표준 교차 엔트로피 손실(cross-entropy loss)로 학습된 시간적 합성곱 신경망(TCN).
   • 대조 학습(Contrastive Training): 풍부한 의미론적 프로토타입을 사용하여 대조 손실(contrastive loss, CLIP 스타일)로 학습된 동일한 TCN 아키텍처. 두 가지 유형의 텍스트 타겟이 테스트되었다: "풍부한 생체 역학적 기술(rich biomechanical descriptions)" 및 "변별적 기술(discriminative descriptions, 클래스 전용 어휘 사용)".

2. 추론 전략(Inference Strategies):

   • 최근접 프로토타입 코사인 매칭(Nearest-Prototype Cosine Matching): 코사인 유사도가 가장 높은 미관측 클래스로 테스트 임베딩을 할당.
   • ISF + 교차 모달 중심화(ISF + Cross-Modal Centering): "허브(hub)" 프로토타입에 패널티를 부여하는 역 소프트맥스(Inverted Softmax, ISF)를 적용하고, 모달리티를 정렬하기 위해 임베딩을 중심화함.
   • 교차 모달 정렬(Cross-Modal Alignment): 관측된 클래스 쌍을 사용하여 텍est 프로토타입 공간에서 센서 공간으로의 선형 맵(linear map)을 학습.

주요 결과 및 성과

• 모달리티 간극은 학습 의존적이다: 본 연구는 모달리티 간극이 인코더의 목적 함수에 의해 결정됨을 입증한다. 대조 학습 설정에서 라벨 이름 프로토타입을 변별적 기술로 교체했을 때, 센서 임베딩과 텍스트 프로토타입 사이의 평균 코사인 유사도가 0.30에서 0.69로 증가했다.
• 인코더 정렬이 성능을 지배한다: 가장 유의미한 성능 향상은 정교한 추론 방법이 아닌 학습 목적 함수에 의해 주도되었다. 가장 단순한 추론 방법(최근접 프로토타입 코사인)과 결합된 대조 학습 인코더가, 정교한 추서 교정(Alignment + ISF)과 결합된 베이스라인 인코더보다 더 우수한 성능을 보였다.
  • 최적의 구성: 변별적 기술을 사용한 대조 학습 + ISF 교정을 통해 미관측 클래스에서 73.2%의 정확도와 0.583의 macro F1을 달성했다.
  • 베이스라인: 유사한 추론 방식을 사용한 라벨 이름 베이스라인은 58.3%의 정확도와 0.34의 macro F1을 기록했다.
• 분리성 트레이드오프(The Separability Trade-off): 역설적인 발견이 나타났다. 더 풍부한 텍스트 기술(생체 역학적 문장)은 공유된 어휘로 인해 프로토타입 클라우드를 압축함으로써 Sentence-BERT 공간 내의 프로토타입 간 분리성을 감소시켰다(평균 오프-다이아고날 코사인이 0.29에서 0.50으로 증가). 그러나 저자들은 고품질의 인코더 정렬을 통해 모델이 이 압축된 공간을 효과적으로 탐색할 수 있음을 발견했다. 변별적 기술(어느 정도의 분리성을 유지함)과 대조 학습의 조합이 최적의 균형을 제공했다.
• 지표의 타당성: 본 논문은 불균형한 데이터셋(예: "folding laundry"가 테스트 윈도우의 51%를 차지)에서 ZSL-HAR에 대한 전체 정확도는 오도할 수 있는 지표라고 주장한다. 지배적인 클래스만을 예측하는 모델은 모든 클래스에 대해 실패하면서도 약 50%의 정확도를 달ach할 수 있다. 저자들은 모든 미관측 클래스에 동일한 가중치를 부여하기 위해 macro-averaged F1을 표준 보고 지표로 옹호한다.

의의 및 주장
본 논문은 ZSL-HAR 성능의 주요 장벽이 추론 시점의 교정 부족이 아니라, 센서 공간과 의미론적 공간 사이의 학습 시점의 기하학적 정렬(training-time geometric alignment) 부족에 있다고 주장한다.

• 학습 목적 함수가 지배적인 변수이다: 연구는 추론 시점의 어떤 교정도 잘못 정렬된 인코더를 보완할 수 없다고 결론짓는다. 반대로, 잘 정렬된 인코더는 단순한 코사인 매칭만으로도 잘못 정렬된 데이터로 학습된 복잡한 교정 파이프라인보다 우수한 성능을 낼 수 있게 함으로써 추론 단계의 부담을 크게 줄여준다.
• 프로토타입 품질 vs 정렬: 풍부한 기술이 프로토타입의 분리성을 감소시킬 수는 있지만, 프로토타입 공간과의 인코더 정렬 품질이 성능을 결정하는 1차 변수이다. 잘 정렬된 인코더는 덜 분리된 프로토타입 공간을 성공적으로 탐색할 수 있는 반면, 잘못 정렬된 인코더는 프로토타입이 잘 분리되어 있더라도 실패한다.
• 한계 및 범위: 저자들은 결과가 단일 피험자 분할(194개 테스트 윈도우)에 기반하고 있으며, 특정 활동(예: 진공 청소)은 생체 역학적으로 유사한 관측된 클래스가 부족하여 여전히 어렵다는 점을 겸허히 언급한다. 그들은 비디오 기반 ZSL 방법과 동등한 수준을 주장하는 것이 아니라, 비디오 데이터가 없는 시나리오에서 텍스트 전용 접근 방식의 이점을 강조한다.

요약하자면, 본 연구는 IMU 기반 ZSL에서 모달리티 간극을 메우기 위해서는 변별적인 의미론적 타겟을 사용하여 학습 과정에서 명시적인 대조 정렬을 수행해야 하며, 불균형한 벤치마크에서 이러한 시스템을 평가하기 위해서는 macro-averaged F1이 필수적인 지표임을 확립하였다.