iMiGUE-3K: A Large-Scale Benchmark for Micro-Gesture Analysis with Self-Supervised Learning

기술 요약: iMiGUE-3K: 자기지도 학습을 위한 미세 제스처 분석용 대규모 벤치마크

문제 제기
현재 정서 컴퓨팅 및 감정 이해 연구는 주로 표정과 언어에 의존하며, 신체 언어를 종종 간과합니다. 포즈된 자발적 얼굴 행동에 대한 기존 데이터셋은 존재하지만, 내면의 감정 (예: 스트레스로 인한 손 비비기) 에 의해 유발되는 무의식적이고 자발적인 움직임인 미세 제스처 (MGs) 를 위한 대규모 자원은 상당한 공백 상태입니다. 이러한 제스처는 억압된 감정을 이해하는 데 필수적이지만, 자발적인 특성으로 인해 포착하고 분석하기 어렵습니다. 또한, 기존 제스처 데이터셋은 규모가 작아 과적합을 초래하고 기초 모델의 전이 학습 능력을 제한합니다. 더 나아가 많은 기존 데이터셋은 민감한 생체 인식 데이터에 의존하여 프라이버시 문제를 야기합니다. 현재 미세 제스처 분석을 위한 기초 모델의 사전 학습을 지원하도록 설계된 대규모의 자연 환경 (in-the-wild) 데이터셋은 존재하지 않습니다.

방법론
본 논문은 새로운 데이터셋, 데이터 샘플링 전략, 그리고 일련의 기초 모델로 구성된 포괄적인 프레임워크를 제안합니다.

1. iMiGUE-3K 데이터셋 구축:

   • 출처: 7 년간 프로 테니스 선수들의 경기 후 기자회견 영상에서 수집되었습니다. 이 환경은 승/패와 같은 자연스러운 감정 유발 요인을 제공하며 준비 시간을 최소화하여 자발적인 MG 를 이끌어냅니다.
   • 규모: 이 데이터셋은 332 명의 서로 다른 피험자로부터 3,484 개의 비디오 클립 (총 3,700 만 프레임 이상) 을 포함합니다.
   • 주석: 32 개의 미세 제스처 클래스가 다섯 가지 신체 부위 그룹 (신체, 머리, 손, 신체 - 손, 머리 - 손) 으로 조직화되어 있으며, 비디오 수준의 감정 레이블 (승/패) 이 포함되어 있습니다.
   • 분할: 데이터셋은 하류 평가용 레이블이 지정된 부분 (341 개 비디오, 17,800 개의 수동 주석 MG 인스턴스) 과 자기지도 사전 학습용 대규모 레이블이 없는 부분 (약 3,000 개 비디오) 으로 나뉩니다.
   • 특징: 데이터는 제스처 카테고리의 장꼬리 분포를 보이며 다양한 문화적 및 성별 배경을 포괄합니다.

2. 자기지도 학습 (SSL) 을 위한 데이터 샘플링 전략:

   • 포괄적인 시간적 주석 없이 레이블이 없는 비디오를 활용하기 위해, 저자들은 고품질 후보 클립을 생성하는 샘플링 전략을 제안합니다.
   • 메커니즘: 이 전략은 레이블이 지정된 학습 세트에서 도출된 경험적 지속 시간 사전 지식을 기반으로 클립을 샘플링합니다. 얼굴 키포인트 가시성 제약 (코와 눈과 같은 앵커가 감지되도록 보장) 과 시간적 중복 제거 필터링을 적용하여 중복과 노이즈를 줄입니다.
   • 출력: 이 프로세스는 사전 학습에 적합한 12 만 개의 레이블이 없는 스켈레톤 클립을 생성합니다.

3. MG-FMs (기초 모델):

   • 저자들은 MG 를 위한 전이 가능한 표현을 학습하도록 설계된 일련의 판별식 기초 모델인 MG-FMs를 소개합니다.
   • 아키텍처: 이 프레임워크는 두 가지 모달리티별 분기를 포함합니다:
     • MG-FM-Skele: USDRL 아키텍처를 적응시킨 듀얼 스트림 밀집 시공간 인코더 (DSTE) 를 사용하는 스켈레톤 기반 모델입니다. 이는 증강 뷰 (속도 지터, 프레임 드롭, 조인트 손상) 에 대해 특징 비상관성 목적 함수 (유사성, 분산, 교차 상관) 를 활용합니다.
     • MG-FM-RGB: SMILE 스타일의 교사 - 학생 마스크 비디오 모델링 프레임워크를 사용하는 RGB 기반 모델입니다. 이는 원시 픽셀 대신 고정된 ViCLIP 인코더로 추출된 고수준 의미론적 목표를 재구성하며, 2 단계 점진적 사전 학습 전략을 사용합니다.

4. 평가 프로토콜:
   벤치마크는 다음 다섯 가지 작업을 통해 모델을 평가합니다:

   • 비지도 MG 인식 (선형 프로빙).
   • 반지도 MG 인식 (10% 레이블 데이터로 미세 조정).
   • 지도 MG 인식 (전체 미세 조정).
   • MG 검색 (학습 없는 최근접 이웃 검색).
   • MG 기반 감정 인식 (비디오 수준 이진 분류: 승 vs 패).

주요 기여

1. iMiGUE-3K: 미세 제스처 분석을 위해 특별히 설계된 최초의 대규모 자연 환경 데이터셋으로, 기초 모델의 사전 학습을 지원합니다. 이는 MG 를 감정 상태 (승/패) 와 연결함으로써 행동 인식과 감정 이해 간의 격차를 해소합니다.
2. 확장된 벤치마크: 폐쇄형 분류를 넘어 MG 검색 및 MG 기반 감정 인식을 포함하도록 범위를 확장하여, 인스턴스 수준 및 비디오 수준 정서 분석으로 나아가고 있습니다.
3. 새로운 샘플링 전략: 경험적 지속 시간 사전 지식과 가시성 제약을 사용하여 레이블이 없는 비디오에서 고품질 MG 길이 후보 클립을 생성하는 확장 가능한 방법으로, 효과적인 SSL 을 가능하게 합니다.
4. MG-FMs: 미세 제스처를 위한 전이 가능한 표현을 학습하는 일련의 자기지도 사전 학습 모델 (스켈레톤 및 RGB 분기).
5. 포괄적인 평가: 대규모 자기지도 사전 학습이 다양한 하류 작업에서 성능을 크게 향상시키며, 종종 완전 지도 베이스라인과 맞먹거나 능가함을 보여주는 광범위한 실험.

결과

• 비지도 인식: 스켈레톤 기반 멀티 스트림 변형 (MG-FM-Skele) 은 선형 프로빙을 통해 57.61% 의 Top-1 정확도를 달성하여 완전 지도 4 스트림 BlockGCN(57.85%) 과 동등한 성능을 보였습니다. RGB 분기는 43.59% 를 달성했습니다.
• 반지도 인식: 10% 의 레이블 데이터만으로도 MG-FM-RGB 는 60.16% 의 Top-1로 크게 향상되었으며, 스켈레톤 분기도 경쟁력 있는 성능을 유지했습니다.
• 지도 인식: MG-FM-RGB 는 비교된 방법 중 69.42% 의 Top-1로 가장 높은 정확도를 달성했습니다. 멀티모달 앙상블 (스켈레톤과 RGB 결합) 은 71.60% 의 Top-1에 도달하여 기존 지도 앙상블 방법을 능가했습니다.
• 검색: 스켈레톤 모델은 RGB 모델 (22.56%) 에 비해 운동 스트림에서 40.06% 의 Top-1로 학습 없는 검색 성능이 우수함을 입증했습니다.
• 감정 인식: 비디오 수준 작업 (승/패 예측) 에서 제안된 2 스트림 방법은 0.64 의 정확도를 달성하여 얼굴 특징을 포함한 더 복잡한 파이프라인을 사용하는 외부 베이스라인 (0.63) 을 능가했습니다.

의의 및 주장
본 논문은 이 작업이 미세 제스처 분석을 위한 포괄적인 도구를 제공하며, 심리 진단, 정서 컴퓨팅, 인간 - 컴퓨터 상호작용 분야의 미래 연구를 위한 견고한 기반을 마련한다고 주장합니다. 대규모의 프라이버시 보호 (생체 인식 특화 아님) 데이터를 통한 자기지도 학습이 하류 작업에 높은 전이성을 가진 표현을 산출할 수 있음을 입증함으로써, 저자들은 미세 제스처 기반 분석이 감정 이해를 개선하기 위한 실현 가능하고 효과적인 접근법이라고 주장합니다. 이 작업은 기계가 이러한 미묘하고 자발적인 단서를 정확하게 인식하고 해석하여 감정 상태를 추론할 수 있음을 강조하며, 전통적인 생체 인식 기반 감정 인식에 대한 프라이버시 보호 대안을 제시합니다.