Cross-Modal Action Recognition in Egocentric Video Using Mamba: Integrating RGB and Hand Skeleton Streams via CLS Token Fusion Strategies

기술 요약: Mamba 를 활용한 자전적 비디오의 교차 모달 행동 인식

문제 제기
자전적 행동 인식은 고정 카메라 시나리오와 구별되는 고유한 도전 과제를 제시합니다. 여기에는 불규칙한 카메라 움직임, 빈번한 손 가림, 그리고 시간 경과에 따른 일관된 시각적 표현 유지의 어려움이 포함됩니다. Transformer 기반 아키텍처는 강력한 시공간 표현 구축과 긴 시퀀스 처리에 적합하지만, 자기 주의 (self-attention) 메커니즘이 시퀀스 길이에 따라 이차적으로 확장되므로 온라인 비디오 애플리케이션에서의 실현 가능성을 제한합니다. 또한, 골격 운동 데이터는 가림 문제를 완화하고 깨끗한 운동 단서를 제공할 수 있지만, 기존 Mamba 기반 모델은 아직 통합된 프레임워크 내에서 RGB 스트림과 골격 정보를 통합하지 못했습니다.

방법론
저자들은 선형 시간 복잡도를 가진 Mamba 모델을 활용하여 상태 공간 모델 (SSM) 기반의 교차 모달 아키텍처를 제안합니다. 이 아키텍처는 세 가지 주요 구성 요소로 이루어집니다:

1. 비디오 스트림: VideoMamba 모듈이 RGB 비디오 프레임에서 시각 임베딩을 추출합니다.
2. 골격 스트림: Mamba 블록 스택을 기반으로 구축된 전용 인코더가 시간적 손 골격 데이터를 처리합니다.
3. 퓨전 모듈: 이 구성 요소는 두 모달리티를 통합된 표현으로 결합하여 분류를 수행합니다.

핵심 방법론적 혁신은 CLS 토큰 믹싱을 위한 네 가지 고유한 전략 설계에 있습니다. Mamba 와 Transformer 모델에서 클래스 (CLS) 토큰은 최종 분류를 위한 컨텍스트 정보를 집중시키는 정보 싱크 역할을 합니다. 저자들은 단일 모달 인코더에서 사전 훈련된 CLS 토큰을 폐기하는 것은 학습된 표현을 낭비한다고 주장합니다. 대신, 다음과 같은 전략을 통해 사전 훈련된 단일 모달 CLS 토큰을 사용하여 새로운 "Mixed CLS" 토큰을 초기화할 것을 제안합니다:

• Naive: 두 사전 훈련된 CLS 토큰 모두를 폐기하고 처음부터 새로운 학습 가능 토큰을 초기화합니다.
• Average: 비디오 및 골격 CLS 토큰의 요소별 평균으로 Mixed CLS 토큰을 초기화합니다.
• Weighted: 시그모이드 함수를 통해 유도된 학습 가능한 스칼라 매개변수 $\alpha$를 사용하여 두 토큰의 선형 결합을 계산합니다: $CLS_{mix} = \alpha CLS_{video} + (1-\alpha) CLS_{skeleton}$.
• Context-based: 두 모달리티의 비-CLS 토큰 시퀀스를 연결하여 처리하는 Mamba 블록을 사용하여 가중치 매개변수 $\alpha$를 동적으로 계산합니다. 이를 통해 퓨전 가중치가 입력 콘텐츠에 따라 적응하도록 합니다.

실험 설정
제안된 아키텍처와 퓨전 전략은 동기화된 손 골격 주석과 행동 라벨을 제공하는 자전적 비디오 데이터셋인 H2O 데이터셋에서 평가되었습니다. 실험은 임베딩 차원과 깊이 (24 개 Mamba 블록) 가 다른 두 가지 모델 구성 (Tiny 및 Small) 을 사용했습니다. VideoMamba 인코더는 Something-Something V2 데이터셋에서 사전 훈련된 체크포인트로 초기화되었으며, 골격 인코더는 H2O 에서 직접 훈련되었습니다.

주요 결과
H2O 데이터셋에 대한 실험 결과는 두 모달리티 모두 정보 신호를 제공할 때 특히 골격 데이터를 통합하는 것이 비디오 전용 베이스라인보다 성능을 크게 향상시킨다는 것을 보여줍니다.

• 성능 향상: Average 전략이 가장 좋은 성능을 달성했습니다. Tiny 구성에서 VideoMamba 베이스라인 대비 Top-1 정확도가 10.17% 향상되었습니다. Small 구성에서는 **25.49%**의 향상이 있었습니다.
• 전략 비교: Weighted 전략은 Average 전략과 유사한 성능을 보였으며, 학습된 매개변수가 균형 잡힌 결합 ($\alpha \approx 0.5$) 으로 수렴하여 평균 접근법을 효과적으로 근사했습니다.
• 베이스라인 성능: 사전 훈련된 CLS 토큰을 폐기하는 Naive 전략은 일관되게 낮은 성능을 보였으며, 이는 학습된 단일 모달 표현을 보존하는 것의 중요성을 확인시켜 주었습니다.
• Context-based 의 한계: 예상과 달리 더 유연한 Context-based 전략은 단순한 퓨전 방법보다 성능이 우수하지 않았습니다. 저자들은 이것이 아키텍처적 한계나 사용된 데이터셋의 규모 때문일 수 있다고 지적합니다.

의의 및 주장
이 논문은 두 모달리티 모두 의미 있는 정보를 전달할 때 Mamba 프레임워크 내에서 시각 및 골격 모달리티를 결합하는 것이 비디오 전용 베이스라인보다 일관되게 우수하다고 주장합니다. 주요 기여는 CLS 토큰 퓨전 전략의 체계적 평가를 통해, 이 특정 작업과 데이터셋에 대해 사전 훈련된 토큰의 단순한 평균화가 현재 가장 효과적인 접근법임을 확립한 것입니다.

저자들은 이 작업을 효율적인 교차 모달 자전적 이해를 향한 한 걸음으로 겸손하게 제시합니다. 향후 방향으로는 더 큰 데이터셋에서 이러한 전략을 평가하여 Context-based 전략의 포화 현상이 데이터 제약인지 아키텍처 제약인지 확인하고, 테스트 시 시각 전용 추론을 개선하기 위해 훈련 중 골격 데이터를 "특권 정보"로 활용하는 방법을 탐구하는 것을 포함합니다.