SkillMoV: Mixture-of-View Routing with Prototype-Conditioned Gating for Unified Multi-View Proficiency Estimation

기술 요약: SkillMoV

문제 정의

비디오로부터 인간의 숙련도를 추정하는 것은 스포츠 코칭, 음악 교육, 수술 훈련과 같은 영역에서 자동화된 기술 평가를 위한 핵심적인 과제입니다. 행동 인식(Action Recognition)이 '무엇을' 수행하고 있는지를 식별하는 것과 달리, 숙련도 추정은 자세, 타이밍, 협응력과 같은 미묘한 시각적 단서에 의존하여 활동이 '얼마나 잘' 수행되는지를 결정합니다.

기존의 접근 방식들은 두 가지 주요 한계점에 직면해 있습니다:

1. 시나리오 특이성(Scenario Specificity): 많은 모델이 단일 활동 도메인에 대해 학습되어, 확장성이 제한적이며 각기 다른 태스크를 위해 별도의 모델을 요구합니다.
2. 비효과적인 다중 뷰 집계(Ineffective Multi-View Aggregation): 기존의 통합 방법들은 흔히 공유된 집계 방식(예: 표준 어텐션 또는 게이팅)에 의존하며, 이는 모든 카메라 뷰를 동일한 변환 과정에 통과시키도록 강제합니다. 이는 서로 동기화된 관점들이 숙련도 실행의 서로 다른 측면(예: 팔다리의 확장 vs. 신체와 환경 간의 상호작용)을 노출할 수 있다는 점을 고려하지 못하며, 결과적으로 뷰 특유의 숙련도 단서를 희석시킬 수 있습니다.

본 연구의 목표는 카메라 정체성(camera-identity)에 대한 감독이나 시나리오별 헤드(scenario-specific heads) 없이도, 동기화된 다중 뷰 비디오를 사용하여 이질적인 활동 도메인 전반의 숙련도를 추정할 수 있는 통합적이고 파라미터 효율적인 프레임워크를 개발하는 것입니다.

방법론: SkillMoV

저자들은 LoRA가 적용된 TimeSformer 백본을 기반으로 구축된 SkillMoV 프레임워크를 제안합니다. 핵심 혁신은 카메라별 뷰 특징에 Mixture-of-Experts(MoE) 패러다임을 적용한 계층적 모듈인 **Mixture-of-View Projector (MoVP)**입니다.

MoVP는 네 단계의 순차적 단계로 구성됩니다:

1. Mixture-of-View (MoV) 라우팅:

   • 일반적인 토큰을 라우팅하는 대신, MoV는 카메라별 뷰 특징을 라우팅되는 단위로 취급합니다.
   • 소프트 라우터(soft router)는 각 뷰에 대해 12개의 전문가 MLP 풀에 대한 확률 분포를 예측합니다.
   • 각 뷰 특징은 이 전문가들의 가중치 결합에 의해 변환됩니다.
   • 결정적으로, 전문가 풀은 모든 카메라, 클립 및 활동 도메인에 걸쳐 공유되지만, 라우팅 선호도는 카메라 정체성에 대한 명시적인 감독 없이 학습됩니다. 부하 분산 정규화(load-balancing regularizer)는 전문가 붕괴(expert collapse)를 방지합니다.

2. 교차 뷰 어텐션 (Cross-View Attention):

   • 라우팅된 특징들은 뷰들이 하나의 시퀀스로 작용하는 멀티 헤드 셀프 어텐션 레이어를 통과합니다.
   • 이를 통해 동기화된 카메라들이 최종 집계 전에 상호 보완적인 증거들을 정렬할 수 있도록 합니다.

3. 프로토타입 앵커링 (Prototype Anchoring):

   • 모델은 네 개의 프로토타입 벡터(각 숙련도 수준: 초보자, 초기 전문가, 중급 전문가, 후기 전문가)를 학습합니다.
   • 이 프로토타입들은 교차 어텐션 블록 내에서 학습 가능한 앵커 토큰 역할을 하며, 여기서 뷰 특징은 쿼리(query) 역할을 합니다.
   • 결과적인 표현(representation)은 풀링되며, 풀링된 특징과 프로토타입 사이의 코사인 유사도가 계산됩니다.

4. 프로토타입 조건부 게이트 투영 (Prototype-Conditioned Gated Projection):

   • 최종 기술 임베딩은 게이트 투영 모듈을 통해 생성됩니다.
   • 게이트는 확장된 은닉 특징(hidden features)과 프로토타입으로부터 유도된 유사도 벡터 모두에 의해 조건화됩니다.
   • 이를 통해 투영 과정이 샘플과 학습된 숙련도 앵커 사이의 관계에 따라 동적으로 적응할 수 있게 합니다.

학습 전략:

• 백본: Kinetics-600에서 사전 학습된 TimeSformer-base를 사용하며, LoRA(Rank 64, $\alpha$ 128)를 통해 적응되었습니다. LoRA 어댑터와 MoVP만 학습 가능합니다.
• 목적 함수: 데이터 불균형을 처리하기 위해 클래스 균형 크로스 엔트로피 손실(Class-balanced cross-entropy loss)을 사용합니다.
• 정규화: 다중 카메라 구성을 고려하여 특정 뷰에 과적합되는 것을 방지하기 위해 학습 중 확률 0.2의 확률적 뷰 드롭아웃(stochastic view dropout)이 적용됩니다.
• 데이터: 세 가지 뷰 구성(Ego: 1개 카메라, Exos: 4개 카메라, Ego+Exos: 5개 카메라)을 사용하여 EgoExo4D 벤치마크의 6가지 기술 도메인(농구, 볼더링, 요리, 무용, 음악, 축구)에서 평가되었습니다.

주요 기여

1. SkillMoV 프레임워크: 동기화된 다중 뷰 비디오로부터 다중 시나리오 숙련도 추정을 위한 파라미터 효율적이고 통합된 프레임워크를 제안합니다.
2. Mixture-of-View (MoV) 라우팅: MoE를 변형하여 카메라별 뷰 특징에 라우팅을 적용함으로써, 카메라 정체성 레이블 없이도 소프트하고 뷰 의존적인 전문가 선호도를 가능하게 하는 새로운 방식입니다.
3. Mixture of View Projector (MoVP): MoV 라우팅, 교차 뷰 어텐션, 프로토타입 앵커링, 프로토타입 조건부 게이팅을 통합하는 계층적 아키텍처입니다.
4. 체계적 평가: EgoExo4D 벤치마크에서 뷰 구성, 아키텍처 컴포넌트 및 시간적 샘플링 전략에 대한 포괄적인 절제 연구(ablation studies)와 비교 분석을 수행했습니다.

결과

모델은 EgoExco4D 숙련도 추정 벤치마크에서 평가되었습니다.

• 전체 성능 (Exos 설정): SkillMoV는 Exos(4개의 외재적 카메라) 구성에서 **50.17%**의 전체 정확도를 달성했습니다. 이는 비교 대상 방법 중 가장 강력한 결과인 SkillFormer+PATS(46.60%)보다 3.57 퍼센트 포인트(pp) 높습니다.
• Ego+Exos 설정: SkillMoV는 **47.63%**를 달성하여, 가장 높은 보고된 결과인 ProfVLM(48.20%)과 경쟁적인 성능을 보였으며, 격차는 0.57 pp에 불과했습니다.
• Ego-Only 설정: 성능은 40.00%로 더 낮았으며, 이는 다중 뷰 라우팅에 최적화된 설계와 일치합니다.
• 시나리오별 성능: SkillMoV는 모든 뷰 구성에서 축구 시나리오(79.17%)에서 최고의 결과를 얻었으며, Exos 설정에서 가장 균형 잡힌 성능 프로필을 보여주었습니다(최고 성능 그룹 중 가장 낮은 표준 편차 14.65 pp).

절제 연구 (Exos 구성):

• MoV 라우팅: MoV를 어텐티브 풀링(attentive pooling)으로 대체했을 때 가장 큰 성능 저하(-6.61 pp)가 발생하여, 뷰 조건부 전문가 라우팅의 효능을 확인했습니다.
• 교차 뷰 어텐션: 제거 시 정확도가 4.92 pp 감소했습니다.
• 프로토타입 앵커링: 제거 시 정확도가 4.07 pp 감소했습니다.
• Stochastic View Dropout: 제거 시 정확도가 3.90 pp 감소했습니다.
• 효율성: SkillMoV는 (LoRA 및 경량 프로젝트를 통해) 전체 파라미터의 **23.32%**만을 학습하며, LoRA 전용 베이스라인과 비교했을 때 최소한의 오버헤드(학습 시간 약 3.5분 증가, 추론 메모리 0.02 GB 증가)만 추가됩니다.

의의 및 주장

본 논문은 SkillMoV가 모든 뷰를 단일 공유 투영 과정에 강제로 통과시키는 대신, **뷰 조건부의 소프트하게 공유된 표현(view-conditioned, softly shared representations)**으로부터 숙련도 추정이 이득을 얻는다는 점을 입증한다고 주장합니다.

• 뷰 조건부 라우팅: 라우팅 분석은 모델이 명시적인 감독 없이도 소프트하고 뷰 의존적인 전문가 선호도를 학습함을 확인시켜 줍니다. 서로 다른 카메라와 활동 도메인은 서로 다른 전문가 집합을 활성화하지만, 전문가 풀은 공유되며 활성 상태를 유지합니다(붕괴 없음).
• 외재적 뷰의 우위 (Exocentric Dominance): 결과는 외재적 뷰(Exos)가 이 특정 벤치마크에서 내재적 뷰(Ego)보다 더 신뢰할 수 있는 숙련도 단서를 제공한다는 점을 강조합니다. 이는 숙련도 레이블이 외부 관점에서 주석이 달렸기 때문일 가능성이 높습니다. 내재적 스트림을 추가하는 것이 성능을 향려하지 않았는데, 이는 레이블의 근간이 되는 시각적 증거와 일치하지 않는다면 뷰가 더 많다고 해서 반드시 더 나은 것은 아님을 시사합니다.
• 파라미터 효율성: 프레임워크는 통합 다중 도메인 학습에 적합한 파라미터 효율적인 프로필을 유지하면서 Exos 설정에서 최첨단(SOTA) 결과를 달성합니다.

저자들은 학습된 프로토타입이 보정된 서수 척도(calibrated ordinal scale)를 형성하지 못한다는 점(코사인 유사도 구조가 단조적이지 않음)과 시나리오별 테스트 서브셋(예: 축구)이 작다는 점을 포함한 한계점을 겸허히 언급했습니다. 향후 연구로는 프로토타입 기하학적 제약, 적응형 시간적 샘플링, 상세한 실패 분석 해결이 제안되었습니다.