Mixture-of-Modality-Experts with Holistic Token Learning for Fine-Grained Multimodal Visual Analytics in Driver Action Recognition

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 스마트 캐빈 (Smart Cabin) 환경에서의 운전자 행동 인식 (Driver Action Recognition, DAR) 은 다양한 센서 (RGB, 적외선, 깊이, 3D 스켈레톤 등) 로부터 얻은 이질적인 (heterogeneous) 데이터를 활용해야 합니다.
• 주요 문제점:
  1. 입력 의존적 신뢰도: 조명 변화, 가림 (occlusion), 센서 노이즈 등으로 인해 특정 모달리티의 신뢰도는 입력 데이터와 환경에 따라 크게 달라집니다. 기존의 고정된 가중치 기반 융합 (Fixed Fusion) 방식은 이러한 변화에 적응하지 못해 성능이 저하됩니다.
  2. 미세한 동작의 포착 실패: 캐빈 내 행동은 신체 움직임이 제한적이고 배경이 고정되어 있어, 대규모 사전 학습된 트랜스포머 백본이 종종 거친 컨텍스트 패턴에 의존하게 됩니다. 이로 인해 손가락 움직임이나 미세한 제스처와 같은 세밀한 시공간적 (spatio-temporal) 단서가 간과됩니다.
  3. 기존 방법의 한계: 기존 멀티모달 학습은 주로 고정된 융합 모듈이나 사전 정의된 교차 모달 상호작용에 의존하며, 전문가 (Expert) 간의 동적 협업과 토큰 수준의 지식 전이를 동시에 고려하지 못했습니다.

2. 제안된 방법론 (Methodology)

저자들은 Mixture-of-Modality-Experts (MoME) 프레임워크와 Holistic Token Learning (HTL) 전략을 제안합니다.

A. Mixture-of-Modality-Experts (MoME)

• 개념: 각 모달리티 (RGB, IR, Depth 등) 에 특화된 '전문가 (Expert)'를 배치하고, 입력 데이터에 따라 동적으로 이들을 협업시키는 구조입니다.
• 출력 인식 게이트 (Output-Aware Gating): 기존 MoE 가 입력 특징만으로 라우팅 가중치를 결정하는 것과 달리, MoME 는 각 모달리티 전문가가 생성한 **클래스 토큰 (Class Tokens)**을 게이트의 입력으로 사용합니다.
  • 이유: 원시 입력보다 전문가의 예측 표현 (Decision-oriented representation) 이 해당 모달리티의 신뢰도와 행동에 대한 응답 패턴을 더 잘 반영하기 때문입니다.
  • 효과: 입력에 따라 각 모달리티의 기여도를 동적으로 조정하여 더 강건한 의사결정을 가능하게 합니다.

B. Holistic Token Learning (HTL)

• 목적: 미세한 행동 인식을 위해 전문가 내부의 지식 정제 (Refinement) 와 전문가 간 지식 전이 (Transfer) 를 동시에 수행합니다.
• 두 가지 학습 전략:
  1. 내부 전문가 자기 안내 (Intra-expert Self-Guidance): 깊은 레이어 (Deep) 의 성숙한 시맨틱 표현을 사용하여 얕은 레이어 (Shallow) 의 시공간 토큰 (Spatio-temporal tokens) 을 정규화합니다. 이를 통해 미세한 운동 단서가 초기 레이어에서 손실되지 않도록 합니다.
  2. 전문가 간 상호 안내 (Inter-expert Mutual Guidance): 서로 다른 모달리티 전문가들 간의 클래스 토큰을 정렬 (Alignment) 시킵니다. 서로 다른 센서 관점에서 얻은 상호 보완적인 증거를 통합하여 일관성을 높입니다.
• 손실 함수 (Loss Function):
  • 분류 손실 ($L_{cls}$)
  • 내부 자기 안내 손실 ($L_{intra}$): 동일 전문가 내 토큰 간 KL 발산 (KL Divergence) 사용.
  • 전문가 간 협력 손실 ($L_{inter}$): 서로 다른 전문가 간 MSE (Mean Squared Error) 를 사용하여 모달리티 불균형 문제를 해결.

3. 주요 기여 (Key Contributions)

1. MoME 프레임워크 도입: 운전자 행동 인식 작업에 MoE 아키텍처를 적용하여, 입력 의존적 신뢰도 변화에 유연하게 대응하는 적응형 모달리티 협업 메커니즘을 최초로 제안했습니다.
2. HTL 전략 개발: 클래스 토큰뿐만 아니라 시공간 토큰까지 포함한 '전체적 (Holistic)' 토큰 학습을 통해, 전문가 내부의 미세한 특징 정제와 전문가 간의 지식 전이를 동시에 수행합니다. 이는 기존 MoDE(Mixture-of-Distilled-Experts) 등의 방법보다 세밀한 동작 인식에 효과적입니다.
3. 해석 가능성 및 성능 향상: 제안된 방법이 미세한 행동 증거를 포착하는 능력을 향상시키고, 어텐션 맵을 통해 모델이 배경이 아닌 실제 행동 영역에 집중함을 시각적으로 증명했습니다.

4. 실험 결과 (Results)

• 데이터셋: 대규모 멀티모달 데이터셋인 Drive&Act (RGB, IR, Depth, 3D Skeleton 등 5 개 모달리티) 를 사용했습니다. 실험에서는 RGB, IR, Depth 3 개 모달리티를 조합하여 34 가지 세밀한 행동 클래스를 분류하는 작업을 수행했습니다.
• 성능 비교:
  • SOTA 대비 우위: 단일 모달리티 및 기존 멀티모달 베이스라인 (Multifuser, CM2-Net 등) 을 모두 능가했습니다.
  • 정량적 지표: 평균 정확도 (Mean-1 Accuracy) 에서 기존 최상위 모델 (CM2-Net) 보다 1.72% 향상된 73.82% 를 기록했습니다. Top-1 정확도도 83.94% 로 개선되었습니다.
  • 의미: Top-1 보다 Mean-1 에서 더 큰 향상이 나타났다는 것은, 제안된 방법이 드물거나 어려운 클래스 (미세한 행동) 에 대한 강건성을 크게 높였음을 의미합니다.
• Ablation Study:
  • 입력 기반 게이트 (기존 MoE) 보다 **출력 기반 게이트 (MoME)**가 성능을 향상시킵니다.
  • HTL 전략을 적용했을 때 MoDE 전략보다 미세한 행동 인식에 더 효과적이었으며, 단일 모달리티 모델에서도 자기 지도 학습 (Self-distillation) 과 깊은 감독 (Deep supervision) 보다 우수한 성능을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 복잡한 스마트 캐빈 환경에서 발생하는 미세한 동작 인식과 모달리티 신뢰도의 동적 변화라는 두 가지 핵심 과제를 해결하기 위해, **전문가 협업 (MoME)**과 **토큰 수준의 지식 전이 (HTL)**를 결합한 새로운 패러다임을 제시했습니다.

• 기술적 의의: 고정된 융합 방식을 넘어, 입력에 따라 적응적으로 전문가를 선택하고, 시공간 토큰 수준에서 지식을 정제하는 새로운 멀티모달 학습 프레임워크를 정립했습니다.
• 실용적 가치: 자율주행 및 스마트 카의 인간 - 차량 상호작용 (HMI) 향상, 그리고 더 신뢰할 수 있는 지능형 교통 시스템 구축에 기여할 수 있습니다. 특히 조명 변화나 가림 현상이 빈번한 실제 운전 환경에서 안정적인 행동 인식을 가능하게 합니다.