UNIEGO: Proxies as Mediators for Unified Egocentric Video Representation Learning

기술 요약: UNIEGO

문제 정의

에고센트릭(Egocentric) 비디오 이해는 웨어러블 카메라 특유의 좁은 시야각과 지속적인 자기 가림(self-occlusion) 현상으로 인해 근본적인 제약을 받습니다. 에고센트릭 RGB 데이터로만 학습된 단일 모델은 인간 행동의 풍부한 정보를 온전히 포착하지 못하며, 외부 시점(exocentric)을 통해 얻을 수 있는 보완적인 기하학적 구조(깊이, 스켈레톤)나 더 넓은 장면 맥락에 접근할 수 없습니다. 또한, 대규모 파운데이션 모델(FM)과 다양한 모달리티에 내재된 풍부한 표현 지식은 에고센트릭 작업에서 여전히 충분히 활용되지 못하고 있습니다.

멀티 티처 지식 증류(multi-teacher knowledge distillation)가 잠재적인 해결책이 될 수 있지만, 기존 방식들은 에고센트릭 환경에서 다음과 같은 두 가지 주요 문제로 인해 어려움을 겪습니다:

1. 이질성(Heterogeneity): 티처 모델들은 아키텍처(예: 그래프 기반 스켈레톤 모델 vs. 비디오 인코더), 입력 모달리티(RGB, 깊이, 스켈로톤), 시점(에고센트릭 vs. 엑소센트릭) 측면에서 크게 다릅니다.
2. 상충하는 그래디언트(Conflicting Gradients): 이질적인 티처들로부터 단일 학생(student) 모델로 직접 증류를 수행하면 서로 호환되지 않는 특징 공간이 생성됩니다. 이는 최적화를 저해하고, 학생 모델이 모달리티 및 시점 간의 격차를 효과적으로 메우는 것을 방해하는 상충하는 그래디언트 신호를 유발합니다.

방법론: 계층적 멀티 티처 증류

저자들은 2단계 계층적 증류 프레임워크를 통해 학습되는 통합 에고센트릭 인코더인 UNIEGO를 제안합니다. 이 접근 방식은 이질적인 티처로부터 직접 증류하는 대신, 지식 전달을 중재하는 레이어로서 표현 특화형 프록시(Proxy) 모델을 삽입합니다.

1단계: 프록시 학습 (Proxy Learning)

첫 번째 단계는 다양한 티처의 지식을 동질적인 에고센트릭 공간으로 변환합니다.

• 아키텍처: 최종 학생 모델과 동일한 에고센트릭 아키텍처(예: TimeSformer)를 공유하는 $R$개의 프록시 모델 풀을 학습시킵니다.
• 프로세스: 각 프록시 $P_r$은 특정 티처 $T_r$(RGB, 깊이, 스켈레톤, 에고 및 엑소 시점, DINOv2 및 SigLIP과 같은 FM 포함)로부터 독립적으로 지식을 증류합니다.
• 목표: 프록시는 이질적인 티처 특징을 일관된 에고센트릭 임베딩 공간으로 매핑하는 법을 배움으로써, 모달리티와 시점의 격차를 효과적으로 해소합니다. 이 단계에서는 액션 분류 손실(action classification loss)과 결합된 특징 수준 증류(코사인 거리)를 사용합니다.

2단계: 선택적 프록시 증류 (Selective Proxy Distillation, SPD)

두 번째 단계는 프록시 풀의 지식을 최종 UNIEGO 모델로 통합합니다.

• 프록시 병합 초기화 (Proxy Merging Initialization): 최적화를 안정화하기 위해, UNIEGO는 무작위가 아닌 프록시 파라미터들의 학습된 볼록 조합($\theta^*_{merge} = \sum \alpha^*_r \theta_r$)으로 초기화됩니다. 이는 증류가 시작되기 전, 통합 모델을 손실 함수 지형(loss landscape)의 잘 조건화된 평탄한 영역에 위치시킵니다.
• 선택적 프록시 증류 (SPD): 모든 프록시로부터 동시에 증류하는 대신, SPD는 각 훈련 샘플에 대해 신뢰할 수 있는 프록시의 하위 집합을 적응적으로 선택합니다.
  • 선택 기준: 프록시가 액션 클래스를 올바르게 예측하는 경우에만 후보로 간주됩니다. 올바른 후보들 중 크로스 엔트로피 손실이 가장 낮은(신뢰도가 가장 높은) 상위-$k$개의 프록시가 선택됩니다.
  • 억제 (Suppression): 만약 어떤 프록시도 해당 샘플에 대해 올바른 예측을 하지 못한다면, 잘못된 감독 신호를 흡수하는 것을 방지하기 위해 해당 샘플에 대한 증류를 건너뜁니다.
  • 손실 (Loss): 선택된 프록시들은 학생 모델에게 특징 수준 및 로짓(logit) 수준의 증류 신호를 제공합니다.

주요 기여

1. UNIEGO 프레임워크: 구조화된 중재자로서 표현 특화형 프록시를 활용하여, 9개의 티처(다양한 모달리티, 시점, 파운데이션 모델 포함)를 통해 학습된 통합 에고센트릭 인코더를 도입했습니다.
2. 세 가지 밀접하게 결합된 구성 요소:
   • 프록시 학습: 이질적인 감독 신호를 아키텍처가 동질적인 에고센트릭 프록시 풀로 변환합니다.
   • 선택적 프록시 증류 (SPD): 가장 신뢰할 수 있는 프록시로부터 감독 신호를 동적으로 라우팅하여 상충하는 그래디언트를 완화하는 샘플 단위 메커니즘입니다.
   • 프록시 병합: 최적화 지형을 안정화하는 학습된 볼록 초기화 방식입니다.
3. 최첨단 성능 (SOTA): 구조화된 프록시 매개 증류가 직접적인 멀티 티처 증류보다 더 풍부한 표현을 생성함을 입증했습니다.

실험 결과

UNIEGO는 세 가지 도전적인 에고-엑소 벤치마크인 EgoExo-Fitness, Assembly101, EgoExo4D에서 평가되었습니다.

• 액션 인식 (Action Recognition): UNIEGO는 에고센트릭 추론(테스트 시 에고센트릭 비디오만 사용) 하에서 최첨단 성능을 달성했습니다.
  • UNIEGO는 세 데이터셋에서 TimeSformer 백본 대비 각각 +4.4%, +3.1%, +1.2%의 성능 향상을 보였습니다.
  • 가장 강력한 증류 베이스라인인 $\pi$-ViT보다 EgoExo-Fitness와 Assembly101에서 각각 +4.6%, +2.9% 앞섰습니다.
  • 결정적으로, UNIEGO는 단순한 멀티 티처 증류 베이스라인보다 우수한 성능을 보여줌으로써 프록시 매개 방식의 필요성을 확인시켜 주었습니다.
• 비디오 검색 및 세그멘테이션 (Video Retrieval & Segmentation): UNIEGO는 비디오 검색(mAP 및 Recall@1로 측정)과 시간적 액션 세그멘테이션(F1 점수, Edit distance, Accuracy)에서 베이스라인 대비 우수한 성능을 보였습니다. 특히, 단순 멀한 멀티 티처 증류는 scratch 베이스라인에 비해 세그멘테이션 성능을 저하시킨 반면, UNIEGO는 이를 개선했습니다.
• 일반화 (Generalization): 이 프레임워크는 UniFormer-S (22M 파라미터)와 같은 경량 모델을 포함하여 다양한 백본 아키텍처에서 견고함을 입증하였으며, 자원이 제한된 배포 환경에서의 효과성을 보여주었습니다.

의의 및 주장

본 논문은 UNIEGO가 이질적인 소스로부터 통합된 에고센트릭 표현을 학습하는 "부적치(ill-posed)" 문제를 성공적으로 해결했다고 주장합니다. 프록시를 중재자로 도입함으로써, 이 프레임워크는 다음을 달성합니다:

1. 표현 격차 해소: 이질적인 티처를 동질적인 프록시 공간으로 투영함으로써 티처 간 표현 유사성을 크게 높였습니다 (Centered Kernel Alignment를 통해 검증됨).
2. 상충하는 그래디언트 완화: 프록시 학습과 선택적 증류의 결러션은 상충하는 최적화 지형을 일관된 지형으로 변환합니다. 분석 결과, SPD는 직접적인 멀티 티처 증류에 비해 그래디언트 충돌률을 유의미하게 감소시켰습니다.

저자들은 UNNEGO가 추론 시 추가적인 카메라 스트림 없이도 에고센트릭 인코더가 "더 멀리 보고, 더 많이 알며, 더 잘 일반화할 수 있게" 한다고 결론짓습니다. 저자들은 현재의 프록시 선택 전략(낮은 손실 휴리스틱에 의존)의 한계를 인정하며, 학습된 적응형 선택 메커니즘이 유망한 향후 연구 방향임을 시사했습니다.