기술 요약: 나의 시선에서 너의 시선으로: 특권적 1인칭 시점 감독을 통한 3인칭 시점 비디오에서의 1인칭 단서 학습

1. 문제 정의

시각-언어 모델(VLMs)은 일반적인 비디오 이해 작업에서 강력한 성능을 보여주었으나, 3인칭 시점 비디오(3rd-person, 고정 카메라 뷰)를 관찰할 때 1인칭 시점의 속성(예: 미세한 인간-사물 상호작용, 특정 손 조작)을 추론하는 데 어려움을 겪습니다. 이러한 한계는 일상생활 동작(ADL) 모니터링과 같은 응용 분야에서 매우 치명적입니다. 웨어러블 카메라를 사용하는 것은 비현실적이지만, 구체적인 상호작용(예: "토마토를 써는 것" vs "양파를 써는 것")을 이해하는 것이 필수적이기 때문입니다.

기존의 VLM은 두 가지 관점이 혼합된 데이터셋이나 오직 3인칭 데이터만을 사용하여 학습됩니다. 결과적으로, 모델은 장면의 맥락과 전신 움직임에 우선순위를 두도록 학습되며, 이로 인해 1인칭 시점에서는 시각적으로 뚜렷하지만 3인칭 시점에서는 작거나 일부가 가려져 보이는 미세한 상호작용 단서들을 놓치게 됩니다. 핵심 과제는 다음과 같습니다: 1인칭 데이터가 추론 시점에 사용할 수 없을 때, 어떻게 VLM이 3인칭 입력을 통해 1인칭 속성을 추론하도록 학습할 수 있는가?

2. 방법론: Ego2ExoVLM

저자들은 3인칭 입력을 통해 1인칭 속성을 추론하도록 모델을 가르치기 위해, 학습 단계에서만 사용 가능한 **특권적 1인칭 시점 감독(privileged egocentric supervision)**을 활용하는 Ego2ExoVLM 프레임워크를 제안합니다. 이 프레임워크는 시간적으로 동기화된 1인칭-3인칭 비디오 쌍 $(V^{ego}, V^{exo})$ 위에서 작동하며, 교사-학생(teacher-student) 패러다임을 채택합니다:

• 교사 (Teacher, $T$): 1인칭(egocentric) 비디오를 처리하는 동결된(frozen) VLM입니다. 이 모델은 본질적으로 미세한 1인칭 세부 사항을 포착하는 언어 시퀀스(답변)를 생성합니다.
• 학생 (Student, $S$): 3인칭(exocentric) 비디오를 처리하는 학습 가능한 VLM입니다. 이 모델은 교사의 출력을 재현하도록 감독받으며, 이를 통해 3인칭 렌즈를 통해서도 1인칭의 세부 사항을 "볼" 수 있도록 학습됩니다.

이 방법은 교차 뷰 지식 전이를 촉진하기 위해 두 가지 상호 보완적인 구성 요소를 도입합니다:

A. Ego2Exo 시퀀스 증류 (Sequence Distillation)

표준적인 특징 수준(feature-level) 증류 대신, 저자들은 언어 수준의 시퀀스 증류를 활용합니다.

• 교사는 1인칭 뷰를 기반으로 응답 $A^{ego}$를 생성합니다.
• 학생은 3인칭 비디오 $V^{exo}$와 쿼리 $Q$가 주어졌을 때 $A^{ego}$를 생성할 확률을 최대화하도록 자기회귀적(auto-regressively)으로 학습됩니다.
• 통찰: 저자들은 기존의 교차 뷰 연구에서 흔히 쓰이는 특징 수준의 지식 전이가 VLM에는 효과적이지 않다는 것을 발견했습니다. 언어는 관점 차이를 메우는 더 견고한 매개체 역할을 하며, 학생이 교사의 1인칭 관점과 자신의 추론을 일치시키도록 강제합니다.

B. Ego 적응형 시각 토큰 (Ego Adaptive Visual Tokens)

3인칭 비디오가 상호작용 단서를 희석시키는 시각적 방해 요소(배경, 전신 움직임 등)를 포함하고 있다는 문제를 해결하기 위해, 저자들은 학습 가능한 시각 토큰 세트를 도입합니다.

• 이 토큰들은 시각 인코더의 중간 표현(intermediate representations)과 **교차 주의 집중(cross-attention)**을 통해 상호작용하는 시각적 프로브(probe) 역할을 합니다.
• 이들은 1인칭 신호에 의해 감독되어, 3인칭 뷰에서는 덜 두드러지는 인간-사물 상호작용(HOI)에 해당하는 시공간 영역을 선택적으로 추출합니다.
• 이 토큰들은 언어 모델의 임베딩 공간으로 투영되며, 디코딩 전 표준 시각 임베딩과 결합됩니다.

3. 주요 기여

1. Ego2ExoVLM 프레임워크: 시간적으로 동기화된 1인칭-3인칭 쌍을 사용하여 3인칭 입력으로부터 1인칭 속성을 추론하도록 명시적으로 학습된 최초의 VLM 프레임워크입니다. 이는 더 일반적인 3인칭 $\to$ 1인칭 전이와는 다른, 탐구되지 않았던 1인칭 $\to$ 3인칭 전이 방향을 다룹니다.
2. 새로운 전이 메커니즘:
   • Ego2Exo 시퀀스 증류: 언어 수준의 증류가 VLM에서 관점 특화된 추론을 전이하는 데 있어 특징 수준의 증류보다 우월함을 입증했습니다.
   • Ego 적응형 시각 토큰: 특권적 1인칭 감독의 안내를 받아 3인칭 표현 내에서 관련 상호작용 단서를 표면화하는 메커니즘입니다.
3. Ego-in-Exo 인지 벤치마크: EgoExo4D 데이터셋에서 파생된 **3,881개의 객관식 질문(MCQ)**으로 구성된 새로운 벤치마크입니다.
   • 설계: 질문은 오직 1인칭 관점에서만 선별되었습니다(1인칭 속성을 타겟팅하도록 보장). 그러나 평가는 오직 쌍이 되는 3인칭 비디오만을 사용하여 수행됩니다.
   • 작업: 행동 이해, 작업 관련 영역 식별, 인간-사물 상호작용(HOI), 손 식별 등을 포함합니다.
4. 실험적 검증: ADL-X 벤치마크 제품군에서 우수한 성능을 보였으며, 제안된 Ego-in-Exo 인지 벤치마크에서 강력한 베이스라인 모델들을 크게 상회하는 성능을 입증했습니다.

4. 실험 결과

Ego-in-Exo 인지 성능

• Ego2ExoVLM은 평균 정확도 **74.2%**를 달성하여, 강력한 베이스라인인 VideoLLaMA3(71.2%)와 3인칭 전용으로 미세 조정된 변체인 EE4D-VideoLLaMA3(65.7%)를 능가했습니다.
• ADL 작업에 특화되었음에도 불구하고 어려움을 겪는 LLAVIDAL(33.3%)보다 훨씬 뛰어난 성능을 보였습니다.
• 직접적으로 1인칭 뷰에 접근하는 교사 모델의 "상한선(upper bound)" 성능(77.9%)에 근접했습니다.

ADL-X 성능

• Ego2ExoVLM은 ADL-MCQ 작업에서 **78.8%**를 기록하여 VideoLLaMA3(76.9%)와 EE4D-VideoLLaMA3(75.0%)를 앞질렀습니다.
• 또한 비디오 기술(description) 작업(Charades 및 Toyota Smarthome)에서도 선두를 차지하며, 고정 카메라 입력으로부터 상세하고 상호작용을 고려한 설명을 생성하는 견고함을 입증했습니다.

절제 연구 (Ablation Studies)

• 구성 요소의 필요성: 증류 없이 단순히 1인칭과 3인칭 비디오를 함께 학습하는 것은 미미한 이득(+0.3%)만을 주었습니다. 최적의 성능을 위해서는 시퀀스 증류와 적응형 토큰이 모두 필요했으며, 특히 토큰이 HOI 작업에서 상당한 이득을 제공했습니다.
• 전이 전략: 언어 수준의 증류가 시각적 특징 증류(67.8%)보다 우수했습니다(74.2%).
• 견고성: 본 방법론은 시간적으로 동기화되지 않은(pseudo-paired) 1인칭-3인칭 데이터로 학습할 때도 효과적이었으며, 이는 언어 매개 전이가 작동하기 위해 엄격한 시간적 정렬이 반드시 필수적인 것은 아님을 시사합니다.

5. 의의 및 주장

본 논문은 Ego2ExoVLM이 VLM을 ADL 모니터링에 어떻게 적응시킬 수 있는지에 대한 근본적인 변화를 나타낸다고 주장합니다. 1인칭 뷰를 특권적 감독자로 취급함으로써, 이 프레임워크는 3인칭 관찰에서는 잠재되어 있는 상호작용 단서를 복구할 수 있게 합니다.

주요 주장은 다음과 같습니다:

• 최초의 사례: 특권적 1인칭 감독으로부터 3인칭 표현을 명시적으로 학습하는 최초의 VLM입니다.
• 언어 매개의 우월성: 본 연구는 특징 수준의 전이가 VLM의 교차 뷰 작업에 충분하다는 기존의 가설에 도전하며, 언어 수준의 감독이 1인칭-3인칭 간의 격차를 메우는 데 더 효과적임을 입증했습니다.
• 실용적 적용 가능성: 이 프레임워크는 (노인 돌봄 등에서와 같이) 1인칭 카메라 배치가 비현실적인 상황에서도 상세한 이해가 필요한 실제적인 제약 조건을 해결합니다.
• 일반화 가능성: 이 접근 방식은 다양한 VLM 백본에서도 효과적이며, 심지어 동기화되지 않은 학습 데이터에서도 작동하므로 대규모 ADL 모니터링 시스템을 위한 실행 가능한 솔루션이 됩니다.