Do You See What I Am Pointing At? Gesture-Based Egocentric Video Question Answering

1. 문제 정의 (Problem Definition)

• 배경: 증강현실 (AR), 가상현실 (VR) 및 스마트 글래스와 같은 웨어러블 AI 어시스턴트가 일상생활에 통합되면서, 사용자의 시선과 지시 동작 (Pointing Gesture) 을 이해하는 능력이 필수적입니다.
• 핵심 문제: 사용자는 "이걸로 컵라면을 끓여야 해?"와 같이 지시 대명사 (Deictic expressions, 예: 'this', 'these') 와 손가락 가리킴 제스처를 결합하여 질문합니다.
• 현재 MLLM 의 한계:
  • 최신 멀티모달 대규모 언어 모델 (MLLM) 들은 시공간적 맥락이 포함된 제스처 기반 질문을 해결하는 데 어려움을 겪습니다.
  • 기존 데이터셋은 제스처가 풍부한 데이터가 부족하며, 모델들이 손의 위치나 가리키는 방향을 명시적으로 인코딩하거나 추론할 수 있는 아키텍처가 부재합니다.
  • 결과적으로 모델은 "이것 (this)"이 무엇을 지칭하는지 파악하지 못해, 두 개의 검은 냄비 중 하나를 가리켰을 때 색상이 다르다고 잘못 답변하는 등의 오류를 범합니다.

2. 제안 방법 (Methodology)

이 논문은 EGOPOINTVQA 데이터셋과 이를 해결하기 위한 Hand Intent Tokens (HINT) 모델을 제안합니다.

A. EGOPOINTVQA 데이터셋

• 구성: 4,000 개의 합성 비디오 (AI2-THOR 시뮬레이터 생성) 와 400 개의 실제 세계 비디오 (Meta Ray-Ban 스마트 글래스 촬영) 로 구성됩니다.
• 태스크 분류: 지시적 질문을 6 가지 범주로 세분화하여 평가합니다.
  1. Reference (참조): 가리킨 물체의 식별 ("이게 뭐야?")
  2. Counting (계수): 동일 물체의 개수 세기
  3. Spatial (공간): 다른 물체와의 상대적 위치
  4. Temporal (시간): 여러 제스처의 순서 파악 ("내가 두 번째로 가리킨 건?")
  5. Attribute (속성): 색상, 모양 등 물체 속성
  6. Feedback (피드백): 물체의 기능이나 목적에 대한 질문
• 특징: 질문이 지시 대명사를 사용하여 모호하게 구성되어 있어, 모델이 반드시 손 제스처를 시각적으로 해석해야만 정답을 낼 수 있도록 설계되었습니다.

B. Hand Intent Tokens (HINT) 모델

기존 MLLM 에 제스처 정보를 명시적으로 주입하기 위한 새로운 아키텍처입니다.

• 3D Hand Keypoint 추출: WiLoR 과 같은 오프더셸 (off-the-shelf) 3D 손 재구성 모델을 사용하여 각 프레임에서 21 개의 3D 손 키포인트를 추출합니다.
• Keypoint Adapter: 추출된 3D 키포인트 좌표를 경량 어댑터를 통해 Hand Intent Token (Ht) 으로 변환합니다. 이는 손의 전체 자세를 단일 토큰으로 압축 표현합니다.
• Interleaving (교차 삽입): 생성된 Hand Intent 토큰을 비디오의 시각 토큰 (Visual Tokens) 과 텍스트 토큰 사이에 교차하여 삽입합니다.
  • 입력 시퀀스: [질문] [비디오 프레임 1 시각 토큰] [손 의도 토큰 1] [비디오 프레임 2 시각 토큰] [손 의도 토큰 2] ...
• 효과: 모델이 시각적 콘텐츠와 손의 움직임/지시 방향을 시간적, 공간적으로 정렬하여 (Temporal and Spatial Alignment) 지시 대명사의 참조 대상을 정확하게 파악하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. EGOPOINTVQA 데이터셋: 시선 중심 (Egocentric) 비디오에서 사용자의 제스처와 지시적 표현을 결합한 최초의 대규모 벤치마크 데이터셋을 구축했습니다.
2. HINT (Hand Intent Tokens): 3D 손 키포인트를 기반으로 한 제스처 인식 토큰을 제안하여, MLLM 이 자연스러운 손 가리킴 제스처를 명시적으로 이해하고 추론할 수 있도록 합니다.
3. State-of-the-Art 성능 달성: 제안된 방법은 다양한 백본 모델 (InternVL, LLaVA 등) 에서 기존 최첨단 모델들을 압도하는 성능을 보여주었습니다.

4. 실험 결과 (Results)

• 벤치마크 성능: EGOPOINTVQA 테스트 세트 (300 개 실제 비디오, 672 개 QA 쌍) 에서 HINT-14B 모델이 평균 **68.1%**의 정확도를 기록했습니다.
• 비교: 기존 최첨단 모델인 InternVL3-14B(61.5% 평균) 보다 6.6%p 높은 성능을 달성했습니다.
• 세부 태스크: 특히 'Reference'(물체 식별) 태스크에서 HINT-14B 는 73.8% 로, 기존 모델 대비 10.7%p 이상의 큰 향상을 보였습니다. 이는 제스처 기반 참조 해소가 모델의 가장 큰 약점이었음을 시사합니다.
• Ablation Study:
  • 단순히 데이터로 파인튜닝하는 것만으로는 성능 향상이 제한적이었으나, HINT 토큰을 도입한 경우 성능이 크게 향상되었습니다.
  • 합성 데이터와 실제 데이터를 혼합하여 학습하는 것이 가장 효과적이었습니다.
  • 시각적 프롬팅 (화살표 그리기 등) 이나 텍스트로 좌표를 입력하는 방식보다, 학습된 키포인트 어댑터를 통한 토큰화 방식이 가장 우수했습니다.
• 일반화 능력: HINT 로 파인튜닝된 모델은 기존 비디오 이해 벤치마크 (Video-MME, MVBench 등) 에서도 성능이 저하되지 않았으며, 오히려 일부에서 향상되었습니다 (Catastrophic forgetting 없음).

5. 의의 및 결론 (Significance)

• 차세대 AI 어시스턴트의 핵심: 웨어러블 기기와 AR/VR 환경에서 사용자의 의도를 정확히 파악하기 위해서는 "무엇을 보는가"뿐만 아니라 "무엇을 가리키는가"를 이해하는 것이 필수적입니다. 이 연구는 이를 위한 기술적 토대를 마련했습니다.
• 자연스러운 상호작용: 사용자가 복잡한 설명 없이 손가락으로만 가리키는 자연스러운 상호작용을 가능하게 하여, 인간과 AI 간의 소통 장벽을 낮춥니다.
• 향후 연구 방향: 제스처 인식의 정확도 (손이 가려지거나 모호한 경우) 와 빠른 시선 이동 (Viewpoint drift) 에 대한 대응이 향후 과제로 제시되었으며, 이를 통해 더욱 견고한 지능형 어시스턴트 개발이 가능해질 것입니다.

요약하자면, 이 논문은 시각적 제스처와 언어적 지시 (Deixis) 를 결합한 새로운 벤치마크와 모델을 통해, 기존 MLLM 이 해결하지 못했던 "지시적 참조 (Referential Intent)" 문제를 성공적으로 해결하고 있음을 증명했습니다.