Leveraging Gaze and Set-of-Mark in VLLMs for Human-Object Interaction Anticipation from Egocentric Videos

1. 문제 정의 (Problem)

• 배경: 지능형 보조 시스템이 사용자의 일상 활동을 지원하고 단기 및 장기 목표를 이해하기 위해서는 인간 - 객체 상호작용 (Human-Object Interaction, HOI) 을 사전에 예측 (Anticipation) 하는 능력이 필수적입니다.
• 도전 과제: 자전적 시점 (Egocentric Vision, 즉 사용자가 착용한 카메라 시점) 비디오에서 다음에 어떤 객체와 상호작용할지 예측하는 것은 복잡한 과제입니다. 기존 접근법들은 시각적 맥락만으로는 사용자의 의도를 정확히 파악하기 어렵거나, 시계열적 역동성을 효과적으로 포착하지 못하는 한계가 있었습니다.
• 목표: 비전 대형 언어 모델 (VLLM, Vision Large Language Models) 의 능력을 활용하여, 사용자의 시선 (Gaze) 과 공간적 정보 (Set-of-Mark) 를 결합하여 HOI 예측 정확도를 극대화하는 새로운 프레임워크를 제안합니다.

2. 제안된 방법론 (Methodology)

논문은 인간 - 객체 상호작용 예측을 시각적 질문 응답 (VQA) 작업으로 정의하며, HD-EPIC 데이터셋의 벤치마크 프로토콜을 따릅니다. 제안된 아키텍처는 크게 4 가지 핵심 모듈로 구성됩니다 (그림 2 참조).

2.1 Set-of-Mark (SoM) 모듈 (시각적 그라운딩 강화)

• 기능: 입력된 비디오의 마지막 프레임을 처리하여 장면의 의미론적 영역을 분할하고 시맨틱 마스크 (Semantic Masks) 를 중첩합니다.
• 기술: Semantic-SAM 모델을 사용하여 객체 분할 마스크를 생성하며, 알파벳/숫자 태그는 생략합니다 (모델이 프롬프트 내 후보 목록에서 정답을 선택하므로 마스크만으로도 충분함).
• 효과: VLLM 이 장면 내 객체의 위치와 관계를 더 잘 이해하도록 (Visual Grounding) 도와줍니다.

2.2 Gaze 모듈 (사용자 의도 모델링)

• 기능: 사용자의 최근 시선 고정점 (Fixations) 궤적을 시각적 단서로 활용합니다.
• 기술: 시간 $t$까지의 최근 $W=15$ 프레임에 대한 정답 시선 좌표를 슬라이딩 윈도우로 추출합니다. 이를 연결된 원으로 렌더링하며, 가장 최근 시선은 빨간색, 가장 오래된 시선은 파란색으로 색상을 변화시켜 시간적 흐름을 시각화합니다.
• 효과: 사용자가 현재 어디를 보고 있었는지, 그리고 어떤 객체에 주의를 기울이고 있었는지에 대한 '의도 (Intent)' 정보를 VLLM 에게 제공합니다.

2.3 Sampling Module (역 지수 샘플링 전략)

• 문제: VLLM 은 긴 토큰 시퀀스를 처리하므로 모든 프레임을 입력하면 계산 비용이 과도하게 증가합니다.
• 해결: 상호작용 직전의 시간적 역동성을 포착하기 위해 역 지수 샘플링 (Inverse Exponential Sampling) 전략을 도입합니다.
  • 마지막 프레임은 무조건 포함합니다.
  • 나머지 $n-1$ 프레임은 상호작용이 일어나기 직전 (비디오 끝부분) 에 더 높은 확률로 샘플링되도록 확률 분포를 설계합니다.
  • 하이퍼파라미터 $\lambda$를 통해 시간적 편향의 강도를 조절합니다 ($\lambda$가 클수록 마지막 프레임 근처에 집중).

2.4 VLLM 모듈 (예측 수행)

• 기능: SoM 과 Gaze 모듈로 강화된 $n$개의 샘플링된 프레임과 텍스트 프롬프트 (질문, 후보 객체 목록, 시각적 단서에 대한 지시사항) 를 입력받아 다음 상호작용할 객체 (명사) 를 예측합니다.
• 특징: 이 접근법은 모델 중립적 (Model-agnostic) 으로, 어떤 최신 VLLM 이든 적용 가능합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 접근법 제안: 공간적 장면 정보 (Set-of-Mark) 와 사용자의 시선 궤적 (Gaze Trajectory) 을 결합하여 VLLM 의 시각적 그라운딩 및 의도 이해 능력을 향상시켰습니다.
2. 샘플링 전략 혁신: 상호작용 직전의 중요한 시간적 맥락을 포착하기 위해 역 지수 샘플링 전략을 도입하여 불필요한 데이터를 제거하고 정보 밀도를 높였습니다.
3. 모델 중립성 및 성능: 제안된 방법은 특정 VLLM 에 종속되지 않으며, 다양한 모델에서 일관된 성능 향상을 입증했습니다.
4. 오픈 소스: 연구 코드와 방법론을 GitHub 에 공개하여 후속 연구를 장려합니다.

4. 실험 결과 (Results)

• 데이터셋: HD-EPIC 데이터셋의 Gaze Interaction Anticipation 벤치마크 (1,000 개의 다지선다 질문 및 10 초 비디오 클립) 를 사용했습니다.
• 평가 지표: 정확도 (Accuracy).
• 주요 성과 (Table 1):
  • LLaVA-OneVision 7B 기반: 기존 SOTA(Qwen2.5VL-Ricoh, 22.0%) 를 능가하는 27.2% 달성.
  • Gemini 2.0 Flash 기반: 27.5% 달성 (기존 HD-EPIC 베이스라인인 Gemini 1.5 Pro 의 21.0% 대비 약 6.5%p 향상).
  • 기존 최상위 모델 (K-Net, T-CoT 등) 대비 약 5~11%p 이상의 성능 향상을 보였습니다.
• 생성형 분석 (Qualitative Analysis):
  • SoM 만 사용하거나 Gaze 만 사용하는 경우보다, 두 모듈을 모두 결합했을 때 모델이 올바른 객체에 주의를 기울이고 정답을 예측하는 경우가 현저히 증가했습니다 (그림 5, 6).
• Ablation Study (Table 2, 3, 4):
  • 샘플링 전략: 역 지수 샘플링 ($\lambda = 1/10$) 이 균일 샘플링 ($\lambda=0$) 보다 성능이 우수했습니다.
  • 샘플 크기: 너무 많은 프레임을 입력하면 오히려 성능이 저하되었으며, 15 프레임이 최적의 샘플 크기였습니다.
  • 모듈 조합: SoM 과 Gaze 모듈을 모두 사용할 때 가장 높은 정확도를 기록했습니다.

5. 의의 및 결론 (Significance)

• 기술적 의의: VLLM 이 자전적 비디오에서 인간 행동을 이해할 때, 단순히 이미지만 보는 것이 아니라 시선 (의도) 과 객체 분할 (공간적 위치) 정보를 어떻게 효과적으로 통합할 수 있는지를 입증했습니다.
• 실용적 가치: 주방, 산업 현장 등에서의 안전 보조 시스템 (예: 뜨거운 냄비 만지기 경고, 위험한 작업 예측) 에 적용 가능한 높은 수준의 예측 능력을 제공합니다.
• 미래 전망: 실시간 시나리오 적용 및 장기적인 행동 예측으로의 확장을 위한 기반을 마련했습니다.

요약하자면, 이 논문은 VLLM 에 시선 정보와 Set-of-Mark 프롬프팅을 결합하고, 역 지수 샘플링으로 시간적 맥락을 최적화함으로써 자전적 비디오 기반 인간 - 객체 상호작용 예측 분야에서 새로운 State-of-the-Art 성능을 달성한 연구입니다.