STREAMGAZE: 스트리밍 비디오에서의 시선 유도 시간적 추론 및 능동적 이해에 대한 기술적 요약

이 논문은 STREAMGAZE를 소개하며, 이는 멀티모달 대규모 언어 모델 (MLLM) 이 스트리밍 비디오 환경에서 인간의 시선 (Gaze) 신호를 활용하여 시간적 추론 (Temporal Reasoning) 과 능동적 이해 (Proactive Understanding) 를 수행하는 능력을 평가하기 위해 고안된 최초의 벤치마크입니다.

1. 문제 정의 (Problem)

기존의 스트리밍 비디오 이해 벤치마크는 과거 및 현재 프레임에 대한 인식이나 미래 사건 예측에 중점을 두었으나, 실제 인간의 지각 신호인 '시선'을 통합하여 평가하는 벤치마크는 부재했습니다.

• 한계점: 현실 세계의 증강현실 (AR) 안경이나 로봇 보조 시스템은 사용자의 시선이 어디에 집중되어 있는지, 무엇을 의도하고 있는지 실시간으로 파악해야 합니다. 그러나 기존 모델들은 시선 신호를 해석하거나 이를 시간적 맥락에 통합하는 데 어려움을 겪고 있습니다.
• 도전 과제: 시선 데이터는 노이즈가 많고 불안정하며, 1 인칭 시점 (Egocentric) 비디오는 카메라의 흔들림과 회전으로 인해 "사용자가 무엇을 보고 있는가"를 공간 - 시간적으로 정확히 매핑하는 것이 매우 복잡합니다. 또한, 미래 정보 없이 과거와 현재 프레임만으로 추론해야 하는 스트리밍 환경의 제약이 존재합니다.

2. 방법론 (Methodology)

2.1. 데이터 구축 파이프라인

저자들은 시선 궤적과 1 인칭 비디오를 정렬하여 시공간적으로 grounded 된 질문 - 답변 (QA) 쌍을 생성하는 반자동 파이프라인을 개발했습니다.

1. 전처리 (Preprocessing): HoloAssist, EGTEA+, EgoExoLearn 등의 공개 데이터셋에서 원시 시선 데이터를 카메라 파라미터를 사용하여 2D 이미지 평면으로 투영합니다.
2. 고정점 추출 (Fixation Extraction): 시선 데이터에서 의미 있는 '고정점 (Fixation)' 구간을 식별합니다. 이는 공간적 안정성 (Spatial Stability) 과 장면 일관성 (Scene Consistency, 히스토그램 상관관계 기반) 기준을 충족하는 구간으로 정의됩니다.
3. 시선 영역별 객체 추출 (Object Extraction):
   • FOV (Field of View): 고정점 중심에서 일정 반경 내의 영역. 사용자의 주의를 받는 객체.
   • Out-of-FOV: FOV 외의 영역. 배경이나 주변 객체.
   • 각 영역별로 MLLM 을 활용하여 객체와 설명을 추출합니다.
4. 스캔패스 (Scanpath) 구성: 시간 순서대로 고정된 객체들의 시퀀스를 구성하여 사용자의 주의 이동 패턴을 모델링합니다.
5. QA 생성 및 검증: 생성된 스캔패스를 기반으로 과거, 현재, 능동적 (Proactive) 태스크에 맞는 QA 쌍을 생성하고, 인간 어노테이터를 통해 품질을 검증합니다.

2.2. 태스크 분류 (Task Taxonomy)

STREAMGAZE 는 10 가지 태스크로 구성되며, 크게 세 가지 범주로 나뉩니다:

• 과거 (Past) 태스크: 시선의 시간적 변화를 기반으로 한 추론.
  • Non-Fixated Object Identification: 고정되지 않았지만 보였던 객체 식별.
  • Object Transition Prediction: 다음 고정될 객체 예측.
  • Gaze Sequence Matching: 시선 이동 패턴 매칭.
  • Scene Recall: 과거에 보였던 배경 객체 회상.
• 현재 (Present) 태스크: 현재 시선 상태와 의도 파악.
  • Object Identification: 현재 보고 있는 객체 식별 (쉬움/어려움).
  • Object Attribute Recognition: 보고 있는 객체의 속성 (색상, 질감 등) 인식.
  • Future Action Prediction: 최근 시선 패턴을 기반으로 한 다음 행동 예측.
• 능동적 (Proactive) 태스크: 사용자의 미래 주의나 사건을 예측하여 알림을 발생시킴.
  • Gaze-Triggered Alert: 특정 객체를 사용자가 보기 시작할 때 알림.
  • Object Appearance Alert: 시야에 새로운 객체가 나타날 때 알림.

3. 주요 기여 (Key Contributions)

1. 최초의 시선 유도 스트리밍 벤치마크: 과거, 현재, 능동적 태스크를 아우르는 8,521 개의 QA 쌍과 285 개의 비디오로 구성된 STREAMGAZE 를 제안했습니다.
2. 새로운 데이터 구축 파이프라인: 정적 시선 데이터가 아닌, 1 인칭 비디오의 움직임과 시선 고정점을 통합하여 스캔패스 동역학을 모델링하는 파이프라인을 개발했습니다. 이는 실시간 스트리밍 환경에 적합한 시공간적 감독 신호를 제공합니다.
3. MLLM 성능 평가 및 분석: 최신 MLLM 들이 시선 신호를 활용한 시간적 추론과 능동적 예측에서 인간 성능과 큰 격차를 보임을 입증했습니다.

4. 실험 결과 (Results)

• 성능 격차: GPT-4o, InternVL3.5 등 최첨단 MLLM 들의 평균 정확도는 약 0.53~0.54 수준인 반면, 인간 어노테이터는 0.827의 높은 정확도를 기록했습니다.
• 구체적 한계:
  • 시간적 추론 부족: 모델들은 시선 신호를 장기적인 시간적 맥락에 통합하는 데 실패하며, 주로 프레임 단위의 시각적 단서에 의존합니다.
  • 능동적 예측 실패: 스트리밍 모델들조차 시선 변화를 미래 행동이나 주의 전환과 연결하는 능동적 태스크에서 낮은 성능을 보였습니다.
  • 시선 입력 전략의 효과: 시각적 프롬팅 (시선 점 및 FOV 원 그리기) 이 텍스트 프롬팅보다 일부 성능 향상을 보였으나, 여전히 인간 수준의 추론에는 미치지 못했습니다.
• 파인튜닝 효과: STREAMGAZE 스타일의 데이터로 파인튜닝 시 성능이 향상되었으나, 여전히 외부 데이터셋만으로는 스트리밍 시선 추론 환경에 적응하기 어렵다는 것이 확인되었습니다.

5. 의의 및 결론 (Significance)

STREAMGAZE 는 AR 안경, 로봇 보조 시스템, 인간 - 컴퓨터 상호작용 (HCI) 분야에서 실시간으로 사용자의 의도를 파악하고 능동적으로 대응하는 AI 개발을 위한 핵심 테스트베드를 제공합니다.

• 이 연구는 현재 MLLM 이 시선 기반의 인과적 추론과 능동적 예측에서 근본적인 한계를 가지고 있음을 보여주며, 향후 주의 (Attention) 기반의 스트리밍 모델 설계에 대한 구체적인 방향성을 제시합니다.
• 특히, 단순한 객체 인식을 넘어 "무엇을 보고 있는가"와 "무엇을 할 것인가"를 연결하는 시선 유도 추론의 중요성을 부각시켰습니다.

이 벤치마크와 데이터셋은 공개되어 있으며, 향후 시선 기반 스트리밍 비디오 이해 연구의 표준으로 자리 잡을 것으로 기대됩니다.