기술 요약: ARGaze: 온라인 1인칭 시점 시선 추정을 위한 자기회귀 트랜스포머

문제 정의

본 논문은 과거와 현재의 비디오 프레임만을 사용하여 카메라 착용자가 어디를 보고 있는지 예측하는 과제인 온라인 1인칭 시점(egocentric) 시선 추정 문제를 다룹다. 관찰 가능한 머리 포즈나 눈의 신호에 의존하는 3인칭 시점 시선 추정과 달리, 1인칭 시점 환경에는 직접적인 얼굴 신호가 부족하다. 대신, 모델은 장면 콘텐츠 및 손과 물체의 상호작용과 같은 희소하고 간접적인 단서를 통해 시각적 주의(visual attention)를 추론해야 한다.

현재의 주류 접근 방식들은 이를 오프라인, 클립 기반의 시공간 통합 문제로 규정한다. 이러한 방법들은 일반적으로 미래의 시간적 맥락에 접근해야 하는 3D 컨볼루션이나 양방향 어텐션 메커니즘을 채택한다. 이러한 구조는 실시간 제약 조건을 위반하므로, 증강 현실(AR)이나 보조 로보틱스와 같은 스트리밍 애플리케이션에는 부적합하다. 더욱이, 이러한 모델들은 프레임을 연속적인 행동 시퀀스가 아닌 병렬화된 클립으로 취급하여, 인간의 고정(fixation)이 가진 생리학적 안정성을 포착하지 못하고 시각적 섭동(perturbation) 상황에서 불안정한 예측을 초래한다.

방법론: ARGaze

저자들은 ARGaze를 제안하며, 이는 시선 추정을 인과적 자기회귀 시퀀스 생성 작업으로 재구성하는 프레임워크이다. 비전-언어 모델의 비전 조건부 자기회귀 디코딩에서 영감을 얻은 ARGaze는 현재의 시각적 특징과 제한된 범위의 이전 시선 추정치에 기반하여 시선 히트맵을 순차적으로 예측한다.

이 프레임워크는 다섯 가지 핵심 구성 요소로 이루어져 있다:

1. 장면 인코더(Scene Encoder): 사전 학습된 비전 파운데이션 모델(DINOv3)을 활용하여 현재 프레임($I_t$)으로부터 계층적 시공간 특징을 추출한다. 또한, 이 모델은 **트래킹 인식 템플릿(Tracking-aware Templates)**을 포함하는데, 이는 이전에 예측된 시선 좌표를 중심으로 한 과거 프레임의 국소적 고해상도 크롭(crop) 이미지이다. 이 템플릿은 모델이 급격한 카메라 움직임 중에도 대상에 대한 주의를 유지할 수 있도록 구체적인 시각적 사전 정보를 제공한다.
2. 자기회귀 히트맵 토크나이저(Autoregressive Heatmap Tokenizer): 최근 시선 이력의 유한한 윈도우($H_{t-k:t-1}$)를 고차원 시간 토큰으로 변환한다. 이는 과거 히트맵을 다운샘플링하고, 1$\times$1 컨볼루션을 통해 잠재 공간으로 투영하며, 과거의 고정과 현재의 쿼리 토큰을 구분하기 위해 시간 및 토큰 유형 임베딩을 추가하는 과정을 포함한다.
3. 트래킹 인식 템플릿 모듈(Tracking-aware Template Module): 이전 예측 히트맵의 소프트-아르그맥스(soft-argmax)를 기반으로 과거 프레임을 동적으로 크롭한다. 이는 디코더에 국소적인 시각적 맥락을 제공하여, 유사한 물체들을 구별할 수 있는 트래킹 스타일의 단서 역할을 한다.
4. 인과적 트랜스포머 디코더(Causal Transformer Decoder): 셀프 어텐션(self-attention)과 크로스 어텐션(cross-attention) 레이어를 통해 과거 시선 토큰과 시각적 특징(전역 장면 + 트래킹 템플릿)을 통합하는 중심 처리 장치이다. 결정적으로, 이 모델은 현재와 과거의 관측치에만 접근하는 엄격한 인과적(strictly causal) 방식으로 작동한다. 또한 **유한한 이력 윈도우(bounded history window)**를 유지함으로써, 비디오 길이에 관계없이 일정한 메모리 점유율을 보장한다.
5. 공간 재구성 헤드(Spatial Reconstruction Head): 생성된 시퀀스 토큰을 공간 도메인으로 다시 매핑하여 최종 2D 시선 타겟 히트맵($H_t$)을 생성하는 컨볼루션 업샘플링 브랜치이다.

학습 및 추론:

• 학습: 모델은 예측된 히트맵과 실제(ground-truth) 히트맵 사이의 쿨백-라이블러(KL) 발산 손실을 사용하여 최적화된다. 학습(실제 히트맵 이력 사용)과 추론(예측된 히트명 이력 사용) 사이의 간극을 메우기 위해 저자들은 **스케줄드 샘플링(scheduled sampling)**을 사용한다.
• 추론: 시스템은 스트리밍 방식으로 작동한다. 각 프레임이 도착할 때마다 디코더는 시각적 특징과 고정된 크기의 이력 윈도우에 조건화되어 예측을 생성하며, 이를 통해 일정한 메모리 사용량과 실시간 응답성을 보장한다.

주요 기여

1. 인과적 자기회귀 정식화: 본 논문은 EGaze를 인과적 시퀀스 예측 작업으로 재정의하여, 미래의 맥락 없이도 엄격한 온라인 추론이 가능하도록 하는 ARGaze를 도입하였다.
2. 유한 메모리 아키텍처: 고정된 길이의 시선 이력 윈도우를 활용함으로써, 이 방법은 무제한 시퀀스 모델의 계산적 병목 현상 없이 효율적인 장기 스트리밍을 지원하며 일정한 메모리 사용량을 보장한다.
3. 강건성 및 정확도 향상: 이 프레임워크는 명시적인 시간 모델링을 시각적 장면 이해와 결속시켜, 기존 방식에 비해 손에 의한 편향(hand-induced bias) 및 분포 외(OOD) 조건에 대해 개선된 강건성을 입증하였다.

실험 결과

저자들은 EGTEA Gaze+, Ego4D, EgoExo4D의 세 가지 벤치마크에서 ARGaze를 평가하였다.

• 성능: ARGaze는 모든 벤치마크의 온라인 평가에서 최첨단(SOTA) 성능을 달 기록했다.
  • **EGTEA Gaze+**에서 F1 점수 **44.48%**를 달성하여, 적응형 인과적 GLC 베이스라인(41.57%)보다 거의 3% 포인트 높은 성능을 보였다.
  • Ego4D에서는 **41.82%**의 F1을 기록했다.
  • EgoExo4D에서는 **70.58%**의 F1 및 **75.66%**의 정밀도(precision)를 달성했다.
• 효율성: NVIDIA RTX A6000 GPU를 사용한 장기 비디오 스트리밍 테스트에서, ARGaze는 GLC 베이스라인 대비 상당한 효율성 이득을 보여주었다:
  • 추론 속도: 1.82배 가속 (88.59 FPS vs. 48.74 FPS).
  • 지연 시간(Latency): 평균 지연 시간을 20.56 ms에서 11.29 ms로 단축.
  • 메모리: CUDA 메모리 할당량을 3.13배 감소시킴 (168.2 MB vs. 526.3 MB).
• 강건성:
  • 분포 외(OOD): ARGaze는 OOD 분할(미학습 참여자, 장소 및 작업) 전반에서 강력한 성능을 유지하였으며, 이는 모델이 도메인 특화된 단서에 과적합되는 것이 아니라 전이 가능한 주의 역학을 포착하고 있음을 시사한다.
  • 손 의존성: 움직이는 손을 잘못 추적하거나(hand-bias) 손에 의해 가려질 때 성능이 무너지는 베이스라인들과 달리, ARGaze는 과거의 시선 궤적을 활용하여 시각적 방해 요소를 필터링함으로써 작업 관련 물체에 안정적인 고정을 유지하였다.
• 실제 환경 테스트: Meta Quest 3 헤드셋을 사용한 실험에서, ARGaze는 책 정리 및 커피 만들기 등의 일상 활동에서 히트맵 F1을 0.0411에서 0.4667로 개선하며 GLC 베이스라인을 지속적으로 압도하였다.

의의 및 주장

본 논문은 기존 문헌의 결정적인 격차, 즉 현재의 모델링 패러다임(시선을 병렬화된 클립으로 취급)과 인간 시선의 생리학적 본질(안정적인 고정과 새크로이드(saccade)로 특징지어짐) 사이의 불일치를 해결한다고 주장한다. 저자들은 엄격한 인과성과 유한한 메모리를 강제함으로써, 자기회귀 모델링이 스트리밍 환경에서 강건한 실시간 예측을 위해 필수적이라고 주장한다.

저자들은 ARGaze를 증강 현실(AR) 및 보조 로보틱스를 위한 실용적인 솔루션으로 포지셔닝하며, 여기서 시스템은 각 프레임이 도착할 때마다 사용자의 의도를 예측하고 선제적인 안내를 제공해야 한다. 본 연구는 정확하고, 지연 시간이 낮으며, 메모리 효율적인 시선 추정이 명시적인 머리 또는 눈의 신호에 의존하지 않고 사용자의 의도를 이해하는 인간 중심 AI 시스템의 근간임을 강조한다. 저자들은 본 연구가 알고리즘적 능력을 발전시키지만, 향후 배포 시에는 민감한 사용자 의도 데이터에 대한 개인정보 보호 및 윤리적 고려 사항을 우선시해야 한다고 언급하였다.