기술 요약: DeepGaze3.5-VL

문제 정의

인간의 시각적 주의력을 시간에 따라 모델링하는 것(스캔패스 예측)은 역사적으로 제약된 레비 탐색(Lévy exploration), 새캐드 편향(saccadic biases), 또는 억제 태깅(inhibitory tagging)과 같이 수작업으로 설계된 기하학적 사전 지식(priors)을 포함하는 특화된 아키텍처에 의존해 왔습니다. 이러한 모델들은 고정(fixation) 시퀀스를 성공적으로 포착하지만, 경직된 구조적 편향으로 인해 확장성과 유연한 조건부 설정에 한계가 있습니다. 작업별 지침을 통합하거나 서로 다른 관찰자의 정체성에 적응시키기 위해서는 전통적으로 맞춤형의 별도 아키텍처 추가가 필요했습니다. 또한, 기존의 생성적 접근 방식(예: 확산 모델, 신경 점 프로세스)은 종종 가즈(gaze) 데이터만으로 처음부터 학습하며, 파운데이션 모델이 보유한 풍부한 순차적 사전 지식을 활용하지 못합니다. 핵심적인 병목 현상은 평가 단계에 남아 있습니다. 연속적 생성 모델은 본질적으로 정확한 공간 확률 밀도를 계산할 수 없으므로, 엄격한 정보 이론적 척도보다는 휴리스틱한 시퀀스 정렬 지표(예: ScanMatch)에 의존해야 하는 상황입니다.

방법론

저자들은 DeepGaze3.5-VL을 제안하며, 이는 스캔패스 예측을 대규모 시각-언어 모델(LVLM)을 사용하는 순수 이산 시퀀스 모델링 작업으로 재정의합니다.

핵심 공식화

• 자기회귀 토큰 예측 (Autoregressive Token Prediction): 연속적인 좌표를 회귀하는 대신, 모델은 가즈를 이산 토큰의 시퀀스로 예측합니다. 공간 좌표 $(x, y)$는 이미지 차원을 따른 백분율 위치를 나타내는 제로 패딩된 두 자리 정수(00–99)로 매핑됩니다. 이는 모든 고정이 정확히 4개의 토큰(x에 2개, y에 2개)을 기여하게 하여, 균일한 토큰 길이를 보장하고 공정한 확률적 비교를 가능하게 합니다.
• LVLM 통합: 시스템은 LoRA(Low-Rank Adaptation)를 통해 미세 조정된 사전 학습된 LVLM(구체적으로 InternVL3.5-8B)을 활용합니다. 모델은 입력 이미지 $I$와 선택적 조건 요소 $C$(예: 작업 설명, 피험자 ID)를 자연어 프롬프트를 통해 인코딩합니다.
• 학습 목표: 모델은 실제 경로(ground-truth) 스캔패스에 대한 표준 차순 토큰 예측(next-token prediction)을 통해 학습됩니다. 자기회귀 구조를 통해 임의의 유효한 고정 시퀀스에 대한 로그 가능도(log-likelihood)를 정확하게 계산할 수 있습니다:
  $$\log P(S \mid I, C) = \sum_{i=1}^{n} \log P((x_i, y_i) \mid I, C, (x_1, y_1), \ldots, (x_{i-1}, y_{i-1}))$$

평가 전략

• 정보 이득 (Information Gain, IG): 저자들은 자기회귀 정렬을 활용하여 중심 편향(center-bias) 베이스라인 대비 개선된 로그 가능도로 정의되는 정확한 정보 이득을 계산합니다. 연속적 모델과 달리, 이 공식화는 휴리스틱 없이도 정확한 공간 확률 밀도를 계산할 수 있게 합니다.
• 효율적 계산: $100 \times 100$ 그리드 전체의 공간 분포(예: AUC용)를 계산하기 위해, 저자들은 프리픽스 트리(prefix tree) 전략을 채택합니다. 공유된 프리픽스에서 Key-Value 상태를 캐싱함으로써, 결합 확률을 4단계 확장(주변 $x_1$, 조건부 $x_2$, 조건부 $y_1$, 조건부 $y_2$)으로 분해하여 10,000번 대신 1,111번의 순방향 패스(forward pass)만 필요로 합니다. IG의 경우, 고정당 4번의 순방향 패스만 필요합니다.

주요 기여

1. 자기회귀 토큰 예측으로서의 공식화: LVLM이 이산 좌표 토큰을 예측하도록 미세 조정함으로써, 저자들은 사전 학습된 의미적 및 순차적 사전 지식을 활용합니다. 이 접근 방식은 MIT1003 데이터셋에서 동일한 백본인 DeepGaze III 대비 46% 향상된 2.18 bits의 정보 이득을 달로하며 최첨단 성능(SOTA)을 달성했습니다.
2. 정확하고 효율적인 평가: 프레임워크는 전체 공간 결합 확률을 분해하기 위해 자기회귀 구조를 활용하여, 대규모 환경에서도 수학적으로 정확하고 빠른 정보 이득 계산을 가능하게 함으로써 주요 평가 병목 현상을 해결했습니다.
3. 유연한 조건부 설정 및 일반화: 모델은 자연어 프롬프트를 통해 다양한 변동 요인을 자연스럽게 흡수합니다. 이 모델은 강력한 분포 외(out-of-distribution) 일반화 능력(Leave-One-Dataset-Out)을 보여주며, 아키텍처 변경 없이 작업 목표(자유 시청 vs 시각 탐색)나 개별 관찰자 정체성에 따라 조건화될 수 있습니다.
4. In-silico 개입: 생성적 프레임워크는 통제된 행동 개입을 위한 계산 도구 역할을 하며, 실험적으로 수행하기 어려운 역사실적 시나리오(예: 고정 지속 시간 변화)를 시뮬레이션할 수 있게 합니다.

결과

• 성능: DeepGaze3.5-VL은 다섯 가지 다양한 데이터셋(MIT1003, COCO-FreeView, CAT2000, DAEMONS, FiGrIm)에서 새로운 SOTA 성능을 구축했습니다. MIT1003에서 이 모델은 (동일한 InternViT-6B 백본으로 재학습된) DeepGaze III의 1.49 bits 대비 2.18 bits의 IG를 달성했습니다.
• 표현의 역할: 성능 향상은 단순히 더 나은 시각적 특징 때문만이 아닙니다. 대조 실험 결과, 우수한 InternViT-6B 인코더를 사용한 DeepGaze III가 여전히 VLM보다 낮은 성능을 보였습니다. 또한, 정보 이득과 MMMU 벤치마크 점수(멀티모달 추론 측정치) 사이에 강한 상관관계($\rho = 0.93$)가 관찰되었으며, 이는 고차원적인 의미론적 이해가 스캔패스 예측 품질을 주도함을 시사합니다.
• 순차적 vs 공간적: 절제 연구(Ablation studies)는 정적 공간적 돌출도(saliency)가 초기 고정을 주도하는 반면, 순차적 의존성(특정 관찰자의 이력)이 후기 고정의 주요 예측 인자가 된다는 것을 밝혀냈습니다. 전체 모델은 특히 스캔패스의 후반 단계에서 "이력 불변(history-invariant)" 및 "공간 전용(spatial-only)" 변형 모델보다 뛰어난 성능을 보였습니다.
• 조건부 효과:
  • 지속 시간 (Duration): 고정 지속 시간에 대한 조건화는 공간 예측을 개선하며, 특히 짧은 고정(<100 ms)에서 알려진 안구 운동 현상(예: 프로그래밍된 새캐드)을 복구합니다.
  • 피험자 정체성 (Subject Identity): 피험자 ID를 제공하면 IG가 +0.09 bits/fixation만큼 향상되어, 모델이 관찰자별로 구별되는 공간적 사전 지식을 학습할 수 있게 합니다.

의의 및 주장

본 논문은 스캔패스 예측을 자기회귀 토큰 예측으로 프레이밍하는 것이 특화된 가즈 모델링과 일반적인 파운데이션 모델 사이의 간극을 메운다고 주장합니다. 저자들은 다음과 같이 단언합니다:

• 의미론적 이해가 핵심이다: 학습된 멀티모달 표현의 품질(MMMU 추론 벤치마크로 측정됨)이 스캔패스 예측의 주요 동력이며, 이는 상위 수준의 작업 목표와 의미론적 이해가 시각적 탐색을 주도한다는 인지 이론을 뒷받침합니다.
• 네이티브 평가: 자기회귀 공식화는 스캔패스 예측을 파운데이션 모델의 네이티브 학습 목표와 일치시켜, 정보 이득이 대리 지표(surrogate metrics) 없이도 다음 토큰 예측 목표의 직접적인 발현이 되도록 합니다.
• 생성적 유용성: 예측을 넘어, 이 프레임워크는 "in-silico" 행동 개입을 위한 강력한 도구 역할을 합니다. 저자들은 모델이 추가적인 데이터 수집 없이도 데이터 통계로부터 알려진 안구 운동 현상(예: 고정 지속 시간에 의한 공간 엔트로피 조절)을 복구할 수 있음을 입증하며, 이를 통해 통제된 시뮬레이션을 가능하게 합니다.

이 연구는 이전 세대의 경직되고 수작업으로 설계된 사전 지식이 더 이상 필요하지 않으며, LVLM에 내재된 순차적 및 의미적 사전 지식만으로도 복잡한 인간의 가즈 역학을 더 유연하고 정확하게 모델링할 수 있음을 시사합니다.