기술 요약: VEGAS – 시선을 통한 인간 정렬 기반 비디오 캡션 평가

1. 문제 정의

시각-언어 모델(VLMs)은 의미론적으로 정확한 비디오 캡션을 생성하는 데 뛰어나지만, 일반적으로 다양한 인간의 해석이 혼합된 크라우드 소싱 주석에 의존합니다. 결과적으로, 이러한 모델들은 개별 시청자의 특정 주의 패턴을 포착하지 못하고 "전역적으로 올바른" 설명을 생성하는 경우가 많습니다. 캡션 인덱스 기반 검색과 같은 응용 분야에서, 주목하지 않은 배경 콘텐츠를 강조하는 일반적인 캡션은 사용자가 자신이 주목했던 특정 객체나 동작을 바탕으로 비디오를 검색하는 것을 어렵게 만들 수 있습니다.

본 논문이 다루는 핵심 문제는 생성된 캡션과 개별 시각적 주의 사이의 불일치입니다. 인간의 시선(gaze)은 시각적 주의의 측정 가능한 대리 지표를 제공하지만, 기존 연구들은 주로 시선을 학습 시의 지도 신호로만 사용해 왔습니다. 본 논문은 기초 모델을 재학습시키지 않고도, 특정 시청자의 초점을 반영하는 개인화된 캡션을 선택하기 위해 **테스트 시점(test time)**에 시선을 활용할 수 있는지 조사합니다.

2. 방법론

2.1 VEGAS 메트릭 (시선 점수를 통한 비디오 캡션 평가)

저자들은 후보 캡션이 시청자의 시선과 얼마나 잘 정렬되는지를 정량화하기 위해, 훈련이 필요 없는 교차 모달 정보 이론적 메트릭인 VEGAS를 제안합니다.

• 정식화: 목표는 캡션 $t$와 시선 신호 $G$ 사이의 상호 정보량(mutual information)을 최대화하는 것입니다. 실제 주변 분포 $P(t)$와 $P(G)$는 계산이 불가능하므로, VEGAS는 고정된 사전 학습된 VLM의 조건부 가능도(conditional likelihoods)를 사용하여 이를 근사합니다.
• 핵심 직관: 시선에 정렬된 캡션은 주목된 영역($G$)만으로도 매우 예측 가능해야 하며, 주목되지 않은 영역($\bar{G}$)은 최소한의 추가 정보만을 기여해야 합니다.
• 정의: VEGAS는 주목된 영역 $G$가 주어졌을 때, 캡션 토큰 $t$와 주목되지 않은 영역 $\bar{G}$ 사이의 점별 조건부 상호 정보량으로 정의됩니다:
  $$\text{VEGAS}(c, G) \triangleq I(t; \bar{G} | G) = \log \frac{P_\theta(t | V)}{P_\theta(t | G)}$$
  여기서 $V$는 전체 비디오이고 $G$는 시선이 머문 비디오입니다.
• 해석: VEGAS 점수가 낮을수록 좋습니다. 이는 해당 캡션이 시선이 머문 영역만으로도 충분히 설명됨을 나타냅니다. 높은 점수는 캡션이 시청자의 초점 외부에 있는 시각적 콘텐츠에 크게 의존하고 있음을 의미합니다.
• 토큰 단위 분해: 이 메트릭은 토큰에 대해 자기회귀적으로 분해되어, 시청자의 시선에 의해 지지되거나 지지되지 않는 특정 의미론적 개념을 식별할 수 있게 해줍니다.

2.2 시선 조건부 거절 샘플링 (Gaze-Conditioned Rejection Sampling)

VEGAS는 기존 VLM을 재학습시키지 않고, 다양한 디코딩 온도를 사용하여 생성된 후보 캡션 풀에서 캡션을 선택하는 데 사용됩니다:

1. 후보 생성: 여러 VLM이 다양한 디코딩 온도를 사용하여 비디오 $V$에 대한 $N$개의 후보 캡션을 생성합니다.
2. 점수 계산: 각 후보 $c_i$에 대해, 시선 신호 $G$를 사용하여 VEGAS 점수를 계산합니다.
3. 선택: 가장 낮은 VE가 점수를 가진 캡션을 선택합니다:
   $$c^* = \arg \min_{c_1, \dots, c_N} \text{VEGAS}(c_i, G)$$
   이 과정은 주목하지 않은 콘텐츠를 설명하는 캡션을 효과적으로 필터링하여, 시청자의 특정 주의 초점과 일치하는 캡션을 선호하게 합니다.

3. 데이터셋 구축

프레임워크를 평가하기 위해, 저자들은 두 가지 도메인에 걸쳐 동기화된 인간의 시선, 시각적 콘텐츠, 그리고 자유 형식의 인간 작성 캡션을 쌍으로 하는 멀티모달 데이터셋을 구축했습니다.

1. Aria Everyday Activities (AEA): Project Aria 스마트 글래스 데이터에서 추출한 332개의 1인칭 시점(egocentric) 비디오 클립입니다. 이 클립들은 구체적인 객체의 모호성을 해결하는 데 시선이 도움이 되는 역동적인 실제 환경의 작업(예: 요리, 컴퓨팅)을 포착합니다.
2. SlideVQA: 30개의 슬라이드 덱에서 추출한 300개의 교육용 슬라이드입니다. 참가자들은 웹캠 기반의 안구 추적을 통해 슬라이드를 시청하고 캡션을 작성했습니다. 이 도메인은 개념적 추상화가 필요한 밀집된 시각 매체에서의 시선 조건부 효과를 테스트합니다.

이 데이터셋은 주의 기반의 의미론적 변이를 포착하는 2,981개의 고품질 인간 주석을 포함합니다.

4. 주요 결과

4.1 의미론적 정렬

• AEA (1인칭 시점): VEGAS로 선택된 캡션은 일반적인 VLM 캡션에 비해 인간 주석과의 의미론적 정렬에서 통계적으로 유의미한 개선을 보였습니다. 평균 SBERT 유사도가 +0.0856 (+13.53%) 증가했습니다 ($p < 0.001$).
• SlideVQA: 개선 폭이 더 작았으며(+0.0256) 통계적으로 유의미하지 않았습니다 ($p = 0.0952$). 저자들은 이를 슬라이드의 특성, 즉 동일한 시각 자료에 대해 여러 유효한 개념적 요약이 존재할 수 있어, 추상적 해석에 대해서는 시선이 약한 선택 도구가 되기 때문이라고 설명합니다.

4.2 캡션-비디오 검색

AEA 데이터셋에서 VEGAS는 캡션-비디오 검색을 위한 인덱스를 구축하는 데 사용되었습니다:

• 성능: VEGAS로 선택된 인덱스는 무작위 VLM 캡션에 비해 검색 지표를 개선했습니다.
  • Precision/Recall/mAP@1: +1.14% 개선.
  • Recall@5: +4.16% 개선.
  • mAP@10: +2.46% 개선.
• 격차 해소: VEGAS는 무작위 기계 선택과 인간-인간 검색 간의 Rank 1 격차 중 약 15%를 회복했으며, Recall@5 및 Recall@10에서는 40% 이상을 회복했습니다. 이는 VEGAS가 항상 최상위 순위에 도달하지는 못하더라도, 올바른 비디오를 상위 몇 개의 후보 안에 효과적으로 배치시킨다는 것을 시사합니다.

4.3 절제 실험 및 진단

• 시선 오염 (Gaze Corruption): 실제 시선을 다른 클립의 무작위 시선으로 대체했을 때 VEGAS 점수가 크게 높아졌으며(정렬 악화), 이는 메트릭이 올바른 시선 신호에 민감함을 확인시켜 줍니다.
• 길이 편향 (Length Bias): 상관관계 분석 결과, VEGAS는 캡션의 길이 나 일반성에 의해 구동되지 않으며, 짧은 캡션을 선택함으로써 개선되는 것이 아님이 밝혀졌습니다.
• 토큰 단위 분석: 정성적 예시들은 VEGAS가 주목하지 않은 영역을 설명하는 토큰(예: 사용자가 "세탁기"를 보고 있을 때 "정원"이라고 설명하는 경우)을 올로바르게 페널티를 부여하고, 시선 고정 지점과 일치하는 토큰을 선호한다는 것을 보여주었습니다.

5. 의의 및 주장

본 논문은 VEGAS가 추론 단계에서 시청자의 주의를 통합하는 실질적인 유용성을 입증한다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 훈련이 필요 없는 메트릭: 대규모 시각-언어 모델을 미세 조정하거나 재학습시키지 않고도 개인화된 캡션을 평가하고 선택하는 방법을 제공합니다.
2. 테스트 시점 조건화: 시선을 학습 시의 지도 신호에서 테스트 시점의 개인화를 위한 조건화 신호로 사용하는 패러다임의 전환을 제시합니다.
3. 도메인 특이성: 시선 조건부 캡션이 구체적인 참조 대상(예: 1인칭 활동)을 모호함을 해소하는 데는 가장 효과적이지만, 자극이 많은 개념적 요약을 지원하는 경우(예: 교육용 슬라이드)에는 진단력이 떨어진다는 점을 밝혀냈습니다.
4. 검색 개선: 시청자의 주의와 일치시킴으로써, VEGAS는 비디오의 의미론적 인덱싱을 개선하여 특정 사용자가 실제로 본 것을 바탕으로 비디오를 더 잘 검색할 수 있게 합니다.

저자들은 VEGAS가 기초 VLM의 한계(예: 환각 현상)를 물려받으며, 시선은 시청자가 어디를 보는지 나타내지만 복잡한 시각적 관계를 어떻게 해석하는지는 반드시 나타내지 않는다는 점을 언급하며 겸허한 태도를 유지합니다. 향후 연구로는 암시적 주의 대리물(예: 살리언시 모델) 탐색 및 VEGAS를 학습 목표로 증류(distillation)하는 방안이 제안되었습니다.