💻 computer science

TextGaze: Prompting Gaze Target Estimation with Textual Scene Cues

본 논문은 대규모 시각-언어 모델을 활용하여 확장 가능한 텍스트 장면 단서를 제공함으로써, 다양한 데이터셋에 걸쳐 시각적 돌출도와 실제 시선 의도 사이의 균형을 맞추는 견고하고 주석 효율적인 시선 대상 추정을 가능하게 하는 통합 크로스 모달 아키텍처인 TextGaze를 제안한다.

원저자: Junhui She, Fei Wang, Kun Li, Yiqi Nie, Yuxin Liu, Zhangling Duan, Xun Yang

게시일 2026-07-14

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Junhui She, Fei Wang, Kun Li, Yiqi Nie, Yuxin Liu, Zhangling Duan, Xun Yang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

복잡한 사진 속에서 사람이 어디를 보고 있는지 추측하는 일을 상상해 보세요. 그것은 마치 단체 셀카 속의 친구들 중 누가 숨겨진 쿠키를 빤히 쳐히다 보고 있는지 알아내는 것과 같습니다. 오랫동안 컴퓨터 과학자들은 "멀티 브랜치(multi-branch)" 기계를 구축함으로써 이 문제를 해결하려고 노력했습니다. 이것들을 각각 특정한 임무를 가진 탐정 팀이라고 생각하면 됩니다. 한 명은 사람의 머리를 확인하고, 다른 한 명은 방의 깊이를 측정하며, 세 번째는 자세를 분석하고, 네 번째는 눈을 분석합니다. 이 방식이 철저해 보이긴 하지만, 이 논문은 이것이 마치 잃어버린 열쇠 하나를 찾기 위해 경찰력을 총동원하는 것과 같다고 주장합니다. 모든 탐정에게 엄청난 양의 추가 학습 데이터(주석)가 필요하기 때문에, 시스템이 학습하기 어렵고 새로운 장소로 옮겨가기도 힘들어집니다.

반면에, 더 단순한 최신 방법들은 "1인 주인공"이 되려고 시도합니다. 그들은 사진을 보고 무엇인가 반짝이거나 흥미로워 보이는 것을 바탕으로 추측합니다. 하지만 이 논문은 이러한 단순한 방법들이 가진 주요 결함을 지적합니다. 이들은 "시각적 노이즈"에 의해 쉽게 주의가 분산될 수 있습니다. 예를 들어, 사람은 실제로는 지루한 회색 벽을 보고 있음에도 불구하고, 가장 화려한 색을 가진 밝은 빨간색 모자를 보고 있다고 착각할 수 있습니다. 논문은 이를 "의미론적 초점 이탈(semantic defocus)"이라고 부릅니다. 즉, 컴퓨터가 물체는 보지만 그 '의도'는 놓치는 것입니다.

여기에 TextGaze라는 새로운 영웅이 등장합니다. 저자들은 너무 많은 탐정 팀을 필요로 하지 않으면서도, 쉽게 주의가 분산되지 않는 영리한 절충안을 제안합니다. 그들은 "대규모 시각-언어 모델(LVLM)"을 사용하는데, 이는 사진을 보고 그것을 글로 묘사할 수 있는 아주 똑똑하고 박식한 사서라고 생각하면 됩니다.

TextGaze의 작동 방식은 다음과 같습니다:

사서의 묘사: 단순히 픽셀을 응시하는 대신, 시스템은 LVLM에게 장면을 설명하는 짧은 이야기를 써달라고 요청합니다. 예를 들어, "노란색 유니폼을 입은 남자가 자신의 오른쪽 아래를 내려다보고 있다"라고 말할 수 있습니다.
융합: 시스템은 이 글자들을 시각적인 이미지와 혼합합니다. 이는 마치 컴퓨터가 지형을 탐험하는 동안 지도(텍스트)를 함께 들고 다니는 것과 같습니다. 이를 통해 컴퓨터는 단순히 빛나는 물체가 어디에 있는지가 아니라, 왜 누군가가 그곳을 보고 있는지 이해할 수 있게 됩니다.
안전망: 컴퓨터가 수학 계산을 하는 동안 이야기를 잊어버리지 않도록, 저자들은 특별한 "감독(supervision)" 단계를 추가했습니다. 이는 마치 선생님이 학생이 수업 중에 딴짓을 하지 않도록 매 단계마다 노트를 확인하는 것과 같습니다.

연구진은 이 아이디어를 네 가지 서로 다른 데이터셋, 즉 AI의 두뇌를 훈련하는 데 사용되는 거대한 사진 및 영상 모음집에서 테스트했습니다. 결과는 매우 유망했습니다. GazeFollow 데이터셋에서, 이 새로운 방법은 더 큰 "ViT-L" 백본을 사용할 때 AUC 0.956(높을수록 좋으며 1.0이 완벽함)을 달성했고, 평균 오차 거리(Avg L2)는 단 0.099 픽셀에 불과했습니다. 이는 기존의 최고 모델들이 요구했던 추가적인 "깊이"나 "자세" 데이터 없이도, 기존의 우수한 방법들과 매우 근접한 성능을 보여주었음을 의미합니다.

정말 멋진 점은 이 모델이 본 적 없는 새로운 상황을 얼마나 잘 처리했는가 하는 점입니다. 연구팀이 별도의 추가 훈련 없이 일상적인 쇼핑 상황을 담은 GOO-Real 데이터셋에서 TextGaze를 테스트했을 때, 이 모델은 여전히 차트 상위권에 머물며 AUC 0.918과 L2 오차 0.159를 기록했습니다. 이는 "사서" 방식이 단순히 시각적 패턴을 암기하는 것보다 더 잘 일반화할 수 있음을 시사합니다.

저자들은 자신들의 방법이 간결하고 효과적이긴 하지만, 모든 것을 즉시 해결하는 마법 지팡이는 아니라는 점을 주의 깊게 언급합니다. 그들은 좋은 결과를 얻기 위해 복잡한 멀티 브랜치 시스템이나 추가 센서가 반드시 필요하다는 생각에 명시적으로 반대합니다. 또한, 저수준의 시각적 기교에만 의존하는 것에도 반대합니다. 대신, 그들은 "텍ual 이해"의 층을 더하는 것이 이미지를 보는 것과 인간의 의도를 이해하는 것 사이의 간극을 메우는 핵심이라고 제안합니다.

요약하자면, TextGaze는 컴퓨터에게 약간의 "이야기하기" 능력을 부여하는 것이 단순히 사진을 빤히 쳐다보는 것보다 사람이 어디를 보고 있는지 훨씬 더 잘 파악하게 해준다는 것을 보여줍니다. 이는 기계에게 분위기를 읽는 법을 가르치는 유쾌하고 효율적이며 놀라울 정도로 정확한 방법입니다.

기술 요약: TextGaze

문제 정의

시선 대상 추정(Gaze target estimation)은 장면 내에서 사람의 시선 위치를 추론하거나, 시선 대상이 이미지 프레임 내에 있는지 여부를 결정하는 것을 목표로 합니다. 본 논문은 기존 방식들의 두 가지 주요 한계점을 식별합니다:

멀티 브랜치(Multi-branch) 방식: 이러한 구조는 별도의 브랜치를 통해 보조 단서(예: 깊이, 포즈, 머리 특징)를 포함합니다. 이는 시각적 표현을 풍부하게 하지만, 상당한 주석 부담을 초축하고, 구조적 복잡성으로 인해 수렴을 늦추며, 도메인 전이를 방해합니다. 또한, 이들은 유효한 시선 대상을 추론할 수 없는 기하학적 필터로 기능하는 경우가 많아 "의미적 미지정(semantic under-specification)" 문제를 야기합니다.
간소화된/프롬프트 튜닝(Streamlined/Prompt-tuning) 방식: 최근의 접근 방식들은 파운데이션 모델과 위치 프롬프트를 사용하여 구조를 단순화하려고 시도합니다. 그러나 이러한 방식들은 모델이 실제 시선 의도보다는 저수준의 시각적 돌출도(공간적 근접성, 시각적 돌성 등)에 의존하게 되는 "의미적 초점 흐림(semantic defocus)" 현상을 겪는 경우가 많으며, 이로 인해 예측된 주의 집중과 실제 시선 대상 간의 불일치가 발생합니다.

핵심 과제는 멀티 브랜치 구조를 다시 도입하지 않으면서도, 순수한 기하학적 회귀를 넘어 의도 수준의 추론으로 나아가기 위해 의미적 가이드의 필요성과 구조적 단순성 사이의 균 균형을 맞추는 것입니다.

방법론: TextGaze

저자들은 확장 가능한 의미적 가이드로서 거대 시각-언어 모델(LVLM)을 활용하는 통합 크로스 모달 아키텍처인 TextGaze를 제안합니다. 이 프레임워크는 시선 추정을 직접적인 기하학적 회귀에서 의미 계층을 통한 의도 인식 과정으로 전환합니다.

1. 아키텍처 개요

모델은 세 가지 핵심 구성 요소로 이루어집니다:

LVLM 기반 텍스트 장면 단서 모듈: 동결된 LVLM(실험에서는 Qwen2.5-VL-7B-Instruct 사용)에 프롬프트를 제공하여 피사체의 외형, 행동 및 대략적인 시선 방향에 대한 구조화된 텍스트 설명을 생성합니다. 이러한 자연어 출력은 동결된 BERT 텍text 인코더에 의해 조밀한 임베딩( $S_t$ )으로 인코딩됩니다. 이 모듈은 LVLM이 신뢰할 수 없는 프레임 외부 대상에 대해 명시적인 시선 대상 위치를 요구하지 않으면서도 고수준의 의미적 사전 정보(객체, 행동)를 제공합니다.
특징 토큰 시퀀스 처리 모듈:
- 시각적 스트림: 동결된 DINOv2 인코더가 미세한 장면 특징( $F_v$ )을 추출합니다. 타겟에 대한 민감도를 높이기 위해 머리 바운딩 박스를 기반으로 마스크드 변조(masked modulation)를 통해 학습 가능한 헤드 토큰 임베딩이 추가됩니다.
- 융합: 텍스트와 시각적 특징 시퀀스가 결합됩니다. 프레임 내/외 분류 작업을 위해 학습 가능한 토큰( $z_{in/out}$ )이 전치(prepend)됩니다.
크로스 모달 융합 및 예측 모듈:
- 융법 트랜스포머(Fusion Transformer): 후방 정규화(post-normalization)가 적용된 3계층 스택 트랜스포머가 텍스트와 시각적 토큰을 통합합니다. 이는 모달리티 간의 제한 없는 상호작용을 허용하기 위해 다중 헤드 셀프 어텐션(MHSA)을 사용합니다.
- 계층적 텍스트 감독(Hierarchical Text Supervision): 딥 퓨전 과정에서 작업 관련 텍스트 의미가 저하되는 것을 방기하기 위해, 저자들은 계층적 텍스트 일관성 감독 메커니즘을 도입합니다. 이는 중간 텍스트 토큰을 원래의 텍스트 인코더 특징으로 투영하고 평균 제곱 오차(MSE)를 최소화함으로써 모든 트랜스포머 레이어 전반에 걸쳐 의미적 정렬을 강제합니다.
- 예측 헤드: 경량 디코더가 가우시안 타겟을 이용한 픽셀 단위 BCE 손실로 감독되는 시선 히트맵과 프레임 내/외 상태에 대한 스칼라 확률을 생성합니다.

2. 학습 목적 함수

전체 손실 함수는 히트맵 손실( $L_{heat}$ ), 내/외 분류 손실( $L_{in/out}$ ), 그리고 계층적 텍스트 감독 손실( $L_{text}$ )을 결합합니다:
$L_{all} = L_{heat} + \lambda_1 L_{in/out} + \lambda_2 L_{text}$

주요 기여

텍스트 장면 단서: 본 논문은 의미적 초점 흐림을 완화하기 위해 텍스트 장면 단서를 시선 대상 추정에 통합하는 것을 소개합니다. LVLM을 사용하여 보조적인 의미 정보(외형, 행동, 의도)를 생성함으로써, 모델은 멀티 브랜치 설계의 복잡성 없이 고수준의 사전 정보를 얻습니다.
강화된 벤치마크: 저자들은 LVLM 지향적 프롬프트를 사용하여 장면-대상-사람의 어텐션 필드를 통합함으로써 GazeFollow 및 VideoAttentionTarget 벤치마크를 강화하고, 텍스트 보조 시선 추정 정확도를 향상시키는 견고한 맥락적 단서를 생성했습니다.
통합 듀얼 스트림 프레임워크: 미세한 시각적 표현과 텍스트 임베딩을 결합하는 새로운 크로스 모달 융합 프레임워크를 설계했습니다. 이 접근 방식은 인간의 하향식 주의 집중을 모방하여, 간소화된 파이프라인을 유지하면서도 공간적 추론과 장면 적응성을 향상시킵니다.

실험 결과

본 방법은 네 가지 주요 데이터셋인 GazeFollow, VideoAttentionTarget, ChildPlay, GOO-Real에서 평가되었습니다.

최첨단 성능(SOTA): GazeFollow에서 TextGaze(DINOv2 ViT-L 사용)는 경쟁력 있는 결과를 얻었으며, 가장 낮은 평균 L2 오차(0.099)와 최상의 최소 L2(0.043)를 달 기록하는 동시에 높은 AUC(0.956)를 유지했습니다. VideoAttentionTarget에서는 프레임 내/외 예측에 대한 AUC, L2 오차 및 AP 지표 모두에서 기존 방식들을 능가했습니다.
교차 데이터셋 일반화: 미세 조정이나 프롬프트 수정 없이도 TextGaze는 견고한 일반화 능력을 보여주었습니다:
- GOO-Real(실제 쇼핑 시나리오)에서 AUC와 L2 지표 모두에서 최첨단 성능을 달성했습니다.
- ChildPlay(어린이의 시선)에서 프레임 내/외 분류를 위한 AP 지표에서 모든 베이스라인을 능가하여, 존재 탐지를 위한 LVLM 유도 단서의 효과를 입증했습니다.
절제 연구(Ablation Studies): 실험을 통해 트랜스포머 기반 융합 전략이 가산(additive) 및 교차 어텐션(cross-attention) 융합보다 우수함을 확인했습니다. 또한, 계층적 텍스트 감독, 시각적 잔차 연결, 특정 위치 임베딩의 동시 활성화가 최적의 성능을 낸다는 것을 확인하여 이 구성 요소들의 상호 보완성을 검증했습니다.

의의 및 주장

본 논문은 TextGaze가 전통적인 멀티 브랜치 설계에 대한 간소화된 대안을 제공한다고 주장합니다. LVLM을 접근 가능한 보조 가이드로 활용함으로써, 이 방법은 멀티 브랜치 시스템의 높은 주석 비용과 간소화된 시각 전용 모델의 의미적 한계 사이의 트레이드오프를 성공적으로 해결합니다.

저자들은 시선 추종(gaze following)이 순수한 기하학적 회귀 작업이 아니라 본질적으로 의도 수준의 추론 문제임을 강조합니다. TextGaze는 "픽셀에서 좌표로"가 아닌 "픽셀에서 의미적 의도로, 다시 시선 대상으로"로 패러다임을 전환함으로써 이를 해결합니다. 결과는 LVLM이 시각과 고수준의 의도를 효과적으로 연결할 수 있음을 입증하며, 중복된 브랜치나 광범한 도메인 특화 주석 없이도 복잡한 장면에서 시선 추정을 위한 확장 가능한 솔루션을 제공함을 보여줍니다.