💻 computer science

Gaze-to-text Generation: Beyond Categorical Decoding of Human Attention

이 논문은 멀티모달 거대 언어 모델과 합성된 "생각 소리 내어 말하기(think-aloud)" 전사 데이터를 활용하여 인간의 시선 스캔패스를 목표에 대한 자유 형식의 자연어 기술로 해독하는 새로운 프레임워크인 Gazette를 소개하며, 이를 통해 기존의 범주적 해독을 넘어 인간 의도의 개방적인 뉘앙스를 포착합니다.

원저자: Sounak Mondal, Dimitris Samaras, Gregory Zelinsky, Minh Hoai

게시일 2026-07-28

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sounak Mondal, Dimitris Samaras, Gregory Zelinsky, Minh Hoai

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신의 눈을 어두운 방 안의 손전등 불빛이라고 상상해 보세요. 당신이 무언가를 볼 때, 그 불빛은 가만히 머물러 있는 것이 아니라 아주 짧은 찰나의 순간 동안 이곳저곳을 빠르게 움직입니다. 이러한 움직임의 패턴을 "스캔패스(scanpath)"라고 부릅니다. 오랫동안 과학자들은 당신의 손전등 불빛이 어디에 닿는지를 관찰함으로써 당신이 무엇을 생각하고 있는지 알아내려 노력해 왔습니다. 보통 그들은 이를 객관식 퀴즈처럼 다루었습니다. 그들은 "이 사람이 고양이를 찾고 있나요, 아니면 개를 찾고 있나요?"라고 묻고, 컴퓨터는 정해진 목록 중 하나의 답을 선택하게 했습니다. 하지만 인간의 생각은 복잡하고 창의적입니다. 때때로 당신은 단순히 "개"를 찾는 것이 아니라, "소파 뒤에 숨어 있는 빨간 스카프를 두른 지저прав한 황금빛 리트리버"를 찾고 있는 것일 수도 있습니다. 질문하는 방식이 너무 단순했기에 그런 종류의 세밀함을 포Capture할 수 없었던 것입니다. 여기서 "시선 디코딩(gaze decoding)"이라는 새로운 분야가 등장하여, 눈의 움직임을 우리 머릿속에서 일어나는 풍부하고 열린 결말의 이야기로 번역하려고 시도합니다.

이 퍼즐을 풀기 위한 영리하고 새로운 방법을 소개하는 새로운 연구 논문이 등장했습니다. 스토니브룩 대학교와 애들레이드 대학교의 연구진은 Gazette라는 시스템을 구축했습니다. Gazette는 컴퓨터가 여러 선택지 중 하나를 고르도록 강요하는 대신, 사람이 하는 것처럼 자연어를 사용하여 사람이 무엇을 찾고 있는지에 대한 자유로운 형식의 이야기를 쓰도록 설계되었습니다. 이것은 경직된 체크리스트에서, 당신이 무엇을 보는지 정확하게 묘사할 수 있는 창의적인 작가로 업그레이드하는 것과 같습니다.

연구진이 직면한 큰 문제는 사람들이 같은 것을 보고 있더라도 저마다 눈을 움직이는 방식이 조금씩 다르다는 점이었습니다. 만약 열 명의 사람에게 "빨간 자동차"를 찾아보라고 한다면, 열 명의 사람은 각기 조금씩 다른 방식으로 자동차를 볼 것입니다. 어떤 사람은 바퀴를 먼저 볼 수도 있고, 다른 사람은 창문을 먼저 볼 수도 있습니다. 만약 당신이 단 한 사람의 눈 움직임만을 컴퓨터에 보여준다면, 컴퓨터는 그 모든 개인적인 습관 때문에 혼란에 빠질 것입니다. 이는 마치 한 사람이 음이 이탈하며 흥얼거리는 노래를 듣고 곡을 추측하려는 것과 같습니다. 선율은 들릴지 몰라도 소음 때문에 확신하기 어려울 것입니다.

이를 해결하기 위해 팀은 "생각하며 말하기(think-aloud)" 전략을 이용한 영리한 묘수를 찾아냈습니다. 그들은 사람들의 눈 움직임은 제각각 다르지만, 움직이는 이유는 같다는 점을 깨달았습니다. 그래서 그들은 강력한 AI(GPT-4)를 사용하여 특정 물체를 찾으려고 노력하는 여러 사람의 눈 움직임을 살펴보게 했습니다. AI는 탐정처럼 개인의 특이한 습관들을 무시하고, 공통된 패턴, 즉 인간이 특정 사물을 찾는 데 필요한 "비밀 레시피"를 찾아냈습니다. 그 후 AI는 "먼저 큰 형태를 보고, 그다음 빨간 부분을 확대하라"와 같이 전략을 설명하는 "생각하며 말하기 전사본(transcript)"을 작성했습니다.

그들은 이 새로운 모델인 Gazette가 이 AI 생성 이야기와 눈의 움직임을 함께 읽도록 학습시켰습니다. 이는 모델이 "목표(사람이 찾고 있는 것)"와 "소음(사람의 고유한 방식)"을 구분하는 법을 배우는 데 도움이 되었습니다. 테스트 결과, Gazette는 이전 방식들보다 목표를 훨씬 더 잘 맞혔습니다. 예를 들어, 사진 속 특정 자동차를 찾으라는 요청을 받았을 때, Gazette는 단순히 "자동차"라고 말하는 데 그치지 않고 "오른쪽 상단에 있는 검은색 자동차"라고 말할 수 있었으며, 까다로운 과제에서도 높은 정확도를 보였습니다.

이 논문은 컴퓨터에게 눈의 움직임 그 자체뿐만 아니라 그 움직임 뒤에 숨겨진 전략을 가르침으로써, 우리가 인간의 의도를 훨씬 더 상세하게 해독할 수 있다는 것을 보여줍니다. 이 시스템은 사람들이 찾는 것에 대해 의견이 일치할 때(예: 특정 물체 찾기) 가장 잘 작동하지만, 이는 우리가 단순히 어디를 보느냐를 관찰함으로써 컴퓨터가 우리의 목표를 이해할 수 있는 미래에 더 가까워지고 있음을 시사합니다. 이는 더 나은 보조 기술과 우리가 세상과 상호작용하는 방식에 대한 더 깊은 이해로 가는 문을 열어줍니다.

기술 요약: Gazette – Gaze-to-Text Generation (시선-텍스트 생성)

문제 정의
본 논문은 기존의 시선 디코딩 방식이 가진 한계를 다룹니다. 기존 방식은 일반적으로 시선 디코딩을 고정된 사전 정의 카테고리(예: 제한된 어휘 내에서 특정 객체를 식별하는 것)에 대한 판별적 분류 문제로 프레임화합니다. 저자들은 이러한 범주적 접근 방식이 본질적으로 제약이 있으며, 이커머스, 교육 분석, 보조 기술과 같은 실제 응용 분야에서 요구되는 미세한 세부 사항과 개방형 표현력을 결-여하고 있다고 주장합니다. 대신, 본 논문은 새로운 학습 문제인 **Gaze-to-Text Generation(시선-텍스트 생성)**을 제안합니다. 이 목표는 인간의 시선 스캔패스(scanpath)를 단순한 객체 레이블부터 복잡하고 맥락이 풍부한 참조 표현(referring expressions) 또는 질문에 이르기까지, 인간의 목표와 의도를 담은 자유 형식의 자연어 설명으로 디코딩하는 것입니다.

방법론: Gazette 프레임워크
저자들은 멀티모달 거대 언어 모델(MLLM)을 기반으로 구축된 최초의 시선-텍스트 디코딩용 생성 프레임워크인 Gazette를 소개합니다.

아키텍처: Gazette는 LLaVA-1.5-7B 파운데이션 모델을 확장한 것입니다. 이 모델은 입력 이미지 $I$ 와 좌표 및 지속 시간을 포함한 시선 스캔패스 $S$ (텍스트로 인코딩됨), 그리고 언어 지시문(instruction)을 입력으로 받습니다. 모델은 다음을 포함하는 인지적 맥락의 자연어 설명 $D$ 를 출력합니다:
- 거친 행동 유형(Coarse Behavior Type): 목표 지향적 행동의 범주 (예: 대상 존재/부재 시각 탐색, 객체 참조, 시각적 질의응답).
- 미세 수준 자극(Fine-Level Stimulus): 구체적인 목표 (예: 대상 카테고리, 참조 표현 또는 질문).
개별 변동성의 문제: 식별된 핵심 과제는 시선 신호가 개인차에 의해 혼동될 수 있다는 점입니다. 동일한 목표를 가지고 있더라도 참가자마다 서로 다른 스캔패스를 보입니다. 이미지-스캔패스-목표 삼중항(triplet)에 대한 표준적인 인스트럭션 튜닝은 모델이 목표 중심의 신호와 참가자 특유의 노이즈를 분리하는 데 어려움을 겪기 때문에 실패하는 경우가 많습니다.
Think-Aloud 전사 생성 (보조 작업): 이 분리 문제를 해결하기 위해 저자들은 ThinkAloud라고 불리는 새로운 보조 학습 목적 함수를 제안합니다.
- 개념: 저자들은 동일한 이미지에서 동일한 과제를 수행하는 여러 참가자의 스캔패스는 다르더라도, 근본적인 목표 지향적 주의 할당 전략(attention allocation strategy)은 참가자 간에 불변한다는 이론적 통찰을 활용합니다.
- 구현: 저자들은 GPT-4를 사용하여 동일한 목표와 이미지를 공유하는 여러 참가자의 스캔패스를 분석합니다. GPT-4는 공통적인 시공간적 패턴과 상향식(top-down) 주의 할당 전략을 설명하는 **"Think-Aloud 전사(transcripts)"**를 합성하여, 개인의 특이성을 효과적으로 필터링합니다.
- 학습 데이터: 이 전사본은 모델이 이미지와 단일 스캔패스가 주어졌을 때 주의 할당 전략을 생성하도록 학습하는 보조 작업을 위한 의사 주석(pseudo-annotations) 역할을 합니다. 전사본에는 세 가지 "아이디어 단위(idea units)"가 포함됩니다: (i) 상향식 주의 할당 설명, (ii) 추론된 타겟 위치(경계 상자), (iii) 스캔패스 길이.
- 인스트럭션 튜닝: Gazette는 기본 작업인 GazeDec(목표 디코딩)과 보조 작업인 ThinkAloud(전략 설명 생성)의 조합을 통해 LoRA(Low-Rank Adaptation)를 사용하여 미세 조정됩니다.

주요 기여

태스크 정식화: 목표가 고정된 카테고리가 아닌 개방형 어휘의 자연어로 표현되는 무제한 시선 디코딩을 도입했습니다.
Gazette 프레임워크: 상향식 주의(top-down attention)를 디코딩하기 위해 특별히 설계된 최초의 텍스트 생성형 MLLM 기반 프레임워크를 개발했습니다.
보조 목적 함수: ThinkAloud 전사 예측 작업을 제안했습니다. 이 전략은 여러 관찰자 간의 공유된 불변성을 활용하여 모델이 개인별 변동성을 필터링하도록 도움으로써 디코딩 성능을 크게 향상시킵니다.

실험 결과
저자들은 세 가지 데이터셋(COCO-Search18 (시각 탐색), RefCOCO-Gaze (객체 참조), AiR-D (시각적 질의응답))에 대해 Gazette를 평가했습니다.

생성 작업 (객체 참조 및 VQA):
- Gazette는 어휘 중첩 지표(BLEU, METEOR, ROUGE, CIDEr)에서 베이스라인(표준 LLaVA-1.5 및 "마지막 고정점" 베이스라인 포함)을 크게 앞질렀습니다.
- LLM-as-a-Judge 패러다임(유창성, 관련성, 정확성을 평가하기 위해 GPT-4 사용) 하에서, Gazette는 ThinkAloud 작업 없이 학습된 변형 모델("w/o ThinkAloud")보다 높은 점수를 기록했습니다.
- 결과는 ThinkAloud 작업이 모델이 복잡한 추론 과정과 주의 할당 전략을 학습하도록 도와 더 정확하고 맥락에 맞는 설명을 생성하게 함을 보여줍니다.
예측 작업 (시각 탐색):
- COCO-Search18 데이터셋에서 Gazette는 최첨단(SOTA) 또는 이에 근접한 성능을 달了했습니다.
- 대상 존재(Target-Present) 탐색의 경우, Gazette는 77.3%의 정확도를 달성하여 이전의 최첨단 성능(Mondal 등의 77.6%)에 거의 근접했습니다.
- 대상 부재(Target-Absent) 탐색의 경우, Gazette는 이전 방법들(Mondal 등의 38.7%)보다 유의미하게 높은 성능(44.3% 정확도)을 보였습니다.
- 저자들은 대상 부재 탐색에서의 개선 폭이 상대적으로 적은 점을 언급하며, 이는 해당 작업에서 관찰자 간 일치도가 낮아 공유 패턴 추출 전략의 효용성이 감소하기 때문이라고 설명했습니다.

의의 및 주장
본 논문은 Gazette가 시선을 미세한 의미적 세부 사항을 가진 인간의 목표를 추론하는 강력하고 비침습적인 단서로 기능하게 하여, 고정된 분류 체계의 한계를 넘어설 수 있다고 주장합니다. ThinkAloud 전략을 통해 목표 특이적 역동성을 개인의 노이즈로부터 성공적으로 분리함으로써, 이 프레임워크는 다양한 상향식 주의 작업에 대한 일반화 가능성을 입증했습니다.

저자들은 이 연구를 사용자가 무엇을 찾고 있는지(예: 쇼핑 시 특정 스타일 선호도, 교육에서의 개념적 집중, 또는 AR에서의 내비게이션 의도)를 이해하는 것이 중요한 실제 응용 분야를 향한 단계로 포지셔닝합니다. 저자들은 한계점 또한 인정하는데, 구체적으로 이 방법이 관찰자 간 일치성에 의존하며(일치도가 낮은 작업에서는 성능이 저하됨), GPT-4 생성 전사가 실제 참가자의 인지보다는 LLM의 학습된 사전 지식으로부터 유래된 편향을 가질 수 있다는 점입니다. 그럼에도 불구하고, 그들은 이 접근 방식이 MLLM을 사용하여 인간의 주의와 정신 상태를 이해하는 새로운 길을 열었다고 단언합니다.

유사한 논문