💬 NLP

Eyettention II: A Dual-Sequence Architecture for Modeling Fixation Location, Within-Word Landing Position, and Fixation Duration in Reading

안구 추적 데이터의 부족 문제를 해결하기 위해, 본 논문은 인지 이론과 정렬됨으로써 인간과 유사한 시선 행동을 예측하는 데 있어 최첨단 모델들을 능가하고 현실적인 다중 속성 읽기 스캔패스를 생성하는 경량화된 엔드 투 엔드 딥러닝 모델인 Eyettention II를 소개한다.

원저자: Shuwen Deng, Cui Ding, David R. Reich, Paul Prasse, Lena A. Jäger

게시일 2026-06-02

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Shuwen Deng, Cui Ding, David R. Reich, Paul Prasse, Lena A. Jäger

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 책을 읽고 있다고 상상해 보세요. 당신의 눈은 고속도로 위의 자동차처럼 페이지 위를 매끄럽게 미끄러져 가는 것이 아니라, 특정 단어에 머무는 "고정(fixations)"이라는 작은 도약 과정을 거칩니다. 때로는 앞으로 건너뛰기도 하고, 때로는 다시 뒤로 돌아가 재독하기도 하죠. 이러한 점프 패턴을 **스캔패스(scanpath)**라고 부릅니다.

수십 년 동안 과학자들은 당신의 눈이 정확히 어디에 착륙하고 그곳에 얼마나 머물지를 예측할 수 있는 컴퓨터 모델을 만들기 위해 노력해 왔습니다. 문제는 실제 안구 추적 데이터를 수집하는 것이 매우 비싸고 느리다는 점입니다. 이는 마치 모든 배우가 머리에 특수 카메라를 쓰고 촬영해야 하는 영화를 찍는 것과 같습니다. "실제" 영상 데이터가 충분하지 않기 때문에, 컴퓨터가 이러한 점프를 잘 예측하도록 훈련하기가 어렵습니다.

여기에 Eyettention II가 등장합니다. 이 새로운 모델을 숙련된 시뮬레이터 또는 가상 안구 추적기라고 생각해보세요. 이것은 텍uff의 어떤 텍스트에 대해서도 눈이 어디에 착륙하는지, 단어의 정확히 어느 지점에 멈추는지, 그리고 얼마나 오래 머무는지까지 포함하여 현실적인 "가짜" 안구 움직임 데이터를 생성할 수 있는 소프트웨어입니다.

다음은 이 논문이 발견한 내용을 쉬운 비유를 사용하여 설명한 내용입니다.

1. "이중 시퀀스(Dual-Sequence)" 퍼즐

대부분의 컴퓨터 모델은 독서를 단순히 리스트처럼 취급합니다: 단어 1, 단어 2, 단어 3. 하지만 인간의 독서는 복잡합니다. 우리는 단어를 건너뛰기도 하고, 뒤로 돌아가기도 하며, 긴 단어를 짧은 단어보다 더 오래 응시하기도 합니다.

저자들은 Eyettention II를 이중 시퀀스 설계자라고 설명합니다. 두 개의 컨베이어 벨트가 나란히 달리고 있다고 상상해 보세요:

벨트 A (텍스트): 문장에 나타나는 순서대로의 단어들.
벨트 B (시간): 당신의 눈이 실제로 사물을 보는 순서.

당신의 눈은 항상 텍스트를 완벽하게 따르지 않기 때문에(예를 들어, 시작 부분으로 다시 돌아갈 수 있음), 이 두 벨트는 서로 어긋나게 됩니다. Eyettention II는 특별한데, 왜냐하면 두 벨트를 동시에 관찰하는 "교통 제어사(cross-attention mechanism)"를 가지고 있기 때문입니다. 이 제어사는 텍스트상으로는 다음이 "단어 5"일지라도, 당신의 눈은 실제로 "단어 2"로 되돌아갈 수 있다는 것을 알고 있습니다. 이를 통해 인간이 실제로 읽는 혼란스럽고 비선형적인 방식을 모방할 수 있습니다.

2. 무엇을 예측하는가?

기존의 모델들이 단순히 어느 도시에 있는지만 알려주는 GPS였다면, Eyettention II는 고해definition GPS와 같습니다. 다음을 알려줍니다:

도시 (단어 인덱스): 어떤 단어를 보고 있는가?
상세 주소 (착륙 위치): 그 단어의 정확히 어느 지점에 눈이 착륙하는가? (예: 단어의 시작, 중간, 또는 끝)
체류 시간 (지속 시간): 그곳에 얼마나 오래 머무는가?

이 모델은 마치 사람이 실시간으로 읽는 것처럼 이 세 가지 요소를 차례대로 생성합니다.

3. "퍼스널 트레이너" 모드

논문은 또한 Eyettention IIreader라는 특별한 버전을 소개합니다.
평균적인 사람의 달리기 스타일을 아는 일반적인 피트니스 코스가 있다고 상상해 보세요. 하지만 만약 당신만의 구체적인 달리기 스타일을 아는 코스를 원한다면 어떨까요? 이 버전의 모델은 특정 개인(또는 집단)에게 "조율(tuning)"될 수 있습니다. 만약 특정 독자의 데이터를 입력하면, 모델은 그들의 고유한 습관을 학습합니다. 예를 들어, 그들이 짧은 단어를 더 자주 건너뛰는지, 혹은 어려운 단어를 더 오래 응시하는지 등을 배워서, 그 특정 인물의 안구 움직임을 시뮬레이션할 수 있습니다.

4. 얼마나 뛰어난가?

연구진은 영어와 중국어 텍스트(두 가지 매우 다른 언어)를 사용하여 이 모델을 테스트했습니다. 그들은 다음과 같은 대상들과 비교했습니다:

이전의 AI 모델들: 새로운 모델이 더 높은 정확도로 안구 움직임을 예측하며 승리했습니다.
고전적 "인지(Cognitive)" 모델들: 이들은 심리학자들이 인간의 사고를 모방하기 위해 만든 오래된 규칙 기반 모델들입니다. Eyettention II는 이 모델들도 이겼으며, 이는 데이터 기반 접근 방식가 단순한 규칙이 놓칠 수 있는 복잡한 패턴을 포착할 수 있음을 보여주었습니다.
실제 인간: 흥미롭게도, 모델이 생성한 "가짜" 안구 움직임은 실제 인간들 사이의 차이보다 서로 더 유사했습니다. 이는 실제 인간은 무질서하고 다양하게 변하는 반면, 모델은 "평균적인" 인간의 패턴을 찾아내기 때문입니다.

5. 왜 가짜 안구 추적기가 필요한가?

논문은 시간과 비용을 절약하는 것과 관련된 세 가지 주요 이유를 강조합니다:

"파일럿 테스트" (실험 계획): 과학자가 실제 사람 50명을 대상으로 실험을 수행하기 전에, 시뮬레이터를 사용하여 가상으로 실험을 1,000번 "실행"해 볼 수 있습니다. 이를 통해 실험 재료가 적절한지, 그리고 실제로 몇 명의 피험자를 모집해야 하는지를 파악할 수 있습니다. 이는 연구자들을 위한 비행 시뮬레이터와 같습니다.
"데이터 증강" (AI 훈련): 독해를 이해하는 AI를 만들고 싶다면 엄청난 양의 안구 추적 데이터가 필요합니다. 실제 데이터는 희귀하기 때문에, Eyettention II를 사용하여 수백만 개의 "가짜" 안구 추적 기록을 생성함으로써, 수천 명의 실제 사람에게 카메라를 장착하지 않고도 AI를 더 똑똑하게 훈련시킬 수 있습니다.
"만약에(What-If)" 도구: 연구자들은 값비싼 실험 장비를 설치하지 않고도 서로 다른 텍스트 레이아웃이나 언어가 독해에 어떤 영향을 미치는지 확인할 수 있습니다.

6. 놀라운 발견: "크다고 좋은 것은 아니다"

연구진은 텍스트를 이해하기 위해 서로 다른 크기의 "뇌"(언어 모델)를 사용하는 실험을 진행하여 모델의 성능을 테스트했습니다. 그 결과, 역설적인 발견을 했습니다: 더 작은 모델이 더 효과적이었습니다.

연구진은 텍텍스트를 이해하기 위해 매우 거대하고 복잡한 AI 모델(고급 챗봇을 구동하는 모델 등)을 사용했습니다.
또한 더 작고 단순한 모델들도 사용했습니다.
결과: 작은 모델들이 오히려 인간의 안구 움직임을 더 잘 예측했습니다. 이는 독해를 위해서는 심오한 철학까지 이해하는 초복잡한 뇌가 필요한 것이 아니라, 문장의 즉각적이고 표면적인 구조를 이해하는 모델이 필요하다는 것을 시사합니다.

요약

Eyettention II는 "가상 눈" 역할을 하는 가볍고 효율적인 컴퓨터 프로그램입니다. 이 모델은 단순히 다음에 어떤 단어를 읽을지 추측하는 것이 아니라, 인간의 행동을 매우 정확하게 모방하여 당신의 눈이 그 단어의 정확히 어디에 착륙하고 얼마나 오랫동안 응시할지를 예측합니다. 이 모델은 실제 안구 추적 데이터가 부족한 문제를 해결하기 위해 고품질의 "가짜" 데이터를 생성하며, 이를 통해 과학자들이 더 나은 실험을 계획하고 더 똑똑한 AI 시스템을 훈련할 수 있도록 돕습니다.

기술 요약: Eyettention II

문제 정의
독서 중 안구 추적(eye-tracking-while-reading) 데이터는 인지 과정과 텍스트의 특성에 대한 중요한 통찰을 제공하며, 언어 모델(LM)을 개선하거나 독자의 특성을 추론하는 등의 자연어 처리(NLP) 응용 분야를 주도한다. 그러나 이 분야는 데이터 부족이라는 큰 병목 현상에 직면해 있다. 대규모 안구 추적 데이터셋을 수집하는 것은 자원 집약적인 작업이기에, 데이터 기반 모델의 학습을 제한하고 심리언어학 실험의 재현을 저해한다. 기존의 계산 모델들은 대개 해석 가능성을 보장하기 위해 매개변수가 적은 휴리스틱 기반의 규칙 중심 접근 방식에 의존하며, 이는 복잡한 패턴을 포착하거나 다양한 인구 집단, 언어, 실험 설정에 걸쳐 일반화하는 능력을 제약한다. 또한, 이전의 머신러닝 접근 방식들은 종종 공간적 측면(고정 위치)이나 시간적 측면(집적된 고정 지속 시간) 중 하나에만 집중하여, 인간의 독서 과정을 온전히 담아내는 완전한 순차적 스캔패스(scanpath)를 생성하는 데 실패했다.

방법론
저자들은 완전한 고정 속성 세트를 연대순으로 구성된 현실적인 스캔패스를 생성하도록 설계된 엔드투엔드(end-to-end) 학습 방식의 경량 딥러닝 모델인 Eyettention II를 제안한다.

이중 시퀀스 아키텍처(Dual-Sequence Architecture): 핵심 혁신은 독서 데이터의 "이중 시퀀스" 성격, 즉 언어적 시퀀스(문법에 따라 정렬된 단어들)와 시간적 시퀀스(시간 순으로 정렬된 고정)를 다루는 것이다. 단일 입력과 단일 출력을 정렬하는 표준 시퀀스 모델이나 인코더-디코더 구조와 달리, Eyettention II는 이중 시퀀스 바이-인코더(bi-encoder) 구조를 채택한다. 이 모델은 단어 시퀀스 인코더(자극 텍스트 처리)와 고정 시퀀스 인코더(고정 이력 처리)를 활용한다.
교차 시퀀스 어텐션(Cross-Sequence Attention): 모델은 로컬 윈도우를 가진 교차 어텐션 메커니즘을 사용하여 이 두 시퀀스를 정렬한다. 이는 현재 고정된 단어 주변의 단어들에만 주목함으로써 인간의 시야를 모사하며, 이를 통해 시간적 차원의 자기회귀성(autoregressivity)을 유지하면서도 풍부한 언어적 맥락을 활용한다.
예측 모듈(Prediction Modules): 모델은 각 고정에 대해 세 가지 속성을 순차적으로 예측한다:
1. 단어 인덱스 ( $k$ ): 다음에 고정될 단어를 예측하는 다중 클래스 분류 작업.
2. 착지 위치 (Landing Position, $l$ ): 단어 내 정규화된 수평 오프셋(0~1)을 예측하는 회귀 작업.
3. 고정 지속 시간 ( $d$ ): 해당 고정에 소요된 시간을 예측하는 회귀 작업.
독자 특화 변형 (Reader-Specific Variant): 저자들은 학습 가능한 독자 식별자 임베딩을 포함하는 Eyettention II $_{reader}$ 를 도입한다. 이를 통해 모델은 특정 개인이나 집단의 특징적인 독서 패턴을 학습하고 재현할 수 있다.
학습 (Training): 모델은 단어 인덱스에 대한 음의 로그 가능도(NLL)와 착지 위치 및 지속 시간에 대한 평균 제곱 오차(MSE)로 구성된 결합 손실 함수를 사용하여 최적화된다. 모델의 핵심인 단어 시퀀스 인코더에는 BERT나 RoBERTa와 같은 사전 학습된 대규모 언어 모델(LLM)을 사용하며, 이들은 학습 동안 동결(frozen)된 상태로 유지된 후 BiLSTM 레이어가 뒤따른다.

주요 기여

포괄적인 스캔패스 생성: Eyettention II는 고정 위치, 단어 내 착지 위치, 고정 지속 시간을 단일 엔드투엔드 프레임워크 내에서 동시에 예측하는 최초의 모델로, 고정 위치나 집적된 지속 시간만을 예측하던 기존의 한계를 넘어선다.
최첨단 성능 (State-of-the-Art Performance): 이 모델은 기존 인지 모델(E-Z Reader, SWIFT) 및 머신러닝 베이스라인 모델들과 비교하여 데이터셋 내부 및 교차 데이터셋 평가 모두에서 우수한 성능을 달erm한다.
심리언어학적 타당성: 모델은 단어 빈도, 단어 길이, 서프라이절(surprisal)의 효과가 고정 지속 시간 및 회귀(regressions)에 미치는 영향을 성공적으로 재현함으로써 인간과 유사한 시선 행동을 반영한다.
독자 적응성: 독자 특화 변형의 도입은 모델이 개인의 독서 스타일을 효과적으로 시뮬레이션할 수 있음을 입증하며, 이는 개인화된 응용 분야를 위한 중요한 역량이다.
실험 계획을 위한 유용성: 저자들은 모델의 유용성을 통계적 검정력 분석(statistical power analyses) 및 심리언어학 실험의 파일럿 테스트 수행 과정에서 입증하였으며, 시뮬레이션된 데이터가 특히 소규모 데이터셋에 대한 사전 학습 및 미세 조정 전략과 결합될 때 현실적인 효과 크기 추정치를 제공할 수 있음을 보여주었다.

결과

정량적 성능: 영어(CELER)와 중국어(BSC) 데이터셋 모두에서, Eyettention II는 모든 지표(단어 인덱스 예측(NLL), 착지 위치(MAE), 고정 지속 시간(MAE), 전체 스캔패스 유사도(MultiMatch))에 대해 참조 모델(E-Z Reader, SWIFT 및 이전 Eyettention 버전 포함)보다 뛰어난 성능을 보였다.
일반화 (Generalization): 교차 데이터셋 평가(CELER에서 학습, ZuCo에서 테스트)에서, 대상 데이터로부터 처음부터 학습했을 경우 성능이 크게 하락했다. 그러나 사전 학습 및 미세 조정 전략(대규모 소스 데이터셋에서 사전 학습 후 소규모 타겟 데이터셋에서 미세 조정)을 통해 성능을 효과적으로 회복함으로써, 제한된 타겟 데이터로도 정확한 모델링이 가능함을 보여주었다.
심리언어학적 일치: 베이지안 혼합 효과 분석(Bayesian mixed-effects analyses) 결과, Eyettention II는 단어 길이, 빈도, 서프라이절의 효과 방향과 크기를 인간 독자와 유사하게 포착하였으며, 많은 척도에서 전통적인 인지 모델보다 우수한 성능을 보였다.
모델 아키텍처 통찰:
- LM 크기: 일반적인 스케일링 법칙(scaling laws)과는 반대로, 더 작은 LM(예: BERT/RoBERTa 110M)이 더 큰 모델(최대 7B 파라미터)보다 스캔패스 예측을 위한 더 나은 언어적 특징을 제공했다.
- 레이어 깊이: 낮은 BERT 레이어는 공간적 측면(단어 인덱스, 착지 위치)을 더 잘 예측했고, 상위 레이어는 시간적 측면(고정 지속 시간)에 더 큰 영향을 미쳤다.
디코딩 전략: 디코딩 전략(Greedy, Temperature Sampling, Nucleus Sampling)의 선택을 통해 "평균적인" 고확률 스캔패스와 더 다양하고 가변적인 스키패스 사이의 트레이드오프를 조절할 수 있다. 데이터셋에 따라 Nucleus sampling ( $p=0.7$ )과 저온 샘플링( $t=0.04$ )이 가장 좋은 결과를 냈다.

의의 및 주장
본 논문은 Eyettention II가 인지 이론과 데이터 기반 딥러닝 사이의 간극을 메움으로써 인간의 독서 행동을 모델링하는 데 있어 중요한 진전을 이루었다고 주장한다. 이 모델의 주요 의의는 제한된 데이터 요구량으로 현실적이고 완전한 스캔패스를 생성할 수 있다는 점에 있으며, 이는 다음과 같은 다방면의 도구로 활용 가능하다:

NLP 응용: 시선이 강화된 언어 모델의 사전 학습 또는 미세 조정, 그리고 모든 입력에 대해 실시간 안구 추적 데이터를 요구하지 않고도 독자의 특성을 추론하는 데 활용된다.
심리언어학 연구: 실험 재료의 파일럿 테스트를 용이하게 하고, 소규모 표본 크기로 인한 재현성 위기를 완화하기 위한 통계적 검정력 분석을 수행하는 데 도움을 준다.
이론적 통찰: 어떤 언어적 및 시각적 특징이 인간의 독서를 가이드하는지 조사하기 위한 데이터 기반 도구를 제공하며, 이론적 인지 모델에 명시적으로 인코딩되지 않은 패턴을 밝혀낸다.

저자들은 모델이 핵심적인 현상들을 포착하기는 하지만, 규칙 기반 인지 모델처럼 완전히 해석 가능하지는 않다는 점을 인정하며 신중한 입장을 유지한다. 또한, 이진 측정값(예: 회귀 확률)에서의 인간의 가변성을 더 잘 맞추고, 중국어 데이터셋에서의 성능을 영어에 비해 개선하기 위해 추가적인 정교화가 필요하다고 언급한다. 이 연구는 모델이 인간 실험을 완전히 대체하기보다는, 가설을 생성하고 데이터를 시뮬레이션하기 위한 도구임을 강조한다.