N-gram-like Language Models Predict Reading Time Best

이 논문은 최신 트랜스포머 언어 모델보다 단순한 n-gram 통계에 더 민감한 신경 언어 모델이 자연어 텍스트의 읽기 시간을 더 잘 예측한다는 것을 증명합니다.

핵심

🍳 비유: "요리 실력 vs. 레시피 기억"

상상해 보세요. 여러분이 요리를 배우는 두 명의 제자를 있다고 가정해 봅시다.

1. 제자 A (과거의 모델): 아주 기본적인 레시피만 외운 사람입니다. "소금 + 달걀 = 후라이" 정도만 기억하죠.
2. 제자 B (최신 AI 모델): 수백만 권의 요리책을 다 읽고, 세계 최고의 요리사가 된 사람입니다. 어떤 재료가 들어갈지, 어떤 향이 날지 완벽하게 예측할 수 있죠.

연구자들의 발견:
과거에는 "제자 B 가 더 똑똑하니까, 그가 다음에 어떤 재료를 넣을지 예측하는 게 사람의 요리 속도와 가장 잘 맞을 거야"라고 생각했습니다. 실제로도 그랬습니다.

하지만 최근 연구는 놀라운 사실을 발견했습니다.
제자 B 가 너무 똑똑해져서, 사람이 실제로 요리를 하는 속도와는 오히려 거리가 멀어졌다는 것입니다.

🤔 왜 그럴까요? (핵심 가설)

이 논문은 그 이유를 **"사람은 복잡한 계산보다 단순한 패턴을 더 많이 따른다"**고 설명합니다.

• 사람의 뇌 (읽기 속도): 우리가 글을 읽을 때, 뇌는 수천 개의 문맥을 복잡한 수학으로 계산하지 않습니다. 대신 **"아까 그 단어 다음에 보통 이런 단어가 오지?"**라는 아주 단순한 경험 (예: '밥' 다음에 '먹다'가 올 확률) 을 기반으로 눈이 움직입니다.
• 최신 AI 의 문제: AI 가 너무 똑똑해지면, 단순한 '단어 연결'보다는 문맥 전체를 분석해서 "이 문장에서는 '밥' 다음에 '먹다'가 올 확률이 99% 가 아니라 85% 야, 왜냐하면 앞뒤 문장이 그렇기 때문"이라고 너무 정교하게 계산합니다.
• 결과: 사람의 눈은 "단순한 패턴 (N-gram)"을 쫓아 움직이는데, AI 는 "복잡한 논리"를 쫓아 예측을 하니까, AI 가 예측한 '놀라움 (Surprisal)'과 사람의 '읽기 속도'가 맞지 않게 되는 것입니다.

🔍 실험 내용 (간단히)

저자들은 이 가설을 검증하기 위해 다음과 같은 실험을 했습니다.

1. 단순한 패턴 (N-gram) 테스트:

   • 1 단어, 2 단어, 3 단어만 기억하는 아주 단순한 통계 모델을 만들었습니다.
   • 결과: 놀랍게도 2 단어 (Bigram) 정도까지의 단순한 패턴이 사람의 읽기 속도와 가장 잘 맞았습니다. 문맥이 너무 길어질수록 (3 단어, 4 단어...) 오히려 예측력이 떨어졌습니다.

2. AI 의 학습 과정 추적:

   • AI 가 학습을 시작할 때, 처음에는 단순한 패턴 (2 단어 연결) 을 잘 학습하다가, 학습이 너무 진행되면 복잡한 패턴을 배우기 시작합니다.
   • 결과: AI 가 단순한 패턴 (2~3 단어) 을 가장 잘 예측하는 시점에, 사람의 읽기 속도와 가장 잘 일치했습니다. 하지만 AI 가 더 똑똑해져서 복잡한 패턴을 배우기 시작하면, 사람과의 일치도는 떨어졌습니다.

💡 결론: "적당히 멍청한 AI 가 사람을 더 잘 이해한다?"

이 논문의 결론은 매우 직관적입니다.

"사람이 글을 읽을 때, 뇌는 거대한 도서관의 모든 지식을 동원해서 복잡한 계산을 하지 않는다. 대신 아주 단순하고 직관적인 '단어 연결 패턴'에 반응해서 눈이 움직인다."

따라서, 최신 AI 가 너무 완벽해져서 복잡한 문맥을 분석하기 시작하면, 오히려 사람의 읽기 속도를 예측하는 데는 덜 정확해집니다. 사람을 모델링하려면, 오히려 단순한 통계 (N-gram) 에 가까운 예측을 하는 모델이 더 적합할 수 있다는 것입니다.

📝 한 줄 요약

"인공지능이 너무 똑똑해져서 복잡한 문맥을 분석하면, 오히려 사람의 '눈'이 움직이는 단순한 패턴을 놓치게 된다. 사람을 이해하려면, 때로는 단순한 패턴 (N-gram) 을 잘 기억하는 '적당히 멍청한' 모델이 더 낫다."

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 과거 20 년간 언어 처리 연구에서는 단어의 예측 가능성 (Surprisal, 즉 음의 로그 확률) 이 읽기 시간 (Reading Time) 과 강한 상관관계를 가진다는 것이 입증되었습니다. 특히, 고전적인 N-gram 통계 (Bigram 등) 기반의 확률이 인간 독자의 눈동자 움직임과 잘 일치했습니다.
• 문제점: 최근 Transformer 기반의 대규모 언어 모델 (LLM) 이 등장하면서, 모델의 성능 (다음 단어 예측 능력, Perplexity) 이 향상될수록 오히려 인간 독자의 읽기 시간 데이터와의 상관관계가 떨어지는 '역스케일링 (Inverse Scaling)' 현상이 관찰되었습니다.
  • 즉, 모델이 더 강력해지고 더 많은 데이터를 학습할수록, 인간이 실제로 느끼는 처리 난이도 (읽기 시간) 를 예측하는 정확도가 낮아지는 역설적인 결과가 나타났습니다.
  • 기존 가설: 모델이 '너무 잘' 되어 인간이 직관적으로 느끼는 '주관적 확률'이나 '국소적 통계'와 괴리가 생겼다는 설명이 있었으나, 정확한 원인은 불명확했습니다.

2. 연구 가설 및 방법론 (Methodology)

이 논문은 "인간의 읽기 시간은 복잡한 고차원 통계보다는 단순한 저차원 N-gram 통계에 더 민감하게 반응한다" 는 가설을 제시하고 이를 검증합니다.

실험 1: N-gram 통계와 읽기 시간의 상관관계 분석

• 데이터: 6 개의 대규모 코퍼스 (OpenWebText, C4, The Pile, Dolma, DCLM, OLMo-Mix) 를 사용하여 1-gram 부터 5-gram 까지의 Surprisal 을 계산했습니다.
• 독서 데이터: Provo Corpus (470 명의 참가자, 55 개 지문) 를 기반으로 첫 고정 시간 (First Fixation Duration), 첫 통과 시간 (First Pass Duration), 과거 통과 시간 (Go-Past Duration), 총 시간 (Total Duration) 등 4 가지 지표를 분석했습니다.
• 분석: 다양한 코퍼스 크기와 N-gram 차수 (1~5) 에 따른 Surprisal 과 읽기 시간 지표 간의 피어슨 상관관계를 측정했습니다.

실험 2: 신경 언어 모델의 학습 궤적과 N-gram 유사성 분석

• 모델: Pythia 모델 시리즈 (14M ~ 12B 파라미터, The Pile 코퍼스 학습) 를 사용했습니다.
• 방법: 모델이 학습하는 과정 (Training Steps) 에서 Surprisal 이 어떻게 변화하는지 추적했습니다.
  • 모델의 Surprisal 이 읽기 시간과 가장 잘 맞는 시점과, 모델의 Surprisal 이 N-gram Surprisal 과 가장 유사한 시점이 일치하는지 확인했습니다.
  • 즉, "모델이 N-gram 과 유사한 예측을 할 때 인간 읽기 시간 예측도 최적화된다"는 가설을 검증했습니다.

실험 3: 일반성 검증 (Replication)

• 데이터 및 모델 확장: Provo 코퍼스뿐만 아니라 GECO (Ghent Eye-Tracking Corpus) 데이터도 포함했습니다.
• 모델 다양화: Pythia 외에도 Open GPT-2 와 Gemstone 모델 시리즈를 사용하여 다양한 아키텍처와 학습 데이터에서 동일한 패턴이 반복되는지 확인했습니다.

3. 주요 결과 (Key Results)

1. 저차원 N-gram 의 우위성:

   • 읽기 시간 지표 (특히 First Pass Duration, Go-Past Duration) 와 가장 강한 상관관계를 보이는 것은 Unigram(1-gram) 과 Bigram(2-gram) 이었습니다.
   • N-gram 차수가 3 이상 (Trigram 등) 으로 높아질수록 읽기 시간과의 상관관계는 점차 감소했습니다.
   • 코퍼스가 커질수록 고차원 N-gram 의 예측력은 떨어지는 경향 (역스케일링) 을 보였으나, 저차원 N-gram 은 코퍼스 크기가 커질수록 오히려 미세하게 예측력이 향상되거나 안정적이었습니다.

2. 모델 학습 궤적과 N-gram 유사성의 일치:

   • Pythia 모델이 학습되는 과정에서, 모델의 Surprisal 이 N-gram Surprisal 과 가장 높은 상관관계를 보이는 시점 (학습 초기~중반) 에, 해당 모델의 Surprisal 이 인간 읽기 시간과도 가장 높은 상관관계를 보였습니다.
   • 학습이 계속되어 모델이 N-gram 통계에서 멀어지고 더 복잡한 통계 (고차원 문맥) 를 학습할수록, 인간 읽기 시간 예측력은 떨어졌습니다.
   • 이는 모델이 "N-gram 과 유사한 예측"을 할 때 인간 독자의 처리 과정을 가장 잘 모사한다는 것을 의미합니다.

3. 일관된 패턴:

   • 실험 3 에서 다양한 모델 (Pythia, Open GPT-2, Gemstone) 과 다양한 데이터셋 (Provo, GECO) 을 사용했음에도 불구하고, "모델이 N-gram 과 유사할수록 읽기 시간 예측 정확도가 높다" 는 결론이 일관되게 재현되었습니다.

4. 주요 기여 및 의의 (Contributions & Significance)

• 역스케일링 현상의 설명: 기존에 "모델이 너무 잘해서 인간과 달라졌다"는 모호한 설명을 넘어, 인간의 읽기 시간 처리 메커니즘이 고차원적 문맥 이해보다는 국소적 (Local) 인 N-gram 통계에 더 민감하게 반응한다 는 구체적인 메커니즘을 제시했습니다.
• 언어 모델 평가 기준의 재정의: 언어 모델의 성능을 평가할 때 단순히 Perplexity(다음 단어 예측 정확도) 만을 높이는 것이 인간 심리언어학적 현상 (읽기 시간) 을 모사하는 데 항상 유리한 것은 아님을 시사합니다. 오히려 N-gram 통계에 대한 민감도가 인간 독자의 실시간 처리 과정을 예측하는 핵심 지표가 될 수 있음을 증명했습니다.
• 심리언어학적 통찰:
  • 인간의 눈동자 이동 (Saccade) 은 단어의 철자적 식별 (Orthographic identification) 이 완료되는 시점 (약 250ms 이내) 에 시작됩니다.
  • 이 시점에서는 이전 문맥에 대한 완전한 의미론적 통합 (Lexical access, N400 과 관련) 이 일어나기 전이므로, 독자는 단순한 N-gram 과 같은 표면적 통계 패턴에 의존하여 다음 단어를 예측하고 눈동자를 이동시킵니다.
  • 따라서 읽기 시간 데이터는 "완전한 점진적 예측"보다는 "국소적 통계에 기반한 예측"을 더 잘 반영한다는 것을 시사합니다.

5. 결론

이 논문은 최신 대규모 언어 모델이 인간 독자의 읽기 시간을 예측하는 데 실패하는 이유를, 모델이 N-gram 과 같은 저차원 통계에서 멀어지기 때문이라고 설명합니다. 즉, 인간 독자의 실시간 읽기 과정은 복잡한 고차원 문맥 분석보다는 단순한 N-gram 통계에 더 크게 의존하며, 따라서 N-gram 과 유사한 예측을 수행하는 언어 모델이 인간 독자의 읽기 시간을 가장 정확하게 예측할 수 있음을 입증했습니다. 이는 자연어 처리 모델 개발과 심리언어학적 연구 모두에 중요한 방향성을 제시합니다.