Surprisal from Larger Transformer-based Language Models Predicts fMRI Data More Poorly

기술 요약: 더 큰 트랜스포머 기반 언어 모델의 서프라이절(Surprisal)은 fMRI 데이터를 더 부정확하게 예측한다

문제 제식
구문 이해에 관한 기대 기반 이론(Expectation-based theories)은 처리 난이도가 정보 이론적 서프라이절(문맥이 주어졌을 때 특정 단어가 나타날 음의 로그 확률)에 비례한다고 가정한다. 트랜스포머 기반 언어 모델(LM)은 서프라이절을 추정하는 데 널리 채택되어 왔으나, 최근 연구들은 지연 시간 기반 데이터(읽기 시간)에서 "역스케일링(inverse scaling)" 현상을 발견했다. 즉, 언어 모델의 크기(파라미터 수)와 학습 데이터가 커질수록, 모델의 서프라이절 추정치가 인간의 읽기 시간을 예측하는 능력이 오히려 떨어진다는 것이다. 더 큰 모델은 더 낮은 퍼플렉시티(perplexity)를 달성하고 희귀한 토큰을 더 잘 예측함으로써, 인간의 행동 데이터와는 동떨어진 더 낮은 서프라이절 값을 할당한다.

그러나 뇌 영상 데이터(fMRI)를 사용한 기존의 조사들은 불확실한 결과를 냈다. 상대적으로 작은 규모의 LM 세트를 사용한 Oh et al. (2022)의 연구에서는 fMRI 데이터에서 명확한 스케일링 경향을 발견하지 못했으며, 이는 역스케일링 현상이 지연 시간 기반 측정치에만 국한된 것일 가능성을 남겨두었다. 또한, 서프라이절 대신 가공되지 않은 LM 벡터 표현을 사용하여 fMRI 데이터를 분석한 다른 연구에서는 양(+)의 스케일링을 보여주었으며, 이는 뇌 영상 데이터가 다르게 작동할 수 있음을 시사했다. 본 연구는 포괄적인 모델 세트를 사용하여 평가했을 때, 역스케일링 관계가 fMRI 데이터에도 적용되는지 여부를 다룬다.

방법론
저자들은 GPT-2, GPT-Neo, OPT라는 세 가지 모델 패밀리에 걸친 17개의 사전 학습된 자기회귀 트랜스포머 기반 언어 모델을 사용하여 종합적인 평가를 수행하였다. 이 모델들은 파라미터 수에서 상당한 차이를 보였다. 본 연구는 두 가지 구별된 기능적 자기공명영상(fMRI) 데이터셋을 활용하였다:

1. Natural Stories fMRI (Shain et al., 2020): 78명의 피험자가 자연스러운 영어 이야기를 듣는 동안 기록된 시계열 혈중 산소 수치 의존적(BOLD) 신호.
2. Pereira fMRI (Pereira et al., 2018): 피험자들이 영어 지문을 읽을 때 언어 네트워크 영역 전반에 걸쳐 집계된 문장 단위 BOLD 신호.

실험 절차:

• 서프라이절 계산: 텍스트는 모델별 바이트 쌍 인코딩(byte-pair encoding)을 통해 토큰화되었다. 단어 수준의 서프라이절은 토큰 수준의 추정치를 합산하여 계산되었다. 앞선 공백(leading whitespace) 확률의 합이 1보다 커지는 토크나이저 아티팩트 문제를 해결하기 위해, 본 연구는 공백 뒤따름 디코딩(whitespace-trailing decoding)을 도입하여 앞선 공백의 확률을 이전 단어로 재할당하였다.
• 신호 정렬:
  • Natural Stories fMRI의 경우, 연속적인 BOLD 시계열과 정렬하기 위해 단어 수준의 서프라이절 추정치를 표준 혈역학적 반응 함수(canonical HRF)와 컨볼루션(convolution)하였다.
  • 문장 단위 응답을 사용하는 Pereira fMRI의 경우, 이전 문맥이 해당 추정치에 완전히 반영되어 있으므로 문장 마지막 단어의 서프라이절 추정치를 예측 변수로 사용하였다.
• 회귀 모델링: BOLD 신호를 예측하기 위해 선형 혼합 효과(Linear Mixed-Effect, LME) 모델을 적합시켰다.
  • 예측 변수에는 서프라이절 추정치, 단어 위치, 단어 길이(또는 Pereira의 경우 문장 길이)가 포함되었다.
  • 모델에는 피험자와 이야기/문장에 대한 무작위 효과(random effects)를 포함하였다.
  • 모델 적합도는 홀드아웃 테스트 세트(held-out test sets)에서의 로그 가능도(log-likelihood)를 사용하여 평가되었다.

주요 결과
본 연구는 두 fMRI 데이터셋 모두에서 모델 크기와 예측력 사이에 통계적으로 유의미한 역스케일링 관계가 있음을 발견하였다:

• Natural Stories fMRI: 언어 모델의 파라미터 수가 증가함에 따라, 회귀 모델이 BOLD 신호를 예측하는 로그 가능도가 유의미하게 감소하였다 ($p < 0.01$). 이는 더 넓은 범위의 모델 크기를 활용함으로써 Oh et al. (2022)의 불확실한 결과를 해결한다.
• Pereira fMRI: 모델 크기가 증가함에 따라 예측력이 유의미하게 감소하는 유사한 경향이 관찰되었다 ($p < 0.05$).

이 결과는 더 큰 LM이 (더 높은 단어당 추정 확률(낮은 퍼플렉시티)에도 불구하고) 인간의 신경 데이터에 대해 더 낮은 적합도를 제공한다는 것을 나타낸다.

의의 및 주장
본 연구의 주요 기여는 서프라이절 추정치의 역스케일링 현상이 지연 시간 기반 측정치(예: 읽기 시간)에 국한되지 않고, 신경 데이터(fMRI)에도 적용된다는 것을 입증한 것이다.

• 불확تام한 데이터의 해결: 본 연구는 충분히 다양한 모델 세트를 평가함으로써, fMRI 데이터에 대한 기존의 모호함을 명확히 하여 행동 데이터에서 관찰된 경향이 뇌 영상에서도 일반화됨을 보여준다.
• 경향의 성격: 저자들은 역관계가 fMRI 데이터에서 존재하지만, 지연 시간 기반 데이터만큼 "엄격하지는 않다"고 언급하였다. 저자들은 이를 fMRI 측정치에 내재된 높은 노이즈 수준 때문이라고 추측한다.
• 연구에 대한 시사점: 이러한 결과는 뇌 영상 데이터가 이 맥락에서 지연 시간 데이터와 실질적으로 다르게 작동하지 않음을 시사한다. 결과적으로, (희귀한 토큰의 예측 성능 향상으로 인한) 큰 모델과 인간의 처리 패턴 사이의 괴리는 심리 측정적 척도 전반에 걸친 일반적인 현상이다. 저자들은 인간의 문장 처리 메커니즘을 이해하기 위해 LM을 사용하고자 하는 연구자들에게 더 작은 모델이 더 적절할 수 있다고 제안한다. 큰 모델은 인간의 인지적 제약과 일치하지 않는 학습 데이터의 통계적 규칙성에 과적합(overfit)될 수 있기 때문이다.

한계점
저자들은 사용된 모델과 데이터셋이 영어 중심적이며, 이 결과가 다른 언어에서도 재현될지는 미지수라고 인정하였다. 또한, 본 연구는 발표된 fMRI 데이터셋에 의존하고 있으며, Pereira 데이터셋에서의 역스케일링은 피험자 간 평균화 과정에서의 데이터 희소성 등으로 인해 Natural Stories 데이터셋보다 통계적 견고함이 덜했다.