Clozing the Gap: Exploring Why Language Model Surprisal Outperforms Cloze Surprisal

기술적 요약: 간극 해소: 언어 모델의 서프라이잘이 클로즈 서프라이잘보다 우수한 이유 탐구

문제 제기
문맥 내 단어의 예측 가능성은 언어 이해와 처리 노력을 이해하기 위한 근본적인 지표입니다. 전통적으로 이는 인간 참가자가 불완전한 문장을 완성하는 클로즈 과제를 통해 정량화되어 왔습니다. 최근에는 언어 모델 (LM) 확률 (특히 음의 로그 확률로 정의된 서프라이잘) 이 대안으로 부상했습니다. 최근 연구들은 LM 서프라이잘이 일반적으로 읽기 시간 (RTs) 의 예측자로서 클로즈 서프라이잘보다 우수함을 시사하지만, 적합도 지표에 기반하여 단순히 클로즈 과제를 LM 으로 대체하는 것은 과학적으로 성급한 일입니다. 서로 다른 예측자는 예측의 인지적 메커니즘에 관한 상이한 결론 (예: 효과가 촉진적인지 비용적인지 여부) 을 초래할 수 있습니다. 본 연구가 다루는 핵심 문제는 LM 확률이 인간 데이터에 더 잘 적합되는 이유를 규명하는 것입니다: 이것이 LMs 가 진정한 인간과 유사한 예측 메커니즘을 포착하기 때문인지, 아니면 클로즈 과제가 결여한 기술적 이점 (예: 더 높은 해상도, 의미적 세분화) 을 지니기 때문인지입니다.

방법론
저자들은 이용 가능한 클로즈 응답 규범을 갖춘 네 가지 영어 읽기 시간 데이터셋 (BK21 SPR, Provo ET, UCL SPR/ET) 을 사용하여 3 단계 실험 연구를 수행했습니다.

1. 실험 1: 기준 비교 및 최적화

   • 목표: LM 서프라이잘이 클로즈 서프라이잘보다 우월함을 재확인하고, 클로즈 확률에 대한 최적의 수학적 변환을 결정합니다.
   • 방법: 저자들은 단어별 읽기 시간을 예측하기 위해 선형 혼합 효과 (LME) 회귀 모델을 적합시켰습니다. 다음 모델을 비교했습니다:
     • LM 서프라이잘: GPT-2(small) 를 사용하여 계산.
     • 클로즈 서프라이잘: 인간 응답에서 유도되었으며, 다양한 평활화 기법 (가변 $V$ 값을 가진 덧셈 1 평활화) 과 함수적 변환 (원래 확률, 원래 서프라이잘, 서프라이잘의 멱함수 변환) 을 적용받음.
   • 분석: 10 폴드 교차 검증 로그 가능도를 사용하여 모델을 평가했습니다. 저자들은 LM 서프라이잘이 클로즈 서프라이잘의 예측력을 포괄하는지, 그리고 그 반대가 성립하는지 테스트했습니다.

2. 실험 2: 가설 주도 조작

   • 목표: GPT-2 확률을 조작하여 클로즈 과제의 한계와 일치시킴으로써 LM 우월성에 기여하는 구체적 요인들을 분리합니다.
   • 가설 1 (해상도): LM 은 클로즈 과제보다 낮은 해상도 (희소 데이터) 로부터 덜 고통받습니다.
     • 조작: GPT-2 확률을 각 문맥의 클로즈 규범에서 이용 가능한 샘플 수 ($N$) 와 정확히 일치하도록 재표본 추출하여, LM 의 해상도를 인간 데이터 수준으로 낮췄습니다.
   • 가설 2 (의미): LM 은 의미적으로 유사한 단어 (예: couch 대 sofa) 를 구별하는 반면, 인간의 예측은 이를 그룹화할 수 있습니다.
     • 조작: 토큰 임베딩에 대한 k-평균 클러스터링을 사용하여 GPT-2 어휘를 군집화했습니다. 단어의 확률을 해당 의미 군집 내 모든 단어의 확률 합으로 대체하여, 의미적으로 유사한 단어들이 동일한 확률 질량을 공유하도록 강제했습니다.
   • 가설 3 (빈도): LM 은 인간이 거의 생성하지 않는 저빈도 연속어에 확률을 부여합니다.
     • 조작: GPT-2 의 어휘를 고빈도 토큰으로만 제한하고, 저빈도 토큰에 대한 확률을 0 으로 설정한 후 분포를 재규격화했습니다.

3. 실험 3: 클로즈 및 LM 확률의 결합

   • 목표: 유사성 정보를 클로즈 데이터에 통합하는 것 (유사성 조정 또는 SA 서프라이잘) 이 성능 간극을 해소할 수 있는지 탐구합니다.
   • 방법: 저자들은 클로즈 응답과 GPT-2 샘플 모두에 대해 SA 서프라이잘을 계산했습니다. 이 지표는 관찰된 단어와의 의미적 거리에 따라 대안적 완성들의 확률에 가중치를 부여합니다. 이를 표준적인 "계산 후 나누기" 클로즈 서프라이잘과 비교했습니다.

주요 결과

• 실험 1: LM 서프라이잘 (GPT-2) 은 대부분의 읽기 시간 측정치 (6 개 중 4 개) 에서 클로즈 서프라이잘보다 일관되게 우수했으며, 클로즈 데이터의 예측력을 포괄했습니다. 클로즈 데이터에 대한 최적의 변환은 평활화 인자 $V=200$을 가진 제곱 서프라이잘 ($S(w_t)^2$) 로 밝혀졌으며, 이는 클로즈 효과의 선형성에 대한 가정에 도전했습니다.
• 실험 2: 세 가지 가설 모두 지지되었습니다. GPT-2 확률을 클로즈 과제의 한계와 일치하도록 조작했을 때:
  • 해상도: GPT-2 해상도를 클로즈 샘플 크기와 일치하도록 낮추면 예측 적합도가 현저히 감소했습니다.
  • 의미: 의미적으로 유사한 단어를 군집화하여 미세한 구분을 제거하면 적합도가 현저히 감소했습니다.
  • 빈도: 확률을 고빈도 단어로만 제한하면 적합도가 현저히 감소했습니다.
  • 결론: LM 서프라이잘의 우위는 고해상도 추정 제공, 의미적으로 유사한 단어 간 구별, 그리고 저빈도 연속어의 정확한 모델링 능력을 통해 비롯됩니다.
• 실험 3: 클로즈 응답이든 GPT-2 샘플이든 상관없이 유사성 조정 (SA) 서프라이잘은 표준 서프라이잘 측정치에 비해 성적이 저조했습니다. 이는 단순히 대안들을 의미적 거리에 따라 가중치 부여하는 것만으로는 간극을 해소하지 못하며, "계산 후 나누기" 방법이 클로즈 데이터에 대한 합리적인 기준선으로 남아 있음을 시사합니다.

의의 및 주장
본 논문은 LM 서프라이잘의 우수한 성능이 반드시 LMs 가 인간 예측 메커니즘을 완벽하게 모델링한다는 증거는 아니라고 주장합니다. 대신, 이 우위는 LMs 가 전통적인 클로즈 과제가 결여한 기술적 능력 (고해상도, 의미적 세분화, 저빈도 항목의 포괄) 을 지니기 때문에 발생합니다. 이는 클로즈 과제의 오프라인, 생산 기반 성격과 제한된 샘플 크기 때문입니다.

저자들은 다음과 같이 주장합니다:

1. 클로즈 연구는 더 높은 해상도가 필요합니다: 단순히 인간 응답을 더 많이 수집하는 것 (문장당 전형적인 ~40-90 개를 초과하여) 은 클로즈 데이터의 예측력을 향상시켜 LM 과의 간극을 좁힐 수 있습니다.
2. 인간 예측 민감도는 열린 질문입니다: 인간 독자가 실제로 LMs 가 수행하는 의미적으로 유사하거나 저빈도 단어 간의 미세한 구분을 하는지 여부는 아직 결정되지 않았습니다. 향후 실험은 인간의 기대가 이러한 구분에 얼마나 민감한지 테스트해야 합니다.
3. 방법론적 주의: 연구자들은 적합도 지표에만 기반하여 클로즈 과제를 LM 으로 대체해서는 안 됩니다. 적합도 차이의 원인을 이해하는 것은 언어 이해에서 예측의 역할에 관한 타당한 과학적 결론을 도출하는 데 필수적입니다. 저자들은 오프라인 생산이 아닌 실시간 확률적 직관을 더 잘 포착하는 대체 과제 (예: 타이밍이 적용된 클로즈 또는 미로 과제) 개발을 옹호합니다.