The Frequency Confound in Language-Model Surprisal and Metaphor Novelty

기술적 요약: 언어 모델의 서프라이설과 은유 신기성 간의 빈도 혼란

문제 제기
언어 모델 (LM) 의 서프라이설 (surprisal) 은 문맥적 예측 가능성의 대리 지표로 빈번히 활용되며, 인간의 은유 신기성 판단과 상관관계가 있다는 보고가 있습니다. 최근 연구들은 '역확대 효과 (inverse scaling effect)'를 시사하는데, 이는 더 작은 LM 이나 훈련 초기 단계의 모델이 더 크고 완전히 훈련된 모델들보다 서프라이설과 인간 행동 데이터 (예: 읽기 시간 또는 신기성 평가) 간의 상관관계가 더 강하게 나타난다는 것입니다. 그러나 중요한 교란 요인이 여전히 불분명합니다: 서프라이설과 어휘 빈도 간의 긴밀한 상호의존성입니다. 관찰된 상관관계가 진정한 문맥적 예측 가능성을 반영하는 것인지, 아니면 처리 난이도와 신기성 판단 모두에 강력한 영향을 미치는 것으로 알려진 어휘 빈도의 단순한 인공물인지 여부는 불확실합니다. 본 논문은 '최적의' 서프라이설 설정 (작은 모델, 훈련 초기) 이 인간과 유사한 문맥 예측을 실제로 포착하는 것인지, 아니면 단순히 어휘 빈도와 더 밀접하게 일치하는 것인지를 조사합니다.

방법론
저자들은 15,155 개의 은유적 내용어와 이에 연관된 인간 신기성 평가 (관습적인 경우 -1 에서 새로운 경우 +1 로 스케일링) 를 포함하는 VU 암스테르담 은유 말뭉치 (VUAMC) 를 사용하여 포괄적인 분석을 수행했습니다.

• 모델 군집: 연구는 70M 에서 12B 개의 파라미터에 이르는 8 가지 모델 크기를 포함하는 Pythia 모델 계열 (Biderman et al., 2023) 을 활용했습니다. 모든 모델은 동일한 300B 토큰 말뭉치 (The Pile) 로 훈련되었습니다.
• 훈련 역학: 사전 훈련 진행 상황을 분석하기 위해 저자들은 Pythia-70M 모델의 154 개의 중간 체크포인트를 검토하여 훈련 초기 (1 단계) 에서 완전한 사전 훈련 (300B 토큰) 에 이르기까지 모델의 진화를 포착했습니다.
• 지표:
  • 서프라이설: 문장 문맥 내의 대상 은유어에 대해 $-\log p(w_i | w_{<i})$로 계산되었으며, 토큰화와 선행 공백에 대한 보정이 적용되었습니다.
  • 어휘 빈도: 단어 빈도를 추정하기 위해 두 가지 구별된 측정이 사용되었습니다:
    1. NLF-Human: wordfreq 에서 유도된 음의 로그 빈도로, 일반적인 언어 사용의 집합을 나타내며 '평균 영어 화자'를 근사합니다.
    2. NLF-LM: 각 특정 체크포인트까지 Pythia 사전 훈련 데이터에서 관찰된 서브토큰 시퀀스로부터 계산된 음의 로그 빈도입니다.
• 분석: 연구는 새로운 은유를 분류하기 위한 ROC 곡선 아래 면적 (AUC) 과 함께 스피어만 ($\rho$) 및 피어슨 ($r$) 상관 계수를 사용하여 연관성을 정량화했습니다. 분석은 다음 세 가지 관계에 초점을 맞추었습니다: (1) 서프라이설과 신기성, (2) 빈도와 신기성, (3) 서프라이설과 빈도.

주요 결과

1. 더 강력한 예측 변수로서의 빈도: 모든 모델 크기와 훈련 단계에서 어휘 빈도 (NLF-Human 및 NLF-LM 모두) 는 LM 서프라이설보다 은유 신기성 평가와 일관되게 더 강한 연관성을 보였습니다. NLF-Human 이 가장 높은 상관관계를 산출했습니다 ($\rho \approx 0.66$, AUC $\approx 0.90$).
2. 역확대 및 훈련 역학:
   • 모델 규모: 모델 크기가 증가함에 따라 서프라이설과 신기성 간의 상관관계는 감소했습니다. 작은 모델 (70M) 이 가장 강한 서프라이설–신기성 연관성을 보였습니다.
   • 훈련 진행: Pythia-70M 의 경우, 서프라이설–신기성 연관성은 초기에는 약했으나 64 훈련 단계 이후 급격히 상승하여 128 단계 (약 268M 토큰 관찰) 에서 정점에 도달하여 $\rho \approx 0.62$에 이르렀습니다. 이 정점을 넘어서면 연관성이 감소했습니다.
3. 빈도 혼란: 결정적으로, 서프라이설–신기성 연관성의 경향은 서프라이설–빈도 연관성의 경향을 반영했습니다.
   • 서프라이설이 신기성과 가장 강하게 상관되었던 초기 훈련 단계 (128 단계) 에서도, 이는 빈도와 가장 강하게 상관되었습니다 (NLF-LM 과 $\rho \approx 0.95$).
   • 모델이 더 커지거나 훈련이 더 진행됨에 따라 서프라이설과 빈도 간의 상관관계는 약화되었으며, 이는 서프라이설–신기성 상관관계의 감소와 병행되었습니다.
4. 정렬: 서프라이설이 '최적'으로 수행된 구성 (작은 모델, 훈련 초기) 은 서프라이설이 어휘 빈도와 가장 긴밀하게 정렬되었던 경우와 정확히 일치했습니다.

의의 및 주장
본 논문은 종종 보고되는 LM 서프라이설의 최적 설정 (작은 모델 또는 훈련 초기 단계) 이 은유 신기성이나 처리 난이도에 대한 서프라이설 기반 설명에 대한 직접적인 증거를 제공하지 않을 수 있다고 주장합니다. 대신, 이러한 설정에서 관찰된 강한 상관관계는 문맥적 예측 가능성보다는 모델의 어휘 빈도 의존성을 반영할 가능성이 높습니다.

저자들은 다음과 같이 결론 내립니다:

• 어휘 빈도는 은유 신기성 판단의 주요 근본 요인이며, 종종 문맥적 서프라이설보다 더 강력한 예측 변수로 작용합니다.
• 서프라이설–신기성 상관관계에서 관찰된 '역확대 효과'는 모델 규모와 훈련 단계 전반에 걸쳐 서프라이설과 빈도 간의 변화하는 관계의 부산물일 수 있습니다.
• 연구자들은 문맥적 예측 가능성에 기반한 처리 난이도 이론에 대한 직접적인 지지로 해석될 수 있는 강한 훈련 초기 또는 작은 모델의 서프라이설–신기성 연관성을 해석할 때 주의를 기울여야 합니다.
• 이 분야의 향후 진전은 문맥적 예측 가능성과 어휘 빈도 효과 간의 더 명확한 이론적 및 방법론적 분리가 필요합니다.

본 논문은 더 큰 모델이 예측 가능성의 '나쁜' 추정을 생성한다고 주장하는 것이 아니라, 서프라이설이 인간 신기성 평가와 일치하는 특정 조건이 빈도에 의해 혼란을 겪고 있음을 지적합니다. 저자들은 단순한 빈도 효과와 구별되는 신기성과 독창성에 대한 이론을 더 잘 반영하는 인간 평가의 추가 개발을 촉구합니다.