The Frequency Confound in Language-Model Surprisal and Metaphor Novelty

技術的サマリー：言語モデルのサプライザルと比喩の新規性における頻度の交絡

問題提起
言語モデル（LM）のサプライザルは、文脈的予測可能性の代理指標として頻繁に利用され、人間の比喩の新規性に関する判断と相関することが報告されてきた。最近の研究は、「逆スケーリング効果」を指摘しており、より小さな LM やトレーニングの初期段階にあるモデルは、より大規模で完全にトレーニングされたモデルよりも、サプライザルと人間の行動データ（読解時間や新規性評価など）の間に強い相関を示すとしている。しかし、重要な交絡因子が未解明のままだ：サプライザルと語彙頻度の緊密な相互依存関係である。観察された相関が、真の文脈的予測可能性を反映しているのか、それとも処理の難易度と新規性判断の両方に強い影響を与えることで知られる語彙頻度の単なるアーティファクトに過ぎないのかは不明である。本論文は、「最適」なサプライザル設定（小規模モデル、トレーニング初期）が、人間のような文脈予測を真に捉えているのか、それとも単に語彙頻度とより密接に一致しているだけなのかを検証する。

方法論
著者らは、15,155 個の比喩的語彙と、それに関連する人間による新規性評価（慣習的を -1、新規を +1 としてスケーリング）を含む VU アムステルダム比喩コーパス（VUAMC）を用いて包括的な分析を行った。

• モデル群： 本研究では、70M から 12B パラメータまでの 8 つのモデルサイズからなる Pythia モデルファミリー（Biderman et al., 2023）を利用した。すべてのモデルは、同一の 300B トークンコーパス（The Pile）でトレーニングされた。
• トレーニングダイナミクス： プレトレーニングの進行を分析するため、著者らは Pythia-70M モデルの 154 個の中間チェックポイントを調査し、トレーニング初期（1 ステップ）から完全なプレトレーニング（300B トークン）に至るまでのモデルの進化を捉えた。
• 指標：
  • サプライザル： 文脈内の対象となる比喩的語彙に対して、$-\log p(w_i | w_{<i})$ として計算され、トークン化と先頭の空白文字に対して補正が施された。
  • 語彙頻度： 単語の頻度を推定するために、2 つの異なる尺度が採用された。
    1. NLF-Human： wordfreq から導出された負の対数頻度であり、一般的な言語使用の集約（「平均的な英語話者」を近似）を表す。
    2. NLF-LM： 各特定のチェックポイントまでの Pythia プレトレーニングデータで観測されたサブトークン系列から計算された負の対数頻度。
• 分析： 本研究は、Spearman の相関係数（$\rho$）および Pearson の相関係数（$r$）、ならびに新規な比喩を分類するための ROC 曲線下面積（AUC）を用いて、関連性を定量化した。分析は、(1) サプライザルと新規性、(2) 頻度と新規性、(3) サプライザルと頻度の間の関係に焦点を当てた。

主要な結果

1. より強力な予測因子としての頻度： すべてのモデルサイズおよびトレーニング段階において、語彙頻度（NLF-Human および NLF-LM の両方）は、LM サプライザルよりも一貫して比喩の新規性評価と強い関連を示した。NLF-Human は最も高い相関（$\rho \approx 0.66$、AUC $\approx 0.90$）をもたらした。
2. 逆スケーリングとトレーニングダイナミクス：
   • モデル規模： サプライザルと新規性の間の相関は、モデル規模が大きくなるにつれて減少した。小規模モデル（70M）が、最も強いサプライザル－新規性の関連を示した。
   • トレーニングの進行： Pythia-70M において、サプライザル－新規性の関連は当初弱く、64 トレーニングステップ後に急激に上昇し、128 ステップ（約 268M トークン観測）でピークに達し（$\rho \approx 0.62$）、このピークを超えると関連は低下した。
3. 頻度の交絡： 決定的なことに、サプライザル－新規性の関連における傾向は、サプライザル－頻度の関連における傾向と一致していた。
   • サプライザルが新規性と最も強く相関したトレーニング初期段階（128 ステップ）において、それは頻度とも最も強く相関していた（NLF-LM に対して $\rho \approx 0.95$）。
   • モデルが大きくなるにつれ、あるいはトレーニングがさらに進行するにつれて、サプライザルと頻度の間の相関は弱まり、これはサプライザル－新規性の相関の低下と並行していた。
4. 整合性： サプライザルが「最良」に機能した設定（小規模モデル、トレーニング初期）は、まさにサプライザルが語彙頻度と最も緊密に整合していた設定であった。

意義と主張
本論文は、LM サプライザルに関するしばしば報告される最適設定（小規模モデルまたはトレーニング初期段階）が、比喩の新規性や処理の難易度に関するサプライザルに基づく説明に対する直接的な証拠を提供するものではないと論じている。むしろ、これらの設定で観察される強い相関は、真の文脈的予測可能性ではなく、モデルが語彙頻度に依存していることを反映している可能性が高い。

著者らは以下のように結論づけている。

• 語彙頻度は比喩の新規性判断における主要な背景因子であり、しばしば文脈的サプライザルよりも強力な予測因子として機能する。
• サプライザル－新規性の相関において観察される「逆スケーリング効果」は、モデル規模やトレーニング段階におけるサプライザルと頻度の関係の変化に伴う副産物である可能性がある。
• 研究者は、トレーニング初期または小規模モデルにおける強いサプライザル－新規性の関連を、文脈的予測可能性に基づく処理難易度の理論を直接支持するものとして解釈する際に注意を払うべきである。
• この分野における将来の進展には、文脈的予測可能性と語彙頻度の効果を、より明確に理論的・方法的に分離することが必要である。

本論文は、大規模モデルが予測可能性の「劣った」推定を生み出すと主張するものではなく、むしろサプライザルが人間の新規性評価と一致する特定の条件が、頻度によって交絡されていると主張するものである。著者らは、単純な頻度の効果とは区別された、新規性と独創性の理論をよりよく反映する人間の評価のさらなる発展を呼びかけている。