Surprisal from Larger Transformer-based Language Models Predicts fMRI Data More Poorly

技術的要約：より大規模なTransformerベースの言語モデルによるサプライザルは、fMRIデータの予測能を低下させる

問題提起
構文理解に基づく期待理論は、処理の困難さが情報理論的なサプライザル（文脈に基づいた単語の負の対数確率）に比例すると仮定している。Transformerベースの言語モデル（LM）は、サプライザルを推定するために広く採用されてきたが、近年の研究では、潜時ベースのデータ（読解時間）において「逆スケーリング」現象が特定されている。すなわち、LMの規模（パラメータ数）や学習データが増大するにつれ、そのサプライザル推定値は人間の読解時間に対する予測能が低下するというものである。より大規模なモデルは、パープレキシティが低く、稀なトークンをより良く予測するため、より低いサプライザル値を割り当てるが、これが人間の行動データから乖離してしまう。

しかし、脳機能画像データ（fMRI）を用いたこの現象に関するこれまでの調査では、決定的な結果は得られていなかった。Ohら（2022年）による比較的小規模なLMを用いた研究では、fMRIデータにおいて明確なスケーリングの傾向は見られず、逆スケーリングは潜時ベースの尺度に特有のものである可能性を残した。さらに、サプライザルではなく生のLMベクトル表現を用いた他の研究では、fMRIデータにおいて正のスケーリングが示されており、脳画像データは異なる挙動を示す可能性が示唆されていた。本研究は、包括的なモデルセットを用いて評価することで、この逆スケーリングの関係がfMRIデータにおいても成立するかどうかを検証するものである。

方法論
著者らは、GPT-2、GPT-Neo、OPTの3つのモデルファミリーにわたる、17の学習済み自己回帰型TransformerベースのLMのサプライザル推定値を用いて、包括的な評価を行った。これらのモデルは、パラメータ数が大きく異なっている。本研究では、2つの異なる機能的磁気共鳴画像法（fMRI）データセットを利用した：

1. Natural Stories fMRI (Shain et al., 2020): 自然な英語の物語を聴取している78名の被験者から記録された、時系列の血中酸素濃度依存（BOLD）信号。
2. Pereira fMRI (Pereira et al., 2018): 英語の文章を読んでいる被験者の言語ネットワーク領域に集約された、文ごとのBOLD信号。

実験手順:

• サプライザルの計算: テキストはモデル固有のバイトペアエンコーディングを用いてトークン化された。単語レベルのサプライザルは、トークンレベルの推定値を集計することで算出された。先行する空白（whitespace）の確率の合計が1を超えるというトークナイザーのアーティファクトに対処するため、本研究では空白後方デコーディング（whitespace-trailing decoding）を組み込み、先行する空白の確率を直前の単語に再配分した。
• 信号の整合:
  • Natural Stories fMRI の場合、連続的なBOLD時系列と整合させるため、単語レベルのサプライザル推定値を標準的な血流動態反応関数（HRF）で畳み込み処理した。
  • 文ごとの応答となる Pereira fMRI では、先行する文脈がその推定値の中に完全に含まれているため、文末の単語のサプライザル推定値を予測変数として使用した。
• 回帰モデリング: 線形混合効果（LME）モデルを適合させ、BOLD信号を予測した。
  • 予測変数には、サプライザル推定値、単語の位置、および単語の長さ（またはPereiraの場合は文の長さ）が含まれた。
  • モデルには、被験者およびストーリー／文章に対するランダム効果を含めた。
  • モデルの適合度は、ホールドアウト・テストセットにおける対数尤度を用いて評価された。

主な結果
本研究は、両方のfMRIデータセットにおいて、モデルサイズと予測能の間に統計的に有意な逆スケーリング関係があることを見出した。

• Natural Stories fMRI: LMのパラメータ数が増加するにつれ、BOLD信号を予測する回帰モデルの対数尤度は有意に減少した（$p < 0.01$）。これは、より広範なモデルサイズを利用することで、Ohら（2022年）の不確実な知見を解決するものである。
• Pereira fMRI: モデルサイズの増加に伴い、同様の有意な予測能の低下が観察された（$p < 0.05$）。

これらの結果は、より大規模なLMは、単語あたりの推定確率が高い（パープレキシティが低い）にもかかわらず、人間における神経データへの適合性が低いことを示している。

意義と主張
本研究の主要な貢献は、サプライザル推定値の逆スケーリング現象が、潜時ベースの尺度（読解時間など）に限定されるものではなく、神経データ（fMRI）にも適用されることを示した点にある。

• 不透明なデータの解決: 本研究は、十分な多様性を持つモデルセットを評価することで、fMRIデータにおける以前の曖昧さを解消し、行動データで見られた傾向が脳画像データにも一般化することを示した。
• 傾向の性質: 著者らは、fMRIデータにおいて逆の関係が存在するものの、それは潜時ベースのデータほど「厳密ではない」と述べている。これは、行動的な潜時データと比較して、fMRI測定に内在するノイズレベルが高いためであると推測している。
• 研究への示唆: これらの知見は、脳画像データがこの文脈において潜時データと実質的に異なる挙動を示さないことを示唆している。したがって、より大きなLMが（おそらく稀なトークンの予測能力向上によって）人間の処理パターンから乖離するという現象は、心理測定学的指標全体に共通する現象である。著者らは、人間の文章処理メカニズムを理解するためにLMを用いたい研究者にとって、より小さなモデルの方が適切である可能性を示唆している。なぜなら、より大規模なモデルは、人間の認知的な制約とは一致しない訓練データの統計的規則性に過学習している可能性があるからである。

限界
著者らは、使用されたモデルおよびデータセットが英語中心であり、他の言語では再現されない可能性があることを認めている。また、本研究は公開されているfMRIデータセットに依存しており、被験者間で平均化した際のデータ不足により、Pereiraデータセットにおける逆スケーリングの統計的堅牢性はNatural Storiesデータセットよりも低かった。