To model human linguistic prediction, make LLMs less superhuman

技術的概要：「人間の言語予測をモデル化するには、LLM を人間未満にする」

問題提起
大規模言語モデル（LLM）は、従来の予測能力が人間の認知プロセスを反映しているという前提に基づき、人間の言語予測の計算モデルとして利用されてきた。しかし、パラドックスが生じている。主流の LLM の次単語予測精度が向上するにつれて、人間の読書行動（特に読書時間やアイトラッキングデータ）を説明する能力は低下している。本論文は、この乖離が、現在の LLM 読者よりもはるかに大きな記憶容量に支えられた「人間を超えた」予測能力を LLM が有しているためであると主張する。具体的には、LLM は膨大な事実知識や訓練例を保持する優れた長期記憶、および時間的減衰なしに遠方の文脈から単語を忠実に想起するほぼ完璧な短期記憶を示し、これにより平均的な人間には不可能な予測を行っている。

手法と分析
本論文は、既存の実証文献を統合し、モデルの性能と人間データとの整合性の関係を再分析する。

• 文献の統合: 著者らは、単語の予測可能性を推定するために LLM を用いた研究の経緯をレビューする。初期の知見（予測精度の向上が読書時間との整合性の向上と相関していた）と、大規模データセットで訓練された強力なトランスフォーマーベースのモデルを用いた最近の知見（2022 年以降）を対比させる。
• データの再評価: 著者らは、Natural Stories コーパス（自発的読書）や Dundee コーパス（アイトラッキング）を含む標準的なコーパスの結果を検討する。モデル精度の初期の向上は整合性を高めたが、モデル規模と訓練データの増加に起因する予測精度のさらなる向上は、人間の読書時間との乖離を拡大させたことが観察された。
• メカニズム分析: 本論文は、人間と LLM の間のアーキテクチャおよび訓練の違いを分解する。
  • 長期記憶: LLM は、12 歳までの子供が約 1 億語であるのに対し、Llama 3 は 15 兆語など、桁違いのデータ量で訓練され、人間が持っていない、あるいは忘却した事実知識（有名人の出身地など）や多語句を保持している。
  • 短期記憶: 時間的減衰や干渉の影響を受ける人間の作業記憶とは異なり、トランスフォーマーアーキテクチャはアテンション機構を通じて前の単語を「減衰なし」で保持する。これにより、LLM は数千語前に言及されたエンティティを完全に想起でき、人間が処理の困難さを見せる反復テキストにおいて、ほぼ完璧な予測を可能にする。

主要な貢献

1. 「人間を超えた能力」の障壁としての特定: 本論文は、LLM を認知モデルとして用いる際の主な障壁が能力の欠如ではなく、能力の「過剰」にあると仮定する。その「人間を超えた」記憶により、知識の欠如や記憶の減衰のために本質的に人間にとって困難な予測タスクを解決できてしまう。
2. 記憶の不一致の診断: 著者らは、この乖離を以下の 2 つの具体的な記憶の不一致に明確に起因させる。
   • 親しみやすさの不一致: LLM は、平均的な人間読者が持たない事実知識や特定のテキスト（例えば『独立宣言』など）への曝露を有している。
   • 想起の不一致: LLM は、人間の短期記憶に固有の時間的減衰や干渉効果を持たないため、構文の曖昧さを解決し、反復されたエンティティを完璧な精度で想起できるが、人間はこれに苦戦する。
3. 人間らしいモデル化の提案: 本論文は、予測精度の最大化から「人間らしさ」の最大化へとモデル化の目標を転換することを提唱する。これには、人間規模の記憶制約を持つ LLM の開発が含まれる。

結果と証拠

• 乖離の傾向: LLM の確率を人間の読書時間に適合させる回帰モデルの分析は、非単調な関係を示す。モデル精度の初期の向上は適合度を高めるが、ある閾値を超えると、さらなる精度の向上は適合度を低下させる。
• 記憶操作研究: 本論文は、LLM の文脈へのアクセスを制限することが整合性を改善するという証拠を引用する。例えば、深く埋め込まれた文における高頻度語の重みを低下させる、またはアテンションウィンドウを最近の単語に制限することは、モデル確率と人間の読書時間の間の不一致を減少させる。
• 訓練データの影響: 大規模な一般コーパスで訓練されたモデルよりも、小規模でキュレーションされたデータセット（BabyLM チャレンジなど）または専門分野で訓練されたモデルの方が、人間の読書行動との整合性が良い。これは、データ曝露を制限することが「人間を超えた」専門知識の獲得を防ぐことを示唆している。

意義と将来の方向性
本論文は、LLM が人間の言語理解の妥当なモデルとなるためには、「人間を超えた能力を減らす」必要があると結論づける。著者らは、これを達成するためのいくつかの方向性を概説する。

• 訓練データのキュレーション: 不明瞭な事実の記憶化を防ぎ、完璧な短期記憶メカニズムの発育を抑制するため、訓練データを人間規模の量（約 1 億語など）に制限する。
• アーキテクチャの変更: 入力圧縮を強制し、人間のような減衰を実装する再帰型ニューラルネットワーク・アーキテクチャの検討、またはボトルネックと減衰関数を導入するためにトランスフォーマーのアテンション機構を変更する。
• 訓練目的の変更: 単一の正しい単語に高い確率を割り当てる「語彙的に鋭い」予測を報酬とする目的から、意味的に類似した単語に確率質量を割り当てる「拡散的」な予測を促す目的へ転換し、人間の不確実性をよりよく反映させる。
• 事後介入: 人間が通常持たない特定の事実知識を「忘却」させるためのモデル編集技術の使用。
• 新しい実験パラダイム: 進捗をベンチマークするためのターゲットを絞った人間実験の呼びかけ。これらの実験は、質問票を通じて長期知識を、リスト想起や介入テキストを通じて短期記憶負荷を体系的に操作し、記憶制約と読書行動の間の因果関係を確立すべきである。

本論文は、LLM と人間の間のギャップを埋めるためには、より優れたモデルだけでなく、記憶と知識における人間の制約によって制約されたモデルが必要であると強調している。