💬 NLP

Why are language models less surprised than humans? Testing the Parse Multiplicity Mismatch Hypothesis

本論文は、構文曖昧性における人間の処理困難性の過小評価が、言語モデルの人間よりも多くの並行文構文解析を維持する能力に起因するという仮説を検証したが、解析の多重性を低減することが予測されたガードンパス効果を増大させる一方で、人間の読解時間差の大きさの完全な説明には至らないことを明らかにした。

原著者： William Timkey, Brian Dillon, Tal Linzen

公開日 2026-05-18

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： William Timkey, Brian Dillon, Tal Linzen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

物語を読んでいると、ふと脳を欺くような一文に出会うことがあります。これを「ガーデンパス文」と呼びます。

例を挙げましょう：「The girl fed the lamb was upset because she asked for beef.（その少女は子羊に餌をやり、彼女は牛肉を求めたので落胆した）」

まず「The girl fed the lamb」と読むと、脳は自然に「少女が子羊に餌をやっている」と解釈します。これが最も一般的な理解の仕方です。しかし、「was」という単語に出会うと、脳は突然自分が間違っていたことに気づきます。実際には、その少女は「餌をやり（feeding）」ではなく、「餌をやり（fed）」られた（誰かに餌をやりされた）のであり、彼女は牛肉について落胆していたのです。その混乱と再読の瞬間には時間がかかります。心理学者はこれを「ガーデンパス効果」と呼びます。

大きな問い
科学者たちは、「言語モデル」と呼ばれる強力なコンピュータプログラム（このテキストを書いているようなもの）を構築しており、文の次の単語を推測するのが非常に得意です。「驚き理論（Surprisal Theory）」という仮説は、予測が難しい単語ほど、人間が読むのに時間がかかることを示唆しています。

問題は何かというと、科学者たちがこれらのコンピュータをガーデンパス文でテストした際、コンピュータはあまりにも冷静すぎたのです。彼らはそのトリックに十分に驚いていないように見えました。彼らは混乱がわずかなものになると予測しましたが、人間は実際には大きな精神的な「つまずき」を経験します。

仮説：「懐中電灯」理論
この論文の著者たちは疑問に思いました：なぜコンピュータはそれほど冷静なのか？

彼らは、コンピュータがあまりにも賢すぎるからではないかと推測しました。コンピュータが「The girl fed the lamb」と読むとき、頭の中で数十もの異なる解釈を同時に保持している可能性があります。「もしかしたら少女が子羊に餌をやっているのかもしれない。もしかしたら子羊が少女に餌をやっているのかもしれない。もしかしたら別の種類の子羊なのかもしれない」と考えているのです。すべての可能性を同時に眺めているため、「was」という単語は衝撃には感じられず、すでに検討していた多くの選択肢の一つに過ぎないと感じられるのです。

一方、人間は暗い部屋の懐中電灯のようなものかもしれません。私たちは一度に一つか二つの道しか照らすことができません。「少女が餌をやっている」という考えに固執します。「was」に出会うと、私たちの懐中電灯は間違った方向を指しており、回転して新しい道を見つけなければなりません。その回転には時間と労力がかかります。

著者たちはこれを**「構文多重性の不一致仮説（Parse Multiplicity Mismatch Hypothesis）」**と呼びました。簡単に言えば：コンピュータは一度にあまりにも多くの可能性を見ているため驚きが少なく、人間はただ一つを選ぶことを強いられているのです。

実験：懐中電灯の光を弱める
これを検証するために、研究者たちは「どのくらいの数の道」を見るかを正確に指示できる特殊なコンピュータモデルを使用しました。彼らは異なる設定でガーデンパス文をモデルに走らせました。

高多重性：コンピュータは 1,000 種類の異なる解釈を同時に見る（非常に明るく広い懐中電灯のようなもの）。
低多重性：コンピュータは 1 つか 2 つの解釈しか見ることができないように強制される（暗く狭い懐中電灯のようなもの）。

結果

部分的に正しかった：コンピュータに少ない数の道（狭い懐中電灯）を見るように強制すると、確かに驚きが増しました。コンピュータの予測における「つまずき」は大きくなりました。
しかし、ほとんどは間違っていた：コンピュータに一つの道（人間と同じく間違った道）を見るように強制しても、コンピュータの驚きは人間の反応に比べてまだ微小でした。

コンピュータの「つまずき」は、依然として人間のつまずきの約 40 分の 1 しかありませんでした。

結論
この論文は、単にコンピュータを「愚かにする」こと、あるいは選択肢を少なく見るように強制することでは問題が解決しないと結論付けています。コンピュータと人間が言語を処理する際の格差は、頭の中で同時に保持できるアイデアの数だけで説明するには大きすぎます。

著者たちは、人間の脳にはコンピュータにはない追加のステップがある可能性を指摘しています。それは特定の「再分析」メカニズムです。人間が詰まると、少し驚くだけでなく、古い理解を積極的に解体し、新しいものを再構築します。現在のコンピュータモデルは、制限を加えられていても、その「解体して再構築する」ボタンを持っているようには見えません。彼らは単に推測を続け、あまりにも簡単に推測してしまいます。

要約
研究者たちは、コンピュータがトリッキーな文に驚きが少ないのは、「考えすぎている（多くのアイデアを保持している）」からではないかと検証しようとしました。その結果、コンピュータに「考えすぎない」ように強制しても、コンピュータは依然として人間に比べてあまりにも冷静であることがわかりました。これは、人間とコンピュータの読みの違いが、私たちが同時に操れるアイデアの数だけにあるのではなく、間違えたときにどのように対処するかという、より深い部分にあることを意味します。

技術サマリー：構文解析多重性の不一致仮説の検証

問題提起
驚き理論（Surprisal theory）は、単語の処理困難さがその文脈における予測可能性（負の対数確率）によって決定されると主張し、人間の文処理と言語モデル（LM）からの次単語予測との間の潜在的な関連性を示唆している。LM の驚き値は自然なテキストにおける読了時間を成功裡に予測するが、統制された構文曖昧性の研究、特に「ガーデンプラッド（garden path）」文において、観察される困難さの大きさを体系的に過小評価する。これらの文では、一時的な曖昧性が最初に一つの解釈を支持し、その後、好ましくない解釈を支持するように曖昧性が解消されることで、重大な処理コスト（例えば、読了時間の 300ms 以上の増加）が生じる。

先行研究は、LM がガーデンプラッド効果の「方向」を予測する一方で、その「大きさ」は人間データよりも桁違いに小さいことを示している。例えば、GPT-2 は約 8ms のガーデンプラッド効果を予測するのに対し、人間データでは 300ms を超える効果が示されている。本論文は、この不一致が人間と LM の間の計算制約の違いに起因するかどうかを調査する。具体的には、「構文解析多重性の不一致仮説（Parse Multiplicity Mismatch Hypothesis）」を検証する。この仮説は、LM は人間よりも多くの異なる構文解釈（解析）を同時にメモリに保持できるという提案である。もし人間の並列処理能力がより制約されているならば、人間は単一の誤った解釈に早期にコミットし、曖昧性が解消された際に、多数の競合する解析をマージする LM に比べて、より高い驚き値を経験する可能性がある。

方法論
この仮説を検証するために、著者らは再帰的ニューラルネットワーク文法（RNNGs）（Dyer et al., 2016）を利用した。標準的な自己回帰型 LM（GPT-2 など）が暗黙的に構文を学習するのに対し、RNNG は文脈の明示的な構文解析に基づいて次単語の予測を行う。このアーキテクチャは、単語同期ビームサーチ（word-synchronous beam search）を通じて「解析多重性」を直接操作することを可能にする。

モデル設定：著者らは、BabyLM および BLLIP コーパスを用いて RNNG を訓練し、2 つの解析戦略（トップダウン法と左コーナー法）を採用した。
多重性の操作：変化した主要パラメータは「単語ビーム幅（ $k_w$ $k_{w}$ ）」であり、これは各単語ステップで保持される異なる解析の数を決定する。
- $k_w = 1$ ：単一の解析のみを保持する完全な直列パーサーを表す。
- $k_w \to \infty$ ：すべての解析にわたる完全なマージ化を近似する完全な並列パーサーを表す。
- 本研究では、 $k_w$ の値を 1 から 1000 の範囲でテストした。
驚き値の計算：次単語の確率分布を上位 $k_w$ 個の解析にわたってマージ化することで、次単語の驚き値を計算した。
反事実的条件：境界を設定するために、著者らは 2 つの特定の条件を導入した。
- 強制ガーデンプラッド（FORCED GARDEN PATH）：ビームを、最初に好まれる（誤った）解釈と一致する解析のみを含むように手動で剪定し、予測される驚き値の上限を生成する。
- 完全並列（FULL-PARALLEL）：ビームが常に少なくとも 1 つの、文脈的に正しい解釈と一致する解析を含むように手動で保証し、下限を生成する。
データと評価：モデルは SAP ベンチマーク（Huang et al., 2024）で評価され、具体的には 3 つのガーデンプラッド構成（MV/RR、NP/S、NP/Z）に対して評価された。本研究は、フィラー文に対する線形混合効果回帰を通じて驚き値から導出された予測読了時間を、経験的な人間の読了時間と比較した。

主要な結果

自然なテキスト：先行研究と一致し、より大きなビーム幅（ $k_w$ ）から導出された驚き値推定値は、自然なフィラー文における読了時間により良い適合を示した。これは、一般的なテキストにおいては、より高い並列性（より多くの解析）がより正確な人間のような予測をもたらすことを示唆している。
ガーデンプラッド効果：解析多重性を減少させる（ $k_w$ を低下させる）ことは、予測されるガーデンプラッド効果の大きさを増加させ、並列性の制限が曖昧性解消のコストを増大させるという直感を支持した。最大の効果は、ビームが正しい解析を剪定するには小さく、かつ高品質な解析を維持するには十分な大きさである中間的なビーム幅（ $2 \le k_w \le 10$ ）で観察された。
格差の持続：並列性を制限することで予測される効果サイズを増大させたにもかかわらず、結果は人間データとの格差を埋めることに失敗した。
- 最も制限的な条件（例えば、 $k_w=1$ 、または誤った解析のみを考慮する強制ガーデンプラッド条件）であっても、予測される読了時間の増加は、経験的な人間の効果よりも桁違いに小さかった。
- 正しい解析の存在を保証する完全並列条件は、修正されていないビームと比較して過小評価を有意に減少させなかった。これは、問題が単にビーム内に正しい解析が存在するかどうかではないことを示している。

意義と主張
本論文は、構文解析多重性の不一致仮説が、LM ベースの驚き値と人間の文処理を完全に統合することはできないと結論づけている。LM における同時並行解析の数を制限することはガーデンプラッド文の予測される困難さを増加させるが、人間の処理コストの全規模を説明するには不十分である。

著者らは、この発見が以下のことを示唆すると主張している。

不一致は、考慮される解釈の数（解析多重性）のみによって駆動されているわけではない。
LM が最初に好まれる（誤った）解釈のみを考慮するように強制された場合でも、曖昧性を解消する単語に対する結果としての驚き値は、人間の読了時間を説明するには低すぎる。
したがって、ガーデンプラッド効果の全規模を説明するには、単段階の単語予測可能性を超えたメカニズムが必要である可能性が高い。著者らは、構文再分析（2 段階の修復プロセス）や、標準的な驚き理論では捉えられない他のメカニズムが、人間の曖昧性解消の困難さをモデル化するために必要であると示唆している。

この研究は、LM が人間の予測メカニズムと並行する可能性がある一方で、人間の記憶の特定の計算制約（並列性の観点から）が、ガーデンプラッド効果における不一致の主要な要因ではないことを示唆している。むしろ、処理コストそのものの性質は、単語レベルの驚き値に還元できないプロセス（再分析など）を含む可能性がある。

関連論文