When word order matters: human brains represent sentence meaning differently from large language models

7T fMRI による脳画像データを用いた研究により、トランスフォーマーモデルは単語の順序を無視するモデルより優れているものの、構文関係を明示的に符号化するモデルや人間の脳における意味の表現とは依然として大きく異なり、文の構造が意味理解において決定的な役割を果たすことが示されました。

要約

この論文は、**「最新の AI（大規模言語モデル）は、人間の脳と同じように『文章の意味』を理解しているのか？」**という疑問に、脳の画像データを使って答えた研究です。

結論から言うと、**「AI は単語の並び順をある程度は理解しているが、人間の脳ほど『文の構造（誰が・何を・どうした）』を深く理解していない」**という驚くべき結果が出ました。

以下に、難しい専門用語を避け、身近な例え話を使って解説します。

---

🍎 1. 実験の舞台：「言葉のジグソーパズル」

研究者たちは、AI と人間の脳を比べるために、108 個の特別な「文章パズル」を作りました。
このパズルは、**「同じ単語を使って、意味だけを変えた」**という工夫がなされています。

• 例え話：
  • 元の文：「カメラマンが機材を監督に持ってきた」
  • 入れ替えた文：「監督がカメラマンを機材に持ってきた」

この 2 つの文は、使われている単語（カメラマン、機材、監督など）はほぼ同じです。でも、「誰が何をしたか」という意味（構造）は真逆になります。

• 人間の脳： 「あ、これは意味が全然違う！」とすぐに気づきます。
• 従来の AI： 「単語が同じだから、意味も似ているはずだ」と勘違いしやすい傾向がありました。

🧠 2. 脳の反応を「写真」で見る

30 人の参加者に、この文章パズルを読みながら MRI（脳の活動写真を撮る機械）に入ってもらいました。
そして、**「脳がどの文章を『似ている』と感じ、どの文章を『違う』と感じたか」**を分析しました。

これを「脳が作った意味の地図」と呼びましょう。

🤖 3. AI と脳の「似ている度」を比べる

次に、研究者たちは 4 種類の「文章の意味の計算方法（モデル）」を用意し、それぞれが作った「意味の地図」と、人間の「脳の地図」を比べました。

1. 単語の平均値モデル（Mean）：

   • 仕組み： 文を構成する単語をただ混ぜ合わせて平均を取るだけ。
   • 結果： 入れ替えた文も「同じ意味」として扱ってしまい、脳の反応とは全く合いませんでした（マイナスの相関）。
   • 例え： 料理の材料（卵、牛乳、小麦粉）を混ぜるだけで、それが「ケーキ」なのか「パン」なのか区別できない状態。

2. 最新の AI モデル（Transformer / GPT-4 など）：

   • 仕組み： 現在の最先端 AI。文脈を考慮して単語の意味を捉える。
   • 結果： 単語の平均値モデルよりはマシでしたが、それでも「入れ替えた文」を「似ている」と判断してしまい、脳の反応とはズレていました。
   • 例え： 料理の材料だけでなく、混ぜる順番も少し気にするけど、「卵と牛乳を混ぜる」のが「ケーキ」なのか「パン」なのか、まだ迷う状態。

3. 構造を重視したモデル（VerbNet-CN / Graph）：

   • 仕組み： 「誰が（主語）」「何を（目的語）」「どうした（動詞）」という役割を厳密に分析するモデル。
   • 結果： これが最も人間の脳の反応と一致しました！
   • 例え： 「卵と牛乳を混ぜて焼けばケーキ、パンを焼けばパン」と、作り方の手順（構造）を正確に理解している状態。

💡 4. 何がわかったのか？（重要な発見）

この研究から、2 つの大きなことがわかりました。

• AI は「単語の羅列」には強いが、「文の骨組み」は弱い
  最新の AI は、単語の意味を文脈で捉えるのが得意ですが、「主語と目的語が入れ替わると意味がどう変わるか」という構造への敏感度は、人間の脳に比べると劣っていることがわかりました。AI は「単語が似ているから意味も似ている」という表面的な判断に頼りすぎているようです。

• 脳は「構造」を重視している
  人間の脳は、単語が同じでも、「誰が誰に何をしたか」という関係性（構造）が変わると、大きく反応を変えます。これは、私たちが言葉を理解する際、単なる単語の集まりではなく、「役割の役割分担」を厳密に処理していることを示しています。

🎭 5. 結論：AI はまだ「人間の真似」が完璧ではない

「AI は人間のように言葉を理解している」と言われることがありますが、この研究は**「言葉の構造（誰が・何を・どうした）」という点においては、AI はまだ人間の脳に追いついていない**ことを示しています。

• AI： 「単語の並び」をパターン認識して答える、優秀な「辞書」や「統計屋」。
• 人間の脳： 「誰が何をしたか」という物語の構造を深く理解する「ストーリーテラー」。

今後の AI 開発では、単に「単語の並び」を学ぶだけでなく、「文の構造」を人間のように深く理解させる仕組みが必要だという示唆を与えています。

---

一言でまとめると：
「AI は単語の知識は豊富ですが、『誰が何をした』という文の骨組みを理解する力は、まだ人間の脳には敵いません。脳は『構造』を重視する天才なのです。」

技術概要

論文要約：「語順が重要であるとき：人間の脳は文の意味を大規模言語モデルとは異なる方法で表現する」

著者: James Fodor, Carsten Murawski, Shinsuke Suzuki
発表日: 2026 年 3 月 3 日（プレプリント）
概要: 本論文は、トランスフォーマーアーキテクチャに基づく大規模言語モデル（LLM）が、人間と同様に文の意味を符号化・処理しているかどうかを検証した研究です。7 テスラ fMRI を用いた実験により、語彙的意味（単語の意味）を統制した上で、文構造（語順や構文関係）が脳活動にどのように反映されるかを分析しました。その結果、現在のトランスフォーマーモデルは人間脳と比べて文構造への感度が低く、構文関係や意味役割（Semantic Roles）を明示的に符号化するモデルの方が脳活動と高い相関を示すことが明らかになりました。

---

1. 研究の背景と問題提起

近年、GPT-4 や Llama などのトランスフォーマー型大規模言語モデルは、人間のような言語生成能力を示しています。しかし、これらが「人間と同様の方法」で言語の意味を脳内で表現しているかは未解明です。
既存の研究では、自然なテキスト刺激を用いて脳活動とモデルの相関を評価するケースが多いですが、以下の限界がありました：

• 語彙的混同（Lexical Confound）: 単語自体の意味の違いがモデルの予測精度を決定づけており、文構造の処理能力を分離して評価できていない。
• モデルの限界: 静的な単語埋め込み（Word Embeddings）とトランスフォーマーの文脈埋め込みを比較するだけでは、トランスフォーマーが構文構造を脳のように扱っているかどうかが不明確である。

本研究は、**「語彙的類似性を統制した上で、文構造の違いが脳とモデルの表現にどう影響するか」**を解明することを目的としています。

2. 研究方法

2.1 刺激材料（Stimuli）の設計

108 文の手書き文（Handcrafted sentences）を作成しました。これらは 6 つのブロック（サブセット）に分けられ、各ブロック内で以下の操作を系統的に行い、語彙的類似性と意味的類似性を分離しました（図 1a 参照）。

• Same（同一）: 形容詞を少し追加するのみ。
• Modified（修正）: 場所や時間などの修飾語を追加。
• Substituted（置換）: 主語、動詞、目的語などの主要要素を置換。
• Swapped（入れ替え）: 本研究の核心。主語と目的語などの役割を入れ替える（例：「カメラマンが機材を監督に持ってきた」vs「監督がカメラマンを機材に持ってきた」）。これにより、語彙はほぼ同じだが、意味構造（誰が何をしたか）が全く異なる文対を作成しました。

2.2 計算モデルの比較

4 つの異なるアプローチで文の表現を計算し、代表類似性分析（RSA: Representational Similarity Analysis）を行いました。

1. Mean-CN: 単語埋め込みの単純平均。語順や構文を無視するベースライン。
2. Transformer: 5 つの異なるトランスフォーマーモデル（ERNIE, AMRBart, SentBERT, DefSent, OpenAI 等）の平均。
3. Graph (AMR-Smatch): 抽象意味表現（AMR）グラフを用いた構文解析ベースのモデル。
4. Hybrid (VerbNet-CN): 意味役割（Agent, Patient, Theme など）に基づいてベクトルを構築するハイブリッドモデル。

2.3 実験データ収集

• fMRI 実験: 30 名の参加者が 108 文を読み、その際の脳活動（7T fMRI）を記録。言語ネットワーク（Language Network）や全皮質（一次視覚野を除く）を分析対象とした。
• 行動実験: 502 名のオンライン参加者に同じ文対の「意味的類似性」を 7 段階で評価させ、人間の直感的判断を収集。

2.4 分析手法

• RSA（代表類似性分析）: モデルが生成した文対間の類似性行列と、脳活動（または人間の評価）の類似性行列との相関を計算。
• 統制変数: 文の長さ、視覚的類似性（文字数など）の影響を統計的に統制。

3. 主要な結果

3.1 fMRI 結果（脳活動との相関）

• 全体的な文対: 語彙的違いが大きい文対全体では、すべてのモデル（Mean, Transformer, Hybrid）が脳活動と正の相関を示しましたが、モデル間の差は小さかった。
• ブロック対角文対（構造が重要）: 語彙は似ているが構造が異なる「Swapped」文対に限定して分析した際、結果は劇的に変化しました。
  • Mean-CN: 強い負の相関（-0.204）。脳は語順を無視した単純な単語平均とは全く異なる表現を持っていることを示唆。
  • Transformer: 負の相関（-0.045）だが、Mean よりもマシ。しかし、依然として脳との一致は悪く、構造変化（Swapped）に対して人間ほど敏感ではない。
  • VerbNet-CN（ハイブリッド）: 正の相関（0.070）を示し、最も脳活動と一致しました。
  • AMR-Smatch: 同様に正の相関（0.047）を示しました。
• 結論: 脳は、語彙が同じでも構文構造（意味役割）が変われば、その文を「異なるもの」として強く区別しています。トランスフォーマーはこの構造変化に対して鈍感です。

3.2 行動実験結果（人間評価との相関）

• 全体的な文対では、Transformer が人間評価と最も高い相関（0.568）を示しました。
• しかし、「Swapped」文対に限定すると、Transformer は人間よりも構造変化を過小評価する傾向（相関 0.639）があり、VerbNet-CN（相関 0.698）の方が人間に近い判断を示しました。
• GPT-4 に直接類似性を評価させたところ、非常に高い相関を示しましたが、これは「構文を処理できる能力」自体は持っているものの、脳のような「表現の仕方（Representation）」をしているわけではないことを示唆しています。

3.3 脳領域の分析

• 言語ネットワーク（側頭葉、前頭葉など）全体で、VerbNet-CN モデルとの正の相関が確認されました。
• 特に側頭葉領域で、構文構造への感度が高いことが示されました。
• 文の長さ（文字数）が長い場合に、意味に関わらず脳活動が類似する「最小文長効果」も発見されました。

4. 主要な貢献と意義

1. 構文構造の重要性の証明:
   語彙的類似性を統制した刺激を用いることで、脳が文の意味を表現する際に「単語の集合」ではなく「構文構造（意味役割の関係性）」を重視していることを実証しました。

2. トランスフォーマーモデルの限界の指摘:
   現在の最先端の LLM（トランスフォーマー）は、言語タスクを遂行する能力は高いものの、脳が文の意味を表現するメカニズムとは異なることを示しました。特に、意味役割の入れ替え（Swapping）に対する感度が脳に比べて著しく低く、構文情報を脳のように統合して表現していない可能性があります。

3. ハイブリッド・グラフモデルの有効性:
   意味役割（Semantic Roles）を明示的に符号化するモデル（VerbNet-CN）やグラフベースのモデル（AMR-Smatch）が、脳活動と最も高い一致を示しました。これは、脳が言語処理において構造的な情報をどのように利用しているかについての新たな洞察を提供します。

4. 方法論的革新:
   自然言語刺激の代わりに、意図的に設計された制御された刺激（Handcrafted stimuli）を用いることで、言語処理の特定の側面（構文 vs 語彙）を解離させる新しいアプローチを確立しました。

5. 結論

本研究は、大規模言語モデルが「人間の脳のように」言語を処理しているという主張に対して懐疑的な見解を示しています。トランスフォーマーは文脈を考慮して単語の意味を調整する能力は優れていますが、文構造そのものを脳と同様の様式で表現・統合しているわけではないことが示されました。今後の言語モデルの発展や、脳科学における言語処理モデルの構築には、単なる統計的相関を超え、構文構造や意味役割を明示的に扱うアプローチの重要性が浮き彫りになりました。