Cross-lingual robustness of LLM-brain alignment and its computational roots

問題提起
大規模言語モデル（LLM）は言語理解中の神経活動を予測する堅牢な能力を示してきたが、この対応の性質を理解する上ではいくつかの決定的なギャップが残されている。第一に、LLM と脳との対応が、古典的な左側優位のペリシルビアン言語ネットワークを超えて、皮質下構造や分散した皮質機能ネットワークを含むかどうかは不明である。第二に、これらの対応パターンが、タイプ論的に異なる言語（例えば中国語、英語、フランス語）間でどの程度空間的に重なり合うかは、体系的に特徴づけられていない。第三に、この対応の計算論的基盤については議論が続いている。具体的には、トランスフォーマーの深さが脳の階層組織を真に反映しているのか、また予測処理（驚き）が神経予測性を駆動しているのか、それとも情報圧縮（内在次元）が駆動しているのかである。最後に、最近の証拠は、文脈埋め込みが常に静的埋め込みを上回るわけではないことを示唆しており、文脈感受性が神経対応の主要な駆動力であるという仮定に挑戦している。

方法論
本研究は、中国語、英語、フランス語の 3 言語で自然な物語（「星の王子さま」）を聴取した 112 名の fMRI データを用いた多言語・全脳エンコーディング枠組みを採用した。

• データ: fMRI データは、オーディオブックを受動的に聴取している間に取得された。前処理には標準的なパイプライン（fMRIPrep）、交絡因子の回帰、400 パーセルの皮質分割（Schaefer）および 16 の皮質下領域（Melbourne Subcortex Atlas）へのマッピングが含まれた。
• モデル: 7 つのモデルが使用された。1 つの多言語 BERT（mBERT）、3 つの単一言語 BERT（言語ごとに 1 つずつ）、および 3 つの静的 FastText モデル（言語ごとに 1 つずつ）である。
• エンコーディング: リッジ回帰を用いて、モデルの埋め込み（静的および文脈的の両方）を fMRI 時系列にマッピングした。文脈的埋め込みは、mBERT の 12 層すべてのトランスフォーマー層から導出され、コンテキストウィンドウは文全体によって定義された。
• 解析:
  • 空間的対応: 有意な関心領域（ROI）は、FDR 補正を施した 1 サンプル t 検定によって同定された。言語間の重なりは皮質表面上で可視化された。
  • 層別解析: 対置換検定により、トランスフォーマー層間における脳スコアの差異を評価した。各 ROI に対して好まれる層を同定した。
  • 計算論的指標: 機械的仮説を検証するために、著者は mBERT に対して層別の驚き（予測的不確実性）と内在次元（ID）（表現圧縮）を計算した。これらの指標は、観察された層別の脳スコアプロファイルと比較された。
  • モデル比較: 文脈的（mBERT）対静的（FastText）のパフォーマンスは、置換検定および線形混合効果モデルを用いて比較された。

主要な結果

1. 分散および皮質下対応: トランスフォーマーベースのモデルは、標準的な言語領域（IFG、STG、MTG）、デフォルト・モード・ネットワーク（DMN）、辺縁系ネットワーク、および皮質下構造（尾状核、被殻、扁桃体）を含む広範な分散した領域における神経活動を予測した。これは、LLM の対応が皮質言語ネットワークを超えて拡張していることを確認するものである。
2. 言語間安定性: 空間的対応パターンは、中国語、英語、フランス語間で著しい重なりを示した。共有された有意な領域には、後部 STG、MTG、IFG、IPL、PCC、mPFC、ACC、および扁桃体が含まれる。言語固有のバリエーションも存在したが、頑健で言語に依存しない表現空間が同定された。
3. 層間安定性: 厳密な層から皮質への階層という仮説に反し、本研究では、初期の感覚領域から高次領域への対応の系統的な進展はトランスフォーマー層間で発見されなかった。空間的対応パターンはモデルの深さ全体でほぼ安定していた。一部の領域では、初期層または中間層がより深い層と同等かそれ以上の性能を示した。
4. 静的対文脈的埋め込み: 文脈的埋め込みが静的埋め込みを上回るとする以前の文献に反し、本研究では、3 言語すべてにおいて静的 FastText 埋め込みが、文脈的 mBERT 埋め込みよりも高いエンコーディング性能を示すことが多く見られた。
5. 計算論的指標の不一致: 驚きも内在次元（ID）も、観察された層別の脳スコアプロファイルを反映しなかった。脳スコアは層間で U 字型のプロファイル（中間層でピーク）を示したのに対し、驚きは単調に減少し、ID は第 10 層でピークに達した。これは、予測的不確実性と表現圧縮が、観察された対応の主要な駆動力ではないことを示している。
6. 機能階層感受性: 層別の進展は欠如していたが、機能ネットワーク全体にわたる脳スコアの大きさは、脳の広域組織勾配を反映していた。対応は、転モダールネットワーク（辺縁系、腹側注意、DMN）で最も強く、一次感覚/運動ネットワークでは弱く、これは主要な皮質勾配と一致する。

意義と主張
本論文は、脳-LLM 対応が空間的に頑健であり、言語間で安定しており、タイプ論的に異なる言語間で一般化し、皮質下領域へと拡張していると主張している。しかし、著者は控えめに、この対応がトランスフォーマーと人間の脳の間で共有された階層的計算組織を必ずしも反映していないと結論づけている。

具体的には、本研究は、トランスフォーマーの深さが皮質階層を反映している、あるいは対応が予測処理（驚き）または情報圧縮（ID）によって駆動されているという見解に挑戦している。その代わり、著者は、神経予測性は主に言語間で一般化する分散した語彙的意味対応から生じると提案している。この対応は、共有された計算目標（予測誤差の最小化や情報の圧縮など）ではなく、自然言語の共有された統計的構造を反映している可能性がある。これらの知見は、LLM が脳の機能階層（例えば、転モダール対感覚処理）の側面を捉えている一方で、それは以前仮説とされた特定の層別計算ダイナミクスとは異なるメカニズムを通じて行われていることを示唆している。