Large Language Models as Proxies for Theories of Human Linguistic Cognition

技術的要約：人間の言語認知理論のプロキシ（代理）としての大規模言語モデル

問題提起
本論文は、人間の言語認知（HLC）の研究における大規模言語モデル（LLM）の役割を取り上げている。本稿は、「現在のLLM自体がHLCに関する最良の理論である」と仮定する「LLM理論」（例：Piantadosi 2023）を批判している。その理由は、この見解が、能力（competence）対実行（performance）、文法性（grammaticality）対尤度（likelihood）、および階層構造に関する特定の帰納的飛躍といった、人間の認知における根本的な区別を説明できていないからである。

代わりに、本論文は「プロキシ・ビュー（代理の見解）」を検証している。この仮説は、現在のLLM自体はHLCの優れた理論ではないものの、未だ明かされていない第三の理論（$H_3$）のプロキシ（代理）として機能し得るというものである。$H_3$は、生成文法的な強い先天的バイアス（$H_1$）を持たない、比較的言語的に中立な理論として想定されている。$H_3$は、人間の言語獲得および類型論的パターンを説明できるものである。中心となる問題は、$H_3$が現在未規定であるため、経験的に評価することが困難である点にある。著者らは、現在のLLMが、言語的に中立な$H_3$が現実的なコーパスから言語知識を正常に獲得できるか、あるいは言語間の類型論的な非対称性を説明できるかどうかをテストするための、方法論的なツールとして機能し得るかを問い直している。

方法論
著者らは、子供向けの発話（CHILDED, BabyLM）で訓練された小規模モデルから、数十億のトークンで訓練された大規模モデル（BERT, GPT-2, LLaMA-3.2）に至る8種類のLLMを用い、2つの主要な実験的枠組みを通じてプロキシ・ビューを評価している。

1. 刺激との整合性（帰納的飛躍の獲得）：

   • タスク： 著者らは、言語的に中立な学習者が「刺激の貧困（APS）」から導出することが困難であるとされる特定の言語的一般化を、LLMが獲得できるかどうかをテストする。
   • 現象： 以下の3つの特定の統語的現象をテストした。
     • Across-the-Board (ATB) 移動
     • 寄生的ギャップ (Parasitic Gaps, PG)
     • That-trace 効果 (That-trace effects, TTE)
   • 指標： 「最小対照（minimal pair）」の手法を用い、モデルに文法的および非文法的な一対の文を提示した。成功の定義は寛容に設定され、モデルが決定的なトークン領域において、非文法的な継続よりも文法的な継続に対して高い確率を割り当てることとした。
   • 論理： もしLLM（$H_3$のプロキシとして）が、発達的に現実的なコーパスや大規模なコーパスで訓練された後でも、文法的な選択肢を好むことができなければ、それは言語的に中立な$H_3$もこれらのパターンを獲得できないことを示唆し、したがって先天的バイアス（$H_1$）を支持するAPSの議論を強化することになる。

2. 通言語的証拠（類型論的非対称性）：

   • タスク： 著者らは、LLMが「実在する（attested）」言語を「実在しない（unattested/摂動を加えた）」言語よりも容易に学習するかを調査する。もし言語的に中立な$H_3$が、なぜ特定の言語タイプが実在しないのかを説明できるのであれば、プロキシとしてのLLMにとっても、その実在しない変種を学習することは困難になるはずである。
   • 設定： Kalliniら（2024）に基づき、英語、イタリア語、ロシア語、ヘブライ語のコーパス、およびそれらの摂動を加えたバージョンのコーパスを用いてTransformerを訓練した。
   • 摂動（Perturbations）：
     • 部分的逆転 (Partial-reverse): ランダムなインデックスから文のセグメントを反転させる。
     • 完全逆転 (Full-reverse): 文全体を反転させる。
     • インデックスの入れ替え (Switch-indices): 特定のインデックス（0と2）でトークンを入れ替える。
     • トークン・ホップ (Token-hop): 動詞からの固定された線形距離にマーカーを挿入する（線形的なカウントを要求する）。
   • 指標： 訓練中の検証パープレキシティ（validation perplexity）。パープレキシティが低いほど、学習が容易であることを示す。

主要な結果

• 統語的一般化の獲得：

  • LLMは、ATB、PG、TTEの最小対照において、文法的な文を非文法的な文よりも好む傾向を概して示せなかった。
  • 人間の曝露量に相当する数百〜数千年のデータで訓練された大規模なLLaMAモデルを除き、すべてのモデルは圧倒的に非文法的な選択肢を好んだ。
  • この失敗は、もしLLMが$H_3$のプロキシであるならば、$H_3$も現実的な入力からこれらの複雑な階層的依存関係を獲得できない可能性が高いことを示唆しており、APSによる先天的言語バイアスの議論を覆すには至らないことを示している。

• 類型論的非対称性：

  • 結果は、実在する言語が実在しない（摂動を加えた）言語よりも学習しやすいという考えを、一貫して支持するものではなかった。
  • 部分的逆転の摂動は、ベースラインよりも学習が困難であった（これにより、この特定のケースについてはプロキシ・ビューが支持された）。
  • しかし、完全逆転、インデックスの入れ替え、トークン・ホップについては、モデルはしばしば実在するベースラインよりも、非文法的（摂動を加えた）バージョンの方が学習しやすいと判断したか、あるいは有意な差が見られなかった。
  • 具体的には、「トークン・ホップ」の摂動（階層的一般化を犠牲にして線形的なカウントを優先するもの）は、実在するベースラインよりも容易に学習されることがあった。

主な貢献

• 方法論的明確化： 本論文は、LLMが理論そのものになるのではなく、中立な理論を評価するためのツールになり得るという「プロキシ・ビュー」を、LLM理論とは異なる立場として明確に定義した。
• 経験的評価： 記述的な推測を超えて、獲得および類型論に関する具体的な実験を提供することで、プロキシ・ビューに対する予備的な経験的テストを実施した。
• 負の証拠： 本研究は、現在の条件下および現在のモデルにおいては、LLMが言語的に中立な理論が主要な言語現象や類型論的パターンを説明できることを示す証拠を提供できないことを示した。

意義と主張
本論文は、現時点では、現在のLLMはプロキシ・ビューを支持していないと結論付けている。モデルが人間のような帰納的飛躍を近似できないこと（大規模なデータを用いたとしても）、および類型論的パターンに対する学習が不一致であることは、LLMが成功した言語的に中立な理論の良好なプロキシにはなっていないことを示唆している。

著者らは、プロキシ・ビューがターゲットとなる理論（$H_3$）を明示的に定義していないため、経験科学において直接的に有用であるには「あまりに曖昧すぎる」と強調している。本論文は、プロキシ・ビューの支持者に対し、ターゲットとなる理論の詳細を明示し、LLMのパフォーマンスがどのように生成文法的な代替案よりもその理論を具体的に支持しているのかを示すよう求める「嘆願」でもある。著者らは、負の結果は対象としたモデルと現象に限定されたものであることを指摘し、謙虚な姿勢を維持している。異なるモデルやより明示的な理論を用いれば、異なる結論が得られる可能性がある。しかし、現在の証拠に基づけば、LLMは既存の言語理論を変更する必要性を示唆するものではない。