A conclusive remark on linguistic theorizing and language modeling

クリスティアノ・チェシ（Cristiano Chesi）による論文「A Conclusive Remark on Linguistic Theorizing and Language Modeling（言語理論化と言語モデリングに関する決定的な所見）」は、イタリア言語学会誌（Italian Journal of Linguistics）の特別号において、Piantadosi の論文や大規模言語モデル（LLM）の台頭に対する論争への応答として執筆された最終的な所見です。

以下に、この論文の技術的概要を問題、方法論、主要な貢献、結果、そして意義の観点から詳細にまとめます。

1. 問題設定 (Problem)

近年、LLM の成功により、生成言語学（特にミニマリズム）の地位が脅かされているという議論が活発化しています。この論文は、以下の核心的な対立と混乱を解決しようとしています。

• 説明の欠如 (Lack of Explanation): LLM は言語を生成するが、そのメカニズムは「ブラックボックス」であり、人間言語能力の認知科学的説明（理論的洞察）を提供していないという批判。
• 形式化の欠如 (Lack of Formalization): 言語学的直観が数学的に厳密に形式化されていないことへの批判。
• 目的の不一致 (Divergent Goals): 生成言語学が「認知システム（人間の言語能力）」の理解を目的とするのに対し、LLM は「計算タスク（翻訳や理解）」の最適化を目的としているという点。
• LLM が「理論」を表現しているという誤解: LLM が成人の言語能力そのもの（LAD）と混同され、単なるデータ駆動のモデルが理論とみなされることへの懸念。

2. 方法論 (Methodology)

チェシは、計算言語学、実験言語学、理論言語学の 3 つの視点を対比させつつ、以下の論理的アプローチと技術的提案を用いています。

• レベルの区別と統合: マーレイのレベル（計算レベル、アルゴリズムレベル）を適用し、LLM の「観測的妥当性（Observational Adequacy）」と生成言語学が目指す「説明的妥当性（Explanatory Adequacy）」を区別しつつ、両者を架橋する「リンク仮説（linking hypotheses）」の必要性を主張します。
• 最小記述長（MDL）の適用: 理論の優劣を「説明力」の直感的な議論ではなく、理論のサイズ（記述の簡潔さ）と効率性という定量的な指標（MDL 原理）で評価するアプローチを提案します。
• 構造的バイアスの実装: 単なるデータ学習ではなく、言語学的直観（例：Merge 操作、C-命令など）をニューラルネットワークのアーキテクチャ（ゲート機構など）に明示的に組み込む実験的アプローチを推奨します。
• ベンチマークの再評価: BLiMP や BabyLM などの既存ベンチマークが生成言語学の知見に基づいている点を指摘し、これらを「データ主義（Dataism）」や「ベンチマーク化（Benchmarkification）」の罠として批判しつつも、共有された評価基準としての活用を提唱します。

3. 主要な貢献 (Key Contributions)

この論文は、LLM と生成言語学の対立を「二者択一」ではなく「相互補完」へと転換させるための重要な論点を提示しています。

• LLM と理論の関係性の再定義:
  • LLM 自体が「理論」ではなく、成人の言語能力（Competence）の模倣である。
  • しかし、LLM を訓練するアーキテクチャ（ネットワーク構造）や学習プロセスは、言語獲得装置（LAD）の潜在的な実装（Inductive Biases）として捉えるべきであり、生成言語学の直観を支持する証拠となり得ると主張します。
• 「説明」の再定義と定量化:
  • 「説明力」は単なる直感的な理解ではなく、理論の圧縮性（MDL）や学習効率によって測定可能であると論じます。
  • 例として、Chomsky が提示した文法 G1 と G2 の比較を通じて、冗長性の少ない（圧縮可能な）形式がより優れた説明（記述的妥当性）を持つことを示唆します。
• 技術的統合の具体案:
  • 言語学的操作（Merge など）をニューラルネットワークのゲート機構（例：ベクトルの結合とシグモイド変換）として実装する実験（BabyLM チャレンジでの試み）を紹介し、これによりモデルが構造的な一貫性（80% 以上の精度で文法/非文法を区別）を示すことを実証しました。
  • これは、抽象的な言語理論と計算モデルの間の「ブラックボックス」を埋める具体的なリンク仮説となります。
• 「データ・ダスト（Data Dust）」の概念:
  • 理論と矛盾するすべてのデータが即座に理論を破棄させるべきではなく、一時的に「データ・ダスト」として扱い、理論の核心となる対照事例（Contrasts）に焦点を当てることの重要性を強調します。

4. 結果と議論 (Results & Discussion)

• LLM の成功は生成パラダイムの否定ではない: LLM の成功は、生成言語学が長年主張してきた「構造的制約」や「帰納的バイアス」の重要性を裏付けるものであり、むしろ生成言語学の直観を支持するものだと結論づけます。
• アーキテクチャの重要性: 現在の Transformer などのアーキテクチャは言語学的制約（階層性など）を明示的に持っていないため、完全な言語理論としては不十分ですが、特定の制約（Merge の実装など）をアーキテクチャに組み込むことで、言語学的に整合的な動作が可能になることが示されました。
• 学際的協力の必要性: 生成言語学者は計算技術の欠如を指摘されがちですが、逆に計算機科学者も言語学的直観の重要性を理解していません。両者が協力し、オープンソースのベンチマーク（FAIR 原則）を通じて理論を検証する体制が必要だと訴えます。
• 認知スタンスの維持: LLM は計算タスクの効率化が目的であるため、人間の「20 ワットの脳」が少量のデータで学習する能力（貧困の刺激）を再現するものではありません。生成言語学は、認知科学的な説明を追求する立場を堅持しつつ、計算モデルをツールとして活用すべきです。

5. 意義 (Significance)

この論文は、言語学界における現在の分断（理論派 vs. 計算派）を克服するための重要な指針となります。

• パラダイムの再方向付け: 生成言語学が「終わる」のではなく、計算モデルや実験手法を取り入れた「理論的再方向付け（Theoretical Reorientation）」を行うべきだと提言しています。
• 説明可能性の定量化: 言語理論の評価基準を、主観的な「直観」から、MDL などの定量的・計算的な指標へと移行させることで、より厳密な科学としての言語学を確立しようとしています。
• 未来への展望: 異なるアプローチ（実験、計算、形式）を排除的還元主義ではなく、弁証法的緊張関係として捉え、相互に補強し合うことで、言語の認知メカニズム解明に向けた新たな進展が期待されると結論付けています。

総じて、チェシは LLM を敵視するのではなく、それを「構造的直観の実装可能性を検証する場」として活用し、生成言語学の核心である「説明」をより堅固で測定可能なものへと進化させることを提唱しています。