Modelling Language using Large Language Models

本文主张大型语言模型可作为公共语言的外部社会实体之科学模型，并通过构建模型解释（model construal）来反驳其缺乏语言学洞察力的观点，从而确立其在语言研究中的科学价值。

要点

这篇文章探讨了一个非常有趣的问题：大型语言模型（LLM，比如我们熟悉的 ChatGPT）到底能不能帮我们真正理解“语言”？

作者 Jumbly Grindrod 认为：能！但前提是我们得换个角度看它们。

为了让你轻松理解，我们可以把这篇论文的核心思想想象成一场关于“如何研究天气”的讨论。

1. 核心争论：是“预言家”还是“气象图”？

传统的观点（反对派）：
很多语言学家（比如乔姆斯基的追随者）认为，语言是人脑内部的一种复杂能力（就像大脑里有一个专门的“语言器官”）。他们觉得，LLM 只是通过死记硬背海量数据，学会了预测下一个字是什么。

• 比喻： 这就像一只鹦鹉，它能完美模仿人类说话，但它并不懂语法，也不懂语言背后的逻辑。所以，LLM 只是“鹦鹉学舌”，不能告诉我们人类大脑是怎么处理语言的。

作者的观点（支持派）：
作者说，大家太纠结于“人脑内部”了。其实，语言不仅仅是脑子里的东西，它更像是一个外部的、社会性的公共产品（就像货币、交通规则或法律）。

• 比喻： 想象一下“交通”。
  • I-语言（内部语言）： 就像每个司机脑子里的驾驶技术。
  • E-语言（外部语言）： 就像整个城市的交通流量图和交通规则。
  • 作者认为，LLM 不需要模拟每个司机的脑子，它可以直接模拟整个城市的交通流量图。

2. 核心概念：LLM 不是“理论”，而是“模型”

作者提出了一个关键的区别：理论（Theory） vs 模型（Model）。

• 理论：试图解释“为什么”会发生。比如，物理学家试图解释“引力为什么存在”。
• 模型：是一个替身或模拟器，用来代表现实世界中的某个现象，帮我们观察和预测。
  • 比喻： 气象学家不会直接去研究每一滴雨水的分子结构（那是理论），他们会建立一个气象模型（比如电脑里的模拟程序）。这个程序不是“雨”，但它能模拟风的走向、降雨的概率。

作者的观点是：
LLM 不应该被看作是一个解释人类大脑如何工作的“理论”，而应该被看作是一个模拟“公共语言”的“模型”。

• 它就像一张巨大的、动态的语言地图。
• 它通过阅读互联网上所有的文字，学会了这个语言社区是如何交流的。它捕捉到了语言作为“社会习俗”的规律。

3. 最大的挑战：黑箱与“地图绘制员”

有人可能会问：“如果 LLM 是个黑箱（我们不知道它内部具体怎么运作），那它怎么当模型呢？我们怎么知道它画的是对的？”

作者用了一个很棒的比喻来回答：

• 比喻： 想象你在画一张地铁线路图。
  • 你不需要知道每一根电缆是怎么铺设的，也不需要知道列车引擎的每一个零件（那是“黑箱”）。
  • 你只需要知道：A 站和 B 站之间确实有连接，而且乘客确实是这样走的。
  • 只要这张图能准确预测乘客的路线，它就是一个好模型。

作者认为：
虽然 LLM 内部很复杂（黑箱），但现在的技术（比如“可解释性 AI"）正在帮我们看清它的内部结构。

• 研究发现，LLM 的某些部分确实能像人类一样识别“语法结构”（比如主谓宾关系）。
• 这意味着，我们可以给这个“黑箱”画一张说明书（Construal），告诉科学家：看，这部分神经元在模拟“语法”，那部分在模拟“语义”。
• 一旦我们有了这张说明书，LLM 就不再是黑箱，而变成了一个科学的实验工具。

4. 反驳“它只是训练数据的压缩包”

还有一个反对意见说："LLM 不就是把训练数据压缩了一下吗？它只是记住了书里的内容，没有学到真正的语言。”

作者反驳道：

• 比喻： 这就像说“天气预报只是记住了过去 100 年的天气记录”。
  • 如果 LLM 只是死记硬背，那它叫“过拟合”（Overfitting），在机器学习中这是错误的，就像学生死记硬背答案但不会做新题。
  • 真正的 LLM 被设计成要举一反三。它必须学会规律，才能预测它没见过的句子。
  • 就像气象模型必须理解“气压”和“温度”的规律，才能预测明天的天气，而不是只背诵昨天的天气。
  • LLM 在预测下一个字时，实际上是在学习语言背后的社会规则（比如大家习惯怎么说话），而不仅仅是复制粘贴。

总结：这篇论文想告诉我们什么？

1. 换个视角： 别把 LLM 当成“人脑的替代品”，把它当成**“语言社会行为的模拟器”**。
2. 科学价值： LLM 就像是一个巨大的语言实验室。我们可以通过观察它，发现人类语言作为“社会现象”的规律（比如哪些词经常一起出现，哪些语法结构最流行）。
3. 未来展望： 虽然我们现在还在努力搞清楚 LLM 内部到底是怎么运作的（就像还在完善那张地铁地图），但这已经是一个全新的、充满希望的科学研究领域了。

一句话总结：
LLM 不是试图模仿人类的大脑，而是像气象卫星一样，从高空俯瞰并模拟整个语言社会的运行规律。只要我们能读懂它发出的信号，它就能成为我们理解人类语言的一把新钥匙。

技术摘要

这是一份关于 Jumbly Grindrod 论文《使用大语言模型对语言进行建模》（Modelling Language using Large Language Models）的详细技术总结。

1. 研究问题 (Problem)

核心争议： 大语言模型（LLMs）能否为语言学研究提供有价值的见解？

• 对立观点：
  • 否定派（如 Chomsky, Dupre）： 认为 LLMs 仅能预测下一个词，缺乏解释力；它们训练于海量数据而非人类有限的认知输入，且缺乏普遍语法（UG）的约束；它们捕捉的是“语言表现”（performance）而非“语言能力”（competence）；且 LLMs 是商业产物，存在偏差。
  • 肯定派（如 Baroni, Piantadosi）： 认为 LLMs 可以作为“语言学理论”，因为它们具有预测性、精确性，并能整合神经科学证据。
• 本文指出的问题： 现有的争论往往陷入二元对立（要么是完全的理论，要么毫无价值）。否定派通常基于认知语言学视角（关注内部语言能力/I-language），而肯定派试图将 LLMs 直接视为解释人类认知的理论，但这忽略了 LLMs 与人类学习机制的巨大差异（如训练数据量、缺乏 UG）。
• 核心问题： 如果 LLMs 不能直接作为人类语言认知（I-language）的理论，它们是否能在语言学中扮演其他科学角色？

2. 方法论 (Methodology)

本文采用科学哲学与计算语言学相结合的分析框架：

1. 本体论重构（Ontological Shift）：

   • 引入语言本体论的**多元主义（Pluralism）**观点（引用 Santana, Stainton）。
   • 区分 I-language（内部语言，即个体的认知能力）和 E-language（外部语言，即作为社会实体的公共语言）。
   • 论证语言学不仅应研究认知过程，也应研究作为社会实体的公共语言（E-language）。

2. 模型论框架（Model Construal）：

   • 借用 Weisberg (2007) 的**模型构建（Model Construal）**理论。
   • 区分“抽象直接表征策略”与“建模策略”。
   • 提出 LLMs 不应被视为“理论”（Theory），而应被视为科学模型（Scientific Models）。
   • 定义模型的四个要素：
     • 分配（Assignment）： 模型部分对应目标现象的哪些部分。
     • 范围（Scope）： 模型捕捉目标的哪些部分，忽略哪些。
     • 动态保真度（Dynamical Fidelity）： 模型输出与真实现象输出的接近程度。
     • 表征保真度（Representational Fidelity）： 模型内部结构与真实现象内部结构的相似性。

3. 技术分析与解释性 AI（XAI）：

   • 利用现有的计算语言学研究成果（如 Manning et al., 2020; Rogers et al., 2021）来论证 LLMs 内部结构如何捕捉语言特征。
   • 利用**可解释性 AI（XAI）**技术（如探针分类器、注意力机制可视化）来减少模型的“黑箱”性质，建立模型内部结构与语言特征之间的映射（即构建 Construal）。
   • 分析评估基准（如 GLUE, SuperGLUE）在模型构建迭代中的作用，证明模型并非单纯记忆训练数据。

3. 关键贡献 (Key Contributions)

1. 重新定位 LLMs 的角色：

   • 提出 LLMs 是E-language（公共语言）的科学模型，而非人类语言认知（I-language）的理论。
   • 这一观点避开了“人类与机器训练差异巨大”的批评，因为 E-language 本身就是基于社会使用习惯和外部表现的集合，LLMs 正是基于海量外部文本训练的。

2. 构建“模型解释”（Model Construal）的可行性路径：

   • 反驳了"LLMs 是黑箱，无法构建解释”的反对意见。
   • 论证通过 XAI 技术（如提取句法依赖关系、注意力头分析）和迭代评估（GLUE 等基准测试），可以逐步建立 LLM 内部状态与语言规则（如句法、语义）之间的映射关系。
   • 指出模型构建是一个迭代过程：通过评估任务的表现来指导模型架构的调整，从而 refine（精炼）对模型的解释。

3. 反驳"LLMs 仅是语料库模型”的质疑：

   • 针对"LLMs 只是训练数据的压缩或过拟合”的观点，指出机器学习中的正则化（Regularization）（如 Weight Decay）和验证集（Validation Set）机制旨在防止过拟合，迫使模型学习数据背后的通用规则（Generalization）。
   • 论证 LLMs 在未见过的数据（验证集、GLUE 任务）上的成功表现，证明其捕捉到了语言背后的统计规律和约定（Conventions），而不仅仅是记忆训练语料。

4. 主要结果与论证 (Results & Arguments)

• 预测能力的理论化： LLMs 在句法依赖提取、语义相关性预测、人类惊讶度（Surprisal）预测以及神经反应预测方面表现优异，证明其内部表征包含了丰富的语言结构信息。
• E-language 的合理性： 通过引用 Lewis 的约定论，论证公共语言（E-language）是由群体层面的使用惯例构成的。LLMs 训练于大规模群体使用数据，天然适合捕捉这些惯例。
• 模型构建的实证路径：
  • 分配： 例如，将 LLM 的注意力头（Attention Heads）分配为捕捉特定的句法关系（如主谓一致）。
  • 保真度： 通过探针（Probing）任务验证模型是否真的编码了特定语言特征，而不仅仅是输出正确。
  • 控制： 尽管 LLM 训练是自动的，但通过选择训练目标、架构和评估基准，研究者对模型具有间接但实质性的控制力。
• 结论： LLMs 不是现成的语言学理论，但它们是极具潜力的科学模型。通过发展适当的“模型解释”（Construal），我们可以利用 LLMs 来探索公共语言的结构、演变和规则，这是传统认知语言学方法无法触及的领域。

5. 意义与影响 (Significance)

1. 开辟语言学新分支： 为语言学提供了一种研究**外部公共语言（E-language）**的全新方法论。这使得研究者可以以前所未有的规模分析语言的社会性、约定性和统计规律。
2. 弥合学科鸿沟： 调和了计算语言学（倾向于肯定 LLMs 的价值）与理论语言学/哲学（倾向于怀疑）之间的分歧。通过区分“理论”与“模型”，承认 LLMs 在解释人类认知上的局限性，同时肯定其在研究语言作为社会实体方面的巨大价值。
3. 推动可解释性研究： 强调了将 LLMs 作为科学模型使用的必要性，这将反过来推动可解释性 AI（XAI）的发展，要求更清晰地理解模型内部机制与语言特征之间的对应关系。
4. 科学哲学启示： 展示了在科学实践中，即使面对“黑箱”模型，只要通过严谨的约束、评估和解释性技术，依然可以将其转化为具有解释力的科学工具。

总结： 这篇文章主张放弃将 LLMs 视为人类大脑的模拟（理论），转而将其视为公共语言（E-language）的代理模型。通过结合科学哲学中的模型理论和计算语言学的解释性技术，LLMs 可以成为研究语言作为社会现象的强大工具，从而开启语言学研究的新时代。