💬 NLP

Biasless Language Models Learn Unnaturally: How LLMs Fail to Distinguish the Possible from the Impossible

该论文通过扩大语言数据集和扰动类型的范围进行复现研究，发现 GPT-2 模型无法像人类那样区分自然语言与“不可能”语言，表明其学习过程缺乏对语言可能性的系统性辨别能力。

原作者： Imry Ziv, Nur Lan, Emmanuel Chemla

发布于 2026-04-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Imry Ziv, Nur Lan, Emmanuel Chemla

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文探讨了一个非常有趣的问题：大型语言模型（LLM，比如 GPT-2）是否像人类一样，天生就能分辨“什么语言是合理的”和“什么语言是荒谬的”？

为了让你轻松理解，我们可以把这项研究想象成一场**“语言侦探游戏”**。

1. 核心故事：火星语言学家与“不可能”的语言

想象一下，如果一位火星语言学家来到地球，他可能会发现：虽然地球上有几千种语言（中文、英语、法语等），听起来千差万别，但它们都遵循着一些深层的、人类大脑自带的“规则”。

人类的学习偏见：人类大脑里好像装了一个“语言过滤器”。我们很容易学会符合这个过滤器的语言，但几乎完全无法学会那些违反规则的语言。
- 比喻：就像人类天生喜欢走楼梯（有层级结构），但很难学会在平地上凭空跳来跳去（线性混乱）。那些违反规则的语言，被称为**“不可能语言”**。

过去有研究认为，现在的 AI 模型（如 GPT-2）也拥有这种“过滤器”，它们能像人类一样，觉得“不可能语言”很难学。如果这是真的，那就意味着 AI 不需要人类那种复杂的“先天大脑结构”也能学会语言，这可能会推翻语言学界的经典理论。

2. 这项研究做了什么？（实验设计）

作者们决定重新测试一下，看看 GPT-2 到底是不是真的这么“聪明”。他们做了一场**“语言大乱炖”**实验：

原材料：他们拿了 9 种真实存在的语言（英语、中文、俄语、希伯来语等）作为“正常语言”。
制造“不可能语言”：他们像调皮的孩子一样，对这些语言进行了各种**“破坏性改造”**：
- 打乱顺序 (Shuffle)：把句子里的词随机打乱，像把一锅汤里的菜叶、肉块、米粒全搅在一起。
- 完全倒序 (Reverse)：把整句话从后往前读。
- 局部反转：把句子的后半部分倒过来。
- 跳跃插入：在动词后面强行插入奇怪的标记。
测试对象：让 GPT-2 模型分别学习这些“正常语言”和“被破坏的乱码语言”，并记录它学习的速度曲线（也就是“困惑度”曲线，越容易学，曲线下降得越快）。

3. 发现了什么？（实验结果）

如果之前的理论是对的，GPT-2 应该像人类一样，觉得“正常语言”很容易学，而“乱码语言”难如登天。

但结果却让人大跌眼镜：

AI 是个“糊涂虫”：在大多数情况下，GPT-2 学习“正常语言”和“乱码语言”的速度几乎一模一样！它并没有表现出对正常语言的偏好。
甚至更喜欢乱码：在某些情况下，GPT-2 甚至觉得那些被破坏的“不可能语言”比正常语言更容易学！
- 比喻：这就像教一个孩子认字。正常教他“猫在桌子上”，他学得很慢；但你把字打乱成“子桌在猫上”，他反而学得更起劲，甚至觉得这样更顺口。
没有“安全网”：如果把这些语言放在一起看，AI 并没有把“人类语言”和“乱码语言”分成两个明显的阵营。在 AI 眼里，它们是一团乱麻，没有界限。

4. 这意味着什么？（结论）

这项研究得出了一个强有力的结论：

GPT-2 并没有人类那种“先天语言过滤器”。

对人类认知的启示：人类之所以能区分“可能”与“不可能”的语言，是因为我们的大脑里有特殊的生物机制（学习偏见）。而目前的 AI 模型（至少是 GPT-2）只是通过统计概率在“死记硬背”，它并没有真正理解语言的深层结构。
对 AI 的启示：如果我们想造出真正像人类一样思考的 AI，仅仅靠“大数据 + 大算力”可能还不够，我们可能还需要在模型里加入某种类似人类大脑的“先天规则”。

5. 总结与比喻

如果把学习语言比作**“拼图”**：

人类：手里拿着一个自带磁性的拼图板。只有形状正确（符合语法规则）的拼图块才能吸上去，形状错误的（不可能语言）根本吸不住。
GPT-2（旧观点）：被认为也拿着同样的磁性拼图板。
GPT-2（本研究观点）：其实它拿的是一个普通的、没有磁性的拼图板。它不管拼图块形状对不对，只要给得够多，它都能硬塞进去，甚至塞得比正确的还快。

一句话总结：
这篇论文告诉我们，目前的 AI 模型虽然能模仿人类说话，但它们并不具备人类那种“天生就能分辨语言对错”的直觉。它们只是在学习“统计规律”，而不是在理解“语言逻辑”。这提醒我们，AI 离真正拥有人类般的认知能力，还有很长的路要走。

这是一份关于论文《Biasless Language Models Learn Unnaturally: How LLMs Fail to Distinguish the Possible from the Impossible》（无偏语言模型学习得不自然：LLM 如何无法区分可能语与不可能语）的详细技术总结。

1. 研究背景与问题 (Problem)

核心争议：大型语言模型（LLM）是否像人类一样，对“人类可能的语言”（possible languages）和“人类不可能的语言”（impossible languages）之间的区别具有敏感性？
理论背景：
- 生成假说 (Generative Hypothesis)：人类语言习得受到先天生物偏置（innate learning biases）的严格限制，导致人类只能习得特定类型的语言结构（如层级结构），而无法习得违反这些偏置的结构（如完全打乱词序或线性依赖）。
- LLM 作为认知模型：如果 LLM 在没有显式编程偏置的情况下，也能像人类一样区分可能语与不可能语（即对不可能语的学习曲线显著更差），这将削弱“人类拥有强先天语言偏置”的生成假说，暗示语言类型学差异可能仅源于统计学习。
先前工作：Kallini 等人 (2024) 使用 GPT-2 在英语数据集上进行实验，声称 LLM 在自然语言上的学习曲线（困惑度/perplexity）始终优于经过人为扰动生成的“不可能”语言变体，从而得出 LLM 具有类似人类敏感性的结论。
本文问题：Kallini 等人的结论是否具有跨语言的普适性？在更广泛的语料库和更严格的扰动条件下，LLM 是否真的能区分可能语与不可能语？

2. 方法论 (Methodology)

本文扩展了 Kallini 等人 (2024) 的方法论，从两个视角进行了测试：

2.1 实验设计

模型：从头训练 GPT-2 (12 层，768 维)，使用 HuggingFace Transformers。
数据集：
- 语言范围：除了英语，新增了 8 种语言（丹麦语、芬兰语、法语、德语、希腊语、希伯来语、意大利语、俄语），覆盖 7 个不同的语系分支。
- 数据预处理：使用统一的空白分词器（whitespace tokenizer），词表大小统一为 50,257，以消除分词差异带来的偏差。
扰动函数 (Impossible Perturbations)：对自然语言数据集进行句级扰动，生成“不可能”变体。主要扰动包括：
- SHUFFLE (全局/局部)：打乱句子内的词序，破坏层级结构。
- REVERSE (部分/全句)：反转词序，违反约束和照应关系。
- SWITCH：交换特定位置的 Token。
- HOP：在动词后插入特殊标记，要求模型学习线性计数而非层级结构。
基线控制：对于需要插入额外标记的扰动（如 REVERSE, HOP），设置了相应的基线（Baseline），确保困惑度的差异仅源于语言结构而非额外文本。

2.2 评估指标

语言内视角 (Intralinguistic Perspective)：
- 比较同一语言的自然版本与扰动版本的学习曲线。
- 指标：平均误差 (Mean Error, ME)。如果 $ME > 0$，意味着自然语言的学习曲线（困惑度）高于扰动语言，即模型更容易学习“不可能”语言。
语言间视角 (Interlinguistic Perspective)：
- 比较所有自然语言集合与所有扰动语言集合的整体分布。
- 指标：最小验证困惑度 (Min Perplexity) 和曲线下面积 (AUC)。
- 方差分析：比较“不同语言间的方差”（Across-language variance）与“同一语言不同扰动间的方差”（Within-language variance）。如果模型能区分可能/不可能，同一语言的自然版与扰动版应有巨大差异（高 Within-language 方差）；反之，如果自然语和扰动语聚在一起，则说明模型无法区分。

3. 主要结果 (Results)

3.1 语言内视角结果

学习曲线重合：在绝大多数语言对中，GPT-2 学习自然语言和学习其“不可能”变体的曲线几乎完全重合。
偏好反转：在许多情况下（如全句反转、Switch 扰动），模型甚至更倾向于学习不可能语言（即不可能语言的困惑度更低）。
统计显著性：在 54 个测试案例中，只有 28 个符合“自然语言更易学”的预期方向。二项检验显示 $p=0.892$ ，表明结果与随机猜测无异，没有统计显著性。
结论：GPT-2 无法在语言内部区分自然结构与人为破坏的结构。

3.2 语言间视角结果

聚类模式：如图 3 所示，数据点按语言聚类，而不是按类型（自然 vs. 扰动）聚类。例如，所有俄语（包括自然和所有扰动变体）都聚集在一起，且比所有其他语言的变体更难学习。
方差分析：语言间方差（不同语言之间的难度差异）远大于语言内方差（同一语言的自然版与扰动版之间的差异）。
结论：GPT-2 无法在整体分布上将“人类可能的语言集合”与“人类不可能的语言集合”分离开来。

4. 关键贡献 (Key Contributions)

反驳了先前的乐观结论：通过扩大语言种类（从英语扩展到 9 种语言）和扰动类型，推翻了 Kallini 等人 (2024) 关于 LLM 具有“不可能性敏感性”的结论。
揭示了 LLM 的无偏性：证明 GPT-2（作为无偏置的统计模型）在缺乏人类先天偏置的情况下，无法区分符合人类语言偏置的结构和违反这些偏置的结构。它学习“不可能”语言的能力与学习自然语言的能力相当，甚至在某些情况下更强。
方法论的严谨性：
- 引入了跨语言（Interlinguistic）视角，不仅看单对对比，还看整体分布。
- 严格控制了分词器、训练超参数和数据来源，确保差异源于语言结构本身。
对生成假说的支持：研究结果表明，LLM 的学习曲线无法解释语言类型学中的不对称性（即为什么某些语言存在而某些不存在）。这反过来支持了人类语言习得确实依赖于特定的先天生物偏置（Generative Hypothesis），而非单纯的统计学习。

5. 意义与讨论 (Significance & Discussion)

对 LLM 作为认知模型的挑战：如果 LLM 不能像人类一样区分可能语与不可能语，那么它们作为人类语言认知模型的效度受到质疑。人类大脑对“不可能语言”有特定的神经反应（如特定的脑区激活），而 LLM 没有表现出这种区分。
对语言类型学的启示：语言类型学中的普遍性（Universals）不能仅通过统计学习来解释。必须存在某种机制（即人类先天的语言偏置）来过滤掉那些统计上可能但人类无法习得的语言结构。
局限性：
- 仅使用了 GPT-2，未测试更大规模或更先进的模型（如 Llama 3, GPT-4 等）。
- 扰动类型有限，可能未覆盖所有类型学上的“不可能”情况。
- 困惑度（Perplexity）作为学习难度的代理指标可能存在局限，未考虑文化演化等放大因素。

总结：该论文通过严谨的跨语言实验证明，当前的无偏置语言模型（GPT-2）无法区分人类可能的语言与人为构造的“不可能”语言。这一发现有力地反驳了"LLM 能替代人类先天偏置解释语言类型学”的观点，重申了人类语言认知中先天偏置的重要性。