💬 NLP

Model Collapse as Cultural Evolution

本文通过将迭代学习理论应用于模型崩溃问题，将其重新框架化为一种文化传递现象，以证明未经过滤的自训练会导致语言组合性的非单调退化，这一发现已在多种模型和语言中得到验证，并为设计稳健的自训练流程提供了具体原则。

原作者： Dongxin Guo, Jikun Wu, Siu Ming Yiu

发布于 2026-05-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Dongxin Guo, Jikun Wu, Siu Ming Yiu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一位极具天赋的学生，他通过阅读书籍来学习。现在，设想一条奇怪的规则：每年，这位学生必须仅根据自己前一年所写的书，来撰写一本新书。他们再也无法查阅最初由人类撰写的书籍。

本文探讨了当我们迫使大型语言模型（LLM）完全照此操作时会发生什么。这一过程被称为“模型崩溃”。作者发现，如果任由模型不断自我复制，其语言最终会变得枯燥、重复且支离破碎。

但这里有一个转折：作者并未仅仅停留在数学层面。他们运用了一种来自文化演化（研究人类语言如何随代际变迁）的理论，来解释为何会发生这种情况，以及如何解决它。

以下是他们研究发现的叙述，已拆解为简单的概念：

1. 出错的“传话游戏”

将模型训练想象成一场“传话游戏”，只不过模型不是在耳语一句话，而是在撰写整本书。

问题所在：在正常的传话游戏中，信息会变得模糊不清。而在这一人工智能版本中，模型首先会丢失语言中那些“花哨”的部分。它忘记了复杂的玩笑、修辞性问句和微妙的叙事技巧。它只保留了最简单、最重复的句子。
类比：想象一座图书馆，其中每一本新书都是由一位只读过上一位学生所著书籍的学生写成的。久而久之，图书馆失去了所有独特的故事，最终只剩下成千上万份同一句简单句子的副本：“猫坐在垫子上。”

2. 五个预测（“水晶球”）

作者利用文化演化的规则，对将会发生的情况做出了五项具体预测。他们通过让模型进行十代自我训练来测试这些预测。

预测 1：稀有事物最先消亡。
正如在人类历史中一样，罕见的词汇和复杂的句子结构最先消失。模型保留了最常见的词汇（如“的”或“是”），而遗忘了那些罕见的词汇。作者发现，这种现象以一种非常具体、可预测的模式发生，这与人类大脑学习语言的方式相吻合。
预测 2：一切变得“规整”。
模型厌恶不规则性。如果你有一个变化奇怪的动词（例如"go"变成"went"），模型会试图将其修正为规则形式（例如将"go"变成"goed"）。随着时间的推移，语言变得完美却枯燥地规整。
预测 3：“有用”的内容比“困难”的内容先消亡。
这是一个关键发现。模型会先失去语用语言（依赖语境的语言，如讽刺或修辞性问句），然后才失去结构语言（语法规则）。这就好比模型在忘记如何成为一个好的交谈者之前很久，就已经忘记了如何构建句子。
预测 4：“驼峰”效应（最重要的发现）。
这是本文最大的发现。当模型开始自我复制时，其“组合性”能力（即组合词汇以创造新含义的能力）实际上会在几代内上升，随后急剧崩溃。
- 类比：想象一群人试图发明一种新语言。起初，他们非常擅长组织词汇。但由于他们只互相倾听而不与真实人类交流，他们的语言最终会过度简化直至崩溃。模型在短暂地更好地组织自身后，随即发生崩溃。
预测 5：词汇量萎缩。
词汇的多样性急剧下降。罕见词汇的“长尾”消失，只留下最常见的词汇。

3. 解决方案：“严格的编辑”

作者问道：“我们能阻止这种崩溃吗？”他们测试了三种不同的方法来在模型再次训练前过滤其输出：

无过滤：模型复制所有内容。（结果：彻底崩溃。）
随机过滤：模型保留其输出的 70%，随机选择。（结果：仍然崩溃，只是稍慢一些。）
质量过滤：模型仅保留通过“测试”的 70% 输出（例如正确回答问题或言之有理）。
- 类比：想象一位老师，只有当学生的作业真正正确回答了提示时，才允许他们保留作业。
- 结果：这种质量过滤挽救了局面。它保持了语言的复杂性和组合性。模型没有崩溃，因为“编辑”迫使它进行清晰的交流，而不仅仅是重复。

4. 为何这很重要

本文认为，AI 模型崩溃的原因不仅仅是代码中的故障；它是信息传递方式的一条基本法则。

缺乏“交流目标”（如与真人交谈或回答真实问题）时，语言自然会退化为简单、重复的循环。
拥有“交流目标”（检查输出是否真正有意义）时，语言能保持丰富和结构化。

核心结论

如果你让 AI 仅通过阅读自己的写作来自学，它最终会忘记如何像人类一样说话。它将变成一个破碎、重复的回声。然而，如果你充当一位严格的编辑，只接受真正有用且清晰的成果，AI 就能保持其语言技能的生命力。

作者通过展示 AI 的“学习曲线”与文化演化实验中人类儿童和成人的学习曲线完全一致，证明了这一点。AI 不仅仅是一个计算器；它的行为就像一个随时间演化（或退化）的文化。

技术摘要：模型崩溃作为文化演化

问题陈述

尽管“模型崩溃”（即在自身输出上训练的大型语言模型（LLM）的渐进式退化）已通过统计估计理论（例如分布尾部损失、多样性减少）得到刻画，但现有文献缺乏对哪些结构退化、按何种顺序退化以及为何退化的语言学解释。当前的描述仅阐述了崩溃的统计力学机制，却未能区分通用退化与由文化传递动态驱动的具体语言现象。此外，尚需理解“压缩–表达力权衡”（人类语言演化中的核心概念）是否支配着 LLM 的自训练过程。

方法论

作者将 LLM 自训练框架化为迭代学习（iterated learning）的一个实例，这是文化演化理论中的一个框架，其中语言由一系列学习者塑造。他们从该理论推导出五个可证伪的预测，区分了确认性测试（在通用崩溃中预期出现）和独特判别性测试（特定于迭代学习动态）。

实验设置

模型：LLaMA-2-7B 和 Mistral-7B。
代数：10 代自训练。
语言：英语、德语和土耳其语。
流程：
- 种子数据：使用了两种条件：(1) 自然种子（来自 The Pile 的 5 万篇段落）和 (2) 正则化种子（由具有连贯论元结构和规则形态的 PCFG 生成的 5 万篇段落），以排除噪声去除作为观察到的模式的替代解释。
- 训练：在每一代中，基础模型（ $M_0$ ）在 50,000 篇生成段落上进行微调。关键在于，微调始终从冻结的基础模型 $M_0$ 开始，而非上一代的权重，以将数据诱导的退化与参数漂移隔离开来。
- 过滤条件：测试了三种条件以隔离“压缩–沟通权衡”：
  1. 无过滤：纯传递。
  2. 随机过滤：均匀保留 70% 的数据（通用瓶颈）。
  3. 质量过滤：基于独立任务评估（问答、自然语言推理、摘要）保留前 70%，以模拟沟通压力。
指标：追踪了四个基于语言学且对崩溃稳健的指标：
1. 齐普夫指数（ $\alpha$ ）：分布收窄。
2. 形态规则性（ $\rho_M$ ）：规则形式的比例。
3. 构式多样性（ $D$ ）：按频率分层的句法构式的香农熵。
4. 组合系统性（ $\sigma$ ）：意义空间与形式空间之间的拓扑相似性，通过有效秩（eRank）和位置解耦（posdis）进行验证，以确保增加并非空间崩溃的伪影。

主要贡献

理论扩展：明确将迭代学习框架（Ren 等人，2024）扩展至自然语言，提供了五个具有分类判别状态的可证伪预测。
判别性测试：超越了通用的“模型崩溃”描述，测试了特定的预测，以区分迭代学习动态与简单的统计退化。
实证验证：在 10 代、两种架构和三种类型学上显著不同的语言中进行了系统测试，包括关键控制（正则化种子、多条件过滤）。
流程原则：基于压缩–沟通权衡，推导出自训练流程的具体设计原则。

主要结果

源自文化演化理论的所有五个预测均以大效应量得到证实（Hedges' $g > 1.6$ ；贝叶斯因子 $BF_{10} > 100$ ）。

P1（频率依赖性损失）：低频变体在高频变体之前丢失。LLM 的梯度与人类正则化的对数线性曲线（Morgan 和 Levy，2016）相匹配， $R^2 = 0.94$ 。
P2（单调规则性）：所有语言的形态模式均趋于规则化（例如，不规则动词变为规则动词），证实了简单性偏好的放大。
P3（特定维度退化）：构式按特定顺序退化：语用（例如，分裂句、反问句） $\to$ 形态 $\to$ 句法（例如，简单及物结构）。这与 LLM 中的形式–功能分离及构式语法固化相一致（ $r=0.73$ ）。
P4（非单调组合性 – 关键测试）：
- 轨迹：在未过滤的自训练下，组合系统性（ $\sigma$ ）最初上升（在第 3 代左右达到峰值），随后下降。这种非单调轨迹即使在最大规则化的种子数据下依然存在，排除了噪声去除的可能性。
- 过滤效应：随机过滤无法维持组合性（轨迹与未过滤情况一致）。只有基于质量的过滤（模拟沟通压力）才能维持高组合性（第 10 代时 $\sigma \approx 0.48$ ，而未过滤为 $0.31$）。
- 意义：这提供了首个 LLM 规模的证据，表明压缩–沟通权衡支配着语言结构；单纯的压缩导致退化语言，而沟通压力则维持组合性。
P5（分布收窄）：齐普夫指数单调递减，证实了尾部损失。

意义与主张

本文将模型崩溃重新框架化，不仅视为统计失败，更视为一种文化传递现象。

解释力：迭代学习理论填补了统计描述的空白，解释了语言退化的顺序和性质（例如，为何语用构式在句法构式之前消失）。
人类–LLM 平行性：LLM 正则化梯度与人类行为数据之间的紧密匹配表明，频率依赖性正则化源于频率无关的简单性偏好与传递瓶颈的相互作用，而非人类特有的认知架构。
设计启示：结果为自训练流程提供了具体原则：
1. 使用基于任务（质量）的过滤而非随机过滤，以维持结构化输出。
2. 采用不同模型家族的评估器，以避免分布模仿。
3. 将瓶颈宽度（例如，温度、数据量）视为可调节参数，以控制向模型先验收敛的速率。

作者得出结论：若无沟通压力，自训练不可避免地导致退化语言；而基于质量的过滤则可以维持鲁棒组合性所需的学习性与表达力之间的平衡。