Position: the Stochastic Parrot in the Coal Mine. Model Collapse is a Threat to Low-Resource Communities

本立场文件认为，模型崩溃——即通过在生成式人工智能自身的输出上进行训练所引发的现象——正通过降低数据质量与效率，威胁到人工智能的民主化进程，进而因加剧文化偏见和环境成本而对资源匮乏及边缘化社区造成不成比例的伤害。

要点

以下是论文《模型崩溃对低资源社区构成威胁》的通俗解释，辅以日常类比。

大局观：矿井里的“随机鹦鹉”

想象一下矿井里的金丝雀。过去，矿工们用金丝雀来探测危险气体；如果鸟儿停止歌唱，矿工们就知道该逃跑了。

这篇论文认为，低资源社区（讲较少见语言或生活在较贫困地区的人们）就是这些“金丝雀”。他们是首先感受到一种名为模型崩溃（Model Collapse）现象危险的人。

什么是模型崩溃？
想象一群复印机在玩“传话”游戏。

1. 你从一张清晰的原图开始（真实人类数据）。
2. 你复印了一张。它变得略微模糊。
3. 你拿那张模糊的复印件再复印一张新的。它变得更模糊了。
4. 你继续这样做，不断复印复印件。

最终，图像变成了一团浑浊、无法辨认的乱麻。细节消失，只剩下最常见、最通用的形状。

在人工智能的世界里，当新的人工智能模型使用由旧人工智能模型生成的数据进行训练时，就会发生这种情况。因为人工智能倾向于重复它看到的最常见模式，所以“罕见”和“独特”的细节会随着时间的推移而丢失。人工智能变成了一只随机鹦鹉——它模仿听到的声音，但并不理解含义；经过几代之后，它只重复最大声、最常见的声音，忘记了那些安静、独特的声音。

问题所在：为什么贫困社区最先受到伤害

这篇论文认为，虽然这种“复制游戏”对所有人都有害，但它摧毁低资源社区文化的速度要快得多。原因如下，使用了三个主要比喻：

1. “富人与穷人”的数据饮食

想象两个人试图保持健康。

• 富裕的人（高资源）：拥有一个巨大的食品储藏室，里面装满了新鲜、真实的食物（真实人类数据）。即使他们吃了一些加工过的、人造的食物（人工智能生成的数据），由于他们拥有如此多的真实食物，他们的饮食依然保持健康。
• 挣扎的人（低资源）：储藏室非常小。他们只有几罐真实食物。如果他们不得不依赖加工过的、人造的食物来填饱肚子，他们会很快耗尽真实食物。

论文的观点：低资源语言（如许多非洲语言或原住民语言）在互联网上的数据非常少。如果人工智能开始用人工智能生成的文本填充互联网，这些语言几乎会立即被“毒害”，因为它们没有足够的真实数据来稀释虚假内容。它们独特的文化“风味”将最先消失。

2. 权力的“回声室”

想象一个每个人都在大声喊叫的城镇广场。

• 最响亮的声音（英语、西方文化、主导观点）已经被所有人听到。
• 微弱的声音（少数群体、特定的地方方言）几乎听不见。

当人工智能从互联网学习时，它就像一个只放大最响亮声音的扩音器。随着人工智能生成更多内容，它会一遍又一遍地重复那些响亮的声音。微弱的声音被完全淹没。
论文的观点：模型崩溃就像一种“价值锁定”。它将文化冻结在过去，锁定主导观点，并抹去边缘化群体试图改变社会规范或重获其语言的尝试。人工智能忘记了分布的“长尾”——那些罕见、独特和多样的说话方式。

3. 试图修复它的“碳成本”

想象试图修补漏水的屋顶。

• 富裕的人可以买得起新瓦片并雇佣工人来修复。
• 挣扎的人不得不试图用胶带和纸板修补，这消耗了他们的积蓄，并使房子变得更热。

论文的观点：为了阻止模型崩溃，研究人员需要更多的真实数据。但收集真实数据成本高昂，并且需要巨大的能源（计算机运行发热）。

• 低资源社区通常生活在已经遭受气候变化和能源短缺的地区。
• 他们承担了训练这些庞大人工智能模型的 environmental 成本，却从中获得的利益最少。
• 他们无法负担“购买”足够的真实数据，以保护其语言不被人工智能生成的噪音抹去。

“随机鹦鹉”类比

论文重温了一个旧观点：人工智能是一只“随机鹦鹉”。它不理解；它只是基于统计数据预测下一个词。

• 论文的观点：尽管人工智能变得更聪明了，但它仍然是一只鹦鹉。如果你只给鹦鹉喂食最常见的短语，它就会停止说任何有趣的话。
• 危险：对于低资源社区来说，“有趣的短语”（他们独特的文化、俚语和历史）是鹦鹉最先忘记的东西，因为它们在统计上是罕见的。

论文希望我们做什么？

作者们发出了行动呼吁。他们说，我们不能等到人工智能完全崩溃后再担心这个问题。

1. 倾听金丝雀：低资源社区需要成为这场对话的领导者，而不是事后才想到的配角。
2. 保护真实数据：我们需要为这些脆弱的语言创建特殊的“安全区”数据，确保这些内容是真实的人类内容，而非人工智能生成的。
3. 识别虚假内容：我们需要更好的工具来识别人工智能生成的文本，以便在它们毒害训练数据之前将其过滤掉。
4. 接受风险：论文承认，也许人工智能在全球范围内不会很快崩溃，但对于特定的小型社区来说，“崩溃”正在此刻发生。

总结

这篇论文警告说，随着人工智能生成更多内容，它会创造一个反馈循环，使人工智能变得更“笨”、更重复。这个过程就像一个过滤器，去除了罕见和独特的内容。由于低资源社区在网络上的代表性本来就不足，他们的独特文化和语言面临被这一过程抹去的最高风险，最终只剩下一个同质化、占主导地位的世界版本。

技术摘要

技术摘要：模型崩溃对低资源社区的威胁

问题陈述
本文探讨了模型崩溃现象，定义为生成模型在由前代同类模型产生的数据上进行训练时，其性能和多样性出现的退化。随着人工生成内容的激增（预计到 2025 年占互联网的约 30%），后续模型世代越来越依赖“合成”数据。这形成了一个反馈循环，导致模型对训练分布中的主导模式过拟合，从而系统性地抹除罕见或“长尾”样本。

作者认为，虽然模型崩溃是一种普遍的技术风险，但它对低资源和边缘化社区构成了不成比例且生存性的威胁。这些社区已经遭受以下问题：

1. 代表性不足：它们的数据占据全球数据分布的“尾部”。
2. 环境不公：它们承担了训练大型模型所带来的碳足迹和基础设施成本的重负，却未能获得相应的收益。
3. 文化偏见：大型语言模型（LLMs）倾向于强化霸权观点并“价值锁定”过时的社会规范。

本文提出，模型崩溃充当了“抹除引擎”，加速了低资源语言和文化细微差别从数字领域的消失，从而破坏了人工智能民主化的努力。

方法论与理论框架
这是一篇立场论文，综合了现有的理论和实证文献，而非提出新的实验结果。其方法论包括：

• 文献综合：整合关于模型崩溃的研究成果（例如 Shumailov 等人，2024；Dohmatob 等人，2024）与关于大型语言模型偏见及环境成本的批评（例如 Bender 等人，2021；Strubell 等人，2019）。
• 理论应用：将神经缩放定律的概念应用于合成数据场景。作者利用了一项发现，即即使是极小比例（约 1%）的合成数据也能改变缩放指数，导致出现“玻璃天花板”，即增加数据集规模不再能带来成比例的性能提升。
• 认知科学类比：在认知科学中，将模型崩溃与迭代学习（IL） 进行类比，指出虽然迭代学习可能导致正则化，但也存在失去表达能力以及在没有外部干预的情况下遗忘紧密相关数据点之间差异的风险。
• 定义批判性分析：参与近期关于模型崩溃定义的辩论（特别是 Schaeffer 等人，2025）。作者区分了三种类型：(1) 逐渐无法拟合原始分布；(2) 数据分布的变形（尾部丢失）；(3) 额外数据的边际价值递减。

主要贡献

1. 交叉风险分析：本文的主要贡献是将模型崩溃的技术机制与低资源社区的社会经济现实联系起来。它认为模型崩溃并非均匀的威胁，而是一种分层威胁，边缘化群体首先面临“最坏情况”，因为它们的数据本就稀缺且位于分布的尾部。
2. “三重”劣势：作者识别出低资源社区面临的复合劣势：
   • 数据稀缺：有限的现实世界数据使它们更容易被合成数据覆盖。
   • 环境成本：为应对模型崩溃而增加的计算需求（通过收集更多数据或训练更大模型）加剧了环境危害，而这些社区受到的不成比例影响最大。
   • 文化抹除：“价值锁定”效应被放大，主导观点变得根深蒂固，而少数方言、语码转换和复兴的语言则被系统性地遗忘。
3. 对“随机鹦鹉”的重新评估：作者重访了“随机鹦鹉”类比（Bender 等人，2021），认为其仍然是基础性的。他们主张，即使有多模态的进步，大型语言模型在统计上仍基于观察到的模式，因此容易受到驱动模型崩溃的频率偏见的影响。
4. 对缓解策略的批评：本文强调了当前解决方案的局限性。例如，随着生成模型变得更加逼真，“数据策展”（过滤合成数据）变得越来越困难。此外，自动策展工具可能会无意中移除边缘化群体使用的合法的、低频的语言变体。

结果与观察
作为一篇理论立场论文，该工作未提出新的实证指标，而是综合现有发现以支持其论点：

• 缩放定律的破坏：引用 Dohmatob 等人（2024b）的研究，本文指出，与干净数据相比，使用 10% 的合成数据要实现测试损失降低十倍，需要数据集规模增加一个数量级，从而大幅增加了成本。
• 分布偏移：参考图 1（基于 GPT-2 的困惑度），本文说明低资源语言（如阿尔巴尼亚语、印度尼西亚语）已经比高资源语言（如英语）占据更高的困惑度分布（即“尾部”）。模型崩溃预测这些尾部将最先消失。
• 成本不对称：引用 Kandpal & Raffel（2025）的研究，本文强调，获取真实数据的成本是训练计算成本的 10 到 1000 倍。这一经济障碍阻止了低资源社区通过简单地收集更多真实数据来“购买”摆脱模型崩溃的途径。

意义与行动呼吁
本文得出结论，虽然在一般语境下模型崩溃的严重程度存在争议，但它对低资源和边缘化社区而言是一个迫在眉睫且严重的威胁。作者认为，学术话语过于关注高资源环境和理论模型，忽视了这些群体的特定脆弱性。

行动呼吁：

• 优先事项：低资源自然语言处理和人工智能公平社区必须走在研究和缓解模型崩溃的最前沿。
• 数据主权：迫切需要构建和维护数据集，确保包含数千种代表性不足语言（如恩德贝莱语、佩迪语、塞索托语）的真实、文化上具代表性的数据。
• 新研究方向：本文概述了以下开放性问题：
  • 模型崩溃对具有长尾词分布的黏着语与对分析语的影响有何不同。
  • 语码转换对数据分布偏移的影响。
  • 开发模型崩溃和合成数据检测的可处理测量方法。
  • “减少”崩溃的策略，例如通过自监督学习或强化学习来促进鲁棒的、分布外的特征。

最终，本文断言，如果不立即进行干预，多种文化的在线表征在损害得到修复之前，面临严重受损或被抹除的风险。