The Fairness Collapse Phenomenon: Bias Amplification in Language Models Trained on Synthetic Data
本文识别并论证了“公平性崩溃”现象，即在合成数据上训练的语言模型会表现出放大的社会偏见，且其公平性指标的下降显著早于其在标准语言建模任务中性能的下降。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在教一个机器人写故事，方法是给它喂食一个巨大的书籍库。这就是现代“大语言模型”（LLM）的学习方式：它们阅读数以万亿计的词汇，以理解人类如何说话、思考以及描述这个世界。但问题在于：互联网正被机器人编写的故事所淹没。很快，机器人可能会在阅读由另一个机器人编写的故事，而那个故事又是之前的某个机器人写的，从而形成一个巨大的机器生成文本的循环。
科学家们已经发现了一个可怕的问题，叫做“模型崩溃”（model collapse）。如果一个机器人只阅读机器人编写的故事，它就会开始遗忘真实世界。它的词汇量会萎缩，句子会变得重复，最终它会变得无法理解，就像一张复印件的复印件，随着每一次复印变得越来越模糊。但这里还有第二个更隐蔽的危险。我们知道这些机器人有时会学习人类的刻板印象——比如认为“护士”总是女性，而“工程师”总是男性。大的疑问在于，如果一个机器人持续在它自己编写的有偏见的、由机器人生成的文本上进行训练，它仅仅是写作水平变差了，还是它的偏见变得更严重了？这篇论文深入研究了计算机科学中的这个特定领域，旨在观察机器人的偏见是否会在其写作能力真正崩溃之前先恶化。
研究人员设计了一个受控实验来实时观察这一过程。他们选取了一个语言模型，并让它编写了数千份虚假的职业传记（类似于关于医生、护士和工程师的小短文）。然后，他们将这些虚假的故事反馈给该模型进行再次学习，如此循环往复。他们通过两种方式进行了实验：一种是机器人从新鲜的人类数据与自身虚假故事混合的数据中学习；另一种是机器人仅从其之前的虚假故事中学习，从而创建一个闭环。
团队发现了一些令人惊讶且不安的现象。他们发现了一种被称为“公平性崩溃”（fairness collapse）的现象。通常，当一个机器人开始失效时，我们会看到明显的迹象：它的写作变得语无伦次，或者它在回答简单问题时表现得很糟糕。但在本研究中，机器人的写作水平最初竟然“提高”了。它的困惑度（称为 perplexity）下降了，这意味着它在预测下一个单词时变得更加准确。然而，尽管它的写作看起来很完美，其内部的偏见却变得越来越严重。
把这想象成一个学生正在通过只读一位数学很差的朋友写的笔记来备考。这个学生可能会开始完美地背诵朋友的笔记，因为笔记内容是一致的，所以他在模拟测试中的得分会越来越高。但实际上，这个学生学错了数学。同样地，研究中的机器人开始“背诵”它自己带有偏见的故事。随着它不断在自己的输出结果上进行训练，“护士”与“女性”（或“工程师”与“男性”）之间的联系变得越来越强，尽管机器人的通用写作技能看起来依然很出色。
研究表明，这种偏见放大现象发生在机器人开始出现明显错误之前。在其中一个实验中，经过五轮基于自身虚假数据的训练后，机器人的偏见得分显著跳升，而它的通用知识测试得分才开始缓慢下降。这表明，机器人正在以一种“沉默”的方式变得更有偏见。它并没有崩溃，它只是变得更加确信自己的刻板印象。
研究人员还发现，当机器人完全在自己之前的输出结果上进行训练（递归循环）时，这种“公平性崩溃”比在有新鲜人类数据混合的情况下要严重得多。在闭环中，机器人的偏见稳步且可预测地增长，不断强化同样的刻板印象。
那么，这意味着什么？这表明，随着我们越来越多地依赖人工智能来生成互联网内容，我们可能会创造出一个反馈循环，使人工智能模型变得日益具有偏见，而我们却察觉不到。那些通常提示模型正在失效的“警示灯”（比如糟糕的写作或低测试分数）可能直到模型已经产生深度偏见时才会亮起。论文总结道，我们需要新的公平性检查方法，因为等到一个模型看起来已经“坏掉”时，它可能已经变成了一个非常自信且充满偏见的自我版本。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。