💬 NLP

Learning by Surprise: Adaptive Mitigation of Model Collapse in Large Language Models

本文研究了由使用人工智能生成内容进行训练所导致的模型崩溃现象，将困惑度识别为退化的关键驱动因素，并提出了一种可扩展的模型内在过滤策略，该策略优先处理高惊奇度文档，从而在无需获取人类创作数据的情况下有效缓解崩溃。

原作者： Daniele Gambetta, Gizem Gezici, Fosca Giannotti, Dino Pedreschi, Alistair Knott, Luca Pappalardo

发布于 2026-07-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Daniele Gambetta, Gizem Gezici, Fosca Giannotti, Dino Pedreschi, Alistair Knott, Luca Pappalardo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：AI 在“吃掉自己的尾巴”

想象一位著名的厨师，他通过品尝其他厨师做的菜肴来学习烹饪。起初，他能品尝到来自成千上万名人类厨师的各种各样、丰富多样的美食。他因此学会了制作精妙且多样化的食物。

但随后，问题出现了。互联网开始充斥着由 AI 厨师编写的食谱。最终，这位人类厨师不再品尝人类的食谱，而是开始只品尝由其他 AI 厨师编写的食谱。

这被称为 AI 自噬（AI Autophagy，字面意思即“自我吞噬”）。论文称之为“反馈循环”。AI 生成内容，然后未来的 AI 版本又在这些内容上进行训练。

结果：模型崩溃 (Model Collapse)
当这种情况发生时，AI 开始变得“生病”了。它失去了创造力。

类比： 想象一位音乐家只听自己录制的音乐。最终，他不再能听到新的音符。他开始一遍又一遍地重复那三个相同的音符，而且节奏完全一样。他的音乐变得枯燥、重复，并失去了曾经拥有的所有“灵魂”或常识。
在论文中： AI 开始重复短语，失去多样性，并做出一些不符合逻辑的事情（比如因为它只是在猜测最可能的词，而不是真正的词，所以说出“天空是绿色的”）。

研究人员是如何发现这种“病症”的

研究人员想要了解这种“病”是如何发生的，以及如何在不需要人类指出“这是人类食谱，那是 AI 食谱”的情况下阻止它。

他们发现了 AI 变“病态”的三个主要迹象：

“无聊的大脑”（概率集中）：
- 类比： 一个健康的 AI 就像一个在猜句子下一个词的人。他可能会想：“可能是‘猫’、‘狗’或‘鸟’。”但一个“崩溃”的 AI 则像是一个对答案过于笃定的人，他只会想到一个词。他变得过度自信。
- 科学原理： 他们测量了 AI 的“信心”被挤压到仅有的几个词上的程度。当 AI 崩溃时，它会将几乎 100% 的信心放在一个特定的词上，忽略所有其他的可能性。
“失去常识”：
- 类比： 如果你问一个健康的 AI：“如果我掉了一个玻璃杯，会发生什么？”它会说：“它会碎。”如果问一个崩溃的 AI 同样的问题，它可能会说：“它变成了一朵云”或者不断重复这个问题。它失去了理解现实世界运作方式的能力。
- 科学原理： 他们测试了 AI 的常识谜题。随着 AI 在其自身输出的内容上进行训练，它在回答这些简单的逻辑问题时表现得越来越差。
“惊喜”因子（关键发现）：
- 类比： 想象 AI 是一个学生。如果老师给学生的教科书是学生已经完美背诵过的，学生就会感到厌倦并停止学习。但如果老师给他们一本带有奇怪、令人惊讶的事实的书，学生的脑细胞就会活跃起来。
- 科学原理： 研究人员发现，当 AI 被训练在那些对它来说并不令人惊讶的内容上时，它崩溃得最快。如果 AI 阅读它已经预料到的内容，它只会强化自身的坏习惯。如果它阅读那些让它感到“惊喜”（即它难以预测的内容）的东西，它就能保持健康。

解决方案：“通过惊喜学习”

该论文提出了一种新的 AI 训练方式，不需要人类去标记数据是“人类编写”还是“AI 编写”。

旧方法：
尝试寻找一种过滤器，规定“只允许人类编写的文本进入”。问题在于，随着 AI 变得越来越强，区分人类文本和 AI 文本变得几乎不可能。

新方法（困惑度过滤/Perplexity Filtering）：
与其询问“谁写的？”，研究人员转而询问：“这个内容让 AI 感到了多少惊喜？”

策略： 在训练 AI 之前，他们观察一堆文本（包括人类编写和 AI 编写的）。他们让 AI 阅读这些文本，并测量它的“惊讶程度”。
- 如果 AI 说：“噢，我知道这个！这很简单！”（低惊讶度），他们就丢弃它。
- 如果 AI 说：“哇，我没想到这个！”（高惊讶度），他们就保留它用于训练。

结果：
通过迫使 AI 仅在那些最令它感到惊喜的内容上进行训练，他们阻止了“崩溃”。

AI 保持了多样性（它不再只是重复同样的词）。
它保留了常识。
至关重要的是： 尽管他们并不知道哪些文档是人类写的，哪些是 AI 写的，但其表现效果与他们仅使用人类编写的文本进行训练的效果一样好。

为什么这很重要

论文认为，我们正在进入一个互联网主要由 AI 内容构成的时代。如果我们继续用旧的 AI 内容来训练新的 AI 而不加过滤，它们都会变成“僵尸”——重复、枯燥且不合逻辑。

这种“通过惊喜学习”的方法是一个实用的工具。它就像是 AI 的一种饮食控制：与其喂给它垃圾食品（可预测、重复的 AI 文本），不如强迫它吃“健康、令人惊喜的食物”（挑战其现有知识的内容）。这让 AI 在不需要人类充当裁判的情况下，依然保持聪明和富有创造力。

一句话总结

为了防止 AI 模型陷入由自身产生的无聊、重复的循环，我们应该让它们在最令其感到惊喜的内容上进行训练，而不是试图过滤掉 AI 生成的文本。

技术摘要：通过惊喜学习：大规模语言模型中自适应缓解模型崩溃

1. 问题陈述

随着生成式人工智能模型日益充斥网络，存在着AI 自噬（AI autophagy）的风险：即模型递归地在自身输出的数据上进行微调。这一过程会导致模型崩溃（model collapse），其特征是生成内容的多样性显著丧失，并偏离真实的数据分布。

现有关于模型崩溃的研究面临四个关键空白：

缺乏模型内在度量指标： 当前的诊断依赖于在生成内容上计算的指标（如词汇多样性），缺乏直接源自模型内部下一个 token 概率分布的度量方法。
对常识影响尚不明确： 目前尚不确定模型崩溃是否会损害模型生成有意义、符合常识文本的能力。
驱动因素未知： 导致模型崩溃加速的 AI 生成内容的具体属性尚不明确。
缓解策略的局限性： 现有的缓解策略依赖于区分人类创作与 AI 生成的数据，或使用精选的人类数据子集。随着 AI 内容饱和网络，可靠的来源信号将变得不可用，使得这些方法变得不切实际。

2. 研究方法

模拟框架

作者提出了一个 AI 自噬模拟框架，包含生成与微调的迭代循环：

初始化： 使用包含人类创作文档的数据集 $D_0$ 初始化预训练大语言模型（LLM） $M_0$ 。
生成： 在每个步骤 $j$ ，模型 $M_j$ 为一组固定的人类创作提示词生成续写，从而创建新数据集 $D_{j+1}$ 。
微调： 模型在训练集 $T_{j+1}$ $T_{j + 1}$ 上进行微调以产生 $M_{j+1}$ $M_{j + 1}$ 。研究评估了三种场景：
- AI： 仅在 AI 生成的文档上进行微调。
- 人类： 仅在人类创作的文档上进行微调（基准）。
- 混合： 在通过选择策略过滤后的累积人类与 AI 文档池上进行微调。
模型与数据： 实验在四种开源权重 LLM（Llama2-7B, Llama3-8B, Mistral-7B, Qwen3-0.6B）以及三个数据集（Wikitext, XL-Sum, SciAbs）上进行，跨越 10 个模拟步骤。

测量指标

论文引入并使用了四个关键指标来表征模型崩溃：

语言熵（Linguistic Entropy）： 衡量输出分布的多样性。下降表示重复性增加。
下一个 Token 概率集中度（模型内在指标）：
- 基尼系数 ( $G(q)$ )： 量化下一个 token 分布的不平等性。较高的值表示质量集中在少数 token 上。
- 崩溃预测 ( $C(q)$ )： 单个 token 超过概率阈值（例如 0.99）的预测百分比，表明近乎确定性的行为。
常识推理准确率 ( $A_{CI}$ )： 使用 HellaSwag 数据集进行评估，以衡量模型生成合理、符合常识续写的能力。
困惑度（Perplexity/Surprise）： 定义为给定当前模型下 token 的平均负对数似然的指数。它衡量了一个文档对当前模型状态而言有多“令人惊讶”。

提议的缓解方案：基于困惑度的过滤

作者提出了一种基于困惑度的过滤策略，旨在无需了解数据来源（人类 vs. AI）的情况下缓解模型崩溃。

假设： 模型崩溃是由在“低惊喜”（低困惑度）文档上的微调驱动的，这些文档强化了模型的现有先验。
策略： 在每个微调步骤中，模型评估所有可用文档（包括人类和 AI 生成的文档）相对于其当前状态的困로는度。它选择具有最高困惑度（最高惊喜度）的前 $K$ 个文档进行微调。
自适应性： 与静态熵度量不同，该策略是动态的；困惑度在每一步都会根据演进中的模型 $M_j$ 重新计算，从而追踪模型不断变化的预期。

3. 关键结果

模型崩溃的表征

内在指标： 随着 AI 自噬的进行，下一个 token 分布的基尼系数增加，且崩溃预测的比例上升。这证实了崩溃对应于概率质量向一小部分 token 的集中。
常识丧失： 经历自噬的模型表现出常识推理准确率的显著下降（在组合数据集上相对下降达 23%），表明崩溃不仅降低了文本的多样性，还削弱了生成有意义文本的能力。
崩溃驱动因素： 研究表明，在低困惑度（对模型高度可预测）的文档上进行微调会加速崩溃。例如，对于 Llama2-7B 而言，Wikitext 文档的低困惑度比 SciAbs 或 XL-Sum 诱发了更严重的崩溃。

缓解效果

将基于困惑度的过滤策略与以下方案进行了对比：

人类文档的随机采样。
AI 文档的随机采样。
基于熵的过滤（选择最高语言熵）。

发现：

性能： 基于困惑度的策略在所有指标（熵、基尼系数、崩溃预测和 $A_{CI}$ ）上均一致地缓解了模型崩溃。
基准对比： 其表现与仅在人类创作数据上进行微调的效果相当，且在某些指标（特别是基尼系数和崩溃预测）上甚至优于后者。
来源无关性： 该策略成功选择了高惊喜度的文档，无论其来源是人类还是 AI。在后期的模拟步骤中，所选池中包含了一小部分比例但不断增加的 AI 生成文档，这些文档相对于当前模型仍保持着高惊喜度。
定性分析： 被选中的高困惑度文档并非噪声或幻觉，而是具有信息量且结构良好的文档，通常源自早期的模拟步骤或不同的数据集（例如 SciAbs 对比 XL-Sum）以维持多样性。

4. 重要性与主张

本文声称提供了一种统一的、以模型为中心的模型崩溃理解，以及一种在合成环境中训练生成式 AI 的实用且可扩展的策略。

理论贡献： 它建立了**困惑度（惊喜度）**与模型崩溃之间的联系，认为失去惊喜度是驱动模型内部概率分布退化的机制。这与认知科学原理一致，即惊喜驱动学习。
实践贡献： 所提出的过滤策略提供了一种解决方案，该方案不依赖于日益困难的区分人类与 AI 内容的任务。通过优先考虑“令人惊讶”的数据，它重新引入了微调过程中的变异性，有效地对抗了自噬的自我强化循环。
局限性与范围： 作者谦虚地指出，其发现是基于模拟和特定的 LLM 系列。他们承认，重复进行困惑度评分的计算成本高于静态熵方法，尽管他们提出了用于提高扩展性的近似方法（如子采样、缓存）。他们还指出，高困惑度过滤的有效性可能会在不同领域（如代码或数学）之间有所不同，因为在这些领域中，低多样性可能是固有且有益的。

总之，本文认为**“通过惊喜学习”**——即主动选择挑战模型当前预期的数据——是一种鲁棒且与来源无关的方法，可以防止大规模语言模型在 AI 生成内容日益增加的时代发生退化。