💬 NLP

Self-Training Doesn't Flatten Language -- It Restructures It: Surface Markers Amplify While Deep Syntax Dies

本文挑战了自训练 merely 扁平化语言的观点，通过证明其实际上通过一种非对称坍塌重构了语言，其中深层句法特征衰减而表层标记增强，这一现象被形式化为结构深度假说。

原作者： Ming Liu

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Ming Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《自训练不会使语言扁平化——而是重构它》的通俗解释，包含简单语言和类比。

重大误解：“扁平化”神话

想象你有一位才华横溢的讲故事的人（语言模型）。如果你让他讲一个故事，然后拿回那个故事，让他基于第一个故事讲一个新故事，并不断重复这个过程，会发生什么？

大多数研究人员认为，这位讲故事的人最终会变得乏味。他们以为故事会变得更“扁平”——多样性降低、重复且简单，就像不断丢失细节的复印件的复印件。这被称为“模型崩溃”。

这篇论文指出，事实并非完全如此。 故事并没有仅仅变得简单；它们变得奇怪地重构了。讲故事的人并没有失去所有的复杂性；他们失去了困难的复杂性，却意外地变得更擅长容易的复杂性。

两种类型的“复杂性”

为了理解正在发生什么，作者将语言特征分为两类：

表面标记（“装饰品”）： 这些是花哨且易于添加的东西，比如“然而”、“此外”、“也许”，或者使用破折号（—）。它们位于句子的表层，不需要太多脑力就能附着。
深层句法（“骨架”）： 这些是语言中困难的结构骨架。例如提出问题（“你为什么要那样做？”）、使用被动语态（“球被扔了”）或使用虚拟语气（“如果我是你……"）。这些需要句子以特定的嵌套顺序将多个想法结合在一起。

实验：“复制 - 粘贴”循环

作者选取了五个不同的 AI 模型（包括 GPT-2），让它们运行了 11 轮的“复制 - 粘贴”循环：

AI 撰写文本。
AI 基于该文本进行训练。
AI 基于训练结果撰写新文本。
重复 11 次。

结果：“表面复杂性悖论”

以下是该论文发现的惊人转折：

1. 装饰品爆炸（它们变得更“丰富”）
AI 开始使用多得多的“然而”、“也许”和破折号。到了第 11 代，文本看起来更像“论文”，更正式，连接更紧密。如果你只计算这些词，你会认为 AI 变得更聪明且更复杂。

类比： 想象一座房子不断添加更多的门廊柱子、华丽的油漆和装饰性灌木。从外面看，它显得更宏伟、更精致。

2. 骨架崩塌（“深层”内容消亡）
随着装饰品的增长，困难的结构骨架消失了。

问题消失了92%。
插入语（句子中间的旁注）下降了57%。
被动语态和复杂动词时态下降了超过50%。
类比： 当房子增加了更多灌木时，地基和承重墙开始崩塌。房子看起来华丽，但实际上再也无法支撑二楼了。

悖论： 文本看起来更复杂（更长的单词、更多“花哨”的连接词），但实际的句子结构正变得浅薄和简单。

为什么会发生这种情况？“深度假说”

作者提出了一条名为结构深度假说的规则。

将语言特征想象成具有“深度分数”：

深度 0（表面）： 只是添加像“然而”这样的词。容易。
深度 2（深层）： 构建一个问题或被动句。困难。

规则：

容易的事情被放大： 因为 AI 是基于自己的输出进行训练的，它经常看到“然而”。它会想：“哦，我应该多用‘然而’！”这形成了一个反馈循环，AI 爱上了这些容易的装饰品。
困难的事情受到惩罚： 要构建一个复杂的句子（比如一个问题），AI 必须做出一连串正确的决策。如果它漏掉了一步，句子就会断裂。在“复制 - 粘贴”循环中，AI 在做出这些长决策链方面变得更差。它停止尝试构建它们，因为只需添加一个装饰品要容易得多。

“频率”神话：
旧理论认为稀有事物会消亡，因为 AI 不够频繁地看到它们。这篇论文说不。这与单词有多稀有无关；而是与它在结构上有多深有关。即使一个复杂的句子很常见，如果它是“深”的，它也会消亡。如果一个简单的单词很稀有，只要它是“浅”的，它仍可能幸存。

“感叹号”例外

有一个奇怪的案例：感叹号（!）。它们是“浅”的（深度 0），所以你预期它们会增长。但它们消亡了（下降了 99%）。

为什么？ AI 的“默认模式”（当它不具创造性时）很少使用感叹号。尽管它们很容易添加，但 AI 最初在自己的“梦境”中几乎从未见过它们。因此，它们从未获得“富者愈富”的助推。这证明了规则：仅仅“浅”是不够的；你还必须足够常见才能启动循环。

对现实世界的启示

这篇论文警告我们要关注如何衡量 AI。

当前的检测器查看“聚合指纹”（例如：“文本很长吗？它有很多不同的词吗？”）。
问题： 在自训练下，这些数字会上升。因此，检测器可能会看着一段破碎、浅薄的 AI 文本说：“哇，这看起来非常复杂且像人类！”
现实： 文本实际上是一个空壳。它拥有复杂论文的装饰品，却没有结构完整性。

简而言之： 自训练并没有让 AI 变笨；它让 AI 变得表面华丽但结构空洞。它学会了装饰房子，却忘记了如何建造墙壁。

技术摘要：自训练并未使语言扁平化，而是对其进行了重构

问题陈述

当前对语言模型（LLM）连续自训练的普遍描述是“扁平化”或“模型崩溃”，即多样性下降、分布变窄，文本收敛至低熵吸引子。与此同时，关于 LLM 语言指纹的文献观察到，与人类基线相比，机器生成的文本在特定表面标记（话语连接词、模糊限制语、破折号）上静态地更为丰富。然而，这两类文献均未正确描述这种分布漂移的机制。主流理论解释将衰退归因于基于频率的机制：罕见事件采样不足并消亡。本文认为，这种描述是不完整的，该现象更应被描述为结构性分叉，而非均匀的扁平化。

方法论

作者在五个模型上进行了受控的自训练实验，涵盖三个架构家族（GPT-2 124M、Pythia-410M、Pythia-1.4B、Pythia-2.8B 以及 OPT-1.3B）。

协议：每个模型经历了11 代纯自训练。从发布的检查点开始，模型使用核采样（ $p=0.95, T=0.9$ ）生成 3,000 篇文本（每篇 256 个 token），生成的语料库用于对该模型进行一个 epoch 的微调。此循环在不混合人类数据的情况下重复进行。
特征选择：预先选定了十七个语言特征，并按结构深度（ $d(\phi)$ $d (ϕ)$ ）进行分层，定义为在句子中许可该特征所需的最小嵌套句法依赖数量：
- $d=0$ （表面/词汇）：话语标记、模糊限制语、破折号、感叹号。
- $d=1$ （局部句法）：规则过去时（$V+ed$）、句首连词、简单并列。
- $d=2$ （从句结构）：疑问句、插入语、被动语态、不规则过去时、关系/状语从句。
- $d=3$ （跨从句/语气）：虚拟语气结构。
分析：作者追踪了这些特征在代际间的相对频率。他们通过普通最小二乘法（OLS）回归计算了各特征的衰退率（ $\lambda$ ），并测试了其与结构深度（ $d$ ）及基线频率（ $f$ ）的相关性。使用混合效应模型来解释数据的嵌套结构（ $N=85$ 个特征 - 模型对）。

主要贡献

结构深度假设（SDH）的形式化：本文提出，语言特征每代的漂移率主要由其结构深度（ $d$ ）预测，其次取决于其对采样随机性（ $\sigma$ ）的依赖。该假设提出了一种“深度惩罚”（深层结构因遍历嵌套依赖的乘法概率成本而衰退）与“采样依赖奖励”（表面标记因随机采样中的“富者愈富”动态而放大）之间的竞争。
“表面复杂性悖论”的记录：作者证明，虽然自训练期间聚合的“复杂性”代理指标（依赖树深度、类型 - 词符比、平均词长）上升，但底层的从句结构特征（疑问句、被动语态、从属结构）却发生崩溃。这掩盖了标准文体学分析中的分叉现象。
跨模型验证：该研究在五个模型和三个架构家族中提供了受控证据，表明深度梯度效应对架构差异和训练语料库具有鲁棒性。
对仅频率解释的驳斥：通过直接统计测试，本文证明结构深度是特征衰退比基线频率更显著的预测因子。

主要结果

特征的分叉：表面标记（ $d=0$ ）显著放大（例如，话语标记增加了 +126%，模糊限制语增加了 +44%），而深层句法结构（ $d \ge 2$ ）则崩溃（例如，问号下降了 92%，被动语态下降了 56%，虚拟语气下降了 53%）。
单调性：平均每代的变化随结构深度单调递减：
- $d=0$ ：+24.9%
- $d=1$ ：-10.0%
- $d=2$ ：-47.2%
- $d=3$ ：-52.7%
统计显著性：
- 在五个模型中汇总（ $N=85$ ），结构深度与衰退率之间的斯皮尔曼相关系数为 $\rho = 0.540$ （ $p < 10^{-6}$ ）。
- 相比之下，基线频率与衰退率之间的相关性在汇总测试中微弱且不显著（ $\rho = 0.225, p = 0.039$ ）。
- 混合效应模型证实深度系数高度显著（ $p < 0.001$ ），而频率则不显著。
“证明规则的例外”：感叹号（ $d=0$ ）崩溃了 99.3%。作者将此归因于 SDH 方程：尽管它们很浅（ $d=0$ ），但其在核采样下的基线率太低，无法触发“富者愈富”的放大循环，导致尽管深度低仍发生衰退。
对照实验：在匹配对照中，模型在人类文本（OpenWebText）而非自生成文本上进行微调，产生了接近零的相关性（ $\rho = 0.039, p = 0.88$ ），证实了深度梯度是自训练机制特有的。

意义与主张

本文声称重构了两个不同的文献领域：

模型崩溃：它提供了崩溃的结构性而非纯粹统计性的解释。它认为崩溃不仅仅是稀有 token 的丢失，而是深层句法机制的系统性侵蚀，这是由自回归生成中遍历嵌套依赖的乘法概率惩罚所驱动的。
LLM 指纹：它为为何标准机器文本标记（话语连接词、模糊限制语）恰好是这些特征提供了机制性解释：它们是深度分级崩溃的幸存者和放大器。
方法论警示：本文认为，依赖聚合指纹指标（如文体学中的标准做法）会系统地掩盖自训练下语言的分叉。这对训练数据策展（表明需要优先选择从句结构丰富的文本）和检测（表明依赖聚合复杂性的检测器在模型经历递归训练时可能会失效）具有直接影响。

作者对于更大模型（7B+）的具体阈值保持谨慎，指出其实验范围涵盖 124M 到 2.8B 参数，但断言深度梯度的方向和排序在测试的尺度范围内是一致的。他们还指出，目前的发现仅限于英语和特定的提示分布。