💬 NLP

Fine-Tuning Improves Information Conveyance in Language Models

本文引入了 Canopy Entropy ( $\mathrm{CE}^\star$ )，一种考虑输出长度的新型度量指标，旨在揭示微调不仅降低了语言模型的不确定性，而且从根本上重构了不确定性，以增强信息传递能力和语义多样性。

原作者： Yuwei Cheng, Weiyi Tian, Haifeng Xu

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuwei Cheng, Weiyi Tian, Haifeng Xu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：为什么“微调”改变了 AI 的思考方式

想象一下，大型语言模型（LLM）就像一个非常有才华但略显混乱的讲故事的人。在给予它具体指令（这个过程被称为微调）之前，这个讲故事的人可能会东拉西扯、重复自身，或者过早停止说话。他们的脑海中充满了“不确定性”——他们不确定下一步该说什么，该说多久，或者是否应该停止。

许多人认为，当我们通过微调让这些模型变得更有帮助时，我们实际上是在“关闭”它们的创造力，使它们变得枯燥且机械化。这篇论文认为事实并非如此。相反，微调不仅仅是消除了噪音，它还将噪音重新组织成了更有用的东西。

为了证明这一点，作者发明了一种衡量 AI 在写作时拥有多少“探索空间”的新方法。他们称之为树冠熵（Canopy Entropy）。

新工具：“树冠”类比

将 AI 的写作过程想象成一棵从种子（你的提示词）生长出来的巨树。

树枝（宽度）： 在每一步，AI 都必须选择下一个词。有时它有 100 个选项（宽阔的树枝），有时只有 2 个（狭窄的树枝）。
高度（深度）： AI 还必须决定何时停止。它是写一段短句，还是写一部长篇小说？

之前的研究只关注了树的宽度（它有多少种词汇选择）。他们得出结论认为，微调使树变得更窄（多样性降低）。

问题在于： 他们忽略了高度。经过微调的模型通常会写出更长的故事。如果你只看树枝有多少，却忽略了树长得有多高，你就错过了全貌。

解决方案（树冠熵）： 作者建议观察整个树冠——即树的总容量，结合了树枝有多宽以及树长得有多深。

发现： 当他们测量整棵树时，发现微调并不仅仅是缩小了树。它改变了形状。树在底部可能分支较少，但它会长得更高、更稳。

核心发现 1：“长即更好”的转变

作者发现了一个关于 AI 说话长度与每个新词的趣味性之间关系的迷人联系。他们称之为长度-熵相关性（Length-Entropy Correlation）。

“基座”模型（微调前）： 想象一个开始讲故事时兴致勃勃，但很快就后劲不足的学生。
- 早期词汇： 非常有创意且令人惊喜。
- 后期词汇： 枯燥、重复且可预测。
- 模式： 随着故事变长，它变得没那么有趣了。这种相关性是负向的。这个学生只是在为了填补空间而东拉西扯。
“微调后”的模型： 想象一位专业的记者。
- 早期词汇： 清晰且直接。
- 后期词汇： 依然富有信息量，不断增加新的细节、事实或情节。
- 模式： 随着故事变长，它依然保持有趣。这种相关性转为正向。这个学生在整个过程中都在真正地提供价值。

这意味着： 微调教会了模型，“长”并不意味着“重复”。它教会了模型即使在长篇回复中，也要保持高信息密度。

核心发现 2：将“困惑”转化为“意义”

作者研究了 AI 的内部“不确定性”（它对下一步该说什么的困惑程度）是如何转化为语义多样性（最终输出中的不同含义或想法）的。

类比： 把不确定性想象成一堆原始的粘土。
- 基座模型： 它们有很多粘土（高不确定性），但往往只能做出一个混乱的土团。它们不知道如何将粘土塑造成独特、有用的形状。
- 微调后的模型： 它们的总粘土量较少（低不确定性），但它们是专业的雕塑家。它们利用那较少的粘土，将其塑造成清晰、有意义的雕像。

结果： 论文发现，微调使模型将内部不确定性转化为实际、有意义的多样性的效率提高了三倍。尽管模型对于“该说什么”变得“没那么困惑”了，但它所说的内容在意义层面上却比以往更加鲜明多样。

研究结果总结

不仅仅是缩小： 微调并不仅仅是让 AI 变得多样性降低。它改变了多样性的分布方式。
长度至关重要： 之前的研究被误导了，因为微调后的模型写得更长。当你考虑到长度时，你会发现微调后的模型比基座模型能更持久地保持趣味性。
效率： 微调后的模型更擅长将它们的“思考过程”转化为“有用的多样性”。它们不是在漫无目的地闲扯，而是在进行深入阐述。

底线结论： 微调并没有把一个有创造力的 AI 变成一个枯燥的机器人。它将一个混乱的即兴表演者变成了一个结构化的讲述者，这位讲述者清楚地知道该说多久，以及如何从头到尾保持对话的趣味性。

技术摘要：微调提升了语言模型的信息传递能力

问题陈述

现有文献认为，微调（包括指令微调和对齐）会降低大语言模型（LLM）的多样性和不确定性，使其变得更加确定。然而，本文指出这些先前分析存在一个关键局限：它们很大程度上未能控制输出长度。长度是多样性测量中的一个主要混淆变量；诸如类型-标记比（type-token ratio）或 n-gram 多样性等指标受文本长度的影响，往往使较短的响应显得具有人为的“多样性”。此外，先前的工作将多样性视为一种静态属性，未能分析不确定性如何在生成轨迹中演变，或如何在不同的输出长度之间分配。因此，目前尚不清楚微调仅仅是抑制了多样性，还是通过重新组织多样性来产生更具信息量、更有语义意义的生成内容。

研究方法

冠层熵 ( $CE^\star$ )

为了解决这些差距，作者提出了冠层熵 ( $CE^\star$ )，这是一种从树状视角观察语言生成的信息论度量。

概念： “冠层”代表了模型所有可能的完成后的展开路径（叶节点）的集合。 $CE^\star$ 通过综合考虑局部分支宽度（标记级不确定性）和轨迹深度（停止时间变异性），量化了这一生成空间的有效体积。
形式化定义： $CE^\star$ 被定义为生成轨迹上局部熵的期望总和：
$CE^\star := \mathbb{E}\left[\sum_{t=1}^{N(x)} \tilde{H}(g_t | x)\right]$
其中 $N(x)$ 是随机停止时间（长度）， $g_t$ 是生成历史， $\tilde{H}$ 是下一个标记（包括 EOS 标记）的局部熵。
理论等价性： 作者证明了 $CE^\star$ 与生成过程的总香农熵完全等价：
$CE^\star = H(N, Y_{1:N} | X)$
这可以将总不确定性分解为长度不确定性 $H(N|X)$ （停止时间的可预测性）和内容不确定性 $H(Y_{1:N}|N, X)$ （给定固定长度时的序列多样性）。

衍生指标

为了使 $CE^\star$ 具有可解释性，文中引入了两个归一化变体：

生成困惑度 (GenPPL)： $CE^\star$ 的标记级归一化形式，反映了典型标记的多样性。
分支因子 (BF)： 轨迹级归一化形式（熵率的期望值），反映了典型轨迹的多样性。

长度–熵相关性 ( $\rho(N, r_N)$ )

论文引入了一种新颖的指标来研究不确定性如何随生成长度演变：输出长度 $N$ 与熵率 $r_N$ （每标记内容不确定性）之间的相关性。

定义： $\rho(N, r_N)$ 衡量了较长的生成是否保持了信息量（正相关），还是变得日益冗余/可预测（负相关）。
意义： 该指标解决了长度带来的混淆效应，区分了真实的增益信息与长文本中的统计伪影。

估计

由于在指数级的全量展开空间上计算 $CE^\star$ 是不可行的，作者开发了蒙特卡洛估计器。他们确立了这些估计器在截断偏差随最大长度 $T_{max} \to \infty$ 递减的条件下的一致性，并讨论了适度截断长度的情况。误差界限由蒙特卡洛采样误差和截断偏差组成。

核心结果

作者评估了三个模型家族（LLaMA-3.1-8B, Qwen3-8B, Gemma-3-12B）在四个任务（数学、编程、句子补全、故事生成）上的表现，并将基座模型与指令微调后的变体进行了对比。

归一化不确定性的降低：
在几乎所有模型和任务中，微调一致地降低了标记级（GenPPL）和轨迹级（BF）的归一化不确定性。降低的幅度因任务而异（例如，Qwen 在数学任务中降低约 5%，而在句子补全任务中降低约 80%），这表明对齐压缩了生成空间，但这种压缩根据任务结构的差异呈现出异质性。
任务依赖的 $CE^\star$ 效应：
- 在结构化任务（数学、编程、句子补全）中， $CE^\star$ 在微调后显著下降，因为有效的生成空间被剪枝到了极少数正确的轨迹。
- 在开放式任务（故事生成）中， $CE^\star$ 可能增加。微调后的模型会生成更长、更详尽的序列。虽然局部分支多样性降低了，但轨迹深度的增加（停止时间不确定性）在数学上可能超过局部熵的减少，从而导致更大的总生成空间体积。
长度–熵相关性的偏移：
一个关键发现是，微调系统性地将相关性 $\rho(N, r_N)$ 从负相关转变为正相关。
- 基座模型： 表现出负相关；较长的输出往往具有较低的熵率，意味着后期的标记是冗余的。
- 微调模型： 表现出正相关；较长的生成能维持较高的熵率，表明额外的标记保持了信息量，而不是陷入重复。
语义多样性的效率：
通过使用 Beta 混合效应回归框架，作者发现虽然微调在固定的熵率下降低了基准语义多样性，但它几乎使语义多样性对熵率的敏感度提高了三倍。这意味着对齐后的模型能更有效地利用标记级不确定性，将其转化为有意义的语义变化，其效率高于基座模型。

意义与主张

论文声称，主流观点——即微调仅仅是降低了多样性——是不完整的。相反，结果表明微调从根本上重构了不确定性。

是重构而非单纯降低： 微调不仅仅是缩小了生成空间；它重构了不确定性在生成轨迹中的分配方式。
信息效率： 对齐后的模型生成的输出更加有序且具有语义意义。它们在较长的轨迹中维持了信息密度，避免了基座模型中常见的“完成陷阱”和冗余现象。
方法论贡献： 通过引入 $CE^\star$ 和长度–熵相关性，本文提供了一个具备长度感知能力的原则性框架，用于评估生成多样性，克服了以往指标中固有的输出长度混淆效应。

作者总结道，微调提升了语言模型的信息传递能力，使其能够更有效地将不确定性转化为具有语义多样性且符合任务要求的生成内容。