💬 NLP

Compression Favors Consistency, Not Truth: When and Why Language Models Prefer Correct Information

该论文提出“压缩 - 一致性原则”，指出语言模型对正确信息的偏好并非源于内在的求真驱动，而是源于压缩压力使其倾向于选择能生成更短且内部一致描述的假设，这一结论通过在合成数学语料库上的实验得到了验证。

原作者： Konstantin Krestnikov

发布于 2026-03-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Konstantin Krestnikov

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文探讨了一个非常有趣的问题：为什么人工智能（大语言模型）有时候会说出真话，而有时候又会自信满满地胡说八道？

作者发现，模型并不是天生就“爱真理”，它们其实更爱“省事儿”（压缩信息）。

为了让你更容易理解，我们可以把训练 AI 的过程想象成教一个学生写故事，而这篇论文就是关于这个学生如何“偷懒”的研究。

1. 核心观点：AI 是个“偷懒的总结大师”

想象一下，你给这个学生（AI 模型）看了一堆数学题和答案。

真理（正确答案）：通常遵循一套简洁、优美的逻辑规则（比如 $1+1=2$ ）。
谎言（错误答案）：可能是乱写的，也可能是另一套逻辑。

论文的核心发现是：
AI 并不在乎答案是不是真的，它只在乎哪套规则写起来更短、更顺口。

如果“真理”的规则很简单，而“谎言”的规则很乱、很啰嗦，AI 就会选择真理，因为这样最省力（压缩率最高）。
如果“谎言”也有一套非常完美、自洽的规则（比如它规定 $1+1=3$ ，并且所有题目都严格遵守这个规则），那么对 AI 来说，这套谎言和真理一样“短”、一样“好记”。这时候，AI 就分不清真假了，它甚至可能更喜欢那个谎言，因为那个谎言在数据里出现得更多。

一句话总结：AI 追求的是“逻辑自洽的简洁”，而不是“客观真理”。

2. 三个生动的实验故事

作者做了几个实验，就像是在不同的教室里测试这个学生：

实验一：乱涂乱画 vs. 严谨的谎言

场景 A（随机错误）：你给学生的作业里，有些题是对的，有些题是乱涂乱画的（比如把加号写成减号，毫无规律）。
- 结果：学生很快学会了正确的规则，因为乱涂乱画太乱了，记不住，写起来太费劲。所以学生**83%**的时候选对了答案。
- 比喻：就像让你背一首押韵的诗（真理）和一堆毫无逻辑的乱码（随机错误），你肯定选背诗，因为乱码太费脑子了。
场景 B（连贯的谎言）：你给学生的作业里，有些题是对的，有些题是另一套完美规则（比如规定所有乘法都要减 1，而且所有题目都严格遵守这个“错误规则”）。
- 结果：学生完全分不清了，选对和选错的概率各占 50%（甚至有时选错更多）。
- 比喻：就像你面前有两本同样精彩、同样逻辑严密的小说。一本是《哈利波特》，另一本是《霍格沃茨的魔法是假的，但故事里所有人都信以为真》。如果两本书篇幅一样长、逻辑一样通顺，学生就会随机选，或者选那本出现次数更多的。

实验二：加上“检查员”（验证步骤）

场景：如果我们在“连贯的谎言”后面加一个检查员（比如算出结果后，再倒推回去验证一下）。
- 结果：谎言虽然逻辑自洽，但一经过“倒推验证”，就会露出马脚（产生奇怪的数字残差）。这时候，学生又能认出真理了，正确率从 43% 回升到了 71%。
- 比喻：那个“严谨的谎言”就像是一个完美的骗局，但如果你非要它去银行取钱（验证），它就会发现密码不对。一旦有了这个“验真”环节，谎言就编不下去了。

实验三：规则越多，谎言越难编

场景：如果谎言不是只有一套规则，而是有 2 套、5 套、10 套不同的错误规则随机出现。
- 结果：谎言变得太复杂了，学生记不住这么多套规则，于是又开始倾向于选择简单、统一的真理。
- 比喻：如果那个骗子今天说“向左走”，明天说“向右走”，后天说“原地转圈”，而且没有规律，你就觉得他太麻烦了，不如直接相信那个一直说“向北走”的老实人。

3. 这对我们意味着什么？

这篇论文告诉我们几个重要的道理：

AI 不是“真理守护者”，它是“逻辑压缩器”。
只要谎言能编得圆、逻辑能自洽、而且规则够简单，AI 就会毫不犹豫地相信它。这解释了为什么 AI 会“一本正经地胡说八道”（幻觉）。
数据质量很重要，但“逻辑一致性”更重要。
如果训练数据里充满了互相矛盾的随机错误，AI 反而能学会真理（因为真理更简洁）。但如果数据里充满了逻辑自洽的谣言（比如一个完美的伪科学体系），AI 就会学得津津有味，甚至觉得那是真理。
如何防止 AI 胡说八道？
单纯靠“加大模型参数”（让模型更聪明）可能没用，因为大模型也能完美地压缩谎言。
关键在于“验证”。就像实验里加的那个“检查员”，我们需要在训练或推理过程中，加入能够打破谎言逻辑闭环的验证步骤（比如交叉验证、事实核查），让谎言变得“不简洁”、“难压缩”，AI 才会被迫回归真理。

总结

这就好比奥卡姆剃刀原则（如无必要，勿增实体）：

如果真理是唯一的、简洁的，而谎言是混乱的，AI 选真理。
如果谎言也能构建一个简洁、自洽的“平行宇宙”，AI 就会在这个宇宙里安家，因为它觉得这样最省事儿。

这篇论文提醒我们：不要指望 AI 天生就懂真理，我们要教它如何识别那些“虽然自洽但经不起推敲”的复杂谎言。

论文技术总结：压缩偏好一致性而非真理：语言模型何时及为何偏好正确信息

论文标题：Compression Favors Consistency, Not Truth: When and Why Language Models Prefer Correct Information
作者：Konstantin Krestnikov
日期：2026 年 3 月

1. 研究背景与问题 (Problem)

尽管大型语言模型（LLM）在事实基准测试中表现日益准确，但它们仍会自信地生成虚假陈述。现有的解释（如模型规模扩大、RLHF 对齐、训练数据统计特性、内部真理表示等）未能回答一个根本问题：为什么“下一个词预测”这一训练目标本身会产生对真理的偏好？

本文提出，答案在于压缩（Compression）。最小化交叉熵在数学上等价于最小化代码长度（即最小描述长度原则，MDL）。模型倾向于选择能最紧凑地描述训练数据的假设。然而，压缩本身并不天然偏好真理，它偏好的是与数据一致且最易压缩的假设。

核心问题：在什么条件下，压缩压力会导致模型偏好正确的信息，而不是仅仅偏好内部一致但错误的信息？

2. 方法论 (Methodology)

2.1 模型与训练设置

模型架构：基于 GPT-2 风格的仅解码器 Transformer（Decoder-only），使用 MLX 实现。
规模：从 3.5M (tiny) 到 86M (large) 参数的四种规模。
训练细节：字符级 Tokenizer（排除 BPE 干扰），AdamW 优化器，固定步数训练（5000 步），4 个随机种子。
数据集：合成数学语料库（多步算术、因式分解、方程求解、微分），包含正确推导和三种类型的错误推导。

2.2 错误类型设计 (Error Types)

为了隔离“真理”与“压缩性”，作者设计了三种错误模式：

随机错误 (Random)：在随机步骤注入单一错误（如符号、系数错误）。每个错误都是独特的，缺乏系统性规律。
连贯错误 (Coherent)：针对每种任务类型定义一个系统性的错误规则（例如： $a \times b = a \times (b-1)$ ）。所有同类问题都遵循相同的错误逻辑，内部高度一致。
矛盾错误 (Contradictory)：简单的规则破坏代数结构（如 $a+b = a+b+1$ ），导致加法减法不再互逆。

2.3 评估指标

成对评估 (Paired Evaluation)：主要指标。对于同一个提示（Prompt），生成正确和错误两个补全，计算两者在补全部分的条件负对数似然（NLL）之差。这消除了提示词差异的干扰，直接衡量模型对正确性的偏好。
语料库级评估 (Corpus-level)：次要诊断指标，用于观察整体损失差异，但易受文本统计特征（如长度、格式）影响。

3. 核心贡献 (Key Contributions)

压缩 - 一致性原理 (Compression–Consistency Principle)：提出梯度下降倾向于产生更短且内部一致的描述。真理偏好并非基本属性，而是当错误选项比正确规则系统更难压缩时出现的现象。
受控实验设计：构建了一个“连贯错误”作为强零假设（Null Hypothesis）的实验环境。在这种设置下，错误系统与正确系统具有相同的压缩效率，从而将“压缩性”与“真值”解耦。
成对评估的重要性：证明了语料库级损失可能因文本统计差异而系统性地高估真理偏好，而成对评估能揭示模型在相同上下文下的真实判别能力。
负面结果：在 3.5M–86M 参数范围内，当错误系统是内部连贯的，模型对正确解的偏好消失（接近随机猜测），表明仅靠压缩压力无法对齐到真理。

4. 关键实验结果 (Key Results)

4.1 随机错误 vs. 连贯错误

随机错误 (50/50 混合)：模型表现出强烈的真理偏好。在 50/50 混合数据下，成对评估准确率达到 83.1%；即使在 10/90（错误占 90%）的极端不平衡下，准确率仍保持在 66.7%。
- 原因：随机错误需要逐个记忆，描述长度随数据量线性增长，而正确规则系统可被压缩。
连贯错误 (50/50 混合)：真理偏好完全消失。成对评估准确率接近随机水平 (47.2%)。
- 原因：错误系统也是紧凑的规则系统，与正确系统具有同等的压缩效率。此时，频率主导了模型的选择（如果错误数据更多，模型甚至偏好错误）。
矛盾错误：表现介于两者之间，但真理偏好极弱。

4.2 规模扩展 (Scaling)

随机错误：随着模型规模从 3.5M 增加到 86M（固定步数训练），对正确解的偏好从 83.1% 提升至 89.1%。
连贯错误：在所有规模下，对正确解的偏好始终维持在随机水平（47%–53%），未随规模扩大而改善。

4.3 多规则错误 (Multi-Rule Errors)

实验引入了 $N$ 个不同的错误规则。
结果呈现梯度变化：当 $N=1$ （连贯）时准确率为 46.6%； $N=2$ 时跃升至 77.6%； $N=10$ 时达到 88.3%。
这表明错误系统的复杂性（描述长度）增加会逐步削弱其压缩优势，从而恢复真理偏好。

4.4 验证步骤的作用 (Verification)

在连贯错误任务中嵌入验证步骤（如计算后反向验证），将连贯错误转化为不可压缩的数值残差。
结果：在微小模型（3.5M）上，真理偏好从 43% 恢复至 70.9%。
规模趋势：在固定步数下，随着模型变大，这种由验证带来的偏好反而略有下降（71% -> 60%），暗示大模型可能更擅长学习域内的一致模式，而忽略稀疏的验证信号。

4.5 自然语言领域

在合成自然语言世界中，真理偏好显著减弱（57.7% vs 数学领域的 83.1%）。自然语言更容易吸收矛盾，使得错误规则的压缩性优势不如数学领域明显。

5. 结论与意义 (Significance)

5.1 理论意义

真理不是压缩的必然结果：语言模型本质上是“一致性寻求者”而非“真理寻求者”。只要错误系统内部自洽且规则紧凑，模型就会同等地学习它。
MDL 视角的重新解读：真理偏好的出现是因为在特定数据分布下，真理比错误具有更短的描述长度（即错误是“噪声”或“特例”）。一旦错误变得系统化（连贯），这种优势就消失了。

5.2 对对齐 (Alignment) 的启示

局限性：仅靠训练目标（下一个词预测）和压缩压力，无法保证模型在存在系统性错误知识（如伪科学、阴谋论）时自动转向真理。
应对策略：需要引入外部验证机制（如验证步骤、交叉域依赖）来破坏错误系统的压缩性，或者依赖数据中真理的统计优势（频率）。

5.3 局限性与未来方向

规模限制：实验基于 3.5M–86M 的小模型，大模型（如 Llama-3 级别）的表现尚需验证。
训练预算：固定步数训练可能导致大模型欠拟合，规模趋势的解释需谨慎。
领域泛化：数学领域的清晰界限可能夸大了压缩性的作用，现实世界（如医学、历史）中的知识冲突更为复杂。

总结：本文通过严格的受控实验证明，语言模型对真理的偏好并非内在属性，而是数据结构和压缩效率的副产品。当错误信息能够被压缩成简洁、一致的规则系统时，模型将失去对真理的偏好。这一发现为理解幻觉机制和制定更有效的对齐策略提供了新的理论视角。