⚡ electrical engineering

Descriptive versus Regulatory Uncertainty in Bounded Predictive Systems

本文认为，当前的 Transformer 架构本质上局限于“描述性不确定性”，因其令牌级熵值无论任务准确率如何均保持统计不变，从而无法驱动适应性行为，这证明真正的“调节性不确定性”需要认识论误差与热力学能量成本之间的物理耦合，而解耦的数字系统缺乏这种耦合。

原作者： Ahmed Gamal Eldin

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ahmed Gamal Eldin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对该论文的解读。

核心观点：一个不知道自己错了的智能机器人

想象一个非常先进的机器人，它能写故事、解决数学问题并回答问题。你问它一个难题，它用 100% 的自信回答。但如果它完全错了呢？

这篇论文指出，当前的 AI 模型（就像我们今天使用的这些）存在一个危险的缺陷：它们无法区分“知道答案”和“胡编乱造”。

作者 Ahmed Gamal Eldin 认为，这不仅仅是一个软件漏洞，而是一个根本性的物理问题。

“电费账单”类比

为了理解原因，让我们思考一下人脑是如何工作的，以及计算机是如何工作的。

人脑（调节性不确定性）： 当你尝试解决一个难题时，你的大脑会工作得更努力。你会出汗，心率可能会上升，并且会消耗更多卡路里。如果你犯了错，你的大脑会感受到那个错误的“代价”。这种身体上的努力与你有多确定是相关联的。如果你是在胡乱猜测，你大脑消耗能量的方式与你确定无疑时是不同的。
AI 计算机（描述性不确定性）： 现在，想象一个回答问题的机器人。无论它是在解决一个它完全掌握的简单数学题，还是在以十足的自信胡编一个虚假事实，电费账单是完全一样的。

这篇论文将这种现象称为**“热力学解耦”**。

解耦： 能量成本（电力）与真相是脱节的。计算机说真话和说假话所消耗的电量是一样的。
结果： 因为计算机在犯错时并没有“支付”更多的能量，所以它没有任何物理理由去感到“不确定”。它只是继续运转，即使困惑时也依然自信。

实验：“直线”测试

作者使用三种不同规模的 AI 模型（小型、中型和巨型）进行了测试，并给它们布置了三种类型的任务：

简单内容（开普勒）： 关于 AI 肯定在学校里学过的知识的问题（例如“一年有多长？”）。
新内容（牛顿）： 需要应用规则到 AI 从未见过的新情境中的问题。
不可能内容（分布外 OOD）： 关于完全超出 AI 训练范围的虚构物理的问题（例如“如果重力强了 7 倍会发生什么？”）。

结果：

准确率： AI 答对了简单的问题，在新问题上挣扎，在不可能的问题上失败。它获得正确答案的能力发生了巨大变化。
自信度（熵）： 作者测量了 AI 的“不确定性”（其自信的动摇程度）。令人惊讶的是，自信水平保持完全不变。

隐喻：
想象一位天气预报员。

场景 A： 他们预测暴风雨天气会下雨。他们有 90% 的把握。
场景 B： 他们预测晴朗天气会下雨（一个错误）。他们仍然有 90% 的把握。
场景 C： 他们预测火星上的一天会下雨（不可能）。他们仍然有 90% 的把握。

在这项研究中，AI 就像那位天气预报员。无论答案是简单、困难还是不可能，AI 内部的“自信仪表”都没有移动。它是一条直线。

为什么这很重要

论文得出结论，因为 AI 的“自信”在犯错时不会改变，我们不能将其自信视为安全信号。

如果你建立一个安全过滤器，规定“如果 AI 不确定，就停止它”，你会失败。AI 从不表现出不确定，即使它完全错了。
AI 具有“结构性危险”，因为它可以同时达到最大程度的确定和最大程度的错误。

解决方案？一种新型计算机

作者建议，要解决这个问题，我们需要改变硬件。我们需要一种计算机，使得犯错实际上会消耗更多能量。

当前 AI： 就像一辆车，无论你是在直路上行驶还是撞向墙壁，它消耗的汽油量都是一样的。
未来 AI（提议）： 一辆每次你变道或遇到颠簸时都会额外消耗汽油的车。如果犯错的“代价”很高，系统自然会学会更加谨慎，并诚实地面对其不确定性。

总结

该论文声称，当前的 AI 模型是“热力学解耦”的。这意味着它们的物理能量消耗并不在乎它们是对是错。因此，它们的自信水平是虚假的——即使它们在胡编乱造时，看起来也很确定。这是它们构建方式的物理局限性，而不仅仅是一个可以通过扩大模型规模来解决的软件故障。

技术摘要：有界预测系统中的描述性不确定性与规范性不确定性

问题陈述
本文探讨了当前大语言模型（LLM）中存在的一个根本性安全与认识论局限：无法区分真实知识与自信的幻觉。尽管当前讨论聚焦于模型能力，但作者认为，在具有认识论信息量的不确定性与不确定性仅为基底伪影的系统之间，存在一个更为关键的区分。

核心问题被确定为热力学解耦。在物理计算系统中，兰道尔原理（Landauer's principle）规定，不可逆的比特操作会产生最小能量成本（ $k_B T \ln 2$ ）。然而，在当前的 LLM 中，这种热力学成本与输出的认识论质量无关。无论模型生成的是基于因果的推导还是自信的幻觉，硬件（例如 A100 GPU）所耗散的能量都是相同的。因此，系统的不确定性（以香农熵衡量）是“描述性”的（输出分布的统计属性），而非“规范性”的（参与物理成本函数以惩罚错误的信号）。

理论框架
作者通过两个概念形式化了这一区分：

热力学解耦：如果系统的输出香农熵（ $H_{out}$ ）与因果准确性（ $\alpha$ ）在给定物理基底状态条件下统计独立，则该系统为热力学解耦。在此类系统中，每次操作的能量成本不随认识论误差而变化（ $\partial E_{cost}/\partial \epsilon = 0$ ）。
Softmax 解耦定理：作者证明，在权重固定且推理温度固定的 Transformer 中，词元级香农熵是权重、温度和上下文的确定性函数。它在结构上独立于上下文是需要分布内检索还是分布外（OOD）因果泛化。与温度具有能量后果的物理热力学系统不同，Transformer 中的“计算温度”（ $\tau$ ）是一个解耦的超参数。

方法论
为了实证检验热力学解耦假设，作者进行了一项实验，测量了跨越两个数量级规模的三个 Llama 模型（3B、8B 和 70B 参数）的词元级香农熵和任务准确率。

任务套件：构建了一个包含 18 个任务的套件，涵盖三个因果需求递增的类别：
- 开普勒任务：检索已确立的物理关系（模式检索）。
- 牛顿任务：将因果算子应用于新颖的参数配置（因果推导）。
- 牛顿 OOD 任务：在旨在超出任何合理训练覆盖范围的参数范围内进行推导（激进分布偏移）。
模型：llama3.2:3b、Llama-3.1-8B-Instruct 和 Llama-3.1-70B-Instruct。
测量：
- 熵：在低推理温度（ $\tau = 0.1$ ）下从词元级 logprobs 中提取，以最小化随机采样噪声。
- 准确率：通过与数学验证的基准真值进行人工评估。仅当回答通过有效推导得出正确结论时，才计为 1 分；结果错误但叙述合理的回答计为 0 分。
统计分析：使用 Welch t 检验比较每个模型内各类别之间的熵和准确率。

关键结果
实验结果为热力学解耦提供了有力证据：

熵平坦性：对于所有三个模型，词元级香农熵在所有三个任务类别中在统计上均保持平坦。
- 模型内熵的范围可忽略不计（0.011–0.028 纳特），远低于预先设定的 0.10 纳特的平坦性阈值。
- 所有成对熵比较的 p 值均不显著（ $p \ge 0.568$ ）。
准确率方差：相比之下，任务准确率根据任务类别和模型规模发生了巨大变化（从 0% 到 100%）。
- 70B 模型在开普勒任务上达到 100% 的准确率，在牛顿任务上为 67%，但在牛顿 OOD 任务上仅为 17%。
- 尽管正确性存在巨大方差，熵却保持恒定。
尺度不变性：这种解耦是一种架构不变性，而非小模型的特有属性。虽然较大模型在较低的基线熵（更高的确定性）下运行，但熵在不同难度水平上的平坦性在所有尺度上均持续存在。所有模型在 OOD 任务上的准确率均收敛至相同的低水平（17%），而没有任何相应的不确定性增加。

意义与主张
本文声称，当前的 LLM 存在结构性安全缺陷：它们可以“同时达到最大确定性和最大错误”。

安全影响：由于熵与准确率解耦，词元级熵无法作为安全过滤器可靠的置信度信号。依赖熵来标记不可靠输出的系统对于知识与虚构之间的区别“功能上视而不见”。
架构局限：这不是一个可以通过事后校正、微调或扩展来解决的校准问题。这是固定权重推理的根本后果，其中热力学基底对认识论误差漠不关心。
未来方向：作者指出，实现“规范性不确定性”需要热力学耦合，即操作的能量成本随其认识论误差而变化。他们提出，具有内在成本模块的神经形态架构（其中预测误差驱动实时权重更新，且能量成本取决于误差）可以弥合这一差距，使虚构在物理上变得昂贵，并使系统的基态与理解保持一致。

本文结论指出，真正的认识论基础需要热力学基底状态与信息处理成本之间的因果耦合——这是目前所有已部署的 LLM 所缺乏的特性。