🔬 physics

A Mathematical Theory of Value: a synthesis on goal-directed agency under resource constraints

本文提出了一种统一的价值数学理论，将其视为一种类似于信息的、对数形式且相对于框架的结构化量，并推导出一个将目标进展与互信息联系起来、并将失调与可测量的浪费联系起来的编码定理，该框架通过其预测不同任务中语言模型性能及过度自信的能力得到了实证验证。

原作者： Cheng Qian

发布于 2026-06-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Cheng Qian

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图测量某种非常抽象的东西，比如“价值”。通常，我们会认为价值是某物的价格、感觉有多好，或者其道德属性。这篇论文说：停下来。 把这些全部剥离掉。

作者提出了一种衡量价值的新方法，它像物理学一样严谨且具有数学性。他们认为，价值仅仅是一个目标导向型智能体（如机器人、人或人工智能）将有限资源（如能量、时间或金钱）转化为特定目标进展的速度。

以下是该论文的理论，使用日常类比进行了拆解。

1. “价值”公式：对数定律

概念：
如果你有一袋资源（比如100美元）并且想要实现一个目标，你应该如何使用它？论文指出，价值的增长不是线性的。你花费的第一美元价值巨大；而第一百美元的价值则小得多。这被称为“收益递减”。

类比：
想象你在用一根漏水的软管给水桶注水。最初的几加仑能让水桶迅速变满。随着水桶越来越满，水位上升的速度就越来越慢。
作者通过数学证明，衡量这种“进展”的最佳方式是使用对数（一种特定的数学曲线）。

为什么重要： 这意味着将资源过度分散到许多不同的目标上是低效的。将资源集中在最重要的目标上才能创造最多的“价值”。

2. “速度限制”：价值受限于信息

概念：
你无法创造比你理解世界的速度更快的价值。如果你蒙着眼睛开车，无论投入多少汽油（资源），都无法比睁着眼睛时更快到达目的地。

类比：
想象你是一个赛马场上的赌徒。

世界： 奔跑的马匹。
你的目标： 选出赢家。
你的资源： 你的钱。
你的感知： 你观察哪匹马领先的能力。

论文证明了一个“价值编码定理”：你的最大利润（价值）完全等于你掌握关于这场比赛的信息量。
如果你一无所知，你就无法赚钱。如果你拥有对比赛的完美观察，你就能赚取尽可能多的钱。你不能凭空“创造”价值；你只能将信息转化为价值。

3. “价值第二定律”：失调即浪费

概念：
在物理学中，热力学第二定律指出，当你尝试做功时，能量往往会以热的形式损失（浪费）。作者认为，在价值领域也是如此。
如果你的世界模型是错误的，你就会浪费资源。

类比：
想象你正试图用弓箭射中目标。

潜在价值： 如果你表现完美，你可能射出的距离。
耗散（浪费）： 因为瞄准了错误的位置而损失的能量。
结果： 如果你虽然自信但方向错了，你不仅会失败，还会主动破坏价值。论文表明，人工智能中的“过度自信”是一种可衡测的浪费形式，就像机器中的摩擦力一样。

4. “集群”问题：群体如何协作

概念：
当你有整个团队的智能体（一个“集群”）协同工作时，会发生什么？
论文认为，你不能简单地像做加法一样把它们的价值相加。每个智能体都有自己的“参照系”（它自己的目标和对世界的看法）。

类比：
想象一群投资者。

价值是相对的： 一个投资者可能看重黄金，另一个可能看重石油。如果不使用共同的货币，你无法判断谁拥有的“价值”更多。
价格是桥梁： 资源的“价格”（如美元）是大家达成共识的东西。它充当了不同目标之间的翻译官。
集群上限： 如果整个团队汇集资金并共享他们的视野（信息），他们就像一个巨大的超级智能体。他们的总成功受限于整个团队拥有的总信息量。如果每个人看到的都完全一样，那么增加人数并不会带来帮助。但如果他们看到的各不相同（多样性），这个群体可以实现比任何单个人单独行动时更高的成就。

5. “实然”与“应然”的差距

概念：
“实然”（关于世界的客观事实）与“应然”（目标）之间存在根本区别。

信念（“实然”）： 这些是可以学习的。如果你看到世界是蓝色的，你会将信念更新为“世界是蓝色的”。
目标（“应然”）： 世界不会告诉你想要什么。你必须由设计者告知你想要什么。

类比：
想象一个GPS导航系统。

GPS可以轻松学习道路的事实（交通状况、施工情况）。
但GPS无法决定你想去哪里。那是一个目标。
论文表明，如果你试图通过“监督”（强制停止）来修正一个失调的智能体（一个走错路的人），这是低效的。更好的方法是改变激励机制（价格），使得智能体想要走的路径，恰好就是你想要它走的路径。

6. 现实世界测试

作者不仅写了数学公式，还对真实的AI模型（大语言模型）进行了测试。

测试： 他们要求AI解决数学问题、编写代码并回答问题。
发现： 他们测量了AI从问题中获取了多少“信息”，以及它产生了多少“价值”（正确答案）。
结果： 数学模型完美成立。AI产生价值的能力与其从问题中提取信息的能力直接相关。
惊喜之处： 更大的模型（拥有更多“脑力”）并不总是表现得更好。一个更小、更高效、且对特定任务理解更透彻的模型，往往比一个庞大却混乱的模型能创造更多的“单位能量价值”。

总结

这篇论文将价值视为一种物理量，而非一种感觉或价格标签。

价值是将资源转化为目标进展的速率。
信息是驱动价值的燃料。你无法获得超过信息所允许的价值。
错误即浪费。自信地犯错会破坏价值。
群体在分享多样化信息并在公平价格下进行资源交易时运作得最好。
对齐不是关于强迫智能体服从，而是关于设计“价格”，使得智能体想要做的正是你想要它做的。

作者得出结论，这一框架提供了一种稳固且数学化的方式，用于理解、衡量和管理AI智能体群体，从而超越模糊的“好”或“坏”的概念，转向对效率和浪费的精确计算。

技术摘要：价值的数学理论

问题陈述

本文旨在解决目标导向型智能体缺乏严谨、结构化“价值”定义的问题。目前的价值概念与语义（道德、市场价格、心理学）纠缠在一起，使得在人工智能群体中对其进行测量或治理变得困难。作者提出通过剥离这些语义层，将价值视为一种类似于香农信息论中信息的、具有规律性的结构化量。核心问题在于：如何将价值定义为资源向目标进展转换的可测量速率，推导出其数学极限，并为在资源约束下运行的智能体群体建立控制理论。

研究方法

作者采用了一种多管齐下的方法，结合了公理化推导、信息论证明、动力系统分析以及对大语言模型（LLM）的实证验证。

公理化推导（静态）： 本文通过三个公理推导出价值的函数形式：收益递减、独立通道的可加性以及尺度不变性。尺度不变性被视为柯西泛函方程，从而强制产生对数度量。
动态推导（遍历性）： 论文独立地利用 Peters (2019) 和 Kelly (1956) 的遍历性论证推导出相同的对数形式，表明乘性再投资资源的长期增长率必然要求对数度量。
信息论边界： 作者将价值创造映射到信息论，将智能体的感知通道视为一个通信信道。他们推导出了一个“价值编码定理”，将价值增长限制在互信息之内。
动力系统与控制： 论文对信念、价格和目标的演化进行了建模。作者识别出一种“实/应（is/ought）不对称性”：信念流向由世界提供的目标（现实），而目标缺乏此类目标，因此受制于控制或选择。
实证验证： 该理论在参数规模从 0.5B 到 8B 的五类、多个任务领域（分类、推理、序列决策、代码）的实时语言模型上进行了测试。实验经过预注册，重点关注样本外表现、互信息追踪以及舰队级定价策略。

核心贡献

1. 价值的对数定律

论文确立了价值 $V$ 是相对于目标权重 $k$ 的资源分配 $e$ 的对数度量：
$V(e) = \sum_{i} k_i \ln e_i$
该形式通过两条独立的路径得出：静态公理（尺度不变性）和动态复利（遍历性）。最优分配比例于目标权重，而实现的价值会受到目标分布熵的惩罚。

2. 价值编码定理

论文证明了智能体通过关于世界 $X$ 的感知通道 $Y$ 创造价值的速率受限于互信息 $I(X; Y)$ 。
$\Delta G \le I(X; Y)$
该界限通过贝叶斯比例分配实现。因此，智能体创造价值的速度无法超过其感知世界的速度；感知能力是价值生成率的硬上限。

3. 价值第二定律

实现价值被分解为可用势能减去由失配（模型误差）引起的耗散：
$G = D(q \parallel r) - D(q \parallel p)$
其中 $q$ 是现实， $p$ 是智能体的模型， $r$ 是基准。失配（ $D(q \parallel p)$ ）充当非负耗散。过度自信的错误（在错误模型中具有高确定性）会导致实现增长率为负，从而主动破坏价值。

4. 多智能体动力学：价格与舰队容量

框架相关价值，框架无关价格： 由于不同智能体的目标不同，其个体价值在基数上是不可比的。然而，智能体通过影子价格 $\lambda$ （资源的边际价值）进行协调，该价格是框架无关的。
舰队容量： 作为一个单一决策者行动的智能体舰队（汇聚资源并融合感知）其价值增长上限受限于融合信道的互信息： $G_{fleet} \le I(X; Y_{1:m})$ 。冗余的智能体对这一上限的贡献为零；多样性则将其提升至世界熵 $H(X)$ 。
运行点： 舰队作为一个关于智能体的 Kelly 组合运行，其资源权重由涌现的价格进行选择。

5. 对齐作为稳定性条件

论文将对齐定义为一个控制稳定性问题。由于目标缺乏世界提供的目标（“实/应”不对称性），它们受制于选择（什么能带来回报）和控制（监督）。残余失配由下式给出：
$\|\bar{k}^* - k^*\| = \gamma^{-1} \|V g\|$
其中 $V$ 是目标离散度， $g$ 是奖励梯度。作者认为，激励设计（使 $g$ 与 $k^*$ 对齐）是实现对齐的“廉价一半”，优于强力监督（增加 $\gamma$ ）。

实证结果

作者对实时语言模型进行了预注册测试：

价值吞吐量 vs. 能力： 互信息 $I(X; Y)$ 高精度地追踪了实现的能力（工具准确度），在 30 个模型领域点上的 Spearman $\rho = 0.977$ ，表现优于参数量这一预测指标。
样本外追踪： 实现的价值增长 $\Delta G$ 以约 0.95 的斜率追踪互信息 $I(X; Y)$ ，证实了编码定理。
耗散： 在弱模型中表现出的过度自信导致了可测量的耗散，使实现增长变为负值，这与第二定律一致。
舰队定价： 基于价值的定价机制（基于 $I/cost$ 的路由）击败了忽视成本的路由器，并在计算约束下匹配了具备成本意识的手工调优基准。它并未超越同质且正相关的舰队中的最佳智能体，这证实了该理论的适用范围规则。
泛化性： $\Delta G \sim I(X; Y)$ 的关系在四种不同的任务形态（分类、推理、序列、代码）中均成立，促进了从演示到潜在定律的“桥接”。

意义与主张

本文声称将看似迥异的领域——Kelly 投注、计算热力学、一般均衡理论和控制理论——统一在一个基于底层结构的量之下：价值。

统一性： 它展示了香农量（熵、散度、互信息、费舍尔度量）如何自然地出现在价值理论中，表明这种抽象是结构性的而非装饰性的。
治理： 它为智能体群体提供了一套控制理论，区分了价值（框架相关）与价格（框架无关）。它认为治理舰队需要管理感知多样性和资源定价，而非简单叠加效用。
谦逊性： 作者明确指出，底层的机制（Kelly、Arrow-Debreu、控制理论）并非原创。其贡献在于这些机制的统一以及对特定治理含义（如激励设计优于监督）的推导。
地位： 论文将其定位为一种“综合”而非“发现”。它承认最具有独特统一性的预测（例如耦合的舰队容量区域、动态目标演化）在目前的工具下仍难以测试。该工作被呈现为一个可证伪的计划，由未来的受控多智能体实验来验证。

论文总结道，价值是一个框架相关的结构化量，具有关联不同框架的普遍规律，而这些规律现在可以在该理论所设计的智能体身上进行测试。