🔢 mathematics

Towards a Theory of Pragmatic Information

本文引入了一个严谨的定量定义，将“实用信息”（pragmatic information）定义为决策相关变量的先验概率与后验概率之间的库尔贝克-莱布勒散度（Kullback-Leibler divergence），确立了其作为一种类似于自由能的非负且具有加性性质的度量，并展示了其在赌博、生物进化和金融领域的适用性。

原作者： Edward D. Weinberger

发布于 2026-08-19

📖 1 分钟阅读🧠 深度阅读

CC BY 4.0

原作者： Edward D. Weinberger

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人类理解宇宙的方式中，存在着一个长期存在的区别：即信号的原始数据与我们从中提取的实际意义之间的区别。几十年来，标准的信息科学几乎完全侧重于技术层面：如何准确地发送一条消息、传输一个符号序列需要多少比特，以及如何防止传输过程中的错误。这种被称为信息论的框架，将消息视为符号序列，而不去询问这些符号是否真的向接收者传达了任何新颖或有用的东西。这就像是在测量一封信的重量，却从未打开信封去查看里面是一封情书、一张账单还是一张白纸。虽然这种技术方法在构建通信网络方面取得了巨大的成功，但在涉及接收信息的人类体验时，它留下了一个空白。我们常说，只有当一条消息改变了我们的想法或帮助我们做出更好的选择时，它才是“有信息的”，然而该领域的标准数学工具无法衡量这种改变。

这个空白正是纽约大学研究员爱德华·D·温伯格（Edward D. Weinberger）提出的一个新理论框架的研究焦点。他的工作试图弥合技术性数据传输与数据对决策者实际效用之间的鸿沟。其核心思想简单而深刻：信息只有在改变了接收者（无论是人还是机器）的信念，特别是以影响决策的方式时，才具有意义。温伯格将其称为“实用信息”（pragmatic information）。它不在于消息的长度或编码的复杂性，而在于接收者心中发生的概率偏移。如果一条消息到达后，接收者对世界的理解保持完全不变，那么无论说了多少个字，都没有获得实用信息。相反，如果一个词让接收者彻底修正了对未来事件的预期，那么这个词就携带了大量的实用信息。

为了严谨地定义这一概念，该论文引入了一个模型：决策者对某种情况持有的一组初始信念，表现为一种概率分布。这就是对世界的“先验”观点。当一条消息到达时，这些信念会更新为一组新的概率，即“后验”观点。实用信息的量是通过测量这两组信念之间的距离来计算的。如果消息引起了巨大的偏移，则距离很大，信息便具有价值。如果消息未引起任何偏移，则距离为零，信息便毫无用处。这种方法允许该理论考虑到同一条消息对不同的人可能意味着不同的含义。对于专家来说，一条完全显而易见的消息可能携带零实用信息；而对于新手来说，同样的消息可能是一种启示，携带大量的实用信息。

该论文通过证明实用信息与编码效率直接相关，证明了这一定义的数学严密性。简单来说，一条消息提供的实用信息量，等于接收者更新其对世界的理解时所节省的比特数。如果接收者能确定地知道一个事件的结果，他们可以用最少的比特来描述该事件。如果他们的知识是模糊的，则需要更多的比特来描述各种可能性。当一条消息澄清了情况时，它减少了描述世界所需的比特数。理论表明，由于接收消息而导致的编码世界所需比特数的减少，恰好等于所获得的实用信息量。这为该定义提供了具体的、可衡量的辩护，将抽象的“意义”概念植根于数据压缩的物理现实之中。

该理论最引人注目的应用之一在于经典的“单臂土匪”问题，即一个赔率未知的老虎机。想象一名玩家正在决定是否继续玩这台机器。最初，他们不知道这台机器是经常派奖还是很少派奖。随着游戏的进行，他们观察赢和输的结果，并随着每一次结果更新他们对机器派奖概率的估计。论文精确计算了每一次新转动所提供的实用信息量。结果对某些人来说是反直觉的：随着玩家玩得越来越多，每次额外转动所获得的新信息量都在减少。早期的转动具有高度的信息量，因为它们极大地改变了玩家的信念。而在数百次尝试之后，后期的转动增加的新知识非常少，因为玩家已经有了非常准确的估计。该理论量化了这种收益递减现象，表明信息的价值并非恒定的，而是完全取决于接收者已经知道了什么。

该框架还探讨了“虚假信息”（disinformation）与“噪声”（noise）的本质。在标准信息论中，如果一条错误的消息与一条正确的消息复杂度相同，它们通常被视为同等对待。然而，在实用信息的领域中，这种区别至关重要。即使这些新信念是错误的，只要一条消息改变了接收者的信念，它仍被认为携带了实用信息。该理论将信息的“量”与信息的“价值”区分开来。一条消息可以是非常“信息化”的（因为它改变了思想），但如果这种改变导致了错误的决策，它就是“实用性虚假信息”（pragmatically disinformative）。论文建议我们可以将消息分为三类：无关紧要且不改变任何事物的消息、有用且能引导更好决策的消息，以及会导致更差决策的虚假信息。这种区分对于理解现实世界中错误信息如何像真实信息一样有效地改变行为的场景至关重要。

作者将这些思想扩展到了金融领域，为经济学的基石——有效市场假说（Efficient Market Hypothesis）提供了全新的视角。传统观点认为，资产价格反映了所有可用信息，因此持续战胜市场是不可能的。论文通过重新阐述这一观点，提出：只有对于那些无法从可用数据中提取任何“实用效用”的参与者而言，市场才是有效的。如果一段市场新闻改变了交易者的信念并帮助他们做出更好的交易，那么这条信息对他们来说就是实用的。因此，该假说并不是说信息对所有人都是无用的，而是对于任何给定的参与者而言，他们所获得的信息要么是无关紧要的，要么是已经被处理过的。这解释了为什么某些投资者（如拥有先进算法的投资者）能够从对其他人而言毫无用处的数据中发现价值。并不是市场具有某种神奇的效率，而是普通参与者的计算能力限制了他们将原始数据转化为实用信息的能力。

最后，论文触及了该理论在生物学层面的意义，将其与物种的进化联系起来。在进化的语境下，“决策者”是生物群体与环境之间的相互作用。环境以生存压力为形式发送“消息”，而群体则更新其关于哪些特征是有利的“信念”。该理论表明，进化的速率受限于群体从这些环境消息中提取实用信息的量。正如人类交易者对数据处理的能力有限一样，一个生物物种在能够可靠地积累信息而不出错之前，也存在着获取信息的极限。这引出了“错误灾难”（error catastrophe）的概念，即突变率过高，以至于物种无法维持生存所需的信息。论文指出，接收者的计算能力——无论是人类大脑、计算机还是生物基因组——是能够从世界中提取多少意义的根本约束。

总之，这项工作为“信息的价值取决于它在接收者身上产生的变化”这一直觉提供了严密的数学基础。通过将实用信息定义为导致决策的信念转变，该理论统一了统计学、计算机科学和经济学的概念。它超越了关于发送了多少数据的技术性问题，转向了关于这些数据到底有多重要的更具实践性的问题。研究结果表明，信息的价值并非消息本身固有的属性，而是消息与接收它的大脑之间的一种关系。这一洞察对于我们理解从赌博、股票交易到生命与进化过程的一切事物都具有深远影响，它提醒我们，在一个拥有无限数据的世界里，真正的货币是理解世界的能力。

技术摘要：迈向实用信息论

问题陈述
标准信息论植根于香农（Shannon）的框架，解决了“技术问题”，即如何准确地传输符号，但在“语义问题”（符号如何精确地传达意义）以及“效用问题”（信息如何有效地改变行为）方面保持沉默。尽管非技术性观察者可能会认为，如果一条消息允许提取意义，则该消息是“有信息的”，但标准熵度量并不能量化这种意义。现有的关于定义“实用信息”（pragmatic information）的尝试通常是定性的，或者缺乏从关于何为意义度量的基本假设中进行的严密推导。本文旨在填补这一空白，通过提供一个严谨且可证实的、关于实用信息的定量定义：即一条消息对于特定决策而言所包含的意义量。

方法论与概念框架
本文建立了一个包含决策者 $\Delta$ （可以是机器、人类或有机体）、以及代表“世界状态”的随机变量 $\omega$ （其离散样本空间为 $\Omega$ ）的概念框架。

信念更新： $\Delta$ 对 $\omega$ 持有一个先验概率分布 $q$ 。在接收到消息 $m$ 后， $\Delta$ 将其信念更新为后验分布 $p_m$ 。
定义： 单条消息 $m$ 的实用信息，记作 $D_\Delta(p_m || q)$ ，被定义为先验分布与后后的 KL 散度（Kullback-Leibler divergence）：
$D_\Delta(p_m || q) = \sum_i p_{i|m} \log \left( \frac{p_{i|m}}{q_i} \right)$
此定义假设使用以 2 为底的对数，以比特（bits）为单位进行度量。
系综定义： 对于根据分布 $\phi_m$ 采样的消息系综 $\mathcal{M}$ ，实用信息 $\Phi_\Delta(\mathcal{M}; \Omega)$ 被定义为 KL 散度在系综上的期望值：
$\Phi_\Delta(\mathcal{M}; \Omega) = E[D(p_M || q)] = \sum_{i,m} \phi_m p_{i|m} \log \left( \frac{p_{i|m}}{q_i} \right)$

核心贡献与理论结果
本文通过以下定理和性质证明了所提定义的合理性：

“错误编码”定理： 本文证明了 $D_\Delta(p_m || q)$ 代表了在先验分布 $q$ 下对 $\omega$ 进行的最短二进制编码与后验分布 $p_m$ 下编码之间的预期差值。具体而言， $E[L_q(\omega) - L_{p_m}(\omega)] = D_\Delta(p_m || q)$ 。这直接将实用信息与接收消息后描述结果所需的编码长度（不确定性）的减少联系起来。
度量的性质：
- 非负性： $D_\Delta(p_m || q) \geq 0$ ，当且仅当消息不改变决策者的信念时（即 $p_m = q$ ），等式成立。
- 可加性： 对于独立的决策和“实用独立”的消息，系综的实用信息是其各组成部分实用信息的总和。
- 凸性： KL 散度对于概率分布是凸的。
- 上界： 实用信息的最大值受 $-\log q_i$ 的最大值限制，当消息是“实用决定性”的（即它导致对某一特定结果的确定性）时达到该值。
与互信息的联系： 本文推导了实用信息与互信息 $I(\mathcal{M}; \Omega)$ 之间的关系：
$\Phi_\Delta(\mathcal{M}; \Omega) = I(\mathcal{M}; \Omega) + D_\Delta(p || q)$
此处 $p$ 是结果的边缘分布。该方程将实用信息表征为“自由信息”，类比于热力学中的亥姆霍兹自由能（Helmholtz free energy）。正如自由能是总能量中可用于做有用功的部分一样，实用信息是总信息中实际用于更新信念和做出决策的部分。项 $D_\Delta(p || q)$ 解释了更新先验偏差的代价。
虚假信息与噪声： 该框架区分了“实用有效”的消息、“实用无关”的消息以及“实用虚假信息”（pragmatic disinformation）。至关重要的是，无论消息是真还是假，实用信息的定义始终是非负的；它衡量的是信念的变化量，而非这种变化的准确性或价值。虚假信息仅仅是那些改变了信念但可能导致次优决策的消息的一个子集。

应用与示例
本文概述了三个具体的应用场景，以展示该理论的效用：

单臂老虎机（老虎机）： 理论被应用于决策者必须决定是否玩一台未知赔率 $\pi$ 的老虎机的场景。利用拉普拉斯继承律（Laplace's Rule of Succession），本文计算了每次试验获得的实用信息。它表明，随着试验次数 $T$ 的增加，每次试验获得的实用信息趋向于零，这反映了在赔率概率得到充分估计后，额外数据带来的收益递减。
生物进化（准种模型）： 本文引用了准种模型（quasi-species model），其中复制子与环境之间的相互作用充当决策者 $\Delta$ 。消息是决定生长和突变率的环境细节。该理论表明，生物进化的速率可以由系统聚合有意义（实用）信息的速率来表征，并受到由计算能力引起的“误差灾难”极限的约束。
有效市场假说 (EMH)： 本文对 EMH 进行了重新表述。它并非声称价格反映了所有信息，而是提出：对于特定的参与者而言，如果所有可用信息对其而言都是“实用无关”的，则市场对该参与者是有效的。这使得市场对于某些代理人（例如计算能力有限的人）可能是有效的，而对于另一些代理人（例如拥有卓越算法的人）则不是，从而解释了市场有效性与成功的主动投资者共存的现象。

意义与主张
本文声称提供了第一个基于决策自然假设和编码的、关于实用信息的严谨且定量的定义。通过将实用信息等同于编码长度的预期减少（通过 KL 散度），作者认为这一度量捕捉到了消息在特定决策背景下的“意义”。

作者强调，实用信息不同于信息的“价值”（例如财务收益），因为它衡量的是信念改变的幅度，而非由此产生的决策质量。然而，作者指出，实用信息是信息价值的必要前提；如果一条消息是实用无关的（KL 散度为零），它就不可能具有实用价值。

最后，本文强调了接收者计算能力的关键作用。作者认为，实用信息取决于决策者处理消息的能力。如果接收者缺乏处理消息的计算能力（即无论消息如何，其 $p_m = q$ 始终成立），则实用信息为零，无论消息的复杂度或长度如何。这表明，信息处理的极限与香农理论中的信道容量一样，是实用信息理论的基础。

类似论文