🔢 mathematics

Risk-Aware Information Theory

本文引入了一种基于分位数期望（expectiles）的风险感知信息论，该理论扩展了香农框架，以捕捉多用户系统中的极端风险和异质风险敏感性，从而实现更安全的自主系统和先进的机器智能。

原作者： Hamidou Tembine

发布于 2026-06-23

📖 1 分钟阅读🧠 深度阅读

原作者： Hamidou Tembine

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文《风险感知信息论》（Risk-Aware Information Theory）的通俗易懂的解释。

核心思想：为什么“平均值”不够好

想象你是一位驾驶船舶的船长。60 多年来，航海家们一直使用基于香农信息论（Shannon's Information Theory）的地图进行航行。这张地图通过计算平均天气状况来工作。如果 99% 的概率是风平浪静，而有 1% 的概率出现巨大的海啸，那么“平均值”会显示海面基本是平静的。

问题在于：如果那 1% 的海啸真的来了，你的船就会沉没。因为“平均值”把微小的灾难概率与微小的晴天概率同等对待，所以它没有发出警告。

本文认为，对于现代高风险系统（如自动驾驶汽车、人工智能或金融市场），我们需要一张新的地图。我们不能只盯着平均值，而要开始关注最坏情况（或最好情况）的情景。作者引入了一个名为**分位数期望（Expectiles）**的新数学工具，来构建这张新地图。

新工具：“分位数期望”（Expectile）

你可以把分位数期望看作是一种“加权平均”，它关注的是故事的边缘，而不仅仅是中间部分。

标准平均值（香农）： 想象一个拥有 100 名学生的教室。99 人得了 80 分，1 人得了 20 分。平均分是 79.8。老师说：“同学们做得很好！”在这里，灾难（那个不及格的学生）被隐藏在了数学计算中。
风险厌恶型分位数期望（τ > 0.5）： 这就像一位严厉的家长，只关心那个不及格的学生。他们看到那 1% 得 20 分的可能性时会说：“我们遇到问题了！”他们会加重对坏结果的权重。
风险追求型分位数期望（τ < 0.5）： 这就像一个乐观的赌徒。如果有一丁点儿赢得一百万美元的机会，他们会完全专注于那个大奖，而忽略掉 99% 输掉赌注的可能性。

本文用这些“加权”的数学工具取代了标准的“平均值”数学，以此来衡量信息。

使用这种新数学后会发生什么变化？

本文证明了，当你从“平均值”切换到“分位数期望”时，信息的规则会发生彻底的变化。以下是主要的发现：

1. 信息可以是负数

在旧世界里，信息始终是一个正数（你不可能拥有“小于零”的知识）。

新世界： 在“风险追求”的心态下（即博取罕见胜利），数学计算实际上可以产生负信息。这听起来很奇怪，但这意味着在高度风险的环境中，一个罕见事件可能比它带来的帮助更能让系统感到困惑，从而有效地减去了你的理解力。

2. “双向通道”失效了

在旧世界里，如果爱丽丝（Alice）给鲍勃（Bob）发送一条消息，爱丽丝提供的信息量等于鲍勃从爱丽丝那里获得的信息量。这是一条完美的双向路。

新世界： 使用风险感知数学后，这条路变成了单向且颠簸的。
- 类比： 想象爱丽丝是一个谨慎的驾驶员（风险厌恶），而鲍勃是一个鲁莽的驾驶员（风险追求）。
- 爱丽丝观察道路，看到了极小的山体滑坡概率，于是她说：“这条路很危险！”（关于风险的高信息量）。
- 鲍勃观察同一条路，看到了极小的捷径机会，于是他说：“这条路太完美了！”（关于风险的低信息量）。
- 本文表明，爱丽丝传递给鲍勃的“信息”，并不等于鲍勃从爱丽丝那里接收到的“信息”。方向至关重要。

3. “求和”规则失效了

在旧世界里，如果你有两个信息源，总信息量就是“信息源 A + 信息源 B”。

新世界： 因为现在的数学是“非线性的”（它是弯曲的），所以“信息源 A + 信息源 B”并不等于“总和”。
- 类比： 想象混合两种颜色的油漆。在旧世界里，红 + 蓝 = 紫色（简单的求和）。但在这个新世界里，混合红和蓝可能会创造出比预期更深（如果你是风险厌恶型）或更亮（如果你是风险追求型）的颜色，这取决于颜色的相互作用。你不能直接相加，你必须先进行混合。

文中提到的现实应用

本文将这些想法应用于三个特定领域：

1. 通信信道（“超级信道”）

场景： 通过嘈壮的线路（如 Wi-Fi）发送数据。
结果： 如果你是风险厌恶型的（讨厌错误），本文展示了你实际上可以实现比旧有的“平均值”理论预测的更高的传输速率。
原因： 通过专门针对罕见的噪声爆发（即那些“海啸”）设计信号，你可以解锁一种“风险溢价”。因为你已经为最坏的情况做好了准备，所以你可以传输更多数据，而旧理论则过于保守。

2. 多用户网络（“交通拥堵”）

场景： 许多用户试图同时向一个接收器说话（例如拥挤的电话会议）。
结果： 大家能说话的“容量形状”会根据其风险性格而改变。
- 如果所有人都是风险厌恶型的，那么“容量图谱”（数据流动的极限）会向外扩张。
- 如果所有人都是风险追求型的，图谱则向内收缩。
- 如果用户的风险水平不同（一个谨慎，一个鲁莽），图谱会变得扭曲和倾斜，形成一种旧数学无法预测的奇特、不规则的形状。

3. 人工智能（“超智能”差距）

场景： 训练人工智能进行决策。
结果： 本文声称，当前的人工智能（香农智能）对“尾部风险”是盲目的。它针对的是平均结果进行优化。
“超智能”的说法： 要构建真正鲁棒（稳健）的人工智能（超智能），系统必须能够实时调整其“风险设置”（τ）。它需要知道何时该谨慎（避免灾难性失败），以及何时该大胆（寻求突破性的进展）。本文认为，仅靠“平均值”进行训练的人工智能，在遇到极端罕见事件时将会失败，因为它从未被教导要去重视这些事件。

总结

本文的核心观点是：“停止对一切进行平均化。”

在一个复杂、危险或高风险的世界里，“平均值”掩盖了故事中最重要的部分——那些罕见的灾难和罕见的大奖。通过使用分位数期望，我们可以构建一种全新的信息论，它能够洞察这些极端情况，从而让我们能够设计出更安全的自动驾驶系统、更高效的网络以及更聪明的人工智能，使其能够理解风险的真实代价。

技术摘要：基于分位数期望（Expectiles）的风险感知信息论

问题陈述

香农（Shannon）的经典信息论在根本上依赖于期望算子（ $E[\cdot]$ ）来量化熵、散度及互信息。这一框架隐含地假设了风险中性，即对大偏差和稀有事件的处理严格遵循其概率比例，而没有额外的权重分配。本文认为，对于涉及自主系统、对抗性环境、金融信号处理以及高级机器智能的现代应用场景，这种假设是不充分的。在这些背景下，信息度量的尾部行为往往主导着性能表现；低概率的灾难性故障或罕见的高回报事件，在风险中性度量下可能会被忽视或误估。核心问题在于，缺乏一个系统的、结合了**一致性风险度量（Coherent Risk Measures）**的信息论框架，以解释在评估信息时所存在的非对称风险敏感性（风险厌恶或风险追求）。

方法论

本文提出使用**分位数期望（Expectiles）**系统地替换期望算子。分位数期望是一类具有可估性（Elicitable）且计算上易于处理的一致性风险度量。

分位数期望定义： 对于随机变量 $Z$ 和参数 $\tau \in (0, 1)$ ， $\tau$ -分位数期望 $e_\tau(Z)$ 定义为以下非对称二次损失函数的极小值点：
$e_\tau(Z) \in \arg\min_{c \in \mathbb{R}} \mathbb{E}[\ell_\tau(Z - c)], \quad \text{其中 } \ell_\tau(u) = |\tau - \mathbb{1}_{\{u<0\}}| u^2.$
- $\tau = 1/2$ ：退化为标准期望（ $E[Z]$ ）。
- $\tau > 1/2$ ：风险厌恶型（对损失的上尾部赋予更高权重）。
- $\tau < 1/2$ ：风险追求型。
信息度量的重新表述： 作者通过将分位数期望算子应用于底层的对数概率变量，定义了新的信息论量：
- 分位数熵（Expectile Entropy）： $H_\tau(X) = e_\tau[-\log f_X(X)]$ 。
- 分位数 KL 散度（Expectile KL Divergence）： $D_\tau(P\|Q) = e_\tau^{(P)}[\log \frac{dP}{dQ}(X)]$ 。
- 分位数互信息（Expectile Mutual Information）： $I_\tau(X; Y) = D_\tau(P_{XY} \| P_X P_Y)$ 。
- 分位数交叉熵（Expectile Cross-Entropy）： $H_\tau(P, Q) = e_\tau[-\log q(X)]$ 。
理论分析： 本文利用分位数期望的性质（平移不变性、正齐次性、单调性以及当 $\tau \geq 1/2$ 时的次可加性）来推导界限、证明其与香农度量的非等价性，并分析经典加性与对称性属性失效的情况。
博弈论扩展： 在多用户设置中，该框架诱导了一个平均场类型博弈（Mean-Field-Type Game, MFTG），其中代理人具有异质的风险敏感指数（ $\tau_j$ ），从而导致信息交换中的策略性交互。

核心贡献与结果

1. 基本非等价性

本文确立了对于任何 $\tau \neq 1/2$ ，基于分位数期望的信息度量不仅仅是香农度量的重新参数化。

定理 1： 存在某些分布使得 $I_\tau(X; Y) \neq I(X; Y)$ 。
散度符号： 虽然对于 $\tau \geq 1/2$ 有 $D_\tau(P\|Q) \geq 0$ ，但本文证明了对于 $\tau < 1/2$ （风险追求型），分位数 KL 散度可以为负，并且对于不同的分布（ $P \neq Q$ ）也可能趋于零。
互信息符号： 同样地，对于 $\tau < 1/2$ ， $I_\tau(X; Y)$ 可能为负。

2. 经典加性与对称性的失效

核心结果（定理 2）表明，在非对称风险敏感性下，经典信息论中的线性叠加律会发生崩溃。

非加性： 当 $\tau \neq 1/2$ 时， $I_\tau(X; Y) \neq H_\tau(X) - H_\tau(X|Y)$ 。
方向不对称性： 信息增益本质上是具有方向性的： $H_\tau(X) - H_\tau(X|Y) \neq H_\tau(Y) - H_\tau(Y|X)$ 。
示例： 在具有异方差噪声的高斯信道中，当 $\tau \neq 0.5$ 时，前向和后向的信息流会显著分叉，产生一个不对称的信息传递向量场。

3. 风险感知信道容量

本文分析了在风险感知准则下的加性高斯白噪声（AWGN）信道容量。

容量扩张： 对于风险厌恶型代理人（ $\tau > 1/2$ ），容量区域相对于香农极限向外扩张。这是由信息密度的尾部波动产生的正向“风险溢价”（ $e_\tau(Q) > 0$ ）驱动的。
非唯一性： 与香农理论中唯一的达到容量的高斯分布不同，如果最优分布是非对称的，那么最优分布的镜像也是最优的，因此风险感知下的容量最大化分布可能不唯一。
多用户系统：
- 广播信道 (BC)： 容量区域通过串行干扰消除（SIC）定义，其边界在 $\tau > 0.5$ 时向外扩张。
- 多址接入信道 (MAC)： 本文引入了非对称风险感知 MAC，其中用户具有不同的 $\tau_j$ 。容量区域表现出复杂的几何变形（剪切、收缩或扩张），这取决于风险追求型与风险厌恶型用户的组合。联合总速率受限于联盟中最保守（风险厌恶型）的用户。

4. 策略性分位数信息理论

该框架被扩展到机器智能（MI）网络中。

博弈公式化： 具有异质 $\tau_j$ 的代理人参与非合作博弈（分位数信息率博弈）。
均衡： 利用 Glicksberg 对 Fan-Debreu 定理的扩展，本文证明了风险感知信息纳什均衡的存在性，前提是效用泛函是上半连续且拟凹的。
MIMO 系统： 对于 M 用户 MIMO MAC，容量区域由跨子联盟的风险调整项最小化来界定，这迫使代理人动态调整空间特征向量以规避尾部风险波动。

5. 多模态大语言模型（LLM）与超智能

本文将该理论应用于大语言模型（LLM）及多模态系统。

预算-模态分离： 定理 6 证明，在风险敏感准则下（ $\tau \neq 1/2$ ），多模态系统的容量严格大于其单模态（如仅文本）容量之和。在风险敏感评估下，纯文本表示会产生根本性的信息损失。
香农智能 vs. 超智能： 本文将“香农智能”定义为在 $\tau=0.5$ 下的优化，而将“超智能”定义为在全风险谱 $\tau \in (0, 1)$ 下的优化。
定理 4： 仅针对香农智能进行优化的代理人在结构上是静态的，且对尾部风险波动“盲目”。由于无法考虑损失分布的上条件方差，这类代理人无法追踪实现超智能所需的最佳自适应轨迹。

意义与主张

本文声称建立了一个风险感知通信、学习与集体智能的基础。其主要意义在于证明了：

香农信息不足以量化驱动高级机器智能和安全关键型自主系统的极端风险。
风险敏感性从根本上改变了信息几何，打破了经典的加性与对称性，并在多智能体系统中诱导了非线性的策略性交互。
分位数期望提供了一个数学上严谨的桥梁，连接了一致性风险度量与信息论，使得量化尾部风险以及设计能够应对灾难性故障或利用罕见高回报事件的鲁棒系统成为可能。

这项工作不仅将风险感知信息论定位为对现有度量标准的修改，而是将其视为一种必要的演进，旨在为运行在非遍历、对抗性或安全关键环境中（即“平均情况”无法有效预测性能的环境）的系统提供支持。