🤖 AI

Past-Discounting is Key for Learning Markovian Fairness with Long Horizons

本文引入了一种用于多智能体系统中时间公平性的过去折扣框架，该框架通过保证一个有界的、与时界无关的状态空间，克服了完全记忆方法的扩展性限制，从而实现了在任意长时界上对公平策略的可处理学习。

原作者： Ashwin Kumar, William Yeoh

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Ashwin Kumar, William Yeoh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：“无限重的背包”

想象你是一位负责每天向一群人分配有限资源（比如披萨块或出租车行程）的管理者。你的目标是做到公平。

长期以来，计算机科学家尝试通过两种方式来解决这个问题，但两者都存在重大缺陷：

“健忘型”管理者（瞬时公平）： 这种管理者只看今天。“谁现在需要披萨？给他就行了！”他们忽略了昨天或上周发生的事情。
- 结果： 在一年之中，尽管某些人最初的需求是平等的，但可能一个人得到了100块披萨，而另一个人却一个也没得到。这位管理者在今天是公平的，但在长期的过程中却造成了巨大的不平等。
“完美记忆型”管理者（完美追溯公平）： 这种管理者记得一切。他们记录自时间开始以来，每个人领到的每一块披萨的总数。“鲍勃去年拿了50块，所以今天他不准拿，好让爱丽丝追上来。”
- 结果： 这听起来很公平，但这会造成计算上的噩梦。随着时间的推移，管理者需要追踪的数字列表会变得越来越长。最终，这个列表会变得如此庞大，以至于导致计算机崩溃或运行极其缓慢，无法做出决策。这就像背着一个每秒钟都会变重的背包；最终，你根本无法行走。

解决方案：“褪色记忆型”管理者

本文作者提出了第三种方法，其灵感来源于人类真实的思维方式。我们知道，人类天生会遗忘或贬低很久以前发生的事情。如果你在10年前受到了不公平对待，比起昨天发生的，这件事对你今天的意义已经变小了。

他们引入了**过去折扣（Past-Discounting）**的概念。

想象管理者有一个“记忆旋钮”：

昨天的事件被清晰地记住（权重为100%）。
上周的事件被记住了较少一点（比如权重为90%）。
去年的事件则变得非常模糊（比如权重为10%）。

这就像一张褪色的照片。照片越旧，图像就越模糊。管理者仍然关心过去，但远古历史产生的“噪音”会逐渐消退，使他们能够专注于现在和近期发生的事件。

为什么这是一个游戏规则的改变者

论文证明了关于这种“褪色记忆”方法的两个主要观点：

它让背包保持轻便： 因为旧的记忆会褪去，管理者永远不需要背负一个无限长的数字列表。无论经过多少年，“背包”始终保持在一个可控的固定大小。这意味着计算机可以在极长的时间跨度内学习如何实现公平，而不会崩溃。
它学习得更好： 作者通过运行计算机模拟（使用一种称为强化学习的方法）来测试这一点。
- “完美记忆型”计算机在短局游戏（100步）中表现良好，但在长局游戏（10,000步）中表现糟糕，因为它被海量数据压垮了。
- “褪色记忆型”计算机在短局和长局游戏中都取得了成功。它学会了有效地平衡天平，而没有陷入停滞。

“半衰期”类比

论文引入了**半衰期（Half-Life）**的概念来帮助调节这种记忆。把它想象成一种会衰变的放射性元素：

如果你将“衰减”设置得很快，你会很快忘记过去（有利于快速决策，但不利于长期公平）。
如果你将“衰减”设置得较慢，你会长时间记住过去（有利于长期公平，但你需要小心不要被琐事拖累）。

作者展示了存在一个“甜点位（sweet spot）”，在这个位置，记忆既足够长，可以修正过去的错误，又足够短，可以保证计算机运行顺畅。

总结

简而言之，本文认为，要实现长期的真正公平，你不能只看当下（这太短视），也不能完美地记住一切（这会搞垮计算机）。相反，你应该使用一种智能的、会褪色的记忆，它在赋予近期事件较高权重的同事，让远古的历史淡出背景。这使得人工智能系统能够在复杂的、长期运行的场景中（如网约车调度、疫苗分配或援助分配）学习到公平的行为。

技术摘要：面向长时界马尔可夫公平性的过去折扣机制（Past-Discounting）

1. 问题陈述

多智能体系统中的动态资源分配需要在效率与公平性之间取得平衡，且需兼顾长时界。现有方法面临一个根本性的两难困境：

近视型（瞬时）公平（Myopic Fairness）： 仅基于当前分配步骤评估公平性。虽然计算简单，但忽略了历史背景，导致随时间推移产生累积性的不平等。
完全记忆公平（Perfect-Recall Fairness）： 追踪所有过去效用的总和以确保长期公平。虽然在理论上是公平的，但这种方法引入了一个关键的失效模式：用于追踪累积效用的增强状态空间会随着时间步长（horizon）的增加而无限增长。这种状态爆炸使得强化学习（RL）算法在计算上变得难以处理，并阻碍了在长时界设置下收敛出公平策略。

核心挑战在于设计一种记忆机制，既能保持马尔可夫性质（从而实现可处理的学习），又能维持一个有界的、与时界无关的状态空间，同时不牺牲对历史不平等现象进行推理的能力。

2. 研究方法

作者提出了**过去折扣公平（Past-Discounted Fairness）**框架，该框架受到行为经济学和道德心理学的启发，后者认为人类对公平的判断自然会对遥远的事件进行折扣处理。该方法包含三个关键组成部分：

A. 折扣记忆机制（Discounted-Recall Memory Mechanisms）
不同于对所有过去效用求和（ $Z_t = \sum u_\tau$ ），该框架对历史效用应用一个可调的折扣因子 $\gamma_p \in [0, 1]$ 。定义了两种具体的公式形式：

加法折扣记忆（Additive Discounted Recall）： 记忆状态更新为 $Z_t = \gamma_p Z_{t-1} + u_t$ 。此处 $\gamma_p=0$ 退化为瞬时公平， $\gamma_p=1$ 则恢复为完全记忆。
平均折扣记忆（Averaged Discounted Recall）： 对累积效用和有效时间分母同时进行折扣处理，确保记忆状态保持有界。

B. 状态空间的理论分析
论文通过严格证明对比了不同范式的状态空间属性：

完全记忆（加法型）： 定理 3 证明，状态空间在每个坐标上随时间步长 $t$ 线性增长，并随智能体数量 $n$ 指数级增长。这导致了无界状态空间，使得在长时界下进行固定分辨率的离散化变得不可能。
完全记忆（平均型）： 定理 5 表明，尽管平均效用值是有界的，但为了维持马尔可夫性质，必须将时间索引 $t$ （或等效的分母）作为状态的一部分进行携带，这仍然是无界的。
过去折扣（加法与平均型）： 定理 4 和定理 6 证明，当 $\gamma_p < 1$ 时，记忆状态 $Z_t$ 被一致有界于 $u_{max} / (1 - \gamma_p)$ 。至关重要的是，增强后的状态空间大小与时间步长无关，满足了可处理学习的条件。

C. 控制理论的联系
作者通过将公平记忆建模为线性时不变（LTI）系统扩展了分析。他们证明，为了使记忆状态保持有界，记忆转移矩阵的谱半径必须小于 1 ( $\rho(A) < 1$ )。完全记忆对应于单位矩阵 ( $\rho=1$ )，这是不稳定的；而过去折扣则对应于缩放单位矩阵 ( $\rho = \gamma_p < 1$ )，从而保证了稳定性。

D. 半衰期与有效窗口
为了帮助从业者选择 $\gamma_p$ ，论文引入了“半衰期”（ $t_{1/2}$ ）和“有效窗口”（ $W_{eff} = 1/(1-\gamma_p)$ ）的概念。这些指标量化了多少个过去的步骤会对当前的公平性评估产生有意义的影响，从而提供了一种在记忆深度与计算可行性之间进行原则性权衡的方法。

3. 实验结果

作者使用近端策略优化（PPO）智能体在动态资源分配环境（10 个智能体，每步 2 个资源）下的多智能体强化学习（MARL）设置中，对理论进行了实证验证。

设置： 在不同的时界（ $T=100$ 到 $T=10,000$ ）下，在三种记忆配置下训练智能体：近视型 ( $\gamma_p=0$ )、完全记忆 ( $\gamma_p=1$ ) 以及过去折扣型 ( $\gamma_p \in \{0.9, 0.99, 0.999\}$ )。
发现：
- 近视型智能体： 未能学习到公平策略，由于缺乏历史背景，导致高不平等性（高基尼系数）。
- 完全记忆型智能体： 在短时界（ $T \le 500$ ）表现良好，但随着时界增加，出现了灾难性的性能崩溃。在 $T=10,000$ 时，其维持公平性的能力退化到了近视型智能体的水平，证实了状态空间爆炸阻碍收敛的理论预测。
- 过去折扣型智能体： 在所有时界下均成功学习到了鲁棒的公平策略。有界的状态表示使得 PPO 算法得以收敛。
- 参数敏感性： 最优的 $\gamma_p$ 取决于公平信号的密度。对于密集信号（纳什福利），较短的记忆（ $\gamma_p=0.9$ ）便已足够。对于稀疏信号（平等主义福利），则需要更长的记忆（ $\gamma_p=0.99$ ）来累积足够的信息。

4. 核心贡献

识别了一种失效模式： 论文正式识别并证明了完全记忆公平会导致无界的状态空间增长，使得长时界学习变得难以处理。
提出新颖框架： 提出了过去折扣公平框架，这是一个基于行为学原理的框架，通过几何衰减权重，在瞬时公平与完全记忆公平之间进行插值。
提供理论保证： 论文证明了过去折扣保证了有界且与时界无关的增强状态空间，从而在恢复马尔可夫性质的同时，确保了计算的可处理性。
实证验证： 证明了使用过去折扣的 RL 智能体可以在任意长的时界下学习公平策略，而使用完全记忆的智能体则会在时界延长时失效。

5. 意义与主张

论文声称，过去折扣不仅是一种启发式方法，更是构建可扩展且公平的资源分配系统的实际必要手段。通过确保状态空间保持有界且与时界无关，该框架释放了在传统完全记忆方法失效的长时界设置下，进行可处理公平策略学习的能力。

作者将这项工作定位为“第三种范式”，它占据了瞬时公平的计算简易性与完全记忆公平的理论公平性（但计算不可行）之间的实用中间地带。其意义在于提供了一种原则性的机制，用于管理即时结果与历史背景之间的权衡，该机制既植根于行为洞察，也符合严谨的控制理论稳定性条件。