🤖 machine learning

Procedural Fairness in Multi-Agent Bandits

本文通过将程序公平形式化为基于表征的核心稳定纳什福利目标，在多智能体多臂老虎机问题中引入了将程序公平定义为平等话语权的观点，论证了基于结果的公平指标往往会牺牲这一原则，而程序公平策略对传统目标的成本极小，从而主张在公平框架中优先考虑程序合法性。

原作者： Joshua Caiata, Carter Blair, Kate Larson

发布于 2026-07-31

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Joshua Caiata, Carter Blair, Kate Larson

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

重大抉择：为什么“如何”选择比“得到什么”更重要

想象一下，你是一个机器人团队、外星人团队，或者仅仅是一群试图弄清楚哪台神秘自动贩卖机提供的零食最好的朋友。这就是多智能体多臂老虎机（Multi-Agent Multi-Armed Bandits）的世界。在这个计算机科学领域，“智能体”（决策者）轮流拉动“臂”（机器上的杠杆）来观察能获得什么样的奖励。最大的挑战在于如何在不浪费时间在那些糟糕的机器上的情况下，找出哪台机器是最好的。通常，科学家和工程师完全专注于结果：“我们是否得到了尽可能多的零食？”或者“每个人是否得到了相同数量的零食？”他们将公平视为一个关于最终得分的数学问题。

但有一个经常被忽视的更深层的问题：谁拥有发言权？ 在现实世界中，从学校董事会会议到家庭晚餐，人们关心的不仅是结果，还包括他们在决策过程中是否有权参与。如果你被迫吃下一顿你讨厌的饭菜，仅仅因为群体认为这样最“高效”，你可能吃饱了，但你不会觉得受到了公平对待。这篇论文深入探讨了这个缺失的部分，它认为真正的公平不仅仅是关于最终奖励的总数；它关乎程序公平（Procedural Fairness）——即每个智能体都应该在决策过程中拥有平等的发言权，无论这个选择是否会导致绝对最大数量的零食。

论文的核心思想：平等的发声，而非仅仅平等的待遇

这篇论文的作者 Joshua Caiata、Carter Blair 和 Kate Larson 实际上是在说：“嘿，别再把机器人仅仅当作只关心最终得分的存在了。”他们引入了一种思考多智能体系统中公平性的新方式，称之为程序公平。

为了理解他们的观点，想象三个朋友正在讨论看哪部电影。

朋友 A 喜欢动作片。
朋友 B 喜欢喜剧片。
朋友 C 喜欢恐怖片。

如果这个群体只想实现“总幸福感”最大化（一个被称为功利主义的概念），他们可能会选择动作片，因为动作片能让朋友 A 和朋友 B 足够开心，从而抵消朋友 C 的无聊感。每个人都得到了结果，但朋友 C 从未有机会看到他喜欢的类型。如果他们只想确保每个人获得完全相同数量的幸福感（一个被称为不平等最小化的概念），他们可能会在动作片和喜剧片之间进行 50/50 的时间分配，但这再次让朋友 C 被排除在外。

论文指出，这些“基于结果”的方法忽略了重点。程序公平认为：“每个朋友都应获得决策权中相等的一份。”在这种新的框架下，群体的策略被构建为：朋友 A 的“投票”仅对动作片有效，朋友 B 的仅对喜剧片有效，而朋友 C 的仅对恐怖片有效。即使动作片在客观上是对群体“最好”的选择，系统也会通过将属于他们的概率质量分配给恐怖片，来确保朋友 C 的声音被听到。这就像一种投票制度，你不能用你的选票去换取更好的零食；你的选票本身就是零食。

他们的发现：权衡是真实存在的

作者们不仅停留在理论层面；他们构建了一个数学框架并运行了模拟实验来进行测试。以下是他们的发现，对于任何认为可以鱼与熊掌兼得的人来说，这都是一次警示：

你无法同时拥有蛋糕和吃掉它： 论文证明了程序公平与传统的“基于结果”的公平（如最大化总幸福感或确保每个人获得完全相同的奖励）在根本上是不兼容的。你无法设计出一个能同时完美满足这两者的单一系统。如果你试图强迫系统实现总零食量最大化，你不可避免地会让某些声音沉默。如果你强迫系统给予每个人平等的发言权，你可能会错失绝对最大数量的零食。
“纳什福利”陷阱： 该领域一种被称为**纳什福利（Nash Welfare）*的流行方法试图平衡效率与平等。作者指出，虽然这是一个不错的折中方案，但它仍然无法保证每个人都拥有平等的发言权*。它优先考虑最终结果而非过程。
新算法奏效了： 他们创建了一种专门旨在实现这种“平等发声”目标的学习算法。在测试中，该算法成功确保了每个智能体都获得了平等的决策权（在他们的“程序公平”指标上获得了完美分数）。
代价很低： 最令人惊讶的发现是，虽然通过关注过程，你确实在总效率或完美的平等性上损失了一点点，但这种损失是微乎其微的。系统的表现依然在其他指标上非常出色。换句话说，你并不需要通过牺牲群体的福祉来赋予每个人发言权；你只需要接受“完美”的结果不再是唯一的追求目标。

总结：合法性高于效率

论文最后为人工智能和多智能体系统的未来传达了一个强有力的信息。长期以来，我们一直在构建询问“什么是最好的结果？”并随后将该结果强加于所有人的系统。作者认为，我们应该开始询问：“这个决定是如何做出的，以及每个人是否都有参与其中？”

他们称之为合法性（Legitimacy）。就像在人类民主制度中一样，一个决定只有在参与者感到自己是过程的一部分时，才是真正被接受的。通过构建尊重“平等发声”的系统，我们不仅仅是在表现得友好；我们是在构建更加稳定、更加稳健，并且更容易被使用它们的智能体（或人类）所信任的系统。论文表明，公平不仅仅是一个可以用最高分来解决的数学问题；它是一种设计选择，要求我们像重视奖品一样重视过程。

技术摘要：多智能体老虎机中的程序公平性

问题陈述

在多智能体多臂老虎机（MA-MAB）中，公平性传统上是通过基于结果的指标来定义的，例如最大化功利主义福利、最小化不平等或优化纳什社会福利（NSW）。这些方法关注决策的聚合结果（例如总效用或奖励分布）。然而，作者认为这种视角忽视了程序公平性：即公平性内在存在于决策过程本身，特别是关于平等话语权和代表性的问题。

现有文献通常将公平性视为强加给系统的外部准则（后果论），忽略了参与者的主体性。相比之下，程序公平性认为，只有当决策不能被受其影响的人合理拒绝时，该决策才是合法的；这要求每个智能体都对政策拥有平等的决策影响力，无论这种影响力是否会导致其最优结果。

方法论

程序公平性的形式化定义

论文引入了一个基于在政策内实现平等代表性的 MA-MAB 程序公平性形式化定义。

决策份额（Decision Share）： 对于智能体 $i$ ，其决策份额 $\beta_i(P)$ 是分配给其最喜爱臂（即平均奖励 $\mu^*_{i,k}$ 最高）的总概率质量。
程序公平性定义： 如果概率分布可以分解为 $N$ 个相等的份额（ $1/N$ ），且每个智能体的份额都仅分配给其最喜爱的臂，则称政策 $P$ 是程序公平的。
程序公平性得分（PF）： 作者提出了一个优化问题来衡量给定政策在程序公平性方面的接近程度。该得分代表了在不违反政策总概率约束的情况下，可以分配给每个智能体最喜爱臂的最大 $1/N$ 决策份额的比例。得分为 1 表示完美的程序公平性。

算法方法

在奖励均值未知且需要学习程序公平政策的在线环境中：

目标： 作者最大化基于决策份额的纳什福利（ $NW_\beta$ ），定义为各智能体决策份额的乘积： $\prod_{i=1}^N \beta_i(P)$ 。
理论保证： 他们证明了（定理 1）最大化 $NW_\beta$ 会产生一个程序公平的政策（即它位于程序核心内）。
学习算法（算法 1）：
- 使用置信上界（UCB）风格的集中不等式来估计最喜爱臂集合（ $\hat{F}_i$ ）。
- 结合了随机探索机制（以概率 $t^{-(1-\gamma)}$ 拉动随机臂），以确保所有臂都被充分采样，从而缩小置信区间并恢复真实的喜爱集合。
- 在每一步，算法通过在估计的喜爱集合上求解 $NW_\beta$ 优化问题来确定政策 $P_t$ 。
遗憾分析： 论文定义了基于估计喜爱集合与真实集合不匹配轮数的程序公平性遗憾（ $R_{PF}$ ）。他们证明了该算法具有次线性遗憾界限 $O(K + T^\gamma/\gamma + (\dots)^{1/\gamma})$ ，表明算法会收敛到程序公平的政策。

核心贡献

形式化定义： 为 MA-MAB 提供了一个严谨的程序公平性定义，区分了代表性（话语权）与结果质量（效用）。
不可能结果： 论文证明了程序公平性与基于结果的公平性概念在根本上是不相容的。
- 命题 2 & 3： 存在某些奖励结构，使得没有任何政策能同时实现完美的程序公平性和完美的最小化不平等或完美的功利主义。
- 定理 6： 基于效用的纳什福利最优政策与程序公平政策并不保证相互实现帕累托占优；它们优先考虑的是不同且往往冲突的价值。
核心稳定性： 作者确立了最大化基于决策份额的纳什福利的政策位于程序核心内。这意味着没有任何智能体联盟可以通过利用其比例决策权来提高所有成员的代表性（且至少有一个成员获得严格提升），从而确保了基于话语权的偏离稳定性。
算法与遗憾界限： 提供了一种具有次线性遗憾保证的学习程序公平政策的算法，确保随着系统学习，智能体的声音得到体现。

实验结果

作者在以下场景下，针对基于结果的基准测试（功利主义、不平等最小化、平等福利、纳什社会福利和广义基尼系数）评估了其方法：

合成数据： 7,766 个实例，涵盖不同的智能体、臂和偏好分布（均匀分布、单峰分布、不偏文化、Mallows 分布）。
真实世界数据： 来自 Mechanical Turk (PrefLib) 的数据集，包含 50 名投票者和 4 名候选人。

发现：

权衡： 针对基于结果的指标（功利主义、NSW）优化的政策，其程序公平性得分始终较低（通常 < 0.8），表明优化结果并不一定会无意中保留平等的话语权。
平衡： 程序公平政策实现了完美的程序公平性得分（1.0），同时保持了较高的不平等最小化和功利主义得分（通常 > 0.9），展示了在所有三个维度上的卓越平衡能力。
鲁棒性： 随着智能体分歧的增加（例如在具有高离散度的 Mallows 模型中），基于结果的政策的程序公平性显著下降，而程序公平政策则维持了其代表性保证。
收敛性： 在真实世界实验中，学习算法收敛到了一个既能保持高平等性和高效用，又能保证平等代表性的政策，在程序公平性指标上优于所有其他基准。

意义与主张

论文认为，程序合法性是多智能体系统中一个独特且必要的客观目标，它独立于效率或平等。

规范性选择： 作者强调，公平性不是单一的数学解，而是一组相互竞争的价值。选择公平性目标是一个规范性决策：优先考虑效率（功利主义）本质上会牺牲平等的话语权，而优先考虑程序公平性则接受潜在的低效，以确保合法性。
合法性高于优化： 借鉴政治哲学（罗尔斯、斯坎伦）和心理学（Lind & Tyler），论文声称，如果系统尊重“参与的尊严”，那么智能体更有可能认为该系统是合法的并接受它。
设计原则： 程序公平性不仅被视为一个理论概念，更被视为一种实用的设计原则，它能产生稳定的（核心稳定的）、鲁棒的且反映人类关于“平等话语权”公平观的系统。

论文总结道，虽然基于结果的指标优雅且易于处理，但它们是从外部强加价值观。程序公平性将焦点转向“谁的偏好塑造了决策”，为构建不仅智能而且具备合法性的多智能体系统提供了一个框架。