🤖 machine learning

$α$ -fair heterogeneous agent reinforcement learning

本文提出了一种将 $\alpha$ -公平性与异构智能体置信区域学习（Heterogeneous-Agent Trust Region Learning）相结合的新型框架，旨在解决多智能体系统中奖励分配不均的问题，并提供了具有理论依据的算法（ $\alpha$ -fair HATRPO 和 HAPPO），这些算法在顺序社会困境中实现了更高的功利效率和更优的社会福利。

原作者： Yao-hua Franck Xu, Tayeb Lemlouma, Jean-Marie Bonnin, Arnaud Braud

发布于 2026-06-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yao-hua Franck Xu, Tayeb Lemlouma, Jean-Marie Bonnin, Arnaud Braud

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，一群朋友正试图组织一场盛大的百乐ों聚餐（potluck dinner）。在人工智能（AI）的世界里，这被称为多智能体强化学习（Multi-Agent Reinforcement Learning）。通常情况下，目标很简单：尽可能让桌上的食物变多。这被称为“功利主义”方法。如果结果是100道美味佳肴，那么大家都会很开心，对吧？

但不一定。在这种情景下，一位朋友可能做了99道菜，而其他九个朋友却什么都没做。总数很高，但分配是不公平的。那些无所作为的朋友可能会感到愤恨，或者更糟，他们下次可能就不再愿意帮忙了。这创造了一种“领导者-追随者”的动态关系，即团队虽然高效，但并不稳定。

本论文提出了一种新的方法来教导 AI 智能体进行协作，这种方法平衡了效率（完成尽可能多的工作）与公平性（确保每个人都能获得公平的份额）。

问题所在：“贪婪”算法

目前的 AI 方法就像是一个只关心菜肴总数的严厉经理。它们经常使用一些技巧来让智能体表现得友好，但这些技巧可能会破坏游戏规则，使得学习过程变得不可预测或在数学上是不安全的。这就像是通过每次看到狗打喷嚏就给它零食来教它坐下；这可能在瞬间奏效，但狗并不会理解其中的逻辑，而且行为可能会在后期崩溃。

解决方案：“公平度拨盘” ( $\alpha$ -fairness)

作者引入了 $\alpha$ -fairness 的概念。把它想象成调音台上的一个拨盘：

将拨盘转到 0： 你只关心总音量（效率）。谁听到声音并不重要，只要声音够大就行。
将拨盘转到 1： 你想要均衡的混合效果（比例公平）。每个人根据其需求获得公平的份额。
将拨盘转到无穷大： 你只关心最安静的那个人。如果有一个人在挣扎，整个系统就会专注于帮助他，即使这意味着其他人会得到较少。

本论文的目标是构建一个能够将此拨盘转到任何设置，同时保证学习过程保持稳定且在数学上完备的 AI 系统。

引擎：“信任区域”团队

为了实现这一点，作者基于一个名为 HATRL（异构智能体信任区域学习）的框架进行了开发。

想象一支登山队正试图一起登上山顶。

旧方法： 每个人都尽可能快地奔跑。跑得快的登山者会把慢的留下，导致队伍散落各处。
HATRL 方法： 团队同意采取小步、谨慎的步伐。他们会检查自己的“信任区域”——这是一个安全区，他们知道如果迈出一步，不会意外跌落悬崖。他们会按特定顺序逐一更新策略，确保每一步小的进步都能改善团队的位置，而不会破坏团队的凝聚力。

作者将这种“安全登山”的方法适配到了他们的公平度拨盘中。他们创建了一个特殊的“公平优势函数”。把它想象成一张计分卡，它不仅仅计算一个智能体收集了多少苹果，还会根据其他所有人的表现来加权这个分数。

如果一个智能体表现已经很出色，他们的分数权重就会降低（这样他们就不会独占风头）。
如果一个智能体正在挣扎，他们的分数权重就会增加（这样团队就会专注于帮助他们）。

新算法： $\alpha$ -fair HATRPO 和 HAPPO

论文介绍了两种具体的“配方”（算法）来将该理论付诸实践：

$\alpha$ -fair HATRPO： 一种精确、重数学的方法，它仔细计算最安全的一步，确保团队永远不会倒退。
$\alpha$ -fair HAPPO： 一个稍快、更实用的版本，它通过“裁剪”（限制一个智能体一次能改变行为的幅度）来保持稳定性。

测试：清理与收获

为了证明其想法有效，作者在两个类似视频游戏的场景中测试了这些算法：

共同收获（Common Harvest）： 智能体必须采摘苹果。如果采摘过多，苹果树会枯死；如果采摘过少，他们会饿死。他们必须在贪婪与克制之间取得平衡。
清理（CleanUp）： 智能体必须采摘苹果，但只有在河流清洁的情况下苹果才会生长。一些智能体必须停止采摘并清理河流，而另一些人则负责采摘。如果大家都去采摘，河流就会变脏，那样谁也拿不到苹果。

结果：

效率： 新的公平算法在收集苹果方面与旧的“贪婪”方法一样好（甚至略好）。
公平性： 新方法实现了更均匀的苹果分配。其“基尼系数”（衡量不平等程度的指标，类似于经济学中的概念）较低，这意味着智能体更平等地分享了奖励。
稳定性： 与其他一些会崩溃或变得不可预测的“公平”方法不同，这些新算法遵循数学规则，保证了它们会收敛到一个稳定的、公平的解。

局限性

作者诚实地说明了局限性。目前该系统要求“奖励”（如苹果）必须始终为正值且有界（你不能拥有负数个苹果）。此外，智能体需要能够看到整个局面（全观测），这在混乱的现实世界中是罕见的。然而，对于受控环境，这一框架为教导 AI 不仅要聪明，还要公平提供了一个数学上安全的基石。

技术摘要： $\alpha$ -fair 异构智能体强化学习

问题陈述

在多智能体强化学习（MARL）中，协作传统上是通过优化功利主义目标（即最大化所有智能体的效用总和）来实现的。虽然这种方法效率很高，但往往忽略了奖励分配，导致出现不平等的“领导者-跟随者”动态关系，使部分智能体被边缘化。现有的整合公平性的尝试通常分为三类：奖励塑造（例如：不平等厌恶）、公平性约束以及社会福利目标。然而，这些方法存在关键局限性：

平稳性问题： 奖励塑造方法通常依赖于依赖历史的奖励，这破坏了马尔可夫博弈的平稳属性。
缺乏理论保证： 即使是经过公平性改进的流行算法（如 Independent PPO 或 Multi-Agent PPO），也缺乏在单智能体信任区域学习（TRL）中发现的那种严谨的理论收敛保证。
泛化性与可解释性： 基于约束的方法通常具有领域特定性，而社会福利目标（如 $\alpha$ -fairness）则往往依赖于缺乏理论保障的推导 PPO 目标，或依赖于理想化假设（如凹性）。

在公平的目标函数与理论安全的学习框架之间存在着鸿沟。本文旨在通过引入一个确保单调改进并向纳什均衡收敛的框架来填补这一鸿沟。

方法论

理论框架： $\alpha$ -fair HATRL

作者提出了一个结合了 $\alpha$ -公平性 与 异构智能体信任区域学习（HATRL） 的新颖框架。

全局公平目标：
该框架为全协作场景定义了一个全局目标函数 $J(\vec{\pi})$ ：
$J(\vec{\pi}) = \mathbb{E}_{s_0 \sim \rho_0} \left[ \sum_{i=1}^n U_\alpha(\nu + V_i^{\vec{\pi}}(s_0)) \right]$
其中 $U_\alpha$ 是 $\alpha$ -公平效用函数， $\nu$ 是确保正值的正数常数， $V_i^{\vec{\pi}}$ 是智能体 $i$ 的价值函数。
- 当 $\alpha \to 0$ 时，目标趋向于功利主义总和。
- 当 $\alpha \to +\infty$ 时，它趋向于罗尔斯主义福利（最大最小）函数。
- 当 $\alpha = 1$ 时，对应于比例公平。
公平优势函数：
为了适配 HATRL，作者引入了一个公平优势函数 $A_F^{\vec{\pi}}(s, \vec{a})$ 。与标准的多智能体优势函数不同，它是各智能体优势函数的加权和，其权重由智能体预期回报的倒数（ $1/V_j^{\vec{\pi}}(s)$ ）动态决定。这种加权机制确保了预期回报较高的智能体对梯度更新的贡献较少，从而为表现较低的智能体留出提升空间。
序列更新与代理函数：
基于 HATRL，作者推导出了一个代理函数 $L_{\vec{\pi}}(\vec{\pi}')$ ，该函数作为全局公平目标改进的下界。他们证明了 $J(\vec{\pi}') - J(\vec{\pi})$ 的差值被该代理函数减去一个 KL 散度惩罚项所界定。
至关重要的是，他们证明了该代理函数可以分解为 $n$ 个有序求和项。这允许采用一种序列更新方案，即智能体逐一进行更新（按随机排列顺序），在遵守信任区域约束的同时，最大化其对全局公平目标的局部贡献。
理论保证：
论文提供了以下证明：
- 单调改进： 保证全局公平目标 $J(\vec{\pi})$ 在每次迭代中都会增加（或保持不变）。
- 收敛性： 联合策略序列收敛于一个极限点。
- 纳什均衡： 极限点集合非空，且每个极限点都是该全协作博弈的纳什均衡。

实际算法

为了在高维空间中实现该框架，作者开发了两种深度强化学习算法：

$\alpha$ -fair HATRPO： 异构智能体信任区域策略优化（HATRPO）的扩展。它使用公平优势函数取代标准的多智能体优势函数，并通过使用 KL 约束和共轭梯度更新来解决受限优化问题。
$\alpha$ -fair HAPPO： 异构智能体 PPO（HAPPO）的扩展。它使用一阶近似和剪切机制来避免计算海森矩阵（Hessian），从而在保持序列更新结构的同时提高计算效率。

核心贡献

理论桥梁： 本文引入了一个具有理论基础的框架，将 $\alpha$ -公平性整合到异构智能体信任区域学习中，为学习亲社会行为提供了数学上的安全性（单调改进和收敛保证）。
新颖的代理函数： 定义了一种公平优势函数，能够根据预期回报动态加权智能体效用，从而实现从功利主义效率到 $\alpha$ -公平性福利的过渡。
算法开发： 提出了两种实用的算法 $\alpha$ -fair HATRPO 和 $\alpha$ -fair HAPPO，将理论框架扩展到了参数化策略设置中。
实验验证： 证明了这些算法在顺序社会困境（SSD）环境中能够实现更高的社会成果（更低的基尼系数），同时能维持或超过功利主义的效率。

实验结果

算法在来自 SocialJax 套件的两个顺序社会困境（SSD）环境 CleanUp 和 CommonHarvest 上进行了评估。

基准测试： 将提出的方法与标准的 HATRPO/HAPPO（功利主义）以及 FMAPPO（一种使用无理论保证的比例公平性的 PPO 方法）进行了对比。
指标： 性能通过总苹果消耗量（TAC）衡量效率，通过基尼系数（Gini Index）衡量公平性。
研究发现：
- 公平性： 增加参数 $\alpha$ 通常会导致更公平的结果（更低的基尼系数）。提出的 $\alpha$ -fair 算法比功利主义基准实现了显著更低的基尼系数。
- 效率： 在 CommonHarvest 环境中， $\alpha$ -fair HATRPO 和 HAPPO 在 TAC 方面表现略优于功利主义基准，同时实现了更好的公平性。在 CleanUp 中，效率优势很小，且 FMAPPO 在纯效率方面有时优于所提方法，尽管所提方法仍实现了更优的社会结果（更低的基尼系数）。
- 与 FMAPPO 的比较： 虽然 FMAPPO 表现良好，但所提方法提供了一个具有同等或更好公平性结果且具备理论安全性的替代方案。

意义与局限性

意义：
本文声称建立了一个“数学安全的基石”，用于训练智能体采取可持续的亲社会行为。通过确保单调改进和向纳什均衡收敛，该框架解决了现有公平 MARL 方法缺乏理论保证的问题。它成功填补了公平目标函数与安全学习框架之间的空白。

局限性：
作者承认存在以下约束：

超参数敏感性： 高 $\alpha$ 值（ $\alpha > 1$ ）可能导致性能下降和训练不稳定。这归因于公平优势函数削弱了高表现智能体的权重，使得全局目标过度敏感于那些可能陷入局部最优的“最差学习者”。
理论约束： 该框架依赖于正值且有界奖励的假设，这限制了其在某些环境中的适用性。
可观测性： 这些算法要求完全可观测的状态。在现实世界的局部观测场景中，必须使用近似方法（如使用 RNN），但这将缺乏当前的理论保证。

论文最后建议未来的工作方向包括增强探索的机制（例如熵归一化）或使用自适应约束来稳定高 $\alpha$ 值时的学习过程。