🤖 machine learning

AETDICE: Unified Framework and Offline Optimization for Nonlinear Multi-Objective RL

本文介绍了 AETDICE，这是一个统一的框架和离线强化学习算法，它弥合了标量化期望回报（Scalarized Expected Return, SER）与期望标量化回报（Expected Scalarized Return, ESR）范式之间的鸿沟，从而能够利用静态数据集实现非线性多目标强化学习的可行样本优化。

原作者： Woosung Kim, Youngjun Suh, Jinho Lee, Jongmin Lee, Byung-Jun Lee

发布于 2026-07-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Woosung Kim, Youngjun Suh, Jinho Lee, Jongmin Lee, Byung-Jun Lee

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在训练一个机器人驾驶出租车。但这不仅仅是关于从 A 点到 B 点；机器人必须同时平衡多个相互冲突的目标。比如，它可能想追求速度，但也要节省能源。或者，它需要平等地服务两组不同的乘客，而不是只关注那些付钱最多的乘客。

在机器人技术和人工智能领域，这被称为多目标强化学习（Multi-Objective Reinforcement Learning, MORL）。挑战在于：当“好”的定义因人而异时，你该如何告诉机器人什么是“好”？

旧问题：两种不同的规则集

长期以来，研究人员必须在两种截然不同的教学方式之间做出选择，且无法将它们混合使用：

“平均值”法 (SER)： 你告诉机器人：“在多次行程的平均水平上，我希望你是平衡的。”这就像一位校长说：“我们不在乎你某天数学考砸了，只要你全年的平均成绩达标即可。”机器人学会了冒险，有时为了获得更好的后期平均表现，会在单次行程中失败。
“每一次行程都达标”法 (ESR)： 你告诉机器人：“每一次行程都必须是平衡的。”这就像一位严厉的家长说：“你必须在每一次考试中都拿到 A。”如果机器人在某次数学测试中失败了，整个策略就毁了。这要难得多，因为机器人必须记住过去发生的事情（例如，“我已经服务了 A 组，所以现在我必须服务 B 组”），才能在当前时刻做出正确的决策。

问题在于，现有的 AI 方法要么能处理“平均值”法，要么能处理“每一次行程都达标”法，但无法同时处理两者。更糟糕的是，没有人发现过如何仅使用固定数据集（例如，一段过去的驾驶日志库）来教机器人这些复杂的规则，而不让机器人在现实世界中到处乱开出错。

新方案：AETDICE

该论文的作者构建了一个名为 AETDICE 的新框架。把它想象成一个可以理解任何规则组合的“通用翻译机”。

他们是如何做到的，让我们用一个简单的类比来说明：

1. “记忆背包” (增强状态/Augmented State)

“每一次行程都达标”规则最大的难题是机器人需要记住它的历史。如果它只看当前的街角，它并不知道自己是否已经服务过第一组乘客。

解决方法： 作者给了机器人一个背包。每当机器人走一步，它就会把当前的“得分情况”写进背包里。现在，当机器人看向街角时，它看到的不再仅仅是“街角”，而是“街角 + 背包得分”。
为什么有效： 这将一个依赖记忆的复杂问题转化为了一个标准问题。机器人现在可以像普通机器人根据“街角”做决策一样，根据“街角 + 背包”做决策。

2. “重写地图” (转换奖励/Transformed Rewards)

通常，你会告诉机器人：“去商店，你会得到 10 分。”但有了复杂的规则（如“平衡得分”），分数并不是固定的，而是取决于背包。

解决方法： 作者改变了地图。他们不再是在行程结束时给分，而是计算每一个单步对最终目标的贡献了多少，并将这一小块分数立即给到机器人。
为什么有效： 这使得机器人能够从固定数据集（过去的行程日志库）中学习，而不需要去猜测未来会发生什么。它将一个复杂的全局谜题转化为了系列简单的局部步骤。

3. “全局平衡器” (DICE 优化/DICE Optimization)

一旦机器人拥有了背包和新地图，仍然有一个棘手的部分：确保所有行程之间的整体平衡，而不仅仅是局部的平衡。

解决方法： 他们使用了数学工具 DICE（分布校正估计/Distribution Correction Estimation）。想象你有一个装满代表过去所有行程的弹珠的袋子。有些弹珠对你的特定目标是“好的”，有些则是“坏的”。DICE 就像一个智能过滤器，重新为这些弹珠分配权重，告诉机器人：“忽略那些你过于贪婪的行程；专注于那些你表现平衡的行程。”
为什么有效： 这使得即使原始数据很混乱或有偏差，机器人也能找到完美的策略。

他们发现了什么？

当他们测试这个新系统时，他们发现了一些旧方法无法实现的迷人行为：

“随机性”结合： 有时候，最好的策略并不是 100% 的一致。机器人学会了做一个“抛硬币的人”。在 50% 的行程中，它会完全专注于乘客 A 组；而在另外 50% 的行程中，它会完全专注于 B 组。在平均意义上，这是最平衡的结果。旧方法要么强迫机器人成为“专家”（总是 A），要么成为“全才”（总是平分秋色），从而错过了这种聪明的中间地带。
“具备历史意识”的驾驶员： 对于“每一次行程都达标”的规则，机器人学会了根据它的背包来改变行为。如果它已经服务过 A 组，即使街景看起来一模一样，它也会积极地寻找 B 组。这种行为是标准 AI 通常无法从静态数据中学习到的。

核心结论

这篇论文介绍了一种新的方法，让 AI 智能体能够仅利用过去的数据来处理复杂且相互竞争的目标。它弥合了“平均表现”与“完美一致性”之间的鸿沟，允许机器人学习出公平、平衡且具有适应性的策略——而无需在训练期间与现实世界进行交互。

简而言之：他们构建了一个通用的训练工具包，通过给机器人一个“记忆背包”和一种更聪明的“读图方式”，让机器人仅凭一库旧视频就能完美学会如何应对多个目标。

技术摘要：AETDICE：非线性多目标强化学习的统一框架与离线优化

1. 问题陈述

多目标强化学习（MORL）旨在优化具有多个且通常相互竞争的目标下的序列决策。虽然线性标量化（加权求和）可以将 MORL 简化为标准的单目标强化学习，但非线性标量化对于捕捉复杂的偏好（如风险厌恶、公平性和收益递减）至关重要。

从历史上看，非线性 MORL 根据标量化的顺序与期望值的顺序被分为两个截然不同的范式：

标量化期望回报 (SER)： 对期望回报向量应用非线性 ( $u(\mathbb{E}[R])$ )。这需要全局层面的优化，因为动作的边际贡献取决于策略的整体期望回报，通常需要随机策略。
期望标量化回报 (ESR)： 对每个轨迹的回报应用非线性 ( $\mathbb{E}[u(R)]$ )。这产生了一个非马尔可夫问题，其中最优动作取决于累积的奖励历史，需要通过状态增强来恢复马尔可夫性。

差距： 现有的离线 RL 方法已经解决了线性标量化和 SER 目标。然而，ESR 在离线设置中仍未得到解决。轨迹层面的非线性使得最优动作依赖于累积的奖励，而从静态数据集中学习此类奖励条件的策略尚未被探索。此外，没有现有方法能够处理结合了轨迹层面和期望层面非线性的目标，也未能处理此类组合所引起的特定权衡。

2. 方法论

AET 框架

作者提出了 聚合–期望–变换 (AET) 框架，以统一非线性 MORL 目标。AET 将标量化过程分解为三个组成部分：

变换 (F)： 一个轨迹层面的变换 $F: \mathbb{R}^m \to \mathbb{R}^n$ ，将回报向量映射到 $n$ 个效用维度（例如，通过 $\log$ 捕捉收益递减，或通过 Cobb-Douglas 捕捉效率）。
期望 (E)： 对轨迹进行期望运算。
聚合 (G)： 一个期望层面的聚合 $G: \mathbb{R}^n \to \mathbb{R}$ （通常是凹函数），用于结合期望效用。

AET 目标定义为：
$J_{AET}(\pi; F, G) = G(\mathbb{E}_{\tau \sim \pi}[F(R(\tau))])$

该框架将 Linear MORL、SER-MORL 和 ESR-MORL 纳入其特例，同时支持更丰富的 AET-MORL 类目标，即结合了非线性 $F$ 和凹函数 $G$ 。

AETDICE 算法

为了在离线环境下优化 AET 目标，作者提出了 AETDICE（通过 DICE 进行离线 AET 优化）。该方法分别处理两个来源的非线性：

1. 处理非线性变换 $F$ （增强型 MOMDP）：
为了处理 $F$ 的轨迹层面非线性，作者构建了一个增强型有限时界 MOMDP $\tilde{M} = (\tilde{S}, A, \tilde{P}, H, \tilde{p}_0, \tilde{r})$ 。

状态增强： 状态通过累积奖励向量进行增强： $\tilde{s}_t = (s_t, R^{acc}_t, t)$ 。这为 ESR 目标恢复了马尔可夫性。
变换奖励： 定义了一个新的奖励函数，以捕捉每个动作对轨迹效用 $F$ 的增量贡献：
$\tilde{r}(\tilde{s}_t, a_t) = F(R^{acc}_t + r(s_t, a_t)) - F(R^{acc}_t)$
这创造了一个级联求和（telescoping sum），其中 $\sum \tilde{r} = F(R(\tau))$ 。这种变换将 ESR-MORL 降低为增强空间中的标准单目标 RL，并将 AET-MORL 降低为增强空间中的 SER-MORL。

2. 处理非线性聚合 $G$ （通过 DICE 进行凸优化）：
随着 $F$ 被吸收进奖励中，问题变成了在增强空间中最大化关于期望效用的凹函数 $G$ 。作者扩展了 分布校正估计 (DICE) 框架：

访问分布： 目标被重新表述为在增强空间中对访问分布 $d_t(\tilde{s}, a)$ 的凸优化。
松弛变量： 引入一个松弛变量 $k$ ，以将期望与凹聚合 $G$ 解耦，从而实现无偏的基于样本的估计。
正则化： 添加 $\phi$ -散度惩罚，以纠正学习到的策略与离线数据集之间的分布偏移。
对偶形式： 原问题被转换为对偶问题，可通过在代表拉格朗日乘子 ( $\nu$ ) 和松弛变量 ( $\mu$ ) 的神经网络上进行随机梯度下降来求解。通过学习到的访问比率进行加权行为克隆，从而提取最优策略。

3. 核心贡献

统一框架 (AET)： 本文引入了 AET，这是一个原则性的框架，它统一了 SER 和 ESR，并定义了一种新的目标类别（AET-MORL），结合了轨迹层面和期望层面的非线性。
首个离线 ESR 优化： 通过在增强状态空间中定义变换奖励，作者提供了第一个从静态数据集中优化 ESR 目标的方法，将该问题降低为标准的离线 RL。
AETDICE 算法： 作者提出了 AETDICE，这是一种基于样本的离线算法，它通过增强（处理非线性 $F$ ）和 DICE 式分布校正（处理非线性 $G$ ）来处理两种非线性。
实证验证： 该框架在 Fair-Taxi、MO-PointMaze 和 D4MORL（MO-Ant, MO-Walker2d, MO-HalfCheetah）环境中得到了验证。

4. 实验结果

实验在 Fair-Taxi、MO-PointMaze 和 D4MORL 环境中进行。

公平 MORL (Fair-Taxi & PointMaze)： AETDICE 成功优化了 ESR、SER 和平衡标量化回报 (BSR) 目标。
- 行为差异： ESR 最优策略在每个轨迹内产生平衡的回报（表现出依赖于历史的非马尔可夫行为）。SER 最优策略产生专门化轨迹的随机混合（马尔可夫行为，仅在期望层面实现平衡）。BSR 策略则平滑地在这些行为之间进行插值。
- 性能： AETDICE 在各自的目标上取得了高分，优于 FairDICE（局限于 SER）和 ESR-IQL（局限于 ESR）等基准方法。
通用 AET 目标 (D4MORL)：
- 凸 $F$ ： 该方法成功优化了优先考虑高性能维度的目标（凸 $F$ ），同时通过凹 $G$ 维持平衡，产生了专门化行为的随机混合。
- 非凸 $F$ (Cobb-Douglas)： AETDICE 优化了效率权衡（例如速度 vs 能量）。关键在于，通过添加带有凹聚合的安全效用，该方法防止了智能体崩溃（这是纯效率优化的一种失败模式），同时保持了高效率。
消融实验： 关于正则化系数 $\beta$ 的研究表明，非线性 MORL 需要较小的 $\beta$ 值以允许必要的分布偏移，但该方法仍然保持稳定且有效。

5. 意义与主张

本文声称 AETDICE 解决了长期以来困扰非线性 MORL 的障碍，实现了此前碎片化的优化策略的统一。

统一性： 它弥合了 SER 和 ESR 之间的鸿沟，提供了一个通用的单一框架。
新颖性： 它是第一个处理离线 ESR 优化及更广泛 AET 目标类别的算法。
行为洞察： 该框架揭示了由轨迹层面和期望层面非线性相互作用产生的截然不同的策略行为（非马尔可夫策略、随机混合），而现有方法无法捕捉或处理这些行为。
实用性： 通过实现离线优化复杂的公平性和效率目标，该方法支持现实世界的决策制定，在这些场景中，策略必须在回合内及回合间平衡相互竞争的标准。

作者指出，随着目标数量增加，增强状态空间的扩展性以及离线 MORL 中分布偏移带来的严格数据覆盖要求是其局限性。然而，他们断言 AETDICE 通过使更广泛的非线性目标在离线设置下变得可行，显著推进了该领域的发展。