📈 economics

A Lecture Note on Offline RL and IRL, Part II: Foundations of Inverse Reinforcement Learning and Dynamic Discrete Choice Models

本讲义建立了结构化计量经济学动态离散选择模型与熵正则化逆强化学习之间的理论等价关系，系统地比较了经典识别与计算方法与现代机器学习方法，以阐明它们在离线奖励恢复方面的各自目标、局限性及识别保证。

原作者： Enoch Hyunwook Kang

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Enoch Hyunwook Kang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是讲义内容的中文翻译，采用了日常语言并保留了所有的类比。

大局观：关于“为什么”的谜团

想象你是一名侦探，正试图弄清楚为什么一位名厨会那样烹饪特定的菜肴。

前向强化学习（标准方式）： 你被给予了食谱（奖励）和食材。你的任务是学习如何完美地烹饪这道菜。
逆强化学习 (IRL) 与动态离散选择 (DDC)： 你只得到了一段名厨烹饪的视频。你没有食谱。你的任务是通过观察视频，找出解释他们为何做出这些特定选择的隐藏食谱（奖励）。

这份讲义是一本指南，面向两组几十年来一直在解决同一个谜题、但使用不同语言和工具的侦探。作者 Enoch Kang 展示了他们实际上是在解决完全相同的谜题，并随后引入了一个新的统一工具来更好地解决它。

第一部分：两种语言，一个谜题

论文首先证明了两个看似不同的领域实际上正在研究同一件事：

经济学家 (DDC)： 他们研究人们如何做出选择（比如挑选工作或汽车）。他们假设人们拥有隐藏的“效用”（幸福感得分）以及一些随机噪声（糟糕的一天或突然的渴望）。他们使用数学方法来推算隐藏的效用。
人工智能研究员 (IRL)： 他们研究机器人或智能体。他们假设智能体试图最大化奖励，但也喜欢保持“随机性”（探索性），以避免陷入停滞。这种随机性在数学上看起来与经济学家的“噪声”完全一致。

类比： 想象两个人描述一朵云。一个人说：“它是一个蓬松的白色形状。”另一个人说：“它是一个水蒸气形成物。”他们在用不同的词汇描述同一个物体。这篇论文证明了“蓬松的形状”（经济学）和“水蒸气”（AI）在数学上是完全等同的。

第二部分：“锚点”问题（缺失的一块）

这里是棘手的地方：如果你只观察厨师，你无法判断他是因为热爱盐而加盐，还是为了平衡酸度，亦或是为了掩盖错误。有无数种方式可以解释同一种行为。

问题： 仅通过观察行为，你无法唯一地确定“真实的”奖励。你只能确定选择之间的差异（例如，“厨师比起米饭更喜欢意面”），但无法确定绝对值（例如，“厨师到底有多喜欢意面？”）。
解决方案（锚点）： 为了解决这个问题，论文建议在每一步中选择一个特定的动作，并声明其价值是已知的。
- 类比： 想象厨师在制作“食谱 A”时，总是放入特定量的盐。如果我们知道“食谱 A”总是恰好加入 1 克盐，我们就可以把这个作为一把尺子（即锚点），来测量他在“食谱 B”中放入了多少盐。
- 在论文中，这被称为锚点动作假设 (Anchor-Action Assumption)。它固定了规模，使数学计算得以进行。

第三部分：旧工具（为什么它们很难）

论文回顾了侦探们尝试解决此问题的旧方法，并指出了它们的缺陷：

嵌套循环法 (Rust 的方法)：
- 运作方式： 猜一个食谱，模拟厨师烹饪的过程看他们会做什么，然后与视频进行对比，如此循环往复。
- 缺陷： 这就像试图通过走入迷宫，然后退回来，再走进去一次来解开迷宫。这极其缓慢且计算成本高昂，尤其是当迷宫非常庞大（高维）时。
条件选择法 (Hotz-Miller)：
- 运作方式： 他们不直接猜测食谱，而是猜测厨师下一步动作的概率，并反向推导。
- 缺陷： 要做到这一点，你需要确切知道世界是如何变化的（转移模型）。如果你不知道厨房是如何运作的（例如，炉灶是如何升温的），这种方法就会失效。它需要估计一个巨大的世界地图，这在复杂的环境中在统计学上是不可能的。
“致命三元组” (时序差分法)：
- 运作方式： 尝试直接从视频片段中学习，而不模拟整个世界。
- 缺陷： 当你结合了近似（猜测）、自举（利用自己的猜测来更新自己的猜测）以及离策数据（从与你要模仿的厨师不同的厨师那里学习）时，数学往往会爆炸。数值会趋向无穷大，导致系统崩溃。

第四部分：现代 AI 技巧（对抗式与匹配式）

论文随后研究了现代 AI 方法，如 AIRL 和 GAIL。

核心思想： 使用一个“判别器”（裁判）来玩一场游戏。裁判试图分辨一个动作是来自专家还是学生；学生则试图欺骗裁判。
局限性： 论文认为，虽然这些方法很酷，但它们往往无法真正找到真实的奖励。它们可能只是找到了模仿行为的方法，而没有理解背后的“为什么”。它们通常依赖于一些假设（比如世界是确定性的），而这些假设在现实生活中并不成立。如果世界是随机的（随机过程），这些方法会对“哪些行为是奖励”以及“哪些行为仅仅是运气”感到困惑。

第五 part：新方案 (GLADIUS)

最后，论文介绍了一种名为 GLADIUS 的新方法（基于梯度的样本逆效用学习上升-下降法）。

它是如何运作的（类比）：
想象你正在尝试寻找淋浴的最佳水温。

似然损失 (Likelihood Loss)： 你观察专家的视频。你不断调整温度，直到专家的选择与视频相匹配。这让你得到了相对的偏好（热 vs 冷）。
锚点损失 (Anchor Loss)： 你使用“锚点”（已知的盐量）来固定绝对规模。
偏差修正（神奇的技巧）：
- 问题： 如果你只看一段视频片段，你可能会因为下一个状态（例如水压波动）而感到运气好或运气差。如果你仅根据一个片段来计算“误差”，你会得到一个有偏差的结果（即“双重采样”问题）。
- 解决方法： GLADIUS 使用第二个“辅助”网络（称为 $\zeta$ ）。这个辅助网络扮演着统计学家的角色。它观察所有数据并预测下一步的平均结果，从而有效地抵消掉单个片段中的运气成分或倒霉成分。
- 它通过玩一场游戏来实现这一点：主网络试图最小化误差，而辅助网络试图预测平均值。它们轮流更新彼此。

为什么它更好：

无需地图： 它不需要知道转移模型（世界是如何移动的）。它直接从视频片段中学习。
无需嵌套循环： 它不需要模拟整个未来。它使用梯度（数学斜率）一次性解决所有问题。
稳定： 它避开了会导致其他方法崩溃的“致命三元组”。

总结

这篇论文是一座桥梁。它将经济学家严谨的数学与 AI 强大的工具连接起来。它表明，虽然我们有很多方法可以从行为中推测奖励函数，但大多数方法要么太慢，要么太不稳定，或者需要不可能实现的假设。

提出的解决方案 GLADIUS 是一种解决谜题的新方法。它使用一个“尺子”（锚点动作）来设定规模，并使用一个“统计学家助手”（偏差修正）来忽略数据中的噪声。这使我们能够直接从视频中恢复真实的“食谱”（奖励函数），而无需模拟世界或预先知道游戏的规则。

技术摘要：逆强化学习与动态离散选择模型的理论基础

1. 问题定义

本文探讨了离线设置下的逆强化学习 (Inverse Reinforcement Learning, IRL) 问题：给定由专家策略 $\pi^*$ 生成的固定状态-动作-下一状态元组数据集，能否恢复出专家正在优化的奖励函数 $r$ ？

该问题处于两个截然不同的文献领域的交汇点：

结构计量经济学 (动态离散选择 - DDC)： 模型假设智能体在最大化效用加上服从 Gumbel 分布的特质冲击（idiosyncratic shocks）。
机器学习 (熵正则化 IRL)： 模型假设智能体在最大化预期回报的基础上增加一个熵项（最大熵 IRL）。

核心挑战在于识别性 (identification)：由于存在基于势函数的塑造不变性 (potential-based shaping invariance; Ng et al., 1999)，如果不引入额外结构，仅凭行为本身无法唯一地恢复奖励函数。此外，现有方法面临着涉及可扩展性、对转移核估计的需求以及稳定性（“致命三元组”）的“三难困境”。

2. 方法论基础

2.1 DDC 与 MaxEnt-IRL 的等价性

论文首先建立了这两个领域之间的严谨等价关系。

DDC 公式化： 智能体通过最大化 $r(s,a) + \epsilon_{t,a}$ 来选择动作，其中 $\epsilon$ 服从 Type-1 极值（Gumbel）分布。
MaxEnt-IRL 公式化： 智能体最大化预期回报加上一个熵项 $\lambda H(\pi)$ 。
结果： 在 Gumbel 冲击均值为零的归一化条件下（ $\delta = -\gamma_E$ ）并设定熵系数 $\lambda=1$ 时，两种公式化方法产生完全相同的 Softmax 策略和 Soft Bellman 方程：
$Q^*(s, a) = r(s, a) + \beta \mathbb{E}_{s' \sim P} \left[ \log \sum_{a'} \exp(Q^*(s', a')) \right]$
$\pi^*(a|s) = \frac{\exp(Q^*(s, a))}{\sum_{a'} \exp(Q^*(s, a'))}$
这证明了概率模型在统计上与离线观测是不可区分的。

2.2 识别极限

论文分析了仅凭行为可以恢复哪些内容：

非识别性 (Non-Identification)： 在没有进一步假设的情况下， $r$ 仅在状态相关的势函数 $\Phi(s)$ 意义下是可识别的。具体而言， $r$ 与 $\tilde{r}(s,a) = r(s,a) + \Phi(s) - \beta \mathbb{E}[\Phi(s')]$ 会诱导相同的最优策略。
锚点动作假设 (Anchor-Action Assumption; Magnac & Thesmar, 2002)： 为了解决这一问题，本文采用了经典的计量经济学假设，即对于每个状态 $s$ ，存在一个已知的“锚点”动作 $a_s$ ，其对应的奖励 $r(s, a_s) = 0$ （或已知常数）。该假设固定了势函数，使得在专家支持集上唯一识别 $Q^*$ 和 $r$ 成为可能。

3. 现有方法综述及其局限性

论文调研了经典与现代方法，并强调了它们的特定失效模式：

3.1 经典 DDC 方法

Rust 的嵌套固定点法 (NFXP)： 在外层循环中最大化似然函数，同时在内层循环中求解 Bellman 方程。
- 局限： 受状态空间 $S$ 的维度灾难影响，且需要显式了解或估计转移核 $P$ 。
Hotz-Miller / 条件选择概率 (CCP)： 通过反转 Softmax 来寻找 $Q$ $Q$ 的差值，并求解线性固定点方程以求得价值函数。
- 局限： 需要估计转移核 $P$ （统计维度的灾难），并且在正向模拟过程中存在误差传播问题。
时序差分 (TD) 方法 (Adusumilli & Eckardt, 2019)：
- 线性半梯度 TD (Linear Semi-Gradient TD)： 虽然避免了显式使用 $P$ ，但受限于致命三元组（函数逼近 + 自举 + 离策数据），会导致发散。
- 近似价值迭代 (AVI)： 更稳定，但收敛于一个投影固定点 (projected fixed point)，如果真实的价值函数不在函数类中，该点可能不同于真实的 $Q^*$ 。
- 注：深度强化学习中常用的“目标网络”虽然能稳定轨迹，但不会改变最终目的地；它们仍然会收敛到投影固定点，而非真实的价值函数。

3.2 现代 IRL 方法

对抗式 IRL (AIRL)： 使用判别器来分离奖励与塑造势函数。
- 局限： 它识别的是软优势函数 $A^*(s,a) = \log \pi^*(a|s)$ ，而非直接识别奖励。奖励的恢复需要极其严格的假设（确定性动力学、仅状态相关奖励、可分解的转移图），而这些假设在实践中经常被违反。
占用度匹配 (GAIL)： 最小化专家与策略占用度量之间的差异。
- 局限： 它是一种模仿算法，而非奖励恢复算法。它没有强制执行逐点 Bellman 一致性，因此如果不进行额外假设，无法提取奖励。
- IQ-Learn： 直接对 $Q$ 进行参数化，并通过 Bellman 方程定义奖励。
- 局限： 其目标函数在状态偏移下是不变的；如果没有外部归一化（如锚点动作），它无法识别唯一的奖励。
离线 ML-IRL (Zeng et al., 2023)： 带有保守惩罚项的 Hotz-Miller 的神经重构版本。
- 局限： 继承了需要估计转移核以及嵌套优化循环的需求。

4. 提出的方法：ERM 框架 (GLADIUS)

论文提出了一个统一的经验风险最小化 (ERM) 框架，该框架综合了 DDC 的识别能力与现代机器学习的可扩展性，同时规避了这两者的陷阱。

4.1 核心洞察

该方法不再通过参数化 $r$ 并求解嵌套的前向问题，而是直接对 $Q$ 进行参数化。识别条件被转化为两个损失函数：

负对数似拟合 (NLL)： 强制要求 $Q$ 的 Softmax 与专家策略 $\pi^*$ 相匹配。这识别了 $Q$ 在状态内的差异。
锚点 Bellman 损失 (Anchor Bellman Loss)： 仅在已知奖励 $r(s, a_s)$ 的锚点动作 $a_s$ 处强制执行 Bellman 方程。这固定了 $Q$ 在状态间的水平。

4.2 双重采样偏差及其修正

使用平方 TD 误差的朴素经验 Bellman 损失由于双重采样问题 (double-sampling problem)（下一状态的方差不会随数据增加而消失）而存在偏差。

修正： 论文推导了一个极小极大 (minimax) 公式，其中减去了条件方差项。
$\min_Q \max_\zeta \mathbb{E} \left[ \text{NLL} + \mathbb{1}_{a=a_s} \left( (\text{Sampled Bellman})^2 - \beta^2 (V_Q(s') - \zeta(s,a))^2 \right) \right]$
此处， $\zeta(s,a)$ 作为辅助函数，用于学习条件均值 $\mathbb{E}[V_Q(s') | s, a]$ 。这种修正消除了显式估计转移核 $P$ 的需求。

4.3 算法：GLADIUS

GLADIUS（基于梯度的样本逆效用学习上升-下降算法）在以下步骤间交替进行：

回归步骤 (上升/下降)： 更新 $\zeta$ 以最小化相对于 $V_Q(s')$ 的平方误差。
优化步骤 (下降)： 更新 $Q$ 以最小化 NLL 以及经过偏差修正的锚点 Bellman 残差。

4.4 收敛保证

论文在 Polyak-Lojasiewicz (PL) 几何假设而非凸性假设下建立了收敛性。

假设： $Q^*$ 和 $\zeta^*$ 在函数类中是可实现的，且经验输出的雅可比矩阵具有良好的条件性（类似于神经切线核条件）。
结果： 算法收敛至经验风险的全局最小值，其优化速率为 $O(1/T)$ ，统计误差速率为 $O(1/\sqrt{N})$ 。

5. 主要贡献与意义

统一性： 证明了 DDC 与 MaxEnt-IRL 公式化之间的正式等价性，架起了计量经济学与机器学习之间的桥梁。
明确识别性： 阐明了现代对抗式方法 (AIRL) 在没有强力且往往不切实际的结构假设下，本质上无法解决奖励识别问题。它重申了锚点动作假设是识别状态-动作奖励的稳健路径。
无需转移核的估计： 引入了一种偏差修正的极小极大目标函数，可以在无需显式估计转移核 $P$ 的情况下恢复 $Q^*$ 和 $r$ ，克服了 CCP 和 NFXP 中固有的统计维度灾难。
稳定性： 通过将问题构建为对 $Q$ 的直接、偏差修正的经验风险最小化，避免了离策 TD 方法中的“致命三元组”发散问题。
算法解决方案： 提出了 GLADIUS，这是一种基于梯度的单次估计器，它既避免了经典 DDC 方法中的嵌套优化循环，又在标准过参数化假设下保持了理论收敛保证。

论文结论指出，这种 ERM 方法为离线 IRL/DDC 提供了一条原则性的、可扩展的且统计一致的路径，结合了结构计量经济学的识别严谨性与现代基于梯度学习的计算效率。