技术摘要：长视野累积损伤问题中的完成度与最优性

1. 问题定义

本文探讨了一类具有累积损伤特征的长视野序列决策问题。在这类环境中，最大化即时奖励（局部有吸引力）的动作会同时增加潜在的累积损伤状态（$D_t$）。当 $D_t$ 超过阈值或违反“角色可行性”约束（例如，高损伤活动的占比低于临界水平）时，回合会隐式终止。

核心挑战在于，在低损伤水平下，损伤信号往往是潜在的或无信息量的。使用标准策略梯度方法（如 PPO）的智能体往往无法学习到审慎的策略，原因如下：

1. 它们无法观察到损伤，直到为时已晚（即“隐式终止边界”）。
2. 贪婪的信用分配倾向于即时奖励而非长期维持，导致过早终止。

作者指出，基于回报的标准评估混淆了两种截然不同的失败模式：

• 完成度失败：智能体因违反隐式约束而过早退出回合（在完整视野 $H$ 之前）。
• 最优性失败：智能体完成了完整视野，但达到了次优的最终状态（例如，健康/容量的保留率较低），因为它在早期就采取了贪婪策略。

2. 方法论与分解

本文提出了一种分解方法，从两个正交维度评估智能体：

1. 完成度：策略是否达到了终止视野 $H$？
2. 最优性：在达成完成度的前提下，策略的价值是否与逆向归纳参考策略（$\pi^*$）相匹配？

实验设置

作者在两个不同的校准环境中评估了这种分解，这两个环境具有相同的抽象结构，但在领域和参数上有所不同：

• 砌砖工职业生涯：一个 49 步（49 年）的模拟，描述一名建筑工人管理 7 项活动，校准依据是人体膝盖生物力学和流行病学数据。
• NBA 大前锋职业生涯：一个 20 赛季的模拟，描述一名篮球运动员管理 6 项活动，校准依据是运动医学文献。

这两个环境均具备以下特征：

• 潜在损伤：智能体仅观察到代理信号 $S_t = g(D_t)$，该信号在低损伤水平下无信息量。
• 主导活动结构：某一项活动同时最大化奖励和损伤。
• 自我强化的退化：存在一个次要通道，当保留量（$M_t$）低于阈值（$M_{amp} = 0.6$）时，其退化速率会加速。

比较算法

1. PPO-real：在真实轨迹上训练的标准近端策略优化（Proximal Policy Optimization），激活隐式终止约束。
2. 无限制 Dyna：一种基于模型的变体（Dyna），在训练期间通过 no_exit 标志访问完整视野，并对违反角色可行性约束施加线性软惩罚。
3. 固定份额 Dyna：一种变体，其中活动份额被钳位至动态规划（DP）的最优分配，仅学习努力水平。
4. DP-optimal：利用完整状态知识（$D, M, t$）进行逆向归纳的参考策略，用于计算理论上限。

3. 主要发现与结果

完成度差距

• PPO-real 失败：在真实轨迹上训练的 PPO 在两个环境中均无法完成视野（完成率为 0%）。平均退出年龄显著低于视野长度（砌砖工为 27.8 年；NBA 为 22.6 年）。
• 仅访问视野的危害：向无限制智能体（Unrestricted Dyna）授予视野访问权并施加线性软惩罚，反而恶化了性能。该惩罚将主导活动的份额驱动至零，比 PPO-real 更激进地违反约束。
• 动作空间限制：将动作空间限制为 DP 最优份额分配（Fixed-share Dyna）解锁了完成度。该智能体在两个环境中均实现了 100% 的完成率，证明无法完成是结构性的（与份额约束相关），而非纯粹的信用分配问题。

最优性差距

即使在达成完成度时（Fixed-share Dyna），仍存在显著的最优性差距（$\Delta M_{final}$）：

• 砌砖工：$\Delta M_{final} = 0.271$（Fixed-share Dyna 的 $M_{final} \approx 0.52$，而 DP-optimal 为 $0.79$）。
• NBA：$\Delta M_{final} = 0.150$（Fixed-share Dyna 的 $M_{final} \approx 0.61$，而 DP-optimal 为 $0.76$）。

最优性失败的机制：第一阶段盆地进入

本文确定最优性差距的成因是第一阶段的贪婪承诺：

• 反应性衰退吸引子：在 10 个种子中的 8 个（砌砖工）和 10 个种子中的 4 个（NBA）中，智能体在 $t=0$ 时承诺对主导活动施加最大努力。
• 不可逆性：这种初始的高努力将保留变量 $M$ 不可逆地推低至自我强化阈值（$M_{amp}$）以下。
• 第 0 步盆地进入：预期的第一个策略梯度更新指向贪婪动作，因为即时奖励差距超过了折现的未来损伤成本（在命题 1 中形式化）。这种承诺发生在训练的前 1% 内，在长视野信号积累之前。
• 视野不变性：这种“反应性衰退”吸引子的主导地位在训练视野长度（$H$）达到临界边界 $H^*$ 之前是视野长度不变的，证实了失败是由初始条件驱动的，而非长视野信用分配。

4. 贡献

1. 形式化：对“视野不匹配的累积损伤”问题类进行了形式化定义，并将失败分解为完成度和最优性两个维度。
2. 实证分解：通过三方比较（PPO-real、Fixed-share Dyna、DP-optimal），量化了两个不同领域中的两种差距。
3. 因果分析：提供了证据，表明仅访问视野在线性软惩罚下是有害的，而动作空间限制是实现完成度所必需的干预措施。
4. 机制识别：识别出“第一阶段贪婪承诺”是最优性失败的驱动因素，并得到了关于预期第一个梯度更新方向理论命题的支持。

5. 意义与主张

本文主张，标准策略梯度方法在累积损伤问题中的失败，不仅是因为长视野信用分配，更是因为结构上无法满足隐式终止约束（完成度），以及倾向于在回合开始时立即采取贪婪策略（最优性）。

• 诊断价值：该分解揭示，针对一个维度的干预措施（例如，通过动作空间限制解决完成度问题）并不能解决另一个维度（最优性）的问题。
• 可推广性：研究发现在两个领域（职业健康与运动医学）中复现，表明这些失败模式是问题结构（潜在损伤、主导活动对齐、自我强化退化）固有的，而非特定于某个模拟器。
• 理论洞察：该工作将经验上的“反应性衰退”模式与一个形式化条件联系起来，即在 $t=0$ 时即时奖励差距主导了延续价值，解释了为何智能体无论训练视野长度如何，都会收敛到次优的不动点。

作者明确指出，他们的理论命题（命题 1）适用于最小二元动作 MDP，并作为多活动测试平台的结构类比，而非直接推导。他们还指出了局限性，包括使用单一模拟引擎以及特定的惩罚函数（线性软惩罚）。