🤖 machine learning

TCRL: Temporal-Coupled Adversarial Training for Robust Constrained Reinforcement Learning in Worst-Case Scenarios

该论文提出了TCRL，一种新颖的时间耦合对抗训练框架，通过引入最差感知代价约束和双重约束防御机制，以有效应对安全关键领域中的时间耦合扰动，从而增强受限强化学习中的鲁棒性。

原作者： Wentao Xu, Zhongming Yao, Weihao Li, Zhenghang Song, Yumeng Song, Tianyi Li, Yushuai Li

发布于 2026-06-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Wentao Xu, Zhongming Yao, Weihao Li, Zhenghang Song, Yumeng Song, Tianyi Li, Yushuai Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一个机器人开车或走钢丝。在约束强化学习（Constrained Reinforcement Learning, CRL）的世界里，你的目标有两个：让机器人快速完成任务（最大化奖励），但绝不能让它撞车或从边缘掉下去（满足安全约束）。

问题在于，现实世界并不完美。有时，“黑客”或故障可能会试图欺骗机器人的传感器。这被称为对抗性攻击（Adversarial Attack）。

旧方法 vs. 新问题

以往的方法就像是训练机器人去忽略一次突如其来的“戳眼”。它们擅长处理一次性的错误，但当攻击者开始反复且有节奏地戳机器人，并且每秒钟稍微改变一下戳击力度以迷惑机器人的记忆时，这些方法就失效了。

可以这样理解：

旧攻击： 有人向奔跑者投掷了一颗石子。奔跑者踉跄了一下，但很快恢复了。
新攻击（时间耦合型）： 有人在奔跑者身边行走，一会儿用绳子绊他，一会儿松开绳子，一会儿又拉紧绳子，然后再次绊他，这一切都是有节奏的序列攻击。奔跑者感到困惑，因为这些攻击在时间上是相互关联的，通过积累动量直到让奔跑者摔倒。

论文指出，现有的机器人安全系统不知道如何处理这种“有节奏的绊脚”。它们会因为只关注当前时刻而无法应对这种随时间变化的模式，从而陷入混乱。

解决方案：TCRL（“准备极其充分”的机器人）

作者提出了一个名为 TCRL（时间耦合对抗训练）的新框架。他们训练机器人去应对最坏情况下的“有节奏攻击”，使其变得“准备极其充分”。他们主要使用了两个技巧：

1. “水晶球”安全网（代价约束函数）

通常，机器人根据它们“此时此刻”看到的情况来计算安全性。TCRL 则给了机器人一个“水晶球”。

运作方式： 机器人不再仅仅问：“这一步安全吗？”而是会问：“如果有人在接下来的 10 秒内以最坏的节奏不断绊我，我还能保持安全吗？”
类比： 想象一位走钢丝的人。普通的走钢丝者检查的是绳子现在是否稳固。而 TCRL 走丝者会想象：“如果一阵风开始以特定的、不断恶化的模式吹来，我会摔下去吗？”他们在风还没吹到之前就调整平衡，确保即使在最坏的情况下也绝不越过“危险线”。

2. “混乱音乐”防御机制（奖励的双重约束）

攻击者经常试图通过干扰机器人获得的“分数”（奖励）来欺骗机器人。如果机器人完全知道分数是如何变化的，攻击者就能预测机器人的下一步动作，并再次绊倒它。

运作方式： TCRL 在机器人的训练中增加了两条规则：
1. 打破规律： 让分数的改变变得难以预测，使得攻击者无法猜出机器人下一步会做什么。这就像机器人突然改变了音乐的节奏，让攻击者无法与之同步起舞。
2. 保持稳定： 即使攻击者试图干扰分数，机器人的内部“感觉”也不应该剧烈波动。这能防止机器人因惊慌而做出疯狂的动作。
类比： 想象一场捉迷藏游戏。如果躲藏者总是按照可预测的模式移动，搜寻者就会抓住他们。TCRL 教导躲藏者以一种看起来是随机的移动方式（打破规律），但同时仍能保持自身的安全和进度（稳定性）。

实验结果如何？

研究人员在机器人执行任务（如驾驶汽车和让球在圆圈内滚动）时测试了该方法。他们让 TCRL 机器人对抗以下对象：

随机噪声（静态干扰）。
试图最大化碰撞次数的攻击者。
“最坏-TC”攻击者（Worst-TC Attacker）： 即上述那种超级聪明、有节奏的“绊脚者”。

结果显示：

安全性： 当“最坏-TC”攻击者试图绊倒机器人时，旧方法中的机器人频繁撞车或掉落。然而，TCRL 机器人却能保持安全。在某些情况下，与旧方法相比，TCRL 将碰撞次数降低了 190 倍。
性能： 不仅如此，它们在保持安全的同时，完成任务的表现也更好。当其他机器人因为困惑而减速时，TCRL 机器人在受到攻击时的得分甚至比正常条件下还要高。这是因为其“安全第一”的训练使其具备极强的鲁棒性，不会因惊慌而浪费能量。

核心结论

TCRL 是一种全新的机器人训练方式，它假设最坏的、有节奏的、协同的攻击将会发生。通过教会机器人预判这些模式，并通过让其奖励系统对攻击者而言变得不可预测，它创造出了一种极其难以被欺骗且极难被破坏的机器人，即便是在最混乱的环境中也是如此。

技术摘要：用于鲁棒约束强化学习的 TCRL

问题陈述

约束强化学习（Constrained Reinforcement Learning, CRL）对于自动驾驶和机器人等安全至关重要的领域至关重要，在这些领域中，智能体必须在最大化奖励的同时遵守安全约束。然而，现有的鲁棒 CRL 方法在部署到受对抗性扰动影响的现实环境中时表现出显著的脆弱性。目前的方法主要关注时间独立（单步）扰动，这些扰动通常建模在固定的 $\ell_p$ 范数球内。它们未能解决时间耦合扰动问题，即攻击者会根据智能体的历史记录和安全代价约束来生成随时间演变的扰动。

在最坏的情况下，攻击者可以学习智能体的安全代价函数和奖励函数，从而生成强度逐渐增加的扰动。这会导致智能体偏离目标、违反安全约束并遭受显著的奖励下降。现有方法面临两个具体的挑战：

感知能力： 它们缺乏使代价约束函数能够在不显式建模攻击者的情况下，感知并估计时间耦合对抗下的最坏情况安全代价的机制。
防御能力： 它们缺乏有效的训练策略来抵御针对奖励信号的时间耦合攻击，通常无法保持奖励的不可预测性或破坏攻击者的时间模式。

方法论：TCRL 框架

作者提出了 TCRL（时间耦合对抗训练），这是一个旨在优化决策策略以应对最坏情况时间耦合扰动的框架。该框架由三个核心组件组成：

1. 时间耦合扰动模型

论文定义了一种新型的扰动约束，其中扰动强度是动态的。一个自适应约束参数 $\bar{\epsilon}_t$ 根据前一次扰动（ $p_{t-1}$ ）的大小进行更新：
$\bar{\epsilon}_t = \bar{\epsilon}_{t-1} + \alpha \cdot \|p_{t-1}\|$
这使得攻击者能够随着时间的推移探索更高强度的策略，同时受到相邻扰动之间差异的约束： $\|p_t - p_{t-1}\| \leq \bar{\epsilon}_t$ 。

2. 最坏情况感知代价约束函数

为了解决在没有显式攻击者模型的情况下估计安全代价的挑战，TCRL 引入了最坏情况代价贝尔曼算子（Worst-Case Cost Bellman Operator, $\Gamma$ ）。

定义： 对于策略 $\pi$ ，该算子用于估计在受限观测攻击下，在决策时界内的最大累积代价。
实现： 一个最坏情况代价网络（ $Q^\pi_\varphi$ ）通过专门的损失函数进行训练，该损失函数结合了在攻击者可能通过状态扰动诱导出的潜在动作集 $\Omega(s, \pi)$ 上的最大代价。
约束转换： 标准 CRL 约束（ $V^\pi_c \leq \eta$ ）被转换为最坏情况约束： $V^\pi_c \leq C_{threshold}$ ，其中 $V^\pi_c$ 是估计的最坏情况代价值。这确保了即使在最严重的时间耦合攻击下也能保证安全性。

3. 双重约束奖励防御机制

为了对抗那些利用历史奖励数据来建模奖励函数的攻击者，TCRL 在训练期间对奖励信号实施了两个约束：

时间相关性约束： 该约束限制了时间窗口 $w$ 内奖励序列的自相关性。通过强制执行弱相关约束（ $C_{corr} \leq \epsilon_{corr}$ ），该方法破坏了攻击者建模系统动力学中时间依赖性的能力。使用梯度修正机制来处理标准相关系数的不可微问题。
奖励熵稳定性约束： 这可以防止由扰动引起的奖励分布剧烈变化。它约束了连续时间步之间奖励熵（ $H_t$ ）的变化率（ $C_{ent} \leq \epsilon_{ent}$ ），确保奖励分布演变平滑且对攻击者而言具有不可预测性。

总体目标使用拉格朗日松弛法进行公式化，在同时满足安全代价、相关性和熵约束的情况下，优化策略以最大化期望奖励。

核心贡献

TCRL 框架： 一个专门为最坏情况时间耦合场景下的鲁棒 CRL 设计的新型对抗训练框架。
最坏情况代价估计： 一种能够在无需显式攻击者模型的情况下，直接估计时间耦合扰动下最坏情况安全代价的代价约束函数，并配备了用于鲁棒训练的定制损失函数。
双重约束防御： 一种基于奖励的防御机制，包含时间相关性约束（用于破坏攻击模式）和熵稳定性约束（用于保持奖励不可预测性）。
实验验证： 大量实验证明了其相对于现有方法的卓越鲁棒性。

实验结果

作者在四个连续控制任务（Ball-Circle, Ball-Run, Car-Circle, Car-Run）上评估了集成 PPOL 算法的 TCRL。评估包括五种条件：自然（无攻击）、MAD（最大动作差异）、MC（最大代价）、Random（随机）以及自定义的 Worst-TC（最坏情况时间耦合）攻击者。

安全性能： 在 Worst-TC 攻击下，TCRL 始终实现了最低的安全代价。论文报告称，与基准方法相比，在四项任务中，TCRL 的安全代价降低了 559.38% 至 19,077.78%。例如，在 Car-Run 任务中，TCRL 将安全代价降低了高达 190.77 倍。
奖励性能： 与基准方法在 Worst-TC 攻击下遭受显著奖励下降不同，TCRL 保持甚至提升了其奖励值。在 Worst-TC 攻击下，TCRL 比基准方法提高了 11.09% 至 34.76% 的奖励值。
消融研究： 移除代价约束函数（TCRL-Worstcost）会导致安全代价显著增加，而移除奖励防御约束（TCRL-Reward）会导致奖励大幅下降，这证实了这两个组件的必要性。

意义与主张

论文声称 TCRL 通过显式建模并防御时间耦合扰动，填补了现有文献中的关键空白，这种扰动比单步攻击更符合现实世界的对抗场景。

作者断言，TCRL 使智能体能够：

在严格避免安全约束违规的同时，保持高水平的任务奖励。
在无需与特定攻击者模型进行协同训练的情况下，感知并防御最优的时间耦合对抗者。
通过时间相关性和熵约束，破坏攻击者学习奖励函数的能力。

这项工作将 TCRL 定位为在状态观测易受演化且相关的对抗性噪声影响的安全关键物理环境中部署 CRL 的鲁棒解决方案。