🤖 machine learning

Robust In-Context Reinforcement Learning Under Reward Poisoning Attacks

本文提出了对抗训练决策预训练 Transformer（AT-DPT），这是一个通过同时训练决策预训练 Transformer 和一组攻击者，以实现针对奖励投毒攻击的鲁棒上下文强化学习的新型框架，证明了其在 bandit 和复杂 MDP 环境中均优于标准基准模型的性能。

原作者： Paulius Sasnauskas, Yiğit Yalın, Goran Radanović

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Paulius Sasnauskas, Yiğit Yalın, Goran Radanović

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：教机器人通过“小抄”来学习

想象一下，你正在教一个机器人玩电子游戏。通常情况下，你可能会为它编写特定的规则，或者让它练习好几个小时直到它掌握游戏。

但这篇论文研究的是一种不同类型的机器人：它使用的是上下文强化学习（In-Context Reinforcement Learning, ICRL）。你可以把这个机器人想象成一个超级聪明的学生，它不需要被重新编程。相反，你只需要递给它一份“小抄”（过去动作和奖励的历史记录），然后说：“这就是游戏的规则；现在去玩吧。”机器人阅读这份小抄，识破其中的规律，然后立即开始游戏。

这篇论文关注的是一种名为 DPT（决策预训练 Transformer）的特定机器人。它非常擅长阅读这些“小抄”。但问题在于：如果有人篡改了这份小抄怎么办？

问题所在：“中毒”的小抄

在现实世界中，坏人（攻击者）可能会试图欺骗机器人。他们无法改变机器人的大脑，但他们可以改变机器人在其历史记录中看到的奖励（rewards）。

场景： 想象机器人正在学习如何在市场里挑选最好的水果。
攻击： 一个破坏者偷偷修改了机器人历史记录中水果的价格标签。他们让烂苹果看起来很贵（高奖励），让新鲜苹果看起来很便宜（低奖励）。
结果： 机器人阅读了被“投毒”的历史记录，认为烂苹果才是最好的选择，并开始购买它们。这被称为奖励投毒攻击（Reward Poisoning Attack）。

以往的大多数研究都集中在保护那些在“训练期间”学习的机器人。而这篇论文探讨的是：我们如何保护一个仅仅通过阅读事件历史就能进行“即时”学习的机器人？

解决方案：“陪练”方法 (AT-DPT)

作者创建了一种名为 AT-DPT（对抗训练 DPT）的新方法。他们不仅仅是尝试修补机器人，而是通过一种叫做**对抗训练（Adversarial Training）**的技术，教会了机器人如何反击。

这就像是一个武术道馆：

学生（机器人）： 我们希望机器人在数据混乱的情况下也能学会选择最佳动作。
陪练（攻击者）： 研究人员创造了一个“反派”AI，它的唯一任务就是试图欺骗机器人。这个反派会不断尝试重写历史记录（奖励），以诱导机器人做出错误的决策。
训练循环：
- 反派试图投毒机器人的历史记录。
- 机器人试图忽略这些毒素并寻找真相。
- 他们反复进行这个过程。
- 最终，机器人变得非常擅长识破谎言，即使反派竭尽全力想要欺骗它，它依然能够获胜。

其结果是，这个机器人拥有了“见多识广”的能力。它已经学会了，有时奖励数值是谎言，因此它知道如何透过现象看本质，找到真正的真相。

他们是如何测试的

研究人员在三个不同的场景（就像游戏中的不同关卡）中测试了这个“超级机器人”：

老虎机（Bandits）： 想象一排 5 台老虎机。机器人必须找出哪一台的赔付率最高。攻击者试图对每台机器的赔付情况撒谎。
- 结果： AT-DPT 机器人找出了真正的赢家，而标准的机器人（如 Thompson Sampling 或 UCB）则会被搞糊涂，并一直选择输钱的机器。
迷宫（MDPs）： 想象一个机器人在黑暗的房间里寻找宝藏。攻击者试图对某个动作的好坏撒谎。
- 结果： 即使面对聪明且具有适应性（根据机器人的行为改变谎言）的攻击者，AT-DPT 机器人也比其他方法更可靠地找到了宝藏。
视觉迷宫： 他们甚至在一个 3D 环境中进行了测试，机器人需要利用图像进行导航。AT-DPT 机器人依然表现得比其他方法更好。

为什么这很重要

论文声称，通过训练机器人去“预料谎言”（投毒数据），它会变得更加鲁棒（稳健）。

标准机器人 就像那些相信报纸上所有内容的人。如果报纸印了谎言，它们就会相信。
AT-DPT 机器人 则像是一名接受过伪造大师训练的侦探。它知道报纸可能会撒谎，所以它会核实事实，并依然能找到真相。

作者总结道，这种方法（使用一群攻击者来训练学习者）是构建安全、可靠 AI 的强大方式，即使数据正受到恶意行为者的篡改。他们还指出，即使机器人在识别谎言方面并不完美，只要它经过了针对多种复杂攻击者的训练，这种方法依然非常有效。

技术摘要：针对奖励投毒攻击的鲁棒上下文强化学习

问题定义

本文研究了上下文强化学习 (In-Context Reinforcement Learning, ICRL) 对奖励投毒攻击 (Reward Poisoning Attacks) 的脆弱性。虽然传统的强化学习文献广泛研究了作为训练时攻击的奖励投毒（即在学习过程中破坏智能体的策略），但 ICRL 智能体的运作方式有所不同。它们通过处理交互历史（状态、动作、奖励）来在上下文中实现一种学习算法（具体为决策预训练 Transformer，即 DPT）。

在这种设定下，攻击者可以通过破坏智能体观察到的奖励来投毒测试时上下文 (Test-time Context)。由于智能体根据此上下文推断其策略，因此在测试时破坏奖励可以使攻击者在不改变智能体预训练参数的情况下影响其行为。本文将此形式化为一种测试时奖励投毒攻击，其中攻击者修改观测到的奖励比例 ( $\epsilon$ )，以最小化智能体的真实回报，并受到软预算约束。

方法论：对抗训练 DPT (AT-DPT)

作者提出了 AT-DPT，这是一个结合了上下文学习与对抗训练的新颖框架，旨在产生对上述攻击具有鲁棒性的智能体。其核心思想是在极小极大博弈 (Minimax Game) 中同时训练智能体和一组攻击者。

1. 攻击模型

攻击者被建模为一个函数 $\pi^\dagger_\phi$ ，它观察状态、动作、真实奖励以及智能体的上下文数据集。它以概率 $\epsilon$ 生成一个受损的奖励 $r^\dagger$ 。攻击者的目标是在满足关于受损奖励相对于真实环境奖励的均值和方差的软预算约束的前提下，最小化智能体的预期回报。这被形式化为攻击者损失函数中的一个惩罚项。

2. 训练程序

训练过程（如图 1 和算法 1 所示）包含三个阶段：

预训练 (Pretraining)： 初始化 DPT，并通过监督学习从干净的上下文数据中预测最优动作，这与原始 DPT 方法类似。
对抗训练 (Adversarial Training)： 这是核心贡献。智能体 ( $\pi_\theta$ $π_{θ}$ ) 和一组攻击者 ( $\pi^\dagger_{\phi_i}$ $π_{ϕ_{i}}^{†}$ ) 被同步优化：
- 攻击者更新： 对于批次中的每个任务，攻击者生成受损的轨迹。攻击者参数 $\phi$ 使用 REINFORCE 算法进行更新，旨在预算约束下最大化智能体的遗憾值（最小化回报）。
- 智能体更新： 智能体被训练为在给定收集到的受损上下文 $D^\dagger$ 的情况下，预测最优动作（由 Oracle 提供）。
- 该过程重复 $N$ 轮，使智能体能够学习一种“纠错”机制，即使在输入受损的情况下也能推断出最优动作。
上下文学习 (测试阶段)： 训练好的智能体被部署在带有投毒奖励的新环境中。它在每个时间步动态更新其上下文，以支持针对自适应攻击者的鲁棒性。

该框架支持非自适应攻击者（不使用智能体的历史记录）和自适应攻击者（使用 Transformer 架构来利用智能体过去的交互）。

核心贡献

新颖的攻击模态： 本文首次研究了元强化学习（学习一种学习算法）背景下的奖励投毒。它形式化了一种测试时攻击，即对手通过破坏上下文来影响上下文学习过程，这与传统的训练时策略破坏截然不同。
AT-DPT 框架： 作者引入了一种实用的对抗训练协议，同时优化一组攻击者和受害者智能体。这使得智能体能够在上下文中学习一种对破坏具有鲁棒性的学习算法。
实证验证： 研究在多臂老虎机 (Multi-armed Bandits)、线性老虎机 (Linear Bandits) 以及 MDP（包括 Darkroom2 和 Miniworld 环境）上进行了系统评估，并将 AT-DPT 与标准算法（TS, UCB, PPO, Q-learning）及鲁棒基准（crUCB, RTS）进行了对比。

实验结果

实验表明，在各种投毒水平 ( $\epsilon = 0.1, 0.2, 0.4$ ) 和攻击预算下，AT-DPT 显著优于现有基准。

老虎机设置： 即使面对专门针对 AT-DPT 进行训练的攻击者，AT-DPT 仍实现了比 crUCB 和 RTS 等鲁棒基准更低的累积遗憾值。它还表现出强大的泛化能力，在针对其他算法（如 TS）训练的攻击者时依然表现良好。
自适应 vs. 非自适应： 结果表明存在权衡；针对自适应攻击者训练的 AT-DPT 在应对自适应威胁时表现更好，但与仅针对非自适应威胁训练的模型相比，在应对非自适应威胁时表现略逊一筹。然而，在所有情况下，它都优于标准基准。
MDP 设置： 在 Darkroom2 和 Miniworld 环境中，AT-DPT 在受到攻击时仍能保持较高的回合回报，而标准 RL 算法（NPG, Q-learning）和冻结的 DPT 模型则表现出显著的性能下降。值得注意的是，AT-Dved 能够泛化到更大、更复杂的环境，显示出可扩展性。
次优演示 (Suboptimal Demonstrations)： 文中指出，AT-DPT 可以容忍训练数据中少量的（例如 10-30%）次优演示，尽管随着该比例增加，性能会下降。

意义与主张

本文声称其主要意义在于建立了一种设计本质上对数据污染具有鲁棒性的学习算法的原则性方法。

元强化学习视角： 不同于以往关注为单一环境学习特定策略的工作，这项工作侧重于学习算法本身。通过利用任务分布的先验，智能体可以区分合理的与不合理的破坏方案，从而有效地过滤掉对抗性噪声。
泛化性： 结果表明，基于 Transformer 的策略可以实现对数据污染具有鲁棒性的算法，这为在上下文可能被破坏（例如通过 RAG 机制）的环境中安全部署 ICRL 智能体（如基于 LLM 的智能体）提供了一个有前景的方向。
理论见解： 作者假设 AT-DPT 近似于纳什均衡，其中智能体实现了一种“修正后的”后验采样。只要基础奖励均值在破坏过程中仍是可识别的，智能体就能实现鲁棒性能。

作者对理论保证保持谦逊，承认将双层优化收敛到近似均衡的完整分析属于未来的工作。他们还指出，目前的方法依赖于由 Oracle 提供的最优动作进行训练，尽管他们展示了对次优演示的一定抵抗力。