🤖 AI

Efficient Preference Poisoning Attack on Offline RLHF

本文提出了两种高效的攻击方法，即感知二值的格攻击（BAL-A）和二进制匹配追踪攻击（BMP-A），它们利用标签翻转所引发的与参数无关的梯度偏移，将离线强化学习人类反馈中的目标偏好投毒问题转化为结构化二值稀疏近似任务加以解决。

原作者： Chenye Yang, Weiyu Xu, Lifeng Lai

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Chenye Yang, Weiyu Xu, Lifeng Lai

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在通过向机器人展示成千上万个“好”与“坏”的人类选择示例，来教导它变得乐于助人且无害。这个过程被称为离线人类反馈强化学习（Offline RLHF）。机器人通过查看一份预先制作好的偏好列表来学习，就像学生在考试前研读教科书一样。

本文探讨了一种阴险的方法，用于“投毒”这本教科书，使机器人学到错误的教训，但有一个转折：攻击者并非在书中添加假页，而是仅仅翻转现有页面中的几个答案。

以下是使用简单类比对该论文发现的拆解：

1. 设置：机器人的“教科书”

将机器人的训练数据想象成一个巨大的电子表格。每一行都是一个比较：“响应 A 是否优于响应 B？”人类标注者标记“是”或“否”。

目标：机器人（使用一种称为DPO的方法）阅读这个电子表格，并调整其内部“大脑”（数学参数），以匹配人类的偏好。
漏洞：由于机器人只读取这个固定的电子表格，如果有人将几个“是”改为“否”（即标签翻转攻击），机器人可能会感到困惑，从而学会一种完全不同且可能有害的行为。

2. 重大发现：“魔法偏移”

作者发现了关于机器人学习方式的非常具体且强大的特性。

类比：想象机器人的大脑是一个指南针。每当机器人看到“是”或“否”时，它都会受到一个特定方向的微小推动。
魔法：作者发现，如果你将一个“是”翻转为“否”，指南针就会受到一个固定量的特定方向推动。关键在于，无论机器人当前的“大脑”看起来如何，这个推动都是相同的。无论机器人是聪明还是愚笨，翻转那个标签总会以完全相同的向量推动指南针。
重要性：这将一个混乱、不可预测的问题变成了一个整洁的数学谜题。攻击者无需猜测机器人的反应；他们只需要找到一种翻转组合，将指南针精确地推向他们想要去的方向。

3. 攻击：解决一个“谜题”

攻击者的目标是翻转最少数量的标签，使机器人采纳某种特定的、不需要的行为（例如变得粗鲁或危险）。

问题：这就像试图通过采取固定长度的步骤到达地图上的特定目的地，但你只能从预定义的步骤列表中选择方向。你希望用最少的步骤到达目的地。
挑战：这是一个“组合”问题，意味着有数十亿种混合和匹配翻转的方式，而计算机通常无法快速找到完美且最短的组合。

4. 解决方案：两种新的“攻击工具”

作者构建了两种新算法来高效地解决这个谜题：

工具 A：BAL-A（“格”方法）

类比：想象你试图在三维点网格中找到一个特定位置。你想尽可能接近目标，但不能踩到错误的数字。
工作原理：作者创建了一个特殊的数学“格”（网格结构）。他们在网格中添加了严厉的惩罚：如果你试图采取不是简单“翻转”的步骤（例如走 2 步而不是 1 步），网格会强烈地将你推回。
结果：通过使用称为"LLL 归约”的技术（这就像整理杂乱的网格以便于导航），他们可以快速找到到达目标的最短路径。他们证明，如果惩罚设置得足够高，解必须是一组有效的翻转（0 和 1），而不是奇怪的分数。

工具 B：BMP-A（“贪婪”方法）

类比：想象你只有 10 次翻转的预算。你想尽可能接近你的目标。
工作原理：这个工具采用“贪婪”方法。它查看目标，找到使机器人指南针最接近目标的单次翻转，执行该翻转，然后重复此过程。
局限：当数据集中的“方向”彼此非常不同（低“相干性”）时，它效果最好。如果所有方向都太相似，该工具就会感到困惑。作者确切地证明了这些方向需要有多大的差异，该工具才能保证成功。

5. “不可能”证书

本文还告诉我们攻击在何时无法奏效。

类比：想象试图用一根小棍子推动一块巨石。如果石头太重（目标行为太远）或者棍子太弱（数据集的“方向”太小），无论你推多少次，都无法移动它。
结果：作者提供了数学公式，充当“安全证书”。如果数据集满足某些条件（例如拥有多样化的数据点），他们可以 100% 确定地证明，即使攻击者翻转少量标签（例如 5 个或 10 个），也无法改变机器人的行为。

6. 实验：现实世界测试

作者在以下数据上测试了这些工具：

伪造数据：他们创建了随机的数学问题，以证明其理论在受控条件下完美运作。
真实数据（SHP）：他们使用了“斯坦福人类偏好”数据集（真实的人类选择集合）。
- 发现：当数学设置调整正确时，“格”工具（BAL-A）效果极佳。
- 发现：当他们选择一个示例彼此非常不同（低相干性）的数据子集时，“贪婪”工具（BMP-A）表现更好。这证实了数据的“形状”决定了投毒的难易程度。

总结

本文表明，离线 RLHF 系统容易受到训练标签翻转的攻击。然而，它也提供了数学工具来：

攻击：高效地找到劫持模型行为所需的最小翻转集。
防御：从数学上证明，当数据集“过于稳健”以至于无法被少量翻转劫持时。

核心信息是，数据的几何结构（不同示例如何相互关联）是决定小型定向攻击能否成功的关键因素。

技术摘要：离线 RLHF 的高效偏好投毒攻击

1. 问题表述

本文研究了针对离线人类反馈强化学习（RLHF）的标签翻转攻击，具体针对log-linear 策略类下的**直接偏好优化（DPO）**流程。

在离线 RLHF 中，策略是在预先收集的成对偏好标签数据集 $(s, a, a', o)$ 上进行训练的，其中 $o \in \{+1, -1\}$ 表示人类偏好。攻击者的目标是操纵这些标签的一个子集（将 $o_i$ 翻转为 $-o_i$ ），迫使学习到的策略 $\pi_{\hat{\theta}}$ 与目标策略 $\pi^\dagger$ （参数化为 $\theta^\dagger$ ）对齐，同时最小化翻转的标签数量。

核心挑战在于，与攻击者可以附加任意投毒数据的数据注入攻击不同，标签翻转攻击受限于现有数据集。此外，翻转单个标签对最终策略的影响难以预测。作者将此表述为一个组合优化问题：寻找一个二进制向量 $x \in \{0, 1\}^n$ （指示哪些标签需要翻转），在满足生成的策略接近目标策略的约束下，最小化 $L_0$ 范数（即翻转次数）。

2. 核心理论洞察

本文的基础性贡献是定理 3.1，该定理确立了 log-linear DPO 的一个关键结构性质：

与参数无关的梯度偏移：将单个偏好标签 $o_i$ 翻转为 $-o_i$ 会引发 DPO 梯度的变化 $\Delta g_i$ ，这是一个常向量，与当前策略参数 $\theta$ 无关。
具体而言， $\Delta g_i = o_i \beta \Delta \psi_i$ ，其中 $\Delta \psi_i$ 是优选动作与劣选动作之间的特征差异。

这一性质使作者能够将复杂的策略空间攻击问题转化为梯度空间中的结构化二进制稀疏近似问题。攻击者的目标变为选择一个梯度向量子集（矩阵 $V$ 的列），使得它们的和近似于目标策略处干净损失梯度的负值 $-g^\dagger$ 。

3. 方法论

为了解决由此产生的 NP-hard 二进制稀疏近似问题，作者提出了两种不同的攻击算法：

A. 二进制感知格点攻击（BAL-A）

专为通用最小翻转目标设计（寻找最稀疏解，无严格预算 $K$ 限制）。

方法：作者将二进制选择问题嵌入到格点结构中。他们构建了一个基，其中顶部块衡量残差误差（ $\|Vz + g^\dagger\|^2$ ），底部块惩罚非二进制系数（ $M^2 \|z\|^2$ ）。
算法：
1. 构建二进制感知格点基。
2. 应用 Lenstra-Lenstra-Lovász (LLL) 基约化以获得条件良好的基。
3. 使用 Babai 最近平面算法 寻找最近的格点向量。
4. 将整数解映射回原始坐标并截断为二进制。
理论保证：作者提供了关于惩罚参数 $M$ $M$ 的充分条件，以确保：
1. 整数系数被限制在 $\{0, 1\}$ 内（二进制）。
2. 在关于预算不足解的残差误差的“分离条件”下，该解能恢复出真实的最小翻转攻击模式。

B. 二进制匹配追踪攻击（BMP-A）

专为预算化 $K$ 翻转场景设计，即攻击者最多只能翻转 $K$ 个标签。

方法：这是一种源自**二进制匹配追踪（BMP）**的贪心算法。它迭代地选择翻转后引起的梯度偏移与当前残差具有最高归一化相关性的样本。
适应性：与标准稀疏恢复不同，该问题中的梯度列未归一化。BMP-A 通过使用归一化相关性（ $\frac{|\langle v_i, r \rangle|}{\|v_i\|_2}$ ）进行选择，同时使用原始未归一化向量更新残差来处理这一问题。
理论保证：
- 恢复：在字典 $V$ 满足互相干条件（针对非均匀列范数进行调整）的情况下，BMP-A 保证在 $K^\star$ 次迭代内恢复真实攻击向量的支撑集。
- 不可能性（鲁棒性）：作者推导了基于谱范数和相干性的充分条件，在这些条件下没有任何 $K$ 翻转攻击能够成功。如果所需的靶标梯度偏移超过了 $K$ 次翻转所能达到的最大可能偏移（给定 $V$ 的几何结构），则攻击是不可能的。

4. 实验结果

作者在合成数据集和真实世界数据集上验证了其理论：

合成字典：
- BAL-A：证明当格点惩罚 $M$ 低于理论预测的分离阈值时，支撑集恢复的真阳性率（TPR）很高。超过该阈值后，性能下降，证实了理论权衡。
- BMP-A：显示在基于相干性的理论界限内实现了完美的支撑集恢复。超出这些界限后，算法仍然有效，表明理论界限是保守的。
斯坦福人类偏好（SHP）数据集：
- 应用于在真实偏好数据上训练的 log-linear DPO 模型。
- BAL-A：成功在小子集上恢复了攻击模式，其性能与分离分析一致。
- BMP-A：证明通过（子集选择）降低梯度字典的相干性，可显著提高攻击成功率和残差减少效果。
- 下游影响：实验表明，即使支撑集恢复不完美，在受攻击数据集上训练出的策略仍接近目标策略，验证了梯度残差作为策略空间成功代理的充分性。

5. 意义与主张

本文声称是对离线 RLHF 标签翻转攻击（特别是针对 DPO 流程）的首个理论分析。其意义在于：

弥合差距：虽然数据注入攻击已得到理论分析，但标签翻转攻击此前主要通过经验观察来理解。这项工作为理解它们提供了严格的组合和几何框架。
几何洞察：它强调了此类攻击的成功受梯度字典几何结构（特别是相干性和列范数）的支配。这表明 RLHF 系统的鲁棒性内在取决于其偏好数据的结构。
鲁棒性证书：推导出的不可能性条件提供了一种方法，可以证明特定的离线 RLHF 设置对任何 $K$ 翻转攻击都是鲁棒的，无论攻击者使用何种具体算法。
实用算法：提出的 BAL-A 和 BMP-A 方法为评估 RLHF 系统对定向投毒的脆弱性提供了高效且理论依据充分的策略。

作者保持了谦逊的语气，指出其分析特定于 log-linear 策略类，且推导出的界限（例如针对 BMP-A 的界限）是充分条件而非必要条件。他们强调，理解这些漏洞对于设计针对大语言模型（LLM）的鲁棒对齐算法至关重要。