🤖 machine learning

Position: Adversarial ML for LLMs Is Not Making Any Progress

这篇立场论文认为，在大型语言模型时代，对抗性机器学习研究出现了倒退，因为该领域目前正在应对日益模糊、困难且难以评估的问题，这引发了人们的担忧，即再过十年的研究工作可能也不会取得任何实质性的进展。

原作者： Javier Rando, Jie Zhang, Nicholas Carlini, Florian Tramèr

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Javier Rando, Jie Zhang, Nicholas Carlini, Florian Tramèr

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，人工智能安全领域就像一场“锁匠与窃贼”的游戏。

在过去的十年里，锁匠们（安全研究人员）和窃贼们（对手）一直在玩一场非常特定且定义明确的游戏。他们过去测试的是安装在小型、坚固盒子上的简单锁具。规则很清晰：

目标： 窃贼试图在不破坏锁的情况下打开盒子。
规则： 窃贼只能对锁进行极其微小的、特定的晃动（比如只将钥匙晃动一毫米）。
得分： 如果盒子开了，窃贼获胜；如果盒子保持关闭，锁匠获胜。

这个游戏很难，但大家完全知道如何衡量谁赢了。

论文的核心主张
现在，游戏已经变了。我们不再是针对小盒子，而是在尝试保护庞大、开放式的“智能助手”（大语言模型或 LLM），它们可以谈论任何话题，也能做任何事情。论文作者认为，这场游戏已经失灵了。 他们声称，在这个新时代，该领域正在原地踏步，并没有取得真正的进展，因为游戏的规则现在已经变得一团糟。

以下是通过简单的类比进行的解释：

1. 游戏规则消失了（定义问题）

在旧游戏中，“获胜”很容易识别：盒子开了吗？
在新游戏中，“盒子”是一个聊天机器人。目标不仅仅是打开它，而是让聊天机器人说出一些“坏话”。

类比： 想象要求一名窃贼去“偷点坏东西”。什么是“坏”？是偷一块糖果？一辆汽车？还是一个秘密配方？
问题： 因为“坏”是主观的，研究人员无法就什么才算成功的攻击达成共识。一位研究人员可能会说：“他让机器人说了一个脏话，所以他赢了！”另一位可能会说：“但那个脏话并无害，所以他输了。”由于缺乏一个清晰的计分板，你无法判断锁匠是否真的在提升他们的工作水平。

2. 窃贼拥有无限的工具（解决问题）

在旧游戏中，窃贼被允许只对锁进行微小的晃动。这保持了游戏的公平性和可衡量性。
在新游戏中，窃贼可以做任何事。

类比： 窃贼现在可以乔装打扮、贿赂守卫、用激光破解锁具，或者仅仅是说服守卫开门。
问题： 因为窃贼拥有无限的攻击方式，研究人员无法编写计算机程序来寻找“最坏情况”下的攻击。事实上，论文指出，目前人类破解这些模型的能力比计算机更强。 最好的“窃贼”现在是利用创造力和社会工程学的人，而不是数学。这使得构建一个“完美的锁”变得不可能，因为你无法针对每一种可能的各种人类诡计进行测试。

3. 计分板失效了（评估结果）

在旧游戏中，你可以精确计算有多少个盒子被打开了。
在新游戏中，我们使用其他的 AI 机器人来判断聊天机器人是否说了“坏话”。

类比： 想象要求一个机器人来判断一幅画是否“丑陋”。机器人可能会直接说：“如果这不是一张猫的照片，那就是丑陋的。”或者，机器人可能会被窃贼误导，说：“不，这其实很美。”
问题： 我们用来衡量成功的工具是有缺陷的。它们容易被欺骗，缺乏对人类细微差别的理解，并且经常产生误报。此外，“锁”（AI 模型）通常由大公司拥有，它们会秘密地更新模型。如果一家公司在一夜之间更换了锁，研究人员就无法将上个月的结果与本月的结果进行比较。这就像是在尝试对比两张房屋的照片，但房屋在两次拍摄之间不断改变其颜色和形状。

案例研究（证据）

论文观察了发生这种“游戏失灵”现象的六个特定领域：

越狱（Jailbreaks）： 试图诱骗机器人说“不”。当机器人滔滔不绝时，很难定义什么是“不”。
不可微调的模型（Un-finetunable Models）： 试图让机器人变得足够聪明，以至于无法被教导新的、危险的技巧。但如果窃贼可以重新训练机器人，游戏规则就完全改变了。
投毒（Poisoning）： 试图将坏数据偷偷塞进机器人的训练中。但训练数据如此庞大且杂乱（就像一个拥有数百万本书的图书馆），以至于你无法分辨是哪本书导致了问题。
提示词注入（Prompt Injections）： 诱骗机器人忽略其规则。由于机器人可以一直说话，窃贼可以在长对话中潜入错误的指令，使得识别变得困难。
隐私（Privacy）： 试图查看机器人是否“背诵”了某个特定人的数据。但由于机器人是从整个互联网学习的，因此很难判断它是学习了那一个特定的人的信息，还是仅仅学习了来自其他地方的类似信息。
遗忘（Unlearning）： 试图让机器人“忘记”某个特定话题（例如如何制造炸弹）。但你不能直接从大脑中删除一个事实；你可能会在无意中删除了机器人处理生物学知识的能力。

结论

作者并不是说我们应该停止尝试保护 AI。他们是说，我们正试图用缺失的碎片和没有图案说明的包装盒来解开一个谜题。

他们认为，在接下来的十年里，我们可能会继续发表看起来像是取得了进展的论文，但由于规则模糊且测试不可靠，我们实际上并没有变得更安全。

他们的建议：
与其试图保护整个混乱、开放、无边无际的 AI，研究人员应该选择微小的、特定的、定义明确的“玩具”问题（就像以前那种“只能晃动锁一毫米”的游戏）。如果我们甚至无法以严谨的方式解决这些微小的、清晰的问题，那么我们也没有希望去解决那些庞大的、混乱的现实世界问题。

简而言之： 我们正在试图建立一座堡垒，去对抗一个可以改变形状、可以从任何角度发起攻击、并且能自我判定胜利的敌人，而我们手里拿的尺子还在不断缩短。在修复规则和尺子之前，我们并没有真正取得进展。

技术总结：对抗性机器学习在 LLM 领域未取得任何进展

问题陈述

本文认为，由于研究重心从简单的、定义明确的分类模型转向了大语言模型（LLMs），对抗性机器学习（Adversarial ML）领域在取得可衡量的进展方面已经出现了倒退。早期的对抗性机器学习侧重于具有清晰目标（例如，在有界像素扰动下实现误分类）的“玩具”问题；而当前的 LLM 时代呈现出的问题在本质上定义更模糊、更难解决且更难评估。

作者主张，向通用生成式模型的转变，削弱了以往能够支持攻击与防御对比的数学和实验严谨性。因此，该领域面临着在未来十年内继续产生无法带来实质性、可复现的科学进展或稳健安全保证的研究成果的风险。

方法论

本文是一篇立场论文，而非带有新实验结果的实证研究。作者通过以下方式对当前领域的现状进行批判性分析，以此作为其方法论：

概念分析： 解构对抗性问题从分类模型到生成式模型的演变，识别问题定义、解空间和评估指标中发生的具体结构性变化。
案例研究： 系统地检查六个特定的研究领域，以说明向 LLM 的转变如何加剧了上述困难：
- 越狱（Jailbreaks）
- 不可微调模型（Un-finetunable Models）
- 投毒与后门（Poisoning and Backdoors）
- 提示词注入（Prompt Injections）
- 成员推理（Membership Inference）
- 机器遗忘（Machine Unlearning）
反论点综合： 应对那些认为该领域正在取得进展，或认为增加复杂性是解决现实世界问题之必要步骤的替代观点。

核心贡献与发现

1. 问题变得更难定义

作者识别了定义变得模糊的三个核心维度：

定义成功： 不同于分类任务（其中成功是指误分类率），LLM 的安全性涉及主观的、定性的目标（例如，“无害性”、“帮助性”）。成功指标通常依赖于“LLM 作为评判者”（LLM-as-a-judge）的系统，这引入了循环论证、偏见以及对所衡量攻击本身的脆弱性。
限定攻击空间： 传统的鲁棒性依赖于有界的输入空间（例如 $\ell_p$ 范数）。对于 LLM，攻击空间实际上是无界的（任何文本输入），且威胁模型已扩展到包括模型修改（微调、剪枝）而不仅仅是输入扰动。目前对于什么构成“有效”或“新颖”的对抗性提示词尚未达成共识。
划定数据边界： 独立的训练集与留出测试集之间的概念已经消解。LLM 在庞大且重叠的网络语料库上进行训练，训练数据与测试数据之间、以及单个数据点之间的边界变得模糊。这使得诸如特定数据点的“成员身份”或“遗忘”等概念变得难以定义。

2. 问题变得更难解决

无效的优化： 驱动图像分类进步的基于梯度的优化，由于离散的文本输入以及缺乏关于安全性的正式损失函数，在 LLM 上基本失效。
依赖人工努力： 由于自动化优化难以奏效，目前针对 LLM 最强的攻击通常是人工驱动的（例如，社会工程学、人格模拟），而非算法驱动。这阻碍了对最坏情况场景的系统性发现。
缺乏原则性的防御： 由于缺乏正式的目标或有界的攻击空间，防御措施大多是权宜之计（例如，输出过滤、虚拟对抗训练）。这些防御无法进行正式分析或认证，导致评估往往高估了鲁棒性。

3. 问题变得更难评估

复现性危机： 许多最先进的 LLM 是闭源的、静默更新的，并通过 API 部署。这种缺乏透明度的现状使得复现结果、公平比较不同方法或追踪随时间变化的进展变得不可能。
效用评估： 防止有害输出的防御措施往往会降低模型的通用效用（例如，拒绝所有请求）。衡量安全性与效用之间的权衡是主观且依赖上下文的，缺乏传统机器学习中所使用的标准化指标（如准确率）。

4. 案例研究洞察

论文详细阐述了这些挑战如何在特定领域体现：

越狱： 成功的定义取决于“有害”内容，而这缺乏正式定义。优化困难，导致依赖于手动提示词工程。
不可微调模型： 威胁模型现在包含了可以修改模型权重的攻击者，将搜索空间从输入梯度扩展到了参数梯度（规模大了几个数量级）。
投毒/后门： LLM 的多阶段训练（预训练 + 微调）以及数据的规模，使得从头开始重新训练模型以建立用于评估的干净基准在计算上是不可行的。
提示词注入： 评估这些内容需要具备工具使用能力的现实智能体环境，这类环境模拟成本高昂，且往往依赖 LLM 评判者，从而重新引入了评估偏差。
成员推理与遗忘： 由于缺乏清晰的数据边界，且无法创建反事实模型（即不包含特定点进行重训），因此无法严格证明数据已被“遗忘”或某个样本属于训练集。

结果与主张

本文并未呈现新的实验数据，而是综合现有文献以支持以下主张：

停滞： 该领域未能产生有意义的进展，因为这些问题不再是具有严谨框架的“玩具”问题。
评估失败： 当前的评估方法（LLM 评判者、权宜之计的基准测试）不足以可靠地追踪进展或比较防御效果。
“现实世界”谬误： 虽然有人认为研究无界的现实世界问题是必要的，但作者认为，如果没有能够锚定科学探究的正式子问题，该领域就无法区分真正的安全改进与不透明评估产生的伪影。
隐蔽化风险： 趋向于复杂、不透明的防御系统（通过隐蔽实现安全）可能会提供短期安全性，但会阻碍实现长期鲁棒性所需的科学理解。

重要性

该论文为对抗性机器学习界提供了一个警示性的立场。其重要性在于：

重构叙事： 它挑战了那种认为新模型本质上更安全的普遍乐观情绪，指出无法严格评估防御措施掩盖了潜在的停滞。
呼吁严谨性： 它倡导回归定义明确、正式的子问题（类似于 $\ell_p$ 有界扰动），并将其视为科学进步的前提。作者认为，如果不具备解决经过精心界定的正式问题的能力，就无法解决更广泛的 LLM 安全挑战。
方法论指导： 它建议论文应明确说明其目标是现实世界的安全性（在此处模糊定义对于即时减少伤害是可以接受的），还是科学进步（这需要正式、严谨的框架）。

作者总结道，除非社区能够重新建立严谨的定义、优化方法和可复现的基准测试，否则该领域将面临在未来十年内仍无法在保障 LLM 安全方面取得实质性进展的风险。