💬 NLP

REALISTA: Realistic Latent Adversarial Attacks that Elicit LLM Hallucinations

本文介绍了 REALISTA，这是一种新颖的对抗性攻击框架，它通过在潜在空间中优化语义等效编辑方向的连续组合来生成能够诱发真实幻觉的提示，从而克服了现有离散和连续方法的局限性，有效针对开源模型和大型推理模型。

原作者： Buyun Liang, Jinqi Luo, Liangzu Peng, Kwan Ho Ryan Chan, Darshan Thaker, Kaleab A. Kinfu, Fengrui Tian, Hamed Hassani, René Vidal

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Buyun Liang, Jinqi Luo, Liangzu Peng, Kwan Ho Ryan Chan, Darshan Thaker, Kaleab A. Kinfu, Fengrui Tian, Hamed Hassani, René Vidal

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创意类比对论文 REALISTA 的解释。

大局观：AI 困惑的“魔术戏法”

想象你有一只非常聪明、受过良好训练的鹦鹉（即大型语言模型，LLM）。你问它一个简单的问题：“二加二等于几？”它自信地回答：“四。”

现在，想象你问完全相同的问题，但稍微换了一种说法：“如果你把两个苹果和另外两个苹果合在一起，你总共有多少个？”正常人类仍然会回答“四个”。但这只聪明的鹦鹉突然变得困惑，回答：“五个。”

这被称为幻觉。这篇论文问道：为什么鹦鹉仅仅因为我们改变了措辞（尽管含义完全相同）就感到困惑？

为了找出原因，研究人员需要戏弄这只鹦鹉。但他们不能只是大喊胡言乱语或编造假故事，因为那样会改变游戏规则。他们需要找到一种“魔法咒语”（对抗性提示），听起来完全自然，含义与原始问题完全一致，但不知何故却能让鹦鹉的大脑“崩溃”。

问题：戏弄鹦鹉的两种糟糕方式

在这篇论文之前，研究人员主要尝试过两种戏弄 AI 的方法，但两者都有缺陷：

“离散”方法（词典交换）：
想象尝试通过从同义词词典中交换单词来重写问题。你把“合在一起”改成“合并”，把“苹果”改成“橘子”。
- 优点： 听起来像人话，且保持原意。
- 缺点： 这就像试图只用 10 种特定的颜色来绘制一幅杰作。你受限于词典中拥有的单词。你可能会错过那个能击垮 AI 的完美单词组合。
“连续”方法（数字淤泥）：
想象尝试通过微调 AI 内部“思想”（其潜在空间）中微小、不可见的数字调整来修改问题。
- 优点： 你可以无限自由地微调思想。
- 缺点： 当你把这些被微调的思想转换回文字时，它们通常会变成胡言乱语或乱码（例如"S!mpl&fy (2 + 5)2 −4@2"）。AI 能理解这些乱码，但这并非现实的测试，因为真实人类不会那样说话。

解决方案：REALISTA（“乐高”方法）

作者创造了一种名为 REALISTA 的新方法。把它想象成在 AI 的大脑里用乐高积木搭建。

乐高积木（编辑方向）：
REALISTA 不是猜测随机单词或随机数字噪声，而是首先构建一套特殊的“乐高积木”。每一块积木代表一种特定的、有效的重述句子的方式，且不改变其含义。
- 示例： 一块积木可能是“让它听起来更正式”。另一块可能是“把它作为问题提出，而不是陈述”。还有一块可能是“增加一点戏剧性”。
- 关键在于，这些积木是依赖输入的。如果你问的是数学问题，积木就是数学重述工具；如果你问的是历史问题，它们就是历史重述工具。
混合积木（连续优化）：
现在，REALISTA 不是只挑选一块积木，而是利用数学计算出这些积木的完美混合比例。它会问：“如果我使用 10% 的‘正式’积木、5% 的‘戏剧性’积木和 2% 的‘问题’积木，AI 会感到困惑吗？”
- 这允许进行平滑、无限的搜索（就像混合颜料颜色），而不是有限、生硬的搜索（就像从菜单中挑选）。
安全网（单纯形约束）：
为了确保结果不会变成胡言乱语，REALISTA 给这个混合体加上了“安全 leash"。它确保总的变化量很小，并且积木只是被添加（而不会以破坏逻辑的方式被减去）。这保证了最终的句子听起来仍然像人类写的，并且含义与原始问题完全相同。

实际运作方式

开始： 你给系统一个正常的问题（例如，“法国的首都是哪里？”）。
翻译： 系统将这个问题翻译成 AI 内部的“思想语言”（潜在空间）。
构建： 它查看针对该特定问题的定制乐高套装（编辑词典）。
优化： 它在数学上混合乐高积木，以找到能让 AI 回答“法国的首都是伦敦”（一种幻觉）的组合，同时保持问题听起来自然。
解码： 它将混合后的“思想”翻译回英语。
结果： 你得到了一个问题，例如：“能否请您直截了当地告诉我，哪个城市是法国政府的主要所在地？”
- 它听起来很自然。
- 它的意思是一样的。
- 但不知何故，AI 认为答案是“伦敦”。

为什么这很重要（根据论文）

论文表明，REALISTA 在以下两个方面优于以前的方法：

成功率： 它比旧的“词典交换”方法更能戏弄 AI。
真实性： 它不会产生像旧“数字淤泥”方法那样的胡言乱语。

最重要的是，论文声称该方法甚至对先进的“推理”模型（最聪明、最复杂的 AI）也有效，而这些模型通常会忽略简单的戏法。它能找到特定的、微妙的重述方式，导致即使是最聪明的 AI 也会产生幻觉，证明这些模型在面对现实、类人的问题变体时仍然脆弱。

简而言之： REALISTA 是一种工具，它通过以数学精确的方式混合“重述成分”，找到完美的、听起来自然的措辞来重述问题，从而混淆 AI，确保结果既有效又真实。

技术摘要：REALISTA

问题陈述

大型语言模型（LLM）即使在响应良性用户查询时也会产生幻觉。理解触发这些故障的机制需要满足两个关键约束的现实对抗性攻击：

语义等价性：对抗性提示必须保留原始良性提示的语义意图。
语义连贯性：对抗性提示必须流畅且类人。

现有方法无法同时满足这些约束。基于离散提示的攻击（例如 SECA）保留了语义真实性，但局限于稀疏的离散搜索空间，限制了攻击的多样性。连续潜在空间攻击探索了更丰富的空间，但往往解码为无意义或与原始语义截然不同的提示，违反了等价性约束。核心挑战在于如何在潜在空间中实现广泛探索，同时严格强制执行语义真实性。

方法论：REALISTA

作者提出了REALISTA（现实潜在对抗攻击），这是一个将幻觉诱发建模为 LLM 潜在空间中约束优化问题的框架。该方法通过以下组件弥合了离散方法与连续方法之间的差距：

1. 输入依赖的编辑字典

REALISTA 不是优化任意的潜在向量，而是为每个输入提示 $x_0$ 构建一个可解释的编辑方向字典。

概念选择：利用概念优化程序（结合 WordNet 和基于 LLM 的评估器），该方法选择一组与输入相关的多样化概念关键词。
潜在方向：对于每个选定的概念，生成一个语义等价的改写 $x^{(i)}_{SE}$ 。编码器 $\phi$ 将这些映射到潜在表示，编辑方向定义为 $z^{(i)} = \phi(x^{(i)}_{SE}) - \phi(x_0)$ 。
字典：这些方向的集合构成了字典 $D$ ，它张成了一个保持语义的变换子空间。

2. 单纯形上的连续优化

攻击被表述为寻找最优编辑强度向量 $\delta$ ，使得对抗性潜在表示 $z$ 为：
$z = z_0 + D\delta$
其中 $z_0 = \phi(x_0)$ 。优化问题为：
$\min_{\delta} \mathcal{L}_{hall}(f_T(x), y^*) \quad \text{s.t.} \quad \delta \in \Delta_\varepsilon$

目标：最小化幻觉损失（例如，错误答案的负对数概率或来自评估器的幻觉分数）。
约束： $\delta$ 被约束在缩放单纯形上（ $\delta \succeq 0, \|\delta\|_1 \le \varepsilon$ ）。这强制了稀疏性和非负性，确保扰动是保持语义的编辑的温和凸组合，而非大幅度的任意偏移。

3. 解码器与语义安全机制

提示重建：一个近似逆算子（解码器） $\psi$ （使用与编码器相同的 LLM 实现）将扰动后的潜在变量 $z$ 映射回提示空间 $x = \psi(z)$ 。
优化算法：作者采用**投影朗之万动力学（PLD）**来解决非凸优化问题。这涉及：
- Gumbel-Softmax 重参数化：以在离散解码过程中实现梯度流动。
- 随机探索：注入高斯噪声以逃离分段平坦优化景观中的局部极小值。
- 语义等价性安全机制：在优化过程中，如果候选提示 $x$ 未能通过语义等价性检查（由指令化 LLM 执行），则丢弃梯度信号，防止优化器漂移到非等价区域。

主要贡献

输入依赖的编辑字典：一种构建紧凑、多样化且有效的潜在编辑方向集合的方法，这些方向以原始提示为条件，能够在保持语义的同时实现连续修改。
单纯形约束优化：将现实幻觉诱发表述为缩放单纯形上的连续优化问题，在探索灵活性与语义约束之间取得平衡。
现实攻击框架：将编辑字典、单纯形约束和语义安全机制整合到 REALISTA 算法中，成功驾驭了攻击有效性与语义真实性之间的权衡。

实验结果

该论文在 16 个 MMLU 学科上评估了 REALISTA 在开源 LLM（Llama-3、Qwen-2.5）和商业推理模型（GPT-5 变体）上的表现。

攻击成功率（ASR）：与最先进的（SOTA）现实攻击（如 SECA）相比，REALISTA 实现了更优或相当的 ASR。例如，在 Llama-3-8B 上，REALISTA 的 ASR@30 达到93.60%，优于 SECA（82.97%）和 LARGO（57.92%）。
语义错误：关键在于，REALISTA 保持了低语义等价错误（SEE）和语义连贯错误（SCE），与 SECA 相当，且显著优于 LARGO 和 ICD 等连续基线，后者通常表现出接近 100% 的 SEE。
推理模型：REALISTA 成功在自由形式响应设置中诱发了商业推理模型（GPT-5-Nano、GPT-5-Mini）的幻觉，而先前的现实攻击（SECA、LARGO）由于依赖固定输出格式或访问目标模型 logits 而在此类场景中失败。
概念分析：对激活概念的分析表明，成功的攻击主要利用结构和框架变化（例如极性翻转、逻辑重构、指令框架），而不是改变事实内容。

意义与主张

该论文声称，REALISTA 证明了即使在黑盒、以推理为中心的部署场景中，现实幻觉攻击也是可行的。通过弥合离散和连续攻击范式之间的差距，该框架为红队测试 LLM 提供了更系统的工具。

作者强调，他们的工作有助于刻画那些词汇不同但语义等价的提示导致幻觉的故障模式。他们指出，虽然该方法提高了幻觉诱发的有效性（可能降低滥用的门槛），但其主要效用在于通过揭示模型在现实扰动下的故障方式，从而开发更鲁棒的防御策略。这项工作突显了潜在空间攻击对于评估 LLM 在离散搜索不足的现实环境中的可靠性的重要性。