💬 NLP

SECA: Semantically Equivalent and Coherent Attacks for Eliciting LLM Hallucinations

本文提出了 SECA 方法，通过构建语义等价且连贯的提示词修改策略，在无需访问模型梯度的情况下有效诱导大语言模型产生幻觉，从而揭示了现有模型在面对现实世界合理提示变化时的脆弱性。

原作者： Buyun Liang, Liangzu Peng, Jinqi Luo, Darshan Thaker, Kwan Ho Ryan Chan, René Vidal

发布于 2026-02-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Buyun Liang, Liangzu Peng, Jinqi Luo, Darshan Thaker, Kwan Ho Ryan Chan, René Vidal

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 SECA 的新方法，它的目的是“测试”大型语言模型（LLM）的可靠性，看看它们会不会在看似正常的问题下“胡言乱语”（产生幻觉）。

为了让你更容易理解，我们可以把大型语言模型想象成一个博学但有点“死脑筋”的超级管家。

1. 核心问题：管家为什么会“胡言乱语”？

想象一下，你问管家：“把 24 分成两半，每半是多少？”（24 = 2p，求 p）。
管家会自信地回答："12，因为 24 除以 2 等于 12。”这是对的。

但是，如果你换一种说法，问：“如果 p 的两倍是 24，那 p 是多少？”
这个超级管家可能会突然“短路”，自信地回答："8，因为 24 除以 2 等于 8。”（它算错了，但语气非常肯定）。

这种明明问题意思没变，只是换了一种说法，模型却给出了错误答案的现象，就是“幻觉”。这很危险，因为如果我们在医疗或法律领域信任了这种幻觉，后果不堪设想。

2. 以前的“测试”有什么毛病？

以前的研究人员想测试管家会不会胡言乱语，他们用的方法有点像故意捣乱：

乱码攻击：在问题里加一堆乱码，比如"24 = 2p 现在@#!%"。这就像对着管家大喊乱码，管家懵了乱说一气。但这不算真正的测试，因为现实中没人会这么问。
改题意攻击：直接问一个完全不同的问题，比如把"24"改成"30"。这就像你问管家“苹果怎么吃”，他却开始讲“香蕉怎么剥皮”。这也不是测试管家对原问题的理解力，而是测试他是否听话。

这些方法就像用大锤砸墙，虽然能砸出洞，但看不出墙本身的结构哪里脆弱。

3. SECA 是什么？（“温柔的伪装者”）

SECA 的方法非常聪明，它不像大锤，而像一位高明的“变装大师”。

它的核心思想是：在保持原意完全不变的前提下，把问题“整容”成另一种样子，看看管家会不会被迷惑。

语义等价（Semantic Equivalent）：就像把“把 24 分成两半”改写成“如果 p 的两倍是 24"。意思完全一样，但用词不同。
语义连贯（Coherent）：改写的句子必须通顺、自然，像人话，不能是乱码。

SECA 的工作流程就像一场“捉迷藏”游戏：

提出者（Proposer）：这是一个 AI 助手，它的任务是不断给管家出“新题”。它会想：“能不能把这个问题换个更啰嗦、更复杂的说法，但意思还是一样的？”
- 比如：把“求 p"变成“寻找那个数字，它的两倍能凑成 24"。
检查员（Checker）：这是另一个 AI 警察。它的任务是严格审查：“这个新问题真的和原题意思一样吗？有没有偷偷改条件？”如果不一样，直接扔掉。
目标：SECA 会不断尝试，直到找到一个既意思完全一样，又能成功让管家算错的“完美伪装问题”。

4. 为什么这个方法很厉害？

论文发现，一旦 SECA 找到了这种“伪装问题”，很多原本很聪明的模型（包括 GPT-4 等）都会中招。

越啰嗦越容易错：研究发现，那些把问题描述得更啰嗦、用词更多样化的“伪装问题”，最容易让管家晕头转向。
零误差：SECA 生成的问题，在人类看来和原题是一模一样的（意思没变，逻辑通顺），但模型却会犯错。这证明了模型的“脆弱性”不仅仅在于听不懂乱码，而在于对自然语言细微变化的过度敏感。

5. 总结：这对我们意味着什么？

这就好比我们发现，虽然这个管家能回答几千个问题，但只要有人用一种非常自然、非常像人话的方式稍微绕个弯，他可能就会给出一个致命的错误答案。

SECA 的价值在于：
它不是为了让坏人去骗 AI，而是像安全测试员一样，帮我们要找出这些“隐形漏洞”。只有知道了管家在什么情况下会“胡言乱语”，我们才能在把它用到医院、法庭或学校之前，把它训练得更聪明、更可靠。

一句话总结：
SECA 是一种**“温柔的攻击”，它用最自然、最像人话**的方式改写问题，专门用来测试 AI 会不会在“换种说法”时突然变傻，从而帮助我们发现并修补 AI 的弱点。

这是一篇关于大语言模型（LLM）幻觉（Hallucination）对抗攻击的学术论文，标题为 《SECA: 语义等价且连贯的攻击以诱发 LLM 幻觉》 (Semantically Equivalent and Coherent Attacks for Eliciting LLM Hallucinations)。

以下是该论文的详细技术总结：

1. 研究背景与问题定义 (Problem)

背景：LLM 已广泛应用于医疗、金融、教育等高风险领域。然而，LLM 容易产生“幻觉”（即生成看似合理但事实错误或违背输入意图的内容），这严重威胁了系统的可靠性。
现有方法的局限性：
- 现有的诱发幻觉的对抗攻击方法（如基于 Token 级优化的 GCG、基于 Agent 的方法等）通常存在两个主要缺陷：
  1. 语义不连贯：生成的提示词包含无意义的乱码（Gibberish）或语法错误。
  2. 语义不等价：攻击提示词改变了原始问题的核心意图（Meaning Shift），导致模型回答的是另一个问题，而非原问题的幻觉。
- 这些方法无法真实反映 LLM 在现实世界场景中的脆弱性，因为现实中的用户提问通常是语义连贯且等价于原始意图的。
核心挑战：如何在保持语义等价（Semantic Equivalence，即改变措辞但含义和答案不变）和语义连贯（Semantic Coherence，即语言自然流畅）的严格约束下，寻找能够诱发 LLM 产生事实性或忠实性幻觉的对抗性提示词？

2. 方法论：SECA (Methodology)

作者提出了 SECA (Semantically Equivalent and Coherent Attacks)，将寻找现实可行的对抗提示词的问题形式化为一个带约束的优化问题。

2.1 问题形式化

目标是在满足以下约束的前提下，最大化生成特定错误目标 Token（ $y^*$ ）的对数概率：
$\max_{x} \log P_T(y^* | x)$
约束条件：

语义等价约束： $SEF(x, x_0) = 1$ 。新生成的提示词 $x$ 必须与原始提示词 $x_0$ 语义等价（相互蕴含、不增加/减少关键信息、答案一致）。
语义连贯约束： $x \in X_P$ 。生成的提示词必须由人类可读、语义连贯的语言组成。

2.2 算法流程 (零阶优化方法)

由于提示词空间是离散的且无法直接获取梯度（针对黑盒模型），SECA 提出了一种保持约束的零阶优化方法，利用 LLM 作为工具来搜索解空间：

语义等价提议器 (Proposer LLM, $P$ )：
- 接收当前提示词 $x_k$ 和随机生成的指令（如“用更复杂的句式重写”、“改变动词”等）。
- 生成 $M$ 个候选提示词，这些提示词被设计为在语义上等价于 $x_k$ 。
- 通过随机化指令（动词、风格、任务描述）来避免语义坍缩（即生成的提示词过于相似）。
可行性检查器 (Feasibility Checker LLM, $F$ )：
- 由于提议器 $P$ 也可能产生幻觉或不等价的输出，引入一个更强大的检查器 $F$ 。
- $F$ 根据五个严格标准（相互蕴含、无额外信息、无缺失信息、含义保留、答案一致）判断候选提示词是否真正满足语义等价约束。
- 只有通过检查的提示词才会被保留。
迭代搜索：
- 计算候选提示词生成目标错误 Token 的对数概率（作为对抗强度的代理指标）。
- 保留对抗性最强的 $N$ 个提示词进入下一轮迭代。
- 重复此过程直到达到最大迭代次数或概率阈值。

3. 主要贡献 (Key Contributions)

问题定义：首次将诱发 LLM 幻觉的对抗攻击形式化为在语义等价和语义连贯双重约束下的优化问题，填补了现实可行攻击研究的空白。
算法创新：提出了 SECA 算法，一种无需梯度的零阶优化方法。它巧妙地利用 LLM 自身的能力（提议器 + 检查器）来在巨大的离散提示词空间中高效搜索，同时严格保证约束条件。
实证发现：
- 在 MMLU 数据集的 16 个学科和多个开源/闭源 LLM（如 Llama-3, Qwen-2.5, GPT-4o-Mini 等）上进行了广泛实验。
- 揭示了更冗长（Verbose）和词汇多样性（Lexical Diversity）更高的提示词更容易诱发幻觉，尽管它们在语义上与原问题等价。
- 证明了即使是经过严格对齐的模型，在面对语义等价但措辞复杂的现实变体时，也极易产生事实性幻觉。

4. 实验结果 (Results)

攻击成功率 (ASR)：
- SECA 的攻击成功率显著高于原始提示词（Raw）和现有的 SOTA 方法（如 GCG）。
- 例如，在 Llama-3-8B 上，SECA 的 ASR@30 达到 81.24%，而 GCG 仅为 9.86%，原始提示词为 63.52%。
- 对于 GPT-4o-Mini 等强模型，SECA 也能将攻击成功率提升 20% 以上。
约束满足度：
- 语义等价错误 (SEE)：SECA 的 SEE 为 0.00，意味着所有生成的攻击提示词都完美保持了语义等价。相比之下，GCG 的 SEE 高达 0.97（几乎完全不等价）。
- 语义连贯错误 (SCE)：SECA 的 SCE 极低（接近 0），生成的提示词流畅自然；而 GCG 生成的提示词通常包含乱码，SCE 极高（>1000）。
幻觉类型分析：
- SECA 诱发的幻觉主要集中在事实性幻觉 (Factuality)（如编造数据、计算错误）和忠实性幻觉 (Faithfulness)（曲解输入意图）。
- 实验表明，通过引入一个错误的目标 Token（如错误的选项 B），可以高效地引导模型生成包含错误推理的解释。
评估可靠性：
- 研究验证了使用 LLM 作为可行性检查器和幻觉评估器的有效性，其与人类标注者的一致性（Cohen's $\kappa$ ）较高，证明了自动化评估的可靠性。

5. 意义与影响 (Significance)

安全评估的新标准：SECA 指出，现有的基于乱码或改变意图的攻击方法无法真实评估 LLM 的鲁棒性。未来的安全评估必须考虑语义等价且连贯的变体，这才是现实世界中最具威胁的攻击面。
揭示模型脆弱性：研究表明，LLM 对自然语言的细微变化（如更复杂的句式、更多的词汇多样性）非常敏感，这种敏感性可能导致模型在保持语义不变的情况下发生“逻辑崩塌”。
防御启示：为了构建更可靠的 LLM，不能仅依赖对齐训练，还需要针对语义等价空间进行鲁棒性训练，并开发能够识别此类“伪装”提示词的防御机制。
开源贡献：作者开源了代码框架，为社区研究 LLM 鲁棒性提供了重要工具。

总结：SECA 论文通过严谨的优化框架和创新的 LLM 辅助搜索策略，成功证明了在不改变问题含义的前提下，仅通过自然语言的多样化重述，就能高效地诱发大语言模型产生严重的幻觉。这一发现对理解 LLM 的内在缺陷和提升其在高风险领域的安全性具有深远意义。