💬 NLP

LBA: Textual Hard-Label Adversarial Attack under Low Query Budgets

该论文提出了 LBA，一种基于采样的算法，通过迭代整合先验与后验知识来构建高质量对抗样本的近似分布，从而在低查询预算下，在生成语义保持的硬标签对抗文本方面显著优于现有的贪婪方法。

原作者： Shixin Guo, Ming Zhong, Xuhong Zhang, Dandan Zhao, Zhe Wang, Bo Zhang, Shouling Ji, Hao Peng

发布于 2026-07-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Shixin Guo, Ming Zhong, Xuhong Zhang, Dandan Zhao, Zhe Wang, Bo Zhang, Shouling Ji, Hao Peng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在玩一场“传声筒”游戏，对手是一个读过几乎所有书籍的超级聪明机器人。你向它低声说出一个句子，它会准确地告诉你这个句子的含义——无论是一篇开心的电影评论还是一则悲伤的新闻报道。这个机器人是一种被称为“深度神经网络”的人工智能，它非常擅长理解语言。但就像任何聪明的生物一样，它也有一个秘密弱点：它会被欺骗。如果你只改变句子中的几个词，机器人可能会突然认为一部开心的电影是一部悲剧。这被称为“对抗性攻击”（adversarial attack）。

棘手之处在于，在现实世界中，你不能直接问机器人：“你的确定度有多高？”你只能问：“你认为这是什么？”然后得到一个简单的“是”或“否”的回答。这被称为“硬标签”（hard-label）场景。为了在不问太多问题（否则可能会被发现或耗费太多成本）的情况下欺骗机器人，你必须非常聪明。大多数人尝试一次只修改一个词来调整句子，就像园丁修剪灌木枝条一样。但这种方法往往无法找到骗过机器人所需的完美组合，从而浪费大量的时间（或提问次数）。

这篇论文介绍了一种名为 LBA（低查询预算硬标签攻击，Low-query Budget hard-label Attack）的新方法，它通过彻底改变游戏规则解决了这个问题。与其修剪灌木的一根枝条，作者将这个问题视为一场使用魔法地图进行的寻宝游戏。

旧方法：盲目的园丁

想象一下，你试图寻找完美的食材组合来制作出一种特定口味的蛋糕，但你只能在烘焙完成后品尝一次结果。旧的方法就像一个盲目的园丁，摘下一朵花，剪掉它，然后观察花园看起来是否变得更好。如果变好了，他们就保留这次修剪；如果没变好，他们就把花放回去，尝试下一朵。他们从不一次性观察整个花园。这种“贪婪”的方法经常陷入局部的小片花丛中，错过了那种需要同时改变多朵花才能实现的完美排列。这浪费了大量的时间（或“查询次数”）去寻找正确的位置。

新方法：魔法地图 (LBA)

作者意识到，与其一次猜一朵花，不如建立一张地图，显示哪里更有可能找到“最佳”的改动。他们称之为“基于采样的法”。

以下是他们的地图如何运作的：

先验知识（初始地图）： 在开始之前，他们根据已知的规则画出一张粗略的地图，比如“不要改变太多单词”以及“保持句子听起来自然”。
后验知识（更新地图）： 随着他们测试不同的句子并询问机器人的答案，他们从结果中学习。如果改变某个特定的词经常能骗过机器人，他们就会在地图上将该位置标记为“高价值”。如果某种改动让句子听起来很奇怪，他们就会将其标记为“低价值”。
采样（寻宝游戏）： 他们不是一步步行走，而是利用这张地图来“采样”或挑选有希望的单词改动组合。这就像向标靶投掷飞镖，而靶心是最有可能找到获胜技巧的地方。随着投掷的飞镖越来越多，地图变得越来越清晰，引导他们更快地找到更好的位置。

他们的发现

研究人员将这种新方法与六种不同类型的语言机器人进行了测试，涵盖了从小型模型到像 GPT-4o 这样庞大的模型。他们使用了四种不同的数据集，包括电影评论和新闻文章。

结果令人印象深刻。在只能向机器人提问有限次数（“低查询预算”）的世界里，LBA 始终比旧方法找到了更好的技巧。

质量更好： LBA 创建的句子听起来更加自然。它们改变的单词更少，并且比其他方法更好地保持了原句的意思。
效率更高： 对于长文本（如长篇电影评论），旧方法很难找到正确的改动组合。然而，LBA 在处理这些复杂的场景时，在寻找完美的单词替换组合方面表现出色。
人类认可： 当研究人员要求人类阅读被欺骗后的句子时，人类无法分辨出原始句子和被欺骗后的版本之间的区别。他们还请一位超先进的 AI（GPT-4o）来评判这些句子，而 GPT-4o 也同意 LBA 的技巧是最聪明且最不明显的。

这为什么重要

这篇论文表明，通过使用这种“基于地图”的采样方法，我们可以更高效地欺骗 AI 模型。这并不意味着 AI 坏掉了；相反，它表明旧的尝试欺骗 AI 的方式（一次一个词）是低效的。通过理解最好的技巧往往涉及特定的改动组合，而非单一的改动，LBA 为测试我们的 AI 系统到底有多稳健打开了一扇新的大门。它证明了，通过更聪明的策略，你可以在不需要向机器人询问一百万个问题的条件下，实现高质量的结果。

技术摘要：LBA（低查询预算硬标签攻击）

1. 问题陈述

本文解决了在低查询预算下，生成高质量对抗性文本的黑盒硬标签场景下的挑战。

背景： 自然语言处理（NLP）中的深度神经网络（DNN）容易受到对抗性攻击的影响，即恶意输入会导致错误的预测。
约束： 在实际应用中，攻击者通常无法获取置信度分数（软标签），且仅限于获取前 1 名预测标签（硬标签）。此外，由于资金成本和因过度相似输入而被检测到的风险，查询预算是受限的。
现有方法的局限性： 当前的硬标签攻击主要依赖于贪婪搜索范式。这些方法迭代地选择单个单词位置进行替换，并在移动到下一个位置之前将其锁定。这种局部搜索方法无法探索位置替换的完整组合空间，往往导致次优解，并需要过多的查询成本来跳出局部最优。由于组合爆炸，穷举搜索在计算上是不可行的。

2. 方法论：LBA

作者提出了 LBA（低查询预算硬标签攻击），这是一种将对抗性文本生成重新定义为基于分布的采样问题的新颖方法。LBA 不采用贪婪的局部优化，而是从高质量对抗性样本的近似分布中进行采样，同时利用先验知识和后验知识。

核心框架

该方法受到 Metropolis-Hastings (MH) 采样的启发。它构建了一个目标函数来近似高质量对抗性样本的分布，并通过采样迭代地优化该分布。

A. 初始化

LBA 从随机初始化开始（类似于 HLA），以生成一个能够误导受害者模型的初始对抗样本 $x'_0$ 。这涉及随机将单词替换为同义词，同时保持词性（POS）一致性。

B. 采样策略

核心循环包含三个步骤：

候选提议（Candidate Proposal）： 通过在随机选择的可扰动位置（来自当前样本与原始样本不同的索引集合）替换一个同义词来生成候选样本 $x'_i$ 。这使用有放回采样，以避免贪婪方法中出现的搜索空间缩减问题。
接受率计算： 使用接受率 $\alpha$ $α$ 对候选样本进行评估， $\alpha$ $α$ 定义为目标函数值与转移提议的比率：
$\alpha(x'_i, x^\star) = \min \left( 1, \frac{\pi(x'_i)g(x^\star | x'_i)}{\pi(x^\star)g(x'_i | x^\star)} \right)$
- 目标函数 $\pi(x'_i)$ ： 它近似所需的分布，是侵略性（Aggressiveness, $A$ $A$ ）和质量（Quality, $Q$ $Q$ ）的乘积：
  $\pi(x'_i) = A(x'_i) \cdot Q(x'_i, x)$
  - 侵略性 ( $A$ )： 源自后验知识。它根据在之前迭代中，该位置的扰动导致标签翻转的经验频率，来量化该位置的“重要性”。它是通过对经验标签翻转频率进行 Softmax 计算得出的。
  - 质量 ( $Q$ )： 源自先验知识（预定义约束）。它是语义相似度、扰动率降低、语法错误增加和困惑度（Perplexity）的加权和。
- 转移提议 $g$ ： 一个基于当前样本与候选样本之间语义相似度变化的非对称概率，引导搜索向语义连贯的样本方向进行。
更新： 如果候选样本被接受（基于均匀随机阈值），则更新当前样本，并查询受害者模型以验证标签翻转。后验知识（位置重要性）根据查询结果进行更新。

3. 核心贡献

问题形式化： 作者识别了贪婪搜索在硬标签攻击中的局限性，并且是首个将高效查询的对抗性文本生成形式化为基于分布的采样问题的研究。
新颖算法 (LBA)： 他们提出了 LBA，该算法将先验约束（质量）和后验反馈（侵略性）整合到用于 MH 式采样的目标函数中。这使得该方法能够进行自我修正，并比贪婪方法更有效地探索搜索空间。
全面评估： 在六个语言模型（从小型 NLM 如 WordCNN 到大型 LLM 如 GPT-4o）和四个数据集（MR, AG, YELP, IMDB）上进行了广泛的实验。

4. 实验结果

论文报告称，LBA 在所有评估指标上都显著优于最先进的基准方法（包括 HLA, TextHoaxer, LeapAttack 和 HQA-Attack）：

查询效率： LBA 在“极小”（Tiny）、“紧凑”（Tight）和“中等”（Moderate）查询预算下均实现了高攻击成功率（ASR）。
质量指标： LBA 生成的对抗性文本具有：
- 更低的扰动率： 改变的单词更少。
- 更高的语义相似度： 更接近原始含义。
- 更好的流畅度： 更低的困惑度（PPL）和更少的语法错误（Ige）。
LLM 鲁棒性： LBA 在攻击 LLaMA 2、Vicuna 和 GPT-4o 等大语言模型（LLM）时表现出卓越的性能，尤其是在长文本数据集上，其与基准方法的性能差距尤为明显。
人类与 LLM 评估：
- GPT-4o 评估： 在硬标签基准方法中，LBA 获得了最高的一致性率（CR）（保留原始语义）和完全理解率（FUR）（可理解性）。
- 人类评估： 人类标注者正确分类 LBA 生成的对抗性样本的比例高于其他方法，证实了这些攻击在成功欺骗受害者模型的同时，仍能保留原始的情感/含义。

5. 重要性与主张

论文声称，LBA 解决了硬标签场景下查询效率与对抗质量之间的关键权衡。通过从贪婪局部搜索转向基于采样的策略，并从累积的查询反馈中学习，LBA 缓解了搜索空间的组合爆炸问题。

作者强调，其方法不仅更高效，而且生成的对抗性文本在语义保留和可理解性方面也更好。这表明 LBA 对于那些资源有限且必须避免被检测到的现实世界应用场景而言，是一个更真实的威胁模型。这项工作强调了增强传统 NLP 模型以及新兴大语言模型（LLM）对抗鲁棒性的必要性。