Fool Me If You Can: On the Robustness of Binary Code Similarity Detection Models against Semantics-preserving Transformations

这是一份关于论文《Fool Me If You Can: On the Robustness of Binary Code Similarity Detection Models against Semantics-preserving Transformations》（愚弄我，如果你能做到：语义保持变换下二进制代码相似性检测模型的鲁棒性）的详细技术总结。

1. 研究背景与问题 (Problem)

• 背景：二进制代码分析在网络安全中至关重要，用于逆向工程、恶意软件检测、漏洞发现等。随着深度学习的发展，基于机器学习的二进制代码相似性检测（BCSD）模型被广泛用于在没有源代码的情况下识别代码语义。
• 核心问题：尽管 BCSD 模型日益普及，但其在面对语义保持变换（Semantics-preserving Transformations）时的鲁棒性尚未得到充分探索。
  • 攻击者可以通过代码混淆（Obfuscation）或代码多样化（Code Diversification）技术，在不改变程序功能的前提下修改二进制指令。
  • 现有的对抗性攻击研究多局限于单一类型的变换或特定的模型，缺乏对多种变换和多种代表性模型的系统性评估。
  • 机器指令的扰动与图像或自然语言领域的扰动不同，具有独特的挑战（如指令的精确性、副作用控制等）。

2. 方法论 (Methodology)

作者提出了一个名为 asmFooler 的系统，用于评估 BCSD 模型在多种语义保持变换下的鲁棒性。

2.1 系统架构与数据生成

• 数据集构建：基于 620 个基准样本（来自 coreutils, binutils, SPEC2006 等），生成了 9,565 个变体（Adversarial Variants）。
• 变换技术：应用了 8 种 语义保持变换，分为两类：
  1. 代码多样化 (Code Diversification)：旨在改变内存布局以防御代码重用攻击。
     • 原地代码随机化 (In-place Code Randomization)：包括指令替换、基本块内重排序、寄存器保持重排序、寄存器重分配。
     • 基本块间重排序 (Inter-Basic-Block Reordering)。
  2. 代码混淆 (Code Obfuscation)：旨在混淆代码功能以阻碍逆向工程。
     • 语义 NOP 植入 (Semantic NOP Implantation)：插入不改变程序行为的指令序列。
     • 垃圾代码插入 (Junk Code Insertion)：插入不可达的指令。
     • LLVM 基础混淆 (Obfuscator-LLVM)：包括指令替换、虚假控制流 (Bogus Control Flow)、控制流扁平化 (Control Flow Flattening)。
• 预算限制：考虑到模型输入长度限制和实际攻击成本，定义了“变换预算”（Transformation Budget），限制添加的指令数量或字节数。

2.2 评估目标模型

评估了 6 种 具有代表性的 BCSD 模型，涵盖了不同的架构特征：

• 图神经网络 (GNN)：Genius, Gemini (利用控制流图 CFG)。
• 指令嵌入 (Embeddings)：Asm2Vec, SAFE。
• 基于 Transformer/BERT 的模型：Trex, BinShot。

2.3 攻击场景

• 假阴性 (FN) 触发：使模型将相似的代码对判断为不相似（逃避检测）。主要通过上述 8 种变换实现。
• 假阳性 (FP) 触发：使模型将不相似的代码对判断为相似（误报/绕过）。
  • 设计了一种贪婪采样策略 (Greedy Sampling)：从目标函数的指令分布中采样，在受害函数前缀插入指令序列，逐步优化以最大化相似度得分，同时通过无条件跳转确保语义不变。
• 可迁移性 (Transferability)：测试在 BinShot 上生成的 FP 触发样本对其他模型是否有效。

2.4 可解释性分析 (XAI)

使用 SHAP 值和 显著性图 (Saliency Maps) 分析模型在受到攻击时的内部决策机制，观察指令重要性的变化。

3. 主要贡献 (Key Contributions)

1. 提出 asmFooler 系统：首个系统性地评估 BCSD 模型在广泛语义保持变换下鲁棒性的框架。
2. 大规模对抗数据集：构建了包含 9,565 个变体的二进制代码数据集，覆盖 620 个基准样本和 8 种变换技术。
3. 全面评估：对 6 种 SOTA BCSD 模型进行了 FN 和 FP 触发攻击的评估，并分析了攻击的可迁移性。
4. 关键洞察：揭示了模型鲁棒性依赖于处理流水线（预处理、架构、特征选择），并发现了 FP 攻击的高效性和可迁移性规律。
5. 开源：公开了 asmFooler 系统和对抗性二进制数据集。

4. 实验结果与发现 (Results & Findings)

4.1 模型鲁棒性差异显著

• 流水线设计决定鲁棒性：
  • BinShot（仅依赖指令序列，无 CFG）：对指令重排序（ICT）和基本块重排（BBR）非常脆弱，召回率大幅下降（如 BBR 下召回率降至 0.036）。
  • Gemini/Genius（基于 CFG 的 GNN）：对控制流扁平化和虚假控制流非常脆弱，但对指令重排相对鲁棒。
  • Asm2Vec（随机游走）：表现出较强的鲁棒性，特别是在面对垃圾代码插入时，因为其随机游走机制能忽略部分插入的无效路径。
• 变换类型的影响：
  • 语义 NOP：主要影响基于指令特征的模型，对基于图的模型影响较小（因为 CFG 结构未变）。
  • 垃圾代码：会引入新的基本块，从而破坏基于 CFG 的模型（如 Gemini/Genius）的性能。

4.2 假阳性 (FP) 攻击的高效性

• 高成功率：即使变换预算很小（平均仅增加 14.75 条指令，约 57.58 字节），FP 攻击的成功率（ASR）也能达到 98.3% 甚至 100%。
• 可迁移性：在 BinShot 上生成的 FP 样本对其他模型（特别是具有相似架构的 Trex）具有很强的迁移性。然而，基于 CFG 的模型（Gemini/Genius）表现出更强的抵抗力。

4.3 可解释性分析发现

• SHAP 值分析：攻击后，Shapley 值向零收敛，表明模型决策边界变得模糊，模型倾向于认为两个函数相似。
• 显著性分析：FP 触发指令的引入导致模型对关键特征（重要指令）的注意力（Saliency）显著下降，模型被误导关注了非关键的对抗性指令。

4.4 变换预算的限制

• 攻击者的能力受限于模型的输入长度限制（如 Token 数量）以及语义等价指令的表达空间。

5. 意义与启示 (Significance)

• 安全警示：当前的 BCSD 模型在面对精心设计的语义保持变换时非常脆弱，容易被攻击者利用来逃避恶意软件检测或制造误报。
• 模型设计指导：
  • 构建鲁棒的 BCSD 模型需要结合多种特征（静态指令序列 + 动态控制流/执行轨迹）。
  • 仅依赖单一特征（如纯指令序列或纯 CFG）的模型容易成为特定变换的牺牲品。
  • 需要引入对抗训练（Adversarial Training）和数据增强，将语义保持变换纳入训练过程。
• 未来方向：论文指出需要进一步研究更高级的混淆技术（如加密、打包）以及结合静态与动态特征的混合防御策略。

总结：该论文通过构建大规模对抗数据集和系统化的评估框架，深刻揭示了现有二进制代码相似性检测模型在语义保持变换面前的脆弱性，并强调了模型架构和特征工程在提升鲁棒性中的核心作用。