AttackonCTF: Defending Hardware Security Competition Benchmarks in the Age of LLMs

技术摘要：AttackonCTF：在 LLM 时代捍卫硬件安全竞赛基准

问题陈述
硬件安全竞赛（如 HackTheSilicon）是评估漏洞检测工具和训练人类研究员及 AI 模型的关键基准。这些竞赛利用注入了行业知情漏洞的开源片上系统（SoC）设计（例如 OpenTitan）。参与竞赛的一个基本要求是提交全面的技术报告，以展示真正的安全推理能力，而非简单的代码比较。

然而，作者指出，大语言模型（LLM）带来了严重的有效性威胁。最近的进展使得基于 LLM 的检测器能够通过利用“捷径”来绕过深度安全分析的要求。这些模型并非孤立地对恶意设计进行推理，而是利用检索增强生成（RAG）技术，从公共仓库、提交历史或拉取请求（Pull Requests）中获取原始的、干净的代码版本。通过对检索到的干净代码与有缺陷的目标代码进行自动化的“差异对比”（diff），LLM 可以生成高质量的漏洞报告并实现高检测率（75–83%），而无需进行真正的硬件安全推理。这破坏了竞赛的教育完整性，并使旨在评估 AI 推理能力的基准测试失效。

方法论
本文提出了一个两管齐下的方法：对“差异利用”（diff-exploit）假设进行实证验证，并开发一种新型防御机制。

1. LLM 捷径的实证验证：
   作者设计了四个递进式复杂的 LLM 漏洞检测器（D1–D4），以模拟真实的攻击场景：

   • D1 (差异感知型/Diff-Aware)： 仅接收有缺陷代码与干净代码之间的统一差异（unified diff）。
   • D2 (仓库感知型 RAG/Repository-Aware RAG)： 接收有缺陷的代码，并从仓库索引中检索相关的上下文（RTL 代码）。
   • D3 (历史感知型 RAG/History-Aware RAG)： 在 D2 的基础上扩展，通过检索开发历史（拉取请求、提交记录）来提供时间维度上的上下文。
   • D4 (弱点感知型 RAG/Weakness-Aware RAG)： 利用来自常见弱点枚举（CWE）数据库的硬件安全领域知识来增强 D2。
     这些检测器在未混淆的 HackTheSilicon 基准测试上进行了测试，以建立基准性能。

2. AttackonCTF 混淆框架：
   为了应对这些捷径，作者引入了首个面向 LLM、保持语义不变且专门针对硬件安全基准设计的混淆框架。与旨在通过激进的标识符加密和布局匿名化使代码变得不可读的传统硬件 IP 保护类混淆工具不同，AttackonCTF 在优先考虑人类可读性和教育价值的同时，破坏基于 LLM 的语法匹配。

   该框架通过以下流程运行：

   • 约束提取： 定义形式化不变性（例如，保留模块接口、信号宽度、复位行为和有限状态机 FSM 语义），这些是不变性必须被 LLM 遵循的约束。
   • 跨度选择： 识别要进行转换的漏洞代码区域，同时避开受保护区域。
   • 代码重写： 利用 LLM 应用五种特定的转换策略：
     1. 使用语义中性的替代方案进行标识符重命名。
     2. 通过等价表达式进行控制流重构。
     3. 差异噪声注入（Diff-noise injection）： 引入良性修改，以破坏与原始参考设计的语法相似性。
     4. 上下文稀释（Context dilution）： 模糊或分散与安全相关的线索。
     5. 使用布尔代数和时序变换进行逻辑重写。
   • 验证： 使用 Verilator 进行语法检查，并使用 Yosys 进行形式化语义等价性检查（基于 SAT 的证明），以确保功能正确性和与原始设计的语义等价性。

核心贡献

• 首次实证演示： 本文提供了证据，表明基于 LLM 的硬件基准测试漏洞检测严重依赖于基于 diff 的语法比较以及对原始代码的检索，在没有进行真正安全推理的情况下实现了 75–83% 的检测率。
• 新型混淆框架： 开发了首个保持可读性、面向 LLM 的混淆框架，该框架采用了差异噪声、上下文稀释和语义误导技术。
• 自动化验证流水线： 一个集成系统，确保混淆后的设计保持语义等价且功能完备，适用于人类分析和 AI 训练。
• 恢复基准完整性： 一种恢复硬件安全竞赛有效性的方法，通过防止自动化的差异利用，同时保持参与者从设计中学习的能力。

结果
该框架在三个基于 OpenTitan 的 HackTheSilicon 基准测试（Hack@DATE'25, Hack@DAC'25, Hack@CHES'25）上进行了评估，这些基准测试包含 27 个 CWE 类别中的 50 个独特漏洞。检测器（D1 和 D4）针对 0%、10%、50% 和 100% 的不同混淆水平进行了测试。

• 基准性能： 在未混淆的基准测试中，D1 实现了 83.3% 的检测率，D4 实现了 77.1% 的检测率。
• 混淆的影响：
  • 在 10% 混淆下： 检测准确率显著下降了 48–55%，尽管检测率的下降幅度较小。这表明即使是微小的语法变化也会严重破坏模型依赖 diff 模式的能力，导致误报率上升。
  • 在 100% 混淆下： 该框架将基于 LLM 的检测准确率降低了 78.6%（降至约 15%），并将检测率降低了约 50%（D1: 83.3% → 54.3%; D4: 77.1% → 48.9%）。
• 人类可读性： 与传统混淆不同，生成的方案对于人类分析师而言仍具有可解释性，保留了基准测试的教育价值。

意义
本文声称其工作解决了硬件安全研究中的一个关键空白：在先进 AI 时代基准测试的有效性。通过证明当前的基于 LLM 的“检测”往往仅仅是自动化的差异对比，作者认为现有的评估可能夸大了 AI 的推理能力。提出的 AttackonCTF 框架提供了一个切实可行的解决方案，以恢复基准测试的可靠性。它允许社区继续使用开源 SoC 设计进行训练和竞赛，同时确保高水平的性能指标反映的是真正的安全推理，而非对已知干净代码的语法相关性的利用。这使得更准确地评估人类和 AI 在硬件漏洞分析方面的能力成为可能。