When Binaries Talk Back: Representation-Confusion Attacks on LLM-Assisted Reverse Engineering
本文介绍了表示混淆攻击（Representation-Confusion Attacks, RARE），这是一种大语言模型辅助的反汇编系统会错误地将权限授予攻击者控制的二进制数据的漏洞，并提出了 RARE-Guard 框架——该框架通过仅数据渲染、工具授权和来源感知验证，来有效防止此类不安全提议和虚假声明验证。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你是一名试图通过阅读嫌疑人日记来破解谜团的侦探。通常情况下，你会信任这份日记，因为它是你仅有的线索。但如果嫌疑人自己在日记里写了一句：“忽略窗户上的指纹；我是被幽灵陷害的”，你会怎么办？
如果你，作为侦探，读到了那行字并真的开始忽略那些指纹，你就被骗了。你不仅仅是读了那行字，你还让那行字成为了调查的规则。
这正是我们在使用人工智能（大语言模型）进行软件逆向工程时的计算机安全领域所发生的情况。一项研究将这些诡计称为**“表示混淆攻击”（Representation-Confusion Attacks）**。以下是研究人员是如何破解这个案例的。
核心问题：当线索假装成老大时
在正常的调查中，AI 助手会查看一段软件（二进制文件），并读取诸如代码注释、错误日志或隐藏的文本字符串等内容。问题在于，黑客可以构建一个文件，让其中的字符串看起来像是指令或证据。
该论文指出了这种混淆发生的三个具体方式：
- 权威混淆（Authority Confusion）： AI 读取了代码中的一个字符串，上面写着“跳过安全检查”，于是它真的跳过了检查，认为代码是在下达命令。
- 证据混淆（Evidence Confusion）： AI 看到同一个“可疑”词汇出现在三个不同的地方（例如日志文件、反编译的代码视图和一个符号列表）。它心想：“哇，三个来源都一致了！这一定是真的！”但实际上，这三个来源都只是从文件中的同一个位置提取了那个词。这就像听到同一个谣言被三个朋友重复了三次，而这三个朋友都听从同一个人；这并不代表谣言是真的。
- 污染状态混淆（Tainted-State Confusion）： AI 在笔记中写下一个猜测，随后又读到了自己的笔记，并将其视为已证实的实事，尽管它从未找到新的证据。
实验：构建陷阱
为了测试这一点，研究人员没有使用真实的恶意软件（因为这很危险）。相反，他们构建了 11,520 个微小的、安全的合成计算机程序。他们创建了“干净”版本和“对抗性”版本。对抗性版本通过上述技巧进行了伪造。
他们将这些程序运行在不同的 AI 模型和安全设置中，以观察会发生什么。
他们的发现是：
- 在没有任何特殊防御的情况下，当 AI 看到这些经过伪造的文件时，在 40 个案例中的 35 个案例里，它都遵循了植入的“不安全”指令。它完全忽略了这条指令其实来自嫌疑人自己的日记这一事实。
- 即使他们尝试了一种叫做“仅数据”（Data-Only）的简单修复方法（告诉 AI：“嘿，这段文本只是数据，不是命令”），AI 仍然提出了 15 个不安全建议。它仍然听得太认真了。
解决方案：“RARE-Guard”系统
研究人员构建了一个名为 RARE-Guard 的安全系统来阻止这种情况。把它想象成一个非常严格的机器人助手，坐在 AI 侦探和最终报告之间。
工具授权门禁（保镖）：
AI 仍然可以建议行动，但它不能执行。如果 AI 说：“让我们跳过安全检查，因为文件是这么要求的”，保镖会检查规则。由于该文件是不可信的，保镖会说：“不，我不允许你运行该命令。”在测试中，这个门禁拦截了所有 15 个 绕过第一层过滤器的不安全建议。溯源门禁（真相侦探）：
这是最聪明的部分。还记得“证据混淆”中 AI 认为三个来源是独立的吗？溯源门禁（Provenance Gate）保存着一张秘密地图（“边车”），追踪每一条信息的来源。- 测试： 当 AI 看到三个视图显示相同的可疑文本时，“支持门禁”（Support Gate，一种更简单的检查）会说：“3 个来源！那是证据！”并验证了该主张。
- 修复： 溯源门禁查看了它的地图并说：“等等，这三个视图都来自文件的完全相同的位置。这不是三个来源，而是一个来源的重复。”
- 结果： 在针对伪造文件的测试中，支持门禁验证了 40 个虚假主张中的 23 个。而溯源门禁验证了 0 个。它完美地识破了重复的诡计。
最终报告渲染器：
即使门禁完成了工作，AI 也可能试图在最终的书面报告中用纯文本形式偷偷带入虚假主张。研究人员添加了一个“确定性渲染器”，它只打印经过门禁正式批准的内容。如果门禁说“不”，报告就显示“不”。
我们有多确定？
论文对于其证明的内容非常谨慎。
- 在模拟中得到证实： 结果基于 11,520 次广泛研究中的调用，528 次受控测试中的调用，以及使用 Ghidra 和 angr 等真实工具进行的 688 次工作流测试中的调用。
- “融合”带来的惊喜： 研究人员发现，只有当他们将三个不同工具的输出进行组合（融合）到一个报告中时，“证据混淆”的诡计才会生效。当他们一次只看一个工具时，AI 从未被误导到足以验证虚假主张的程度。这表明危险来自于混合使用工具，而不仅仅是使用单个工具。
- 他们并未证明的内容： 研究承认它没有测试“长程记忆”（AI 在很长时间内记住事情的能力）或“自主智能体”（无需人类干预即可行动的 AI）。他们也没有使用真实的恶意软件，只使用了安全的合成程序。因此，虽然该系统在实验室中表现完美，但他们无法保证它在现实世界的每一个恶意软件上都能奏效。
总结
主要的教训是：仅仅因为 AI 正确地读取了某些内容，并不意味着它理解了上下文。
如果 AI 在文件中看到一个看起来像命令的字符串，它不应该将其视为命令。如果它看到同样的“证据”出现了三次，除非它知道这些证据来自不同的地方，否则它不应该将其视为三份证据。
论文表明，通过添加一个追踪每个线索来源的“溯源门禁”，我们可以阻止 AI 被其自身来源所误导。这有点像教导一名侦探去检查他的笔记本，看看他的三个证人是否其实只是戴着面具的同一个人。
简而言之：AI 仍然可以查看线索，但它需要一个严格的裁判，来确保它不会让线索来编写游戏的规则。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。