Evaluating Open-Weight LLMs for Generating Structured Threat Information for Autonomous Vehicle Vulnerabilities
本文评估了11个开源大语言模型在将非结构化的联网自动驾驶汽车（CAV）漏洞描述自动转换为结构化STIX威胁情报方面的有效性，结果表明这些模型在识别资产和弱点方面具有高准确度，同时也凸显了在映射复杂攻击技术方面面临的挑战。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，汽车的世界不再仅仅是金属轮子和汽油发动机；它是一个巨大的、滚动的计算机网络。现代车辆配备了大量的传感器、Wi-Fi 和复杂的软件，它们彼此之间以及与外界进行通信。但是，就像你的智能手机或笔记本电脑一样，这些软件也存在漏洞（bugs）。有时，这些漏洞是严重的安全性漏洞，黑客可以利用它们来控制汽车或窃取数据。为了保障每个人的安全，安全专家需要快速理解这些漏洞。然而，关于这些漏洞的信息通常是以杂乱的、纯英文段落的形式呈现的，很难进行快速扫描。为了解决这个问题，专家们使用了一种被称为 STIX 的特殊“通用翻译机”来处理威胁。把 STIX 想象成一张结构化的“食谱卡”，它能将一个混乱的故事拆解成整齐的原料：谁受到了攻击，什么东西坏了，它是如何被破坏的，以及谁破坏了它。这篇论文探讨了新一代智能 AI 计算机（即大语言模型，LLMs）是否可以充当那个翻译官，自动将杂乱的漏洞报告转化为完美的、结构化的威胁“食谱”。
这项研究背后的研究人员——来自阿拉巴马大学的一个团队——决定专门针对**联网自动驾驶汽车（CAVs）**来测试这些 AI 模型。他们想看看开源 AI 模型（即那些任何人都可以下载并运行，而不只是锁在大型企业门后的模型）是否能够阅读一份漏洞报告，并立即生成正确的 STIX “食谱卡”。为了做到这一点，他们首先必须建立自己的训练场。他们创建了一个名为 CAV-STIXGen 的新数据集，其中包含 183 份真实的汽车漏洞报告。对于每一份报告，他们都手动编写了完美的 STIX 食谱，包括受影响的特定汽车部件、弱点类型以及所使用的精确黑客技术。这个数据集成为了用来给 AI 模型评分的“标准答案”。
该团队随后邀请了 11 个不同的开源 AI 模型参加这场“派对”，这些模型涵盖了从轻量敏捷型到庞大重型型的各种类型。他们使用三种不同的“教学风格”（或提示策略）对这些模型进行了测试。第一种风格是无上下文（Contextless），即 AI 只得到漏洞报告，然后必须自行猜测其余部分。第二种是 STIX 引导（STIX-guided），即 AI 被给予了一份需要寻找内容的清单。第三种是 动态少样本（Dynamic Few-Shot），这是最有帮助的方法，即在尝试新问题之前，先向 AI 展示五个完美答案的示例。他们还测试了一个“多智能体（multi-agent）”设置，即两个不同的 AI 模型像侦探搭档一样协同工作，一个专注于寻找部件，另一个专注于连接各部件之间的关系。
结果既有令人“惊叹”之处，也有“尚未达标”之处。在单纯识别对象（例如命名特定的汽车部件或漏洞类型）方面，AI 模型表现得非常出色。在最好的教学风格（动态少样本）下，顶尖模型的得分达到了 0.94（满分为 1.0），这意味着它们在识别“原料”方面几乎达到了完美。它们在识别弱点类型（如特定的编码错误）方面也非常优秀，得分高达 0.99。然而，AI 在处理关系方面却显得有些吃力——即理清一个部件如何逻辑严密地连接到另一个部件。执行这项任务的最佳模型仅达到了 0.63 的分数。这就像 AI 可以完美地列出制作蛋糕的原料，但有时会忘记说鸡蛋应该放在面糊里面，而不是放在上面。
最复杂的任务是将漏洞映射到 MITRE ATT&CK 技术，这些技术就像是一个已知的黑客招式库。这仍然是一项艰巨的挑战。虽然模型通常可以找到至少一种正确的黑客技术（寻找一种技术的得分最高可达 0.68），但当单个漏洞涉及多种攻击方法时，它们经常无法描绘出完整的全貌。研究人员发现，虽然在两个 AI 智能体之间分配工作有助于寻找对象，但并不能一致地解决关系连接的问题。
通过分析收集到的数据，团队还发现了汽车黑客操作的一些经常出现的模式。他们发现，汽车中最常见的弱点涉及内存安全问题（例如将数据写入不该去的地方）和不当访问控制（让不该进入的人进入）。最频繁的黑客技术涉及拒绝服务攻击（使汽车系统过载）和利用客户端软件。数据表明，这些攻击通常成对出现，例如利用客户端程序并随后导致系统崩溃。
简而言之，这篇论文表明，虽然 AI 正成为自动化汽车安全分析的强大工具，但它目前还不是一个“设置好就可以不管”的解决方案。AI 可以出色地完成拼凑碎片的工作，但它仍然需要人类的引导和更好的示例，才能完美地将这些碎片组合在一起。研究人员希望，通过提供这个新的数据集并展示 AI 在哪里成功、在哪里失败，安全团队可以构建出更好的工具，以保护我们未来的自动驾驶汽车免受数字威胁。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。