Assessment of AI-Generated HARA in Automotive Functional Safety
本研究通过比较四种通用人工智能工具在危害分析与风险评估（HARA）输出方面的表现，评估了它们支持 ISO 26262 功能安全工程的能力，结果表明虽然人工智能为安全流程提供了具有前景的补充，但其应用需要在可追溯性、可靠性和法规遵循方面进行严格审查。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代汽车中，安全不再仅仅关乎坚固的钢材和安全气囊；它关乎的是那套防止车辆伤害乘客的无形逻辑。工程师们依赖于一种被称为“危害分析”的严谨过程，去设想系统可能发生故障的每一种方式，从刹车无法释放到传感器捕捉到虚假信号。随后，他们会为每种潜在故障分配风险等级，从而决定必须以多高的标准构建系统以防止伤害。这一过程是汽车安全的支柱，其严肃程度甚至拥有专门的国际规则手册。随着人工智能开始为汽车编写代码并设计系统，一个关键问题出现了：一个基于海量人类文本训练出来的机器，能否为我们进行这种高风险的思考？人工智能能否通过观察一个汽车零件的描述，正确识别出可能出现的问题，并判断出该错误的危险程度？
两名来自大型汽车工程公司的研究人员着手测试了这个想法。他们收集了四种不同的人工智能工具，其范围涵盖了从标准办公软件内置的助手到专为复杂问题解决而设计的专业模型。他们给每种工具提供了完全相同的文档，这些文档描述了一个特定的汽车安全系统：车辆应如何工作、其运行条件以及可能的使用场景。他们要求机器扮演安全专家的角色，并生成一份危害分析报告——即一份列出所有可能失效情况并对其危险程度进行评级的文档。为了测试指令是否会产生影响，他们尝试了两种不同的提问方式：一种是详细的、循序渐进的对话式引导，要求 AI 扮演特定的专业角色；另一种则是直接下达单一指令让其完成任务。
结果显示，虽然机器能够生成所要求的文档，但其思考质量却并不一致。每种工具都生成了一份安全目标列表（即旨在防止事故的高层级规则），但这些列表彼此之间差异巨大。当研究人员对比输出结果时，他们发现只有一项特定的安全目标出现在了每一份列表中：即需要防止安全气囊在不该弹出时弹出。对于其他所有内容，这些工具都存在分歧。有的机器可能会识别出一个特定的失效模式，而另一台则完全忽略了它；或者有的机器对同一问题的描述过于笼统，以至于无法使用。这种缺乏共识的情况意味着，如果工程师仅依赖其中一种工具，可能会因为该特定机器没有想到去检查某个问题，而错失一个关键危险。
当工具尝试对发现的问题进行风险等级分配时，这种不一致性变得更加明显。在汽车安全领域，这些等级决定了系统需要投入多少精力与测试。对于那项四种工具都达成共识的安全目标，它们的风险等级仍然存在巨大差异。一个工具将危险程度评为“中等”，而另一个则评为“最高风险等级”。这种差距是显著的，因为等级哪怕只差一级，也会改变整个开发流程，导致需要使用更昂贵的组件或进行更严格的测试。研究还表明，提问方式改变了答案。当研究人员使用简单的单句指令时，机器倾向于给出比使用详细对话式引导时更高的风险等级。这表明，人工智能并非基于某种固定的内在真理来计算风险，而是在对提示词的语气和结构做出反应。
或许最能说明问题的发现是，机器在编写安全目标本身时表现得十分吃力。一个合格的安全目标必须以特定的细节水平来编写：它必须阐明要避免什么坏事，而不应陷入如何修复它的技术细节中。研究人员发现，大多数由 AI 生成的目标写法都是错误的。许多目标过于详细，听起来像是针对特定零件的指令，而非针对整个系统的通用规则；另一些则过于模糊，未能清晰地将失效情况与危险联系起来。在好几个案例中，工具将高层级的安全目标与低层级的技术要求混淆了，把“是什么”与“如何做”搞混了。这表明，尽管机器可以模仿安全工程的语言，但它们尚未完全理解规则与规范之间的概念性区别。
尽管存在这些缺陷，这项研究并不意味着人工智能在安全工作领域毫无用处。这些工具能够生成广泛的想法，并识别出人类工程师可能会考虑到的潜在危害。研究人员得出结论，这些机器可以作为一种有益的起点，一种用于生成初稿或检查人类团队是否遗漏了明显场景的方法。然而，其输出结果不能单独被信任。由于这些工具在风险定义、危险程度判定以及如何编写预防规则等方面存在分歧，因此必须由人类专家对每一行内容进行审核。人工智能可以提供灵感的火花，但在确保行驶车辆中人们生命安全的这种高风险领域，最终的判断权必须牢牢掌握在人类手中。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。