A Scalability Analysis of Quantitative Confidence Assessment Methods for Assurance Cases
本文引入了一种用于评估将定量置信度评估方法应用于保证案例时的决策复杂度和工作量的模型，并通过对贝叶斯信念网络、Dempster-Shafer 理论以及 Certus 方法的分析，证明了虽然 Certus 具有最高的最坏情况复杂度，但其平均情况下的工作量比其他两种方法更少。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在构建一个庞大且复杂的论证，以证明一辆自动驾驶汽车是安全的。你有一个顶层主张（“汽车是安全的”），由多层证据支撑，例如“刹车有效”和“传感器已校准”。这被称为保证案例（Assurance Case）。
问题在于：你如何知道你的论证是否真的具有说服力？仅仅把它们写下来是不够的。你需要一种衡量你“信心”的方法，将你的书面论证转化为数字或分数。这就是**定量置信度评估方法（Quantitative Confidence Assessment Methods）**发挥作用的地方。它们就像是信任的计算器，将你的书面论证转化为数字或得分。
然而，这里有一个难点。使用这些计算器需要付出巨大的努力。这需要耗费大量的时间和精力。本文作者想要回答一个简单的问题：“随着你的论证变得越来越庞大，使用这些不同的计算器究竟需要付出多少工作量？”
为了找出答案，他们建立了一个数学模型（模拟器）来统计一个人必须做出的“决策”数量。这就像是在统计一个人为了切换频道而必须按下的遥控器按钮数量。
他们测试的三种“计算器”
论文对比了三种计算信心的方法：
- BBN 方法（贝叶斯信念网络）： 这可以看作是一个带有概率的流程图。你必须决定每件证据的可能性（0% 到 100%），然后决定每件证据对下一环节的影响程度。这就像是在为一场多米诺骨牌游戏设定规则。
- DST 方法（邓巴-谢弗理论）： 这就像是一份详细的调查问卷。对于每一件证据，你都必须给出两个答案：一个“决策”（该证据有多可接受？）和一个“置信度”（你对此有多确定？）。它比流程图需要按下的按钮更多。
- Certus 方法： 这是定制化的工具箱。它不仅可以使用数字，还可以使用诸如“确定”、“怀疑”或“拒绝”之类的词汇。它是最灵活的，允许你编写自定义规则来组合证据。但正因为它如此灵活，它也会变得非常复杂。
实验：“树”的比喻
为了测试这些方法，作者将他们的论证想象成树木。
- 根部是最终结论（汽车安全吗？）。
- 树枝是中间主张。
- 叶子是原始证据（文档、测试结果）。
他们问道：“如果我们把这棵树变得更高、更宽（增加证据），人类需要做出多少次‘按键’（决策）？”
他们观察了两种场景：
- “最坏情况”（完美主义者）： 想象一个拒绝使用任何捷径的用户。他们手动配置每一条规则、权重和连接关系，包括每一件证据。
- “平均情况”（现实主义者）： 想象一个使用智能工具的用户。他们只手动配置那些棘手的部分，让软件使用默认设置填充那些枯燥的标准部分。
令人惊讶的结果
研究发现，随着论证规模的扩大，这些方法的扩展性（增长方式）呈现出一些有趣的现象：
在“最坏情况”（没有捷径）下：
Certus 是最难用的。因为它允许高度定制化，如果你试图手动配置每一条规则，你会面临海量的决策。这就像试图通过手工制作每一块砖头和每一枚钉子来盖房子。
BBN 和 DST 在这种情况下要容易得多，因为它们的规则更严格、更简单。在“平均情况”（使用捷径）下：
Certus 实际上变得最容易使用了！因为它拥有内置的“宏”（预设快捷方式）和智能默认值，用户可以跳过大部分繁琐的工作。
BBN 处于中间水平。
DST 即使有了捷径仍然是最难的，因为它仍然要求你为每一件证据做出两个独立的决策（决策 + 置信度）。
核心结论
论文得出结论：灵活性是有代价的，但前提是你必须全额支付这个代价。
如果你试图手动完成所有工作，最灵活的工具（Certus）也是最令人精疲力竭的。但如果你按照设计意图去使用它（配合智能默认值和快捷方式），灵活的工具实际上能为你节省最多的时间。
作者警告说，对于非常庞大的安全论证（如针对自动驾驶汽车或医疗设备的论证），使用这些工具所需的“精力”可能会成为一种障碍。他们的模型有助于研究人员设计出更好的工具，使人类不需要按下过多的按钮，从而确保安全论证是切实可行的，而不仅仅是理论上的练习。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。