Quantifying Uncertainty in LLM-Extracted Causal Relations for Safety-Critical Decision Support
本研究提出并评估了一个综合框架，该框架通过多源信号和符合性预测（conformal prediction），量化了从安全关键型叙述中由大语言模型提取的因果关系的确定性，证明了经过校准的置信度估计能显著提高提取精度，并能实现具有成本效益的专家分诊，从而实现可靠的风险知情决策。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在核能、航空安全和医疗设备监测这些高风险领域，专家们依赖书面报告来理解故障发生时的原因。这些被称为“事件报告”的文件充满了关于机械故障和人为错误的复杂叙述。几十年来，要在数千页的文档中寻找隐藏的原因，唯一的办法就是让专家逐字阅读，这是一个缓慢且昂贵的过程。近来，被称为大语言模型的强大计算机程序已经展示出它们能够阅读这些报告，并自动提取出因果关系，例如识别出特定的阀门失效导致了压力激增。这有望极大地提高安全改进的速度。然而，一个主要问题阻碍了它们的应用：这些计算机程序表现得仿佛总是充满确定性。即使文本表述模糊或计算机在猜测，它们也会将发现的原因作为事实呈现出来。在安全至上的领域，基于猜测采取行动可能会导致资源浪费，甚至更糟——错失危险。核心挑战不仅在于寻找答案，还在于知道计算机何时有足够的信心可以被信任。
一位研究人员致力于解决这个问题，通过教导这些计算机程序承认自己的不确定性。他们开发了一套专门针对核电厂报告的新系统，旨在衡量计算机对其发现的每一对因果关系的真实信心程度。该系统不再仅仅是吐出一份事实清单，而是为每一项发现附带一个置信度分数，告诉人类操作员是应立即接受该发现，还是将其标记出来交由人类专家进行二次审核。研究人员利用大量的真实核电事件报告测试了这种方法。他们发现，通过结合几种不同的检查方式，可以创建一个可靠的“不确定性分数”。这个分数成功地将计算机的正确猜测与错误区分开来，其表现几乎能与专家之间的相互判断水平相媲美。
研究表明，计算机的信心并非单一的感觉，而是通过多种方式自我检查的结果。研究人员构建了一个流水线，它会检查计算机的内部置信度，要求计算机对同一份报告阅读十遍以观察其是否给出相同的答案，并比较三个分别训练的计算机版本的运行结果。他们还使用了一种统计方法来确保置信度分数在数学上是严谨的。当结合所有这些信号时，该系统变得非常擅长对结果进行分类。计算机可以识别出一组几乎可以肯定正确的发现，同时隔离出那些需要人工关注的混乱、模糊的情况。在测试中，该系统能够在审查的前20%报告中识别出82%的计算机错误，而随机审查在相同时间内只能发现24%的错误。
这种区分可靠与不可靠的能力直接影响了安全模型的更新。当研究人员将计算机的发现输入到风险模型中时，他们发现，仅使用高置信度的结果所得到的危险图景，比使用全部结果或随机选择的结果都要准确得多。通过过滤掉低置信度的猜测，更新后的风险模型比基于随机选择发现建立的模型准确度提高了近两倍。研究显示，计算机的不确定性分数特别擅长标记困难案例，例如当原因是被隐含而非直接陈述，或者当报告描述的事件链跨越多个句子时。这些正是需要人类专家介入的情况，而该系统成功识别出了这些情况以供审查。
这项研究表明，我们不必在自动化的速度与人类监督的安全之间做二选一。通过赋予这些计算机程序表达其不确定性的能力，我们可以利用它们处理大部分工作，同时将人类专家引导至其判断力最具价值的具体案例中。研究结果表明，这种方法可以使更新安全模型的过程更快、更可靠，从而确保从过去的事故中汲取的教训被正确地纳入其中。这项工作并不声称计算机现在已经完美，也不声称它理解核电站的物理原理，而是说它已经学会了识别自身理解的极限。正是这种区别，使得这项技术能够从一种理论工具转变为安全专业人员的实用伙伴，提供一个明确的信号，告知何时信任机器，以及何时请人类介入。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。