Applications of Causality in Software Testing: A Rapid Review
这项快速综述系统地分析了 27 项将因果推断应用于软件测试的研究，揭示了研究重心偏向于识别与估计而非表示与发现的失衡现象，并提出了一个结构化议程，旨在解决跨层挑战并统一该领域的未来工作。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下你是一名侦探，试图在一个巨大且混乱的工厂里破解谜案。这个工厂就是你的软件，有时会出现问题：机器卡住了、产品有缺陷，或者传送带停止了运转。
你的工作就是软件测试。你想知道：为什么会发生这种情况？
问题所在：相关性 vs 因果关系
在过去，侦探们（测试人员）通常依赖于仅仅是同时发生的线索。
- 线索： “每当红灯闪烁时，机器就会卡住。”
- 错误： 他们假设红灯导致了卡顿。
- 现实： 也许是第三种因素（比如电压波动）同时导致了红灯闪烁和机器卡顿。红灯只是一个旁观者。
这就是相关性（事物同时发生）与因果关系（一个事物实际导致了另一个事物的发生）之间的区别。这篇论文指出，软件测试一直过于关注发现模式（相关性），而现在需要开始询问：“究竟是什么导致了这一切？”
解决方案：一个“因果侦探”框架
作者们回顾了 27 项研究，在这些研究中，研究人员尝试使用因果推断（Causal Inference，一种高级的说法，即“科学的因果推理”）来修复软件。他们将这些研究组织成了一个四步走的“流水线”或工作流，并将其比作建立一份案卷：
绘制地图（表示/Representation）：
在解决犯罪之前，你需要一张工厂地图。你画出线条，连接起机器、电源和工人。在软件中，这意味着创建一个图表（类似于流程图），展示不同的代码部分可能如何相互影响。- 论文的发现： 大多数研究擅长绘制这些地图，但它们经常出错。它们可能会在并不存在联系的地方画线，或者遗漏隐藏的连接。
寻找隐藏路径（发现/Discovery）：
有时你并没有地图。你必须通过观察工厂车间的各种数据来自己摸索出其中的联系。是由于红灯才导致的卡顿，还是因为卡顿才导致了红灯亮起？- 论文的发现： 这是最难的部分。自动寻找这些隐藏路径的工具目前还不够成熟，在面对庞大复杂的工厂时表现挣扎。
检查规则（识别/Identification）：
现在你有了地图，你需要检查是否真的有可能解开这个谜团。是否存在过多的隐藏变量？证据是否太乱？这一步是在问：“我们真的能证明是什么导致了什么吗，还是说数据本身太混乱了？”- 论文的发现： 这是大多数研究集中的地方。科学家们非常擅长检查规则，但他们往往假设规则是完美的，而实际上规则可能并不完美。
计算损失（估计/Estimation）：
最后，你要用数字来衡量。 “如果我们修理好红灯，卡顿的情况会减少多少？” 这是数学部分，他们试图测量改变带来的精确影响。- 论文的发现： 这部分也得到了充分研究，但它很脆弱。如果数据很乱（比如一个只有几次卡顿记录的工厂），数学计算可能会给出错误的答案。
这些工具被用于哪里？
论文发现，大多数这类“因果侦探”工具都是在软件已经经过测试或已经损坏之后使用的。
- 调试（Debugging）： “为什么应用崩溃了？”（最常见的用途）。
- 解释结果： “这项新功能是真的让应用变快了，还是仅仅因为运气好？”
- 公平性： “软件对待不同群体的人是否公平？”
令人惊讶的是，很少有人在测试之前（为了设计更好的测试）或在测试期间（为了主动改变事物并观察结果）使用这些工具。
重大障碍（为什么大家还没开始大规模使用？）
作者发现，目前这种“因果侦探”方法还不完美的三个主要原因：
- 地图是错的： 如果你最初绘制的软件运作方式的图谱是错误的，那么整个调查都会失败。将复杂的代码转化为简单的因果关系图谱是非常困难的。
- “如果……会怎样”很难： 为了证明因果关系，你通常需要进行“反事实”（Counterfactuals）实验（询问“如果……会发生什么？”）。在软件中，为了观察变化而不破坏整个系统而安全地修改代码是非常困难的。
- 证据不足： 现实世界的软件并不经常崩溃。当你只有极少数的 Bug 案例时，很难通过数学手段来证明究竟是什么导致了它。
总结
论文得出结论：虽然“因果推断”是软件测试的一个强大新工具，但目前它主要被用于在问题发生后进行修复，而不是预防问题。
作者建议，要让这套方法在现实世界中真正发挥作用，我们需要更好的方法来自动绘制软件的“地图”，更安全的方法在不破坏系统的前提下测试变更，以及更稳健的数学模型来处理混乱的现实世界数据。在那之前，我们仍然主要是在根据模式进行猜测，而不是确切地知道是什么导致了什么。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。