技术摘要：SETA —— 复合 AI 系统的统计故障归因

1. 问题陈述

现代 AI 系统正日益向复合 AI 系统 (Compound AI Systems, CAS) 架构演进：这类系统是复杂的流水线，由专门的模型、检索器和软件组件构成，而非单一的网络。虽然这种模块化设计有助于开发，但也引入了显著的测试、调试和确保安全性的挑战。上游组件中的微小局部故障（例如数据漂移、模型失配）可能会在流水线中传播，导致灾难性的系统级失效。

目前的鲁棒性测试技术面临两个主要局限：

端到端 (E2E) 测试： 将系统视为黑盒。虽然它能识别出发生了故障，但无法将故障归因于特定的内部组件。
隔离组件测试 (ICT)： 对模块进行隔离测试，但无法检测由于模块间动态交互而产生的涌现故障，也无法分析错误如何在流水线中传播。

现有的工具（如对抗攻击 FGSM、形式化验证工具 Reluplex 或基于覆盖率的工具 DeepXplore）大多是为单网络模型设计的。它们缺乏在组合流水线内进行细粒度故障定位的能力，也无法在执行上下文中解释为什么会发生故障。此外，“测试预言机问题”（即在缺乏真值的情况下，难以定义中间组件的精确正确输出）仍然是一个障碍。

2. 方法论：SETA 框架

作者提出了 SETA（统计故障归因），这是一个结合了蜕变测试 (Metamorphic Testing, MT) 与执行轨迹分析 (Execution Trace Analysis) 的模块化框架。SETA 无需显式的真值预言机，通过定义基于蜕变关系的业务行为规范来运行。

2.1 作为伪预言机的蜕变关系 (MRs)

SETA 通过定义跨输入变换的属性保持情况（即蜕变关系），而非检查单个输入-输出对，从而解决了预言机问题。

定义： MR 指定了系统对于源输入 $x$ 的输出与扰动输入 $\tilde{x} = g(x)$ 之间预期的关系。
通用公式： 关系使用克罗内克尔 $\delta$ 函数定义等式约束，并使用 Heaviside 阶跃函数 $H$ 定义不等式约束。
特定任务的 MR： 该框架为四种关键视觉任务定义了 MR：
- 图像分类： 在空间变换下，标签的不变性或概率分布在 $L_\infty$ -范数下的有界差异。
- 目标定位： 预测边界框与真值边界框之间的交并比 (IoU) 约束。
- 目标检测： 应用于检测对象集合的分类与定位组合约束。
- 图像分割： 语义掩码的像素级等价性或基于松弛 IoU 的重叠约束。
复合蜕变关系 (CMRs)： 对于复杂组件，多个独立的 MR 通过逻辑合取（乘积算子）组合成一个单一的复合得分 ( $S_i$ )。只有当所有组成关系均成立时，组件才被视为正确。

2.2 基于状态的执行轨迹分析

SETA 将复合 AI 系统建模为一个状态转移系统，其中状态代表计算模块。

执行轨迹树 ( $T(x)$ )： 在推理过程中，该框架会对系统进行插桩，以记录动态执行图。对于每个输入 $x$ $x$ 及其扰动变体 $\tilde{x}$ $\tilde{x}$ ，它构建一棵捕捉以下信息的树：
- 被激活的模块。
- 输入/输出张量。
- 路由决策（触发了哪些下游模块）。
- 用于比较参考运行与扰动运行的评分函数结果 ( $S_q$ )。
轨迹对齐： 框架将扰动输入的轨迹与参考轨迹进行对齐，以检测激活集中的偏差（例如，一个模块在其中一个运行中被触发，但在另一个中未被触发）或输出不一致性。

2.3 统计故障归因

为了区分第一个失效点与根因（后者可能是传播的上游错误），SETA 采用了统计归因机制。

故障贡献 (FC) 分数： 框架定义了一个随机变量 $Z_i$ ，代表模块 $i$ 的偏差。模块 $i$ 的 FC 分数为：
$FC_i = E_{(x, \tilde{x}) \sim D} [Z_i \cdot \mathbb{I}(S(x, \tilde{x}) = 0)]$
这衡量了在整个系统失效的情况下，组件违反其规范的频率。
归因权重： 分数在所有模块间进行归一化，以得出可解释的归因权重 ( $\alpha_i$ )，量化每个组件对系统级不可靠性的相对贡献。
算法： 该过程包括遍历数据集和扰动集、记录轨迹、计算系统级得分并聚合偏差，从而生成归一化的归因向量。

3. 核心贡献

模块化框架： 提出了 SETA，通过整合蜕变测试与执行轨迹分析，通过经验性地追踪扰动传播，实现复杂 AI 流水线的故障定位。
无预言机规范： 通过定义基于蜕变关系的行为规范，为黑盒模型提供可扩展、可测试的抽象。
可扩展性： 得益于其模块化设计，用户可以定义并插入不同类别的蜕变关系，从而支持不透明系统的可解释性。
细粒度分析： 证明了其定位失效起源并揭示多阶段流水线中隐藏漏洞的能力，而传统工具在这些场景下往往失效。

4. 实验结果

该框架在两个不同的系统上进行了评估：

自主铁路检测视觉系统： 一个包含 6 个模块（1 个目标检测器，5 个分类器）处理铁路图像的真实世界系统。
- 设置： 使用来自 imagecorruptions 库的 15 种图像损坏技术（如雾、雪、运动模糊）进行测试。
- 发现： SETA 成功识别出目标检测模块 ( $f_0$ ) 对雾和运动模糊高度敏感，而下游分类器表现出不同的鲁棒性。它计算出的归因分数 ( $\alpha_i$ ) 突出了特定的模块（如 $f_1$ 和 $f_3$ ）是特定扰动下系统失效的主要贡献者。
集成分类模型 (CIFAR-10)： 使用 CNN 集成（ResNet18, VGG16, Custom CNN）进行的完整性检查。
- 发现： SETA 预测的单个模型准确率与实际准确率的误差在 2-3% 以内，并正确识别出 "Custom CNN" 是表现最差的模型。
OCR 系统： 一个使用 EasyOCR 的文本流水线。
- 发现： 该框架通过使用编辑距离（Levenshtein distance）作为蜕变关系进行了适配。它成功量化了鲁棒性，并根据文本序列偏差将失效归因于特定模块，展示了其在视觉流水线之外的应用能力。

5. 意义与主张

论文将 SETA 定位为诊断复合 AI 系统中涌现失效的概念验证 (Proof-of-concept)。其重要性在于弥合了端到端测试与隔离组件测试之间的鸿沟。

诊断精度： 不同于仅能检测是否发生故障的工具，SETA 提供了一种关于哪个模块负有主要责任的统计归因，从而引导工程师关注脆弱的子模块。
可扩展性： 通过使用蜕变关系，它绕过了对真值预言机的需求，使其适用于中间真值不可得的复杂现实世界流水线。
局限性与未来工作： 作者谦逊地承认，目前的归因是相关性的而非因果性的。高分表示与失效存在关联，但不能最终证明因果关系。其精度取决于手工构建的蜕变关系的完整性。未来的工作旨在集成因果推理、用于自动生成 MR 的程序合成，以及扩展到多模态和强化学习系统。

总之，SETA 为组合测试和可解释故障定位奠定了基础，为确保复杂、多组件 AI 系统的可靠性提供了一种系统化的方法。