📊 statistics

Explainable Outlier Detection for Multivariate Functional Data

本文提出了一种整合框架，用于在具有可分离协方差结构的多变量函数数据中实现稳健且可解释的异常值检测，该框架通过结合矩阵最小协方差行列式估计量与基于计算高效的夏普利值的异常度分解而构建。

原作者： Marcus Mayrhofer, Una Radojičić, Horst Lewitschnig, Peter Filzmoser

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Marcus Mayrhofer, Una Radojičić, Horst Lewitschnig, Peter Filzmoser

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一家大型工厂的质量控制经理，该工厂每天产生成千上万种不同类型的数据连续流。这些数据不仅仅是单个数字；它们是多元函数数据。可以将它们想象成一束平滑流动的河流（函数），每条河流代表一个不同的传感器或测量值（如温度、压力和湿度），并随时间记录下来。

你的任务是找出“坏”河流——那些与其余河流相比流动异常的河流。但这里有个陷阱：有时几条坏河流会欺骗你的测量工具，使其认为整个工厂的运行方式与实际不同。这就是异常值扰乱你的协方差（河流之间如何相互关联）的问题。

本文介绍了一套全新的、超级智能的工具包，旨在同时解决两个问题：

鲁棒性：如何在不被坏数据误导的情况下，找到河流的“真实”模式。
可解释性：一旦你发现一条坏河流，你需要确切知道它“在哪里”以及“为什么”是坏的。是温度传感器在七月出现峰值？还是压力在三月下降？

以下是该解决方案的运作方式，分解为简单概念：

1. “冰沙”策略（基表示）

现实世界的数据是杂乱无章的，并在特定点（如快照）记录。为了进行分析，作者首先将这些锯齿状的快照转化为平滑、连续的曲线（就像将水果块搅拌成冰沙）。他们使用一组称为基函数的构建块（将它们想象成乐高积木）来表示这些曲线。

他们不是试图分析数百万个数据点，而是分析系数（即配方），这些系数告诉你需要使用多少块每种乐高积木。这将一个复杂的无限问题转化为一个可管理的矩阵（数字网格）。

2. “可分离”捷径

作者假设了一种称为可分离协方差的有益结构。想象工厂有两种类型的关系：

垂直方向：不同传感器（温度、压力）在任意单一时刻如何相互关联。
水平方向：单个传感器如何随时间表现（例如，温度是否平滑上升？）。

“可分离”假设认为这两种关系是独立的，并且可以相乘。这就像说冰沙的“风味特征”与“质地特征”是分开的。这极大地简化了数学计算，使他们能够使用强大的**矩阵最小协方差行列式（MMCD）**估计量。

类比：想象你试图找出一群舞者的平均形状。如果其中一名舞者正在做狂野、 erratic 的独舞，正常的平均值看起来会是一团模糊的混乱。MMCD 方法就像一台智能相机，它忽略最混乱的 50% 的舞者，计算剩余平静人群的平均值，从而为你提供群体运动的清晰、真实的画面。

3. “沙普利值”侦探（可解释性）

一旦系统标记特定河流为“异常”（奇怪），最大的问题就是：为什么？
过去，你可能只知道“这条曲线很奇怪”。但本文使用沙普利值（博弈论中的一个概念）来充当法医侦探。

类比：想象一群朋友（不同的传感器）和一个时间段（一个月的天数）都在贡献一个“奇怪度分数”。沙普利值方法会问：“如果我们移除七月的温度传感器，奇怪度分数会下降多少？”它对每个传感器和每个时间段都进行此操作，然后对结果取平均值。

这使得系统能够说：“这个观测值是异常值，因为温度传感器在冬季月份比平时高出 20%，而压力传感器则正常。”

魔法技巧：通常，进行这种详细的分解在计算上是不可能的（对于大型数据集，这将花费比宇宙年龄更长的时间）。作者发现了一个数学捷径，将这种复杂性从指数级（不可能）降低到线性级（快速），使其在实际应用中变得可行。

4. 现实世界测试

作者在两个现实世界场景中测试了他们的工具包：

厄尔尼诺（气候数据）：他们分析了太平洋四个不同区域的海表温度。他们的方法成功识别出了其他方法遗漏的极端厄尔尼诺和拉尼娜年份。更重要的是，“侦探”部分确切显示了是哪个区域（例如，尼诺 3.4）和哪个季节（例如，秋季）推动了异常。
电阻点焊（制造业）：他们分析了汽车制造中的电阻曲线。他们发现了有缺陷的焊点（异常值），并确切指出了焊接过程的哪个部分以及哪个特定电极导致了问题。

总结

简而言之，本文构建了一个鲁棒的、侦探风格的系统，用于分析复杂的多传感器数据流。

它忽略噪声以找到真实模式（鲁棒性）。
它将模式分解为类似乐高的构建块，以加快计算速度（基表示）。
它使用博弈论侦探来解释确切是哪个传感器和哪个时间段导致了问题（沙普利值）。

其结果是一种方法，它不仅说“有些东西出错了”，而且告诉你“温度传感器在七月过高”，这对于需要修复异常根本原因的工程师和科学家来说极其有用。

技术摘要：可解释的多变量函数型数据异常检测

问题陈述

多变量函数型数据分析（FDA）涉及分析表示为多个变量（例如多个传感器的时间序列）上连续函数的数据。尽管函数型主成分分析（FPCA）是一种主导工具，但在存在异常值的情况下，均值和协方差函数的稳健估计仍然是一个关键挑战。异常值会严重扭曲非稳健估计，导致不可靠的结论。此外，现有的异常检测方法往往缺乏可解释性；它们能够识别某个观测值是异常的，但无法解释原因——具体而言，是哪些分量（变量）以及在哪些时间点发生了偏差。

现有文献提供了针对单变量函数型数据的稳健方法以及针对多变量设置的基于深度的方法，但在提供一个统一的框架方面仍存在空白，该框架需结合基于距离的稳健估计与可解释的、针对分量和时间特定的异常解释，特别是针对具有可分离协方差结构的多变量函数型数据。

方法论

所提出的框架整合了三个核心组件：稳健协方差估计、截断多变量函数型马氏距离以及基于 Shapley 值的分解。

1. 理论框架：可分离协方差与基表示

该方法假设多变量随机过程 $X(t)$ 具有可分离协方差结构，其中协方差核 $K(s, t)$ 分解为分量间的交叉协方差矩阵 $\Sigma_{row}$ 和分量内的时间核 $\kappa(s, t)$ ：
$K(s, t) = \Sigma_{row} \kappa(s, t)$
为了处理离散观测值，数据使用有限基表示（例如 B 样条）进行平滑。一个关键的理论贡献是建立了函数型过程与其系数矩阵 $A$ 之间的直接联系。如果 $X(t) = A' \phi(t)$ ，本文证明在可分离性假设下，系数矩阵 $A$ 服从具有均值 $M_A$ 和协方差 $\Sigma_{row}$ 及 $\Sigma_{col}$ （其中 $\Sigma_{col}$ 与 $\kappa$ 相关）的矩阵分布。这使得函数型马氏距离可以计算为系数矩阵上的矩阵分布马氏距离，从而显著降低了计算复杂度。

2. 稳健估计：MMCD

为了确保对异常值的稳健性，该框架采用**矩阵最小协方差行列式（MMCD）**估计量（Mayrhofer 等人，2025）来估计系数矩阵的均值和协方差。这种方法对于矩阵分布椭圆体分布具有高度的稳健性、高效性和一致性。MMCD 估计量（ $\hat{M}_A, \hat{\Sigma}_{row}, \hat{\Sigma}_{col}$ ）用于构建稳健的截断函数型马氏距离。

3. 距离度量：截断多变量函数型马氏距离（fMMD）

作者定义了平方截断函数型多变量马氏半距离（fMMD）如下：
$fMMD^2(X; M) = \sum_{k=1}^{M} \frac{1}{\pi_k} \langle X - \mu, \psi_k \rangle^2$
其中 $(\pi_k, \psi_k)$ 是协方差算子的特征对。在可分离性假设下，该距离被证明等价于系数矩阵 $A$ 的矩阵分布马氏距离。这种等价性使得能够利用稳健矩阵估计量进行高效计算。

4. 可解释性：Shapley 值分解

为了解决异常检测的“黑盒”性质，本文将Shapley 值（源自合作博弈论）推广，用于将总异常度（fMMD）分解为加性贡献。

坐标特定： 识别哪个变量（分量）对异常贡献最大。
时间特定： 识别哪些时间区间贡献最大。
时间 - 坐标特定： 同时按变量和时间区间分解贡献。

至关重要的是，作者推导出了这些贡献的闭式解，将计算复杂度从相对于分量数量的指数级降低到线性，同时保留了 Shapley 值的关键属性（效率性、对称性、单调性）。

主要贡献

多变量 FDA 的稳健框架： 本文引入了一个综合框架，用于在可分离协方差假设下，利用应用于基系数的 MMCD 估计量，对多变量函数型数据进行稳健的均值和协方差估计。
函数型与矩阵分布之间的理论联系： 严格确立了多变量函数型过程中协方差算子的可分离性转化为随机系数矩阵分布中的特定可分离结构。这架起了函数型稳健性与矩阵分布稳健性理论之间的桥梁。
高效的可解释异常检测： 该工作将 Shapley 值推广到函数型数据，提供了一种原则性的方法，将多变量函数型异常度分解为时间和分量特定的贡献。推导出用于这些分解的线性复杂度算法是一项重大的计算进展。
实证验证： 该方法通过广泛的模拟和实际应用进行了验证，证明了其在检测各种异常类型（移位、形状、孤立、协方差诱导）方面的有效性，以及即使在可分离性假设被错误指定时的稳健性。

结果

模拟研究

进行了广泛的模拟研究，将所提出的方法（基于 MMCD 的马氏距离）与最先进的基于深度的方法（例如 fSDO、fAO、fDO）、幅度 - 形状图以及函数型孤立森林进行了比较。

性能： 所提出的基于距离的稳健方法在 F 分数、AUC 和召回率方面始终优于竞争方法，特别是对于移位和形状异常。
对错误指定的稳健性： 即使数据违反了可分离性假设（不可分离过程），所提出的方法仍然有效，通常由于有利的偏差 - 方差权衡而优于未正则化的样本协方差估计量。
非高斯数据： 在重尾设置（t 分布）中，稳健方法保持了高召回率和 AUC，尽管由于难以区分分布尾部与真实异常值，精确度较低。
可解释性： Shapley 值成功识别了导致异常的具体坐标和时间区间，在局部污染场景下优于朴素偏差度量和方法基于深度的局部评分。

实际应用

厄尔尼诺 - 南方涛动（ENSO）： 分析了来自四个尼诺区域的海表温度（SST）数据。多变量方法比单变量分析识别出更多极端的 ENSO 事件。Shapley 分解揭示，厄尔尼诺事件是由尼诺 3.4 和尼诺 3 的变暖驱动的，而拉尼娜事件是由尼诺 4 和尼诺 3 的变冷驱动的。
电阻点焊： 应用于汽车制造中的动态电阻曲线。该方法达到了 0.95 的 AUC，优于其他方法，并成功识别了在飞溅情况下哪些焊接点和时间区间是异常的。
生育率： 分析了 22 个国家的年龄特定生育率曲线。稳健方法检测到了被经典估计量（例如美国、德国）掩盖的异常值，并提供了关于不同年龄组和几十年间生育时间推移的可解释见解。

意义与主张

本文声称提供了一种稳健且可解释的方法，用于分析具有可分离协方差结构的多变量函数型数据。其意义在于：

从检测迈向解释： 通过整合 Shapley 值，该框架不仅标记异常，还从具体分量和时间点解释异常，这对于领域专家（如气候学家、制造工程师）至关重要。
计算效率： 将 Shapley 值的复杂度从指数级降低到线性，使得该方法可扩展至高维函数型数据。
稳健性： 使用 MMCD 估计量确保了检测和解释不会因它们旨在发现的异常值本身而产生偏差。
实用价值： 即使模型假设（可分离性、正态性）未完全满足，该框架也被证明是有效的，使其成为现实世界数据分析的可行工具，因为在这些场景中此类假设通常只是近似。

作者得出结论，虽然可分离性假设简化了建模，但所提出的结构化估计量作为一种稳健的近似，通常在中等样本量下比无约束估计量产生更稳定的诊断结果。未来的工作建议将这些稳健估计技术扩展到不可分离的协方差结构。