funOCLUST: Clustering Functional Data with Outliers

想象一下你有一大盒意面。但这些不只是面条，它们是代表诸如一天内温度变化、交通流量或植物生长情况的弯弯曲曲、扭来扭去的线条。在数据科学的世界里，这些被称为函数型数据（functional data）。问题在于？这些线条是无限维的（它们拥有无限个点），而且非常杂乱。有时，一根面条会出现奇怪的折痕，或者整批数据都会因为一场突如其来的风暴而偏离轨道，产生破坏气氛的“离群值（outliers）”。

由此登场的是 funOCLUST，这是由 Katharine M. Clark 和 Paul D. McNicholas 提出的一种新方法。你可以把 funOCLUST 想象成一位超级聪明、甚至有点脾气古怪的大厨，他想要根据形状将这些意面面条完美地分类成一堆堆，但在那之前，他必须踢走那些不合群的、烧焦的或断掉的碎块。

核心思想：将曲线转化为向量

你不能直接把无限的意面扔进标准的分类机里；这太复杂了。作者们提出了一个聪明的技巧：展平曲线（flatten the curves）。

他们使用了所谓的三次 B 样条基（cubic B-spline basis）。想象一下，不再是用无限个点来描述每一条弯弯曲曲的线，而是用一组简短的数字（系数）来描述它，这些数字告诉你如何利用一组特定的构建模块来搭建出这条线。这就像是将一幅复杂的画作变成一张简单的食谱卡。一旦曲线被转化为这些简短的数字列表（向量），这个问题就变得容易处理得多。

“离群值”搜寻：对数似然游戏

这就是见证奇迹的地方。作者们采用了一个现有的名为 OCLUST 的方法（该方法是为常规数据设计的），并将其适配到了这些新的“食谱卡”上。

该算法在玩一场“如果我们把这个拿掉会怎样？”的游戏：

1. 它观察整组曲线。
2. 它会问：“如果我踢掉这一根特定的曲线，剩下的这组曲线是否看起来更像一个完美、整洁的簇（cluster）？”
3. 它使用一种叫做**子集对数似然（subset log-likelihood）**的东西来衡量这一点。你可以把它看作是一个“整洁度评分”。如果移除一条曲线能让评分显著跳升，那么这条曲线很可能就是那个捣蛋鬼。
4. 算法会检查这些“捣蛋鬼”是否遵循特定的数学模式（一种平移和缩放后的 beta 分布）。如果这些奇怪的曲线符合这种模式，它们就会被正式踢出，被视为离群值。

作者们在数学上证明了，如果曲线是由标准的高斯混合模型生成的，那么在移除一条正常曲线时，“整洁度评分”会以可预测的方式发生变化。如果变化过大，那么这条曲线就是离群值。

论文说了什么（以及没说什么）

作者运行了 100 个模拟数据集来测试这位大厨的厨艺。他们创建了 8 种不同的场景，进行了各种混搭：

• 簇（Clusters）： 有时有 2 个组，有时有 5 个组。
• 复杂度（Complexity）： 有些曲线很简单（比如直线），有些则非常狂野（带有凸起和波动）。
• 稀疏性（Sparsity）： 有时数据很密集（点很多），有时很稀疏（缺失点很多）。
• 离群值（Outliers）： 他们创建了两类捣蛋鬼。一些是“平移-缩放型”（整个曲线变大或向上移动），另一些是“重尾型”（随机、狂野的误差）。

结果：

• 重尾误差（Heavy-Tail Errors）： 当数据具有狂野、随机的误差（重尾）时，funOCLUST 是明显的赢家，击败了包括 funHDDC、T-funHDDC 和 tkmeans 在内的竞争对手。
• 平移-缩放误差（Shift-Scale Errors）： 当离群值仅仅是正常曲线的平移或缩放版本时，tkmeans（一种修剪 k-means 方法）实际上做得稍微好一点，尽管 funOCLUST 依然表现稳健。
• 现实世界测试 1（行人流量）： 他们在墨尔本的每小时行人流量数据上测试了该方法。算法成功区分了工作日与周末/节假日。它正确识别了 22 个“离群”天数，包括元旦、圣诞节和农历新年。在这些日子里，交通模式并不符合通常的工作日或周末模式。
• 现实世界测试 2（NOx 数据）： 他们在巴塞罗那的空气污染数据（NOx 水平）上进行了测试。该方法实现的**正确分类率（CCR）**在 0.51 到 0.86 之间，具体取决于模型设置。表现最好的设置（EEE 协方差结构）达到了 0.86，这与其他顶尖方法不相上下。

论文排除了什么

作者们谨慎地说明了他们的方法不是什么。

• 他们明确指出，虽然有些方法试图在“子空间”中进行数据聚类（以特定方式降低维度），但 funOCLста 保持了整个函数域的完整。他们认为，有时你需要完整的全景图，而不只是一个切片。
• 他们指出，他们的方法依赖于“食谱卡”（系数）来自多元正态分布的假设。如果数据极其偏斜或不符合此项，该方法可能会遇到困难（尽管他们认为对于许多现实情况，它足够稳健）。
• 他们并未声称这是针对所有函数型数据的“已解决问题”。事实上，在他们的模拟中，当存在 5 个簇且具有高复杂度和稀疏数据时，漏报离群值的错误率（假阴性率）跳升到了 51%。他们承认，在这些特定的、混乱的条件下检测离群值本质上是非常困难的。

结论

论文表明 funOCLUST 是一个稳健的新工具。它不是一个能瞬间解决一切问题的魔杖，但它是一个非常有力的竞争者，尤其是在数据充满噪声或具有重尾误差时。

作者总结道，这是将 OCLUST 扩展到函数型数据的首次尝试。他们将其视为一个垫脚石。他们建议，未来可以将此扩展到处理偏斜数据，甚至可以在聚类算法内部估计“食谱”（基分解），而不是仅仅将其作为第一步。

所以，如果你有一大盒杂乱、弯弯曲曲的意面，并且需要在剔除烧焦的部分的同时对它们进行分类，那么 funOCLUST 是一个值得雇佣的大厨——只是别指望如果意面太奇怪或者厨房太黑，它能表现得完美无缺！