📊 statistics

A Bayesian Nonparametric Perspective on Mahalanobis Distance for Out of Distribution Detection

本文建立了贝叶斯非参数模型与用于分布外检测的相对马氏距离得分之间的形式化联系，提出了广义分层混合模型，该模型展现出更优越的性能，特别是在训练类别呈现不同协方差结构或数据有限的情况下。

原作者： Randolph W. Linderman (Electrical and Computer Engineering Department, Duke University, Durham, NC, USA), Noah Cowan (Statistics Department, Stanford University, Stanford, CA, USA), Yiran Chen (Electr

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Randolph W. Linderman (Electrical and Computer Engineering Department, Duke University, Durham, NC, USA), Noah Cowan (Statistics Department, Stanford University, Stanford, CA, USA), Yiran Chen (Electrical and Computer Engineering Department, Duke University, Durham, NC, USA), Scott W. Linderman (Statistics Department, Stanford University, Stanford, CA, USA, The Wu Tsai Neurosciences Institute, Stanford University, Stanford, CA, USA)

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一家非常高端的艺术画廊的保安。你花了多年时间研究画廊里的画作（你的训练数据）。你确切地知道一幅“真”画看起来、感觉起来以及表现起来是什么样子的。

有一天，一个陌生人拿着一件奇怪的物体走了进来。这是一位你尚未见过的新艺术家的杰作（一个分布外或OOD样本），还是仅仅是一个形状怪异的垃圾桶（一个异常值）？你的工作是立即认出那个垃圾桶并拉响警报。

本文旨在利用一种名为贝叶斯非参数的特定数学方法，构建一位更聪明的保安。以下是作者如何使用简单的类比来解释他们的方法。

旧方法：“一刀切”的尺子

长期以来，保安们使用一种名为马氏距离（具体为一种称为RMDS的版本）的简单工具。

这就好比一把尺子，它假设画廊里的每一幅画都具有完全相同的形状和纹理。

如果一幅画被稍微拉伸了，尺子会说：“这很奇怪！”
如果一幅画被稍微揉皱了，尺子也会说：“这很奇怪！”

问题在于，在现实世界中，并非所有画作都一样。有些宽而扁平，有些则高而细长。有些画在粗糙的帆布上，有些则画在光滑的丝绸上。如果你强行用一把“一刀切”的尺子去测量它们，你可能会漏掉那个垃圾桶，因为它看起来像一幅“正常”的宽画；或者你可能会误报，因为一幅高画在你那把扁平的尺子看来显得“异常”。

新想法：“灵活且共享智慧”的方法

作者提出了一种基于**狄利克雷过程混合模型（DPMMs）**的新保安。

这位新保安不再假设每幅画都一样，而是理解：

存在多种类型的画作：画廊里可能有 100 种不同的风格（簇）。
可能会出现新画作：总有可能存在一种保安从未见过的全新风格。
它们共享智慧：尽管每种画作风格都不同，但它们仍然可以相互学习。

“共享智慧”类比（分层先验）

想象画廊里有 100 个不同的艺术部门。

旧方法：每个部门都试图用自己的尺子测量自己的画作。如果一个部门只有 5 幅画，他们的尺子就会不稳定且不可靠。
新方法（分层）：所有部门共享一把可以借用的“主尺”。如果一个部门画作很少，他们会 heavily 依赖主尺；如果一个部门有数千幅画，他们就更信任自己的测量结果。

这就是作者所说的分层先验。它允许系统具有灵活性（承认不同的形状），同时也具有稳定性（在数据稀缺时不会感到困惑）。

重大发现：新旧方法是表亲

这篇论文得出了一个令人惊讶的发现。作者从数学上证明，旧的“一刀切”尺子（RMDS）实际上只是他们新的“灵活”系统的一个特殊简化版本。

可以这样理解：旧尺子就像场景的黑白照片，而新系统则是高清彩色视频。作者表明，如果你眯起眼睛看视频并关闭色彩，它看起来就完全像那张黑白照片。这意味着旧方法并非“错误”，它只是一个更强大思想的简化版本。

新工具：三种类型的灵活保安

由于他们意识到旧方法只是简化版本，作者构建了三种新的、更强大的保安来处理不同的情况：

全身体保安（全协方差）：这位保安同时观察画作形状和纹理的每一个细节。它非常准确，但需要大量的内存和时间。当你拥有一个拥有大量每类画作的巨大画廊时，它效果最佳。
快速扫描保安（对角协方差）：这位保安分别观察宽度和高度，忽略它们之间可能的相互作用。它更快且需要的内存更少。当画廊很大但你没有足够时间查看每一个细节时，它效果很好。
“关联”快速扫描保安（耦合对角）：这是作者的新颖发明。它就像快速扫描保安，但它注意到如果画作的宽度“奇怪”，高度可能也“奇怪”。它将这两个概念联系起来。在许多测试中，这被证明是表现最佳的，尤其是当画廊拥有多种风格但每种风格的样本不多时。

他们发现了什么？

作者在著名的基准测试OpenOOD（一个针对不同画廊和垃圾桶的巨大测试）上测试了这些新保安。

当画廊小而拥挤时：新的“关联”保安在识别垃圾桶方面表现最好。
当画廊中每种风格的样本非常少时：新保安比旧尺子好得多，因为旧尺子因数据缺乏而感到困惑。
当风格彼此差异很大时：新保安适应得更好，因为它们没有强行将所有事物塞进同一个“盒子”里。

核心结论

本文认为，我们不应仅仅依赖像旧 RMDS 那样简单、僵化的尺子来检测异常数据。相反，我们应该使用贝叶斯非参数模型，它们就像一个灵活且共享智慧的系统。

通过将问题视为“判断新物品属于已知群体还是全新群体”，并让不同群体共享统计强度，我们可以构建出更擅长在画廊中识别垃圾桶的安全系统，尤其是在画廊杂乱无章或样本稀缺的情况下。

简而言之：本文采用了一个复杂、灵活的数学框架，展示了它如何解释我们当前简单工具的工作原理，然后利用该框架构建出更好、更具适应性的工具，使它们在棘手的情况下优于旧工具。

技术摘要：基于贝叶斯非参数视角的马氏距离在分布外检测中的应用

问题陈述

机器学习系统，尤其是那些基于在大规模数据集上训练的基础模型构建的系统，不可避免地会遇到偏离其训练分布的数据。检测这些分布外（OOD）样本对于安全性和可靠性至关重要。虽然贝叶斯非参数方法为估计数据点属于新簇的概率提供了一个连贯的概率框架，但它们大多被更简单的基于距离的度量所取代。采用贝叶斯方法的主要障碍在于估计特征嵌入的高维协方差矩阵所面临的计算和统计挑战，特别是当每个类别的训练样本数量相对于嵌入维度较小时。

方法论

理论联系：RMDS 与 DPMM

作者建立了广泛使用的相对马氏距离分数（RMDS）与贝叶斯非参数推断之间的形式化理论关系。具体而言，他们证明了 RMDS 是源自具有绑定协方差矩阵（即所有类别共享单个协方差矩阵）的高斯狄利克雷过程混合模型（DPMM）的异常值概率的紧密近似。

命题 4.1：表明一般 DPMM 的内点概率可以表示为分数 $\tilde{C}(x)$ 的逻辑函数，该分数类似于相对马氏分数。
命题 4.2：证明在特定条件下（次高斯数据、相等的簇大小以及相对协方差矩阵的特定条件），来自绑定协方差模型的 DPMM 分数与 RMDS 几乎完全相关。这将启发式的 RMDS 方法与严格的贝叶斯推断联系起来。

分层高斯 DPMM

认识到当类别表现出显著不同的协方差结构时，绑定协方差假设（以及由此产生的 RMDS）可能不成立，作者提出了分层高斯 DPMM。这些模型通过推断每个簇的独立协方差矩阵，同时通过分层先验在类别间共享统计强度，从而放宽了绑定协方差假设。

本文介绍了三种具体的模型变体：

全协方差模型：使用共轭正态 - 逆威沙特（NIW）先验。这允许使用全协方差矩阵，但在高维情况下存在过拟合风险。
对角协方差模型：假设维度间的方差相互独立，使用缩放逆卡方先验。这减少了参数数量，但假设维度间相互独立。
耦合对角协方差模型：一种新颖的方法，通过引入类别特定的缩放因子 $\gamma_k$ 来捕捉维度间的相关性。该因子缩放特定类别所有维度的方差，使模型能够在保持计算效率的同时，捕捉跨类别的方差幅度系统性变化。

估计

作者开发了高效的期望最大化（EM）算法来估计这些分层模型的超参数。

对于全协方差和对角模型，超参数（浓度 $\nu_0$ 和精度缩放 $\kappa_0$ ）的 M 步通过闭式解或广义牛顿法计算。
对于耦合对角模型，缩放因子 $\gamma_k$ 的后验分布没有闭式解。作者利用 $\gamma_k$ 是一维的这一事实，通过在密集网格上进行数值积分来近似该分布。

主要结果

合成实验

在二维数据上的模拟证实，当出现以下情况时，分层模型优于绑定协方差模型（以及 RMDS）：

协方差矩阵在不同簇间存在显著差异（低 $\nu_0$ ）。
每个类别的数据点数量（ $N_k$ ）相对于维度（ $D$ ）较小。
在 $N_k/D$ 较小的情况下，独立的 RMDS（使用每个类别的协方差而无分层先验）因过拟合而失效，而分层 DPMM 则保持了稳健的性能。

OpenOOD 基准评估

这些模型在 OpenOOD 基准上进行了评估，使用了 CIFAR-10、CIFAR-100 和 ImageNet-1K 数据集以及各种 OOD 数据集（近域和远域）。

ImageNet-1K：耦合对角模型在近域 OOD 检测上取得了最佳性能，优于标准 RMDS 和绑定 DPMM。全协方差模型表现不佳，这可能是由于在高维（768 维）空间中的过拟合。
CIFAR-10：全协方差分层模型在近域和远域 OOD 任务上均产生了最高性能，这表明对于较低维度的嵌入（512 维）和较小的数据集，全协方差结构是可学习的且有益的。
维度分析：随着特征维度的增加，全协方差模型的性能趋于平稳或下降，而对角和耦合对角模型保持了优越的性能，特别是在近域 OOD 基准上。

意义与主张

本文声称，具有分层先验的贝叶斯非参数方法为 OOD 检测提供了一种基础扎实且具有实际竞争力的方法。主要贡献包括：

理论统一：建立了启发式 RMDS 与高斯 DPMM 下的贝叶斯推断之间的形式化联系，验证了 RMDS 作为更通用概率框架特定极限的有效性。
泛化能力：提出了分层模型，通过放宽等协方差假设来泛化 RMDS，从而适应类别协方差不同的场景。
实用价值：证明了这些模型可以改善 OOD 检测，特别是在具有以下特征的条件下：
- 跨类别的协方差结构异质性。
- 相对于特征维度，每个类别的数据有限。
- 需要对分布内样本与“近域 OOD"样本进行细粒度区分。

作者指出，虽然全协方差模型在高维情况下可能会过拟合，但耦合对角模型提供了一个稳健的折衷方案，它在捕捉类间方差相关性方面表现出色，同时避免了全协方差估计带来的参数爆炸问题。他们得出结论，将 OOD 检测构建为生成模型中的推断过程，允许进行原则性的建模选择，从而可能带来超越现有基于距离基线的性能提升。