🤖 machine learning

ReFP-AD: Rectified Flow Preconditioning for Energy-Based Anomaly Detection

ReFP-AD 通过最优传输耦合的整流流（rectified flow）引入了一种几何重参数化，以稳定高维标记空间中的能量模型训练，并在 MVTec-AD 和 VisA 数据集上实现了最先进的统一异常检测性能。

原作者： Camile Lendering, Erkut Akdag, Joaquín Figueira, Egor Bondarev

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Camile Lendering, Erkut Akdag, Joaquín Figueira, Egor Bondarev

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名试图在画廊中识破伪造画作的侦探。你通过研究成千上万件真正的杰作，已经掌握了精通的技艺，你确切地知道笔触、色彩和纹理应当呈现出怎样的样子。但你从未见过赝品。你的任务是走进一个摆满了新画作的房间，并瞬间指出那件格格不入的作品。这就是人工智能领域“异常检测”（anomaly detection）所面临的挑战。AI 需要在从未见过“坏”样本的情况下，学会识别什么是“正常”。

为了实现这一目标，现代 AI 通常使用“基础模型”（foundation models），它们就像是接受过整个互联网训练的超级大脑。这些模型将图像分解为被称为“标记”（tokens）的微小碎片，并将它们转化为捕捉图像含义的长串数字列表（即嵌入/embeddings）。然而，这些数字列表是非常混乱的。它们就像一团乱麻，有些线被拉得很紧，有些则很松，所有线条都以复杂的方式缠绕在一起。如果你尝试用这些混乱的列表来进行数学测量，来判断一张新图像是否“奇怪”，数学计算会变得混乱且不稳定。这就像是在走钢丝，而绳子却在你的脚下不断扭动。这篇论文正是针对这一特定问题：如何把那根纠缠的绳子拉直，让 AI 能够可靠地识别出伪造品。

纠缠的绳索问题

这项研究背后的研究人员，来自埃因霍芬理工大学的 Camile Lendering 及其团队，注意到 AI 检测异常时存在一个令人沮丧的缺陷。他们当时正在使用一种被称为能量模型（Energy-Based Models, EBMs）的强大数学方法。你可以把 EBM 想象成一个由山丘和山谷组成的景观。“正常”的图像（比如完美的工厂零件或健康的叶子）舒适地坐落在深邃、平滑的山谷中。而“异常”（如划痕或缺陷）则应该位于崎岖的山峰之上。

问题在于，AI 试图使用一种称为“朗之万动力学”（Langevin dynamics）的方法来探索这个景观，这本质上是一种寻找最低点的随机游走。但由于数据来自那些混乱、纠缠的基础模型，这个景观并不是一个平滑的山谷，而是一个扭曲、各向异性（在一个方向上被拉伸）的噩梦。随机游走会陷入困境、撞墙或者失控。这就像是试图让一颗弹珠滚下一条被揉成团的滑梯。以往的修复尝试涉及将数据压缩成更小、更简单的形状，但这会丢弃过多的细节，导致 AI 对细微缺陷视而不见。

直线化解决方案：ReFP-AD

团队提出了一个聪明的技巧，称为 ReFP-AD（用于异常检测的整流流预处理）。他们并没有试图强迫混乱的数据表现得规矩，而是构建了一个“几何整流器”。

想象你有一张画着图案的皱纸。如果你试图在纸皱缩的状态下测量图案，你的尺子给出的答案会是错误的。ReFP-AD 就像一台神奇的机器，它能轻轻地将纸抚平，在不撕裂图案或丢失任何墨迹的情况下，将其完美地铺展开来。在技术层面，他们使用“整流流”（rectified flow，一种数学映射）将那些混乱的高维标记列表转化为一个干净、有序的“潜空间”（latent space）。

在这个全新的、被“拉直”的空间里，异常景观中的“山丘与山谷”变得平滑且可预测。现在，当 AI 进行随机游走以寻找最低点（即正常数据）时，它会平滑地滑动，而不是卡住。这使得 AI 能够利用原始基础模型的全部丰富细节，而无需将其挤压成一个更小、精度更低的版本。

研究发现

结果令人印象深刻。团队在两个主要的工业数据集上测试了该方法：MVTec-AD（包含 15 类物体）和 VisA（包含 12 类物体）。他们使用了一种严格的“统一化”（unified）协议，这意味着他们只训练了一个单一的 AI 模型来同时处理所有这些不同的物体，而不是为每个物体单独训练一个模型。

在 MVTec-AD 数据集上，ReFP-AD 实现了 98.6% 的图像 AUROC 和 97.9% 的像素 AUROC。
在 VisA 数据集上，其图像得分为 97.3%，像素得分达 99.0%。

为了直观理解，之前的统一化模型在尝试这样做时，如果不使用这种“整流”技巧，表现会非常吃力。论文指出，ReFP-AD 在图像检测准确率上比表现最好的以往 EBM 基准模型高出了多达 10.8%。

研究人员进行了多次实验以证明其核心思想。当他们移除“整流”步骤并在原始的、混乱的数据上训练 AI 时，性能大幅下降（在 VisA 上降至 87.0%）。他们还发现，由于空间现在变得如此有序，AI 不需要进行数百步迭代就能找到答案；它只需要大约 20 步就能得出正确结果，而以前它需要更多步骤，甚至会完全失败。

为什么这很重要

这篇论文表明，提升 AI 识别缺陷能力的瓶颈不在于构建更大的大脑或更复杂的模型，而在于我们如何为这些模型准备数据。通过首先修复数据的几何结构，研究人员释放了现有基础模型的全部潜力。

虽然由于在做出决策前必须进行“整流”数学运算，该方法目前比一些简单的检测器稍慢，但它证明了我们可以构建一个单一的、统一的 AI，使其在处理多种不同类型的物体时，都能以极高的准确度识别缺陷。这是迈向未来的一步——届时，一个聪明的侦探可以巡逻整个工厂，既能精准发现金属齿轮上的划痕，也能发现布料卷上的裂缝，而这一切都不需要它预先见过“损坏”的例子来学习什么是“损坏”。

技术摘要：ReFP-AD

问题陈述

视觉异常检测（VAD）旨在识别偏离正常数据分布的样本，且在训练期间无法获取异常样本。在**统一设置（unified setting）**下，单个模型必须能够泛化到多种不同的物体类别、纹理和外观变化。虽然像 DINOv2 这样的基础模型提供了丰富的、高维的 token 表示（例如 1536 维向量），并将视觉数据组织成具有语义结构的流形，但利用这些空间进行显式密度估计仍然具有挑战性。

基于能量的模型（EBMs）为这类任务提供了一个原则性的框架，通过为输入分配一个标量能量 $E(x)$ ，其中异常对应于高能量状态。然而，在高维 token 空间中训练 EBM 是极其不稳定的。这种不稳定性被认为是本质上的几何问题，而非架构问题：

各向异性与相关性： Transformer token 分布具有高度的各向异性，并表现出强烈的跨维度相关性。
度量失配： 标准的 Langevin 动力学（用于采样负样本）假设是一个各向同性的欧几里得度量及各向同性的噪声。这种假设与实际 token 几何结构之间的失配导致了条件数极差的轨迹。
采样不稳定性： 在有限步数的马尔可夫链蒙特卡洛（MCMC）采样（例如持续对比散度，Persistent Contrastive Divergence）下，这种几何失配会导致混合缓慢、出现振荡性的“之字形”轨迹以及不稳定的负相位，这往往迫使先前的方法将表示压缩到低维瓶颈中以稳定训练。

方法论：ReFP-AD

作者提出了 ReFP-AD（用于异常检测的整流流预处理，Rectified Flow Preconditioning for Anomaly Detection），该框架将表示几何与密度估计解耦。ReFP-AD 不是修改能量模型或压缩特征，而是学习一种几何重参数化，以对采样空间进行预处理。

1. 统一 Token 表示

该方法利用冻结的 DINOv2 ViT 骨干网络提取 patch token。为了处理统一设置下不同类别间的尺度差异，使用来自正常训练数据的统计数据对 token 进行 Z-score 标准化。这作为应用统一模型之前的固定仿射预处理步骤。

2. 通过最优传输流进行的几何预处理

其核心创新在于学习一个传输映射，将各向异性的 token 分布重塑为条件良好的、近似各向同性的潜在空间。

整流流（Rectified Flow）： 一个连续时间传输映射，由神经网络 $v_\theta(t, x_t)$ 参数化，定义为一个常微分方程（ODE）。
OT-耦合： 源 token $z$ 与目标各向同性高斯变量 $u \sim \mathcal{N}(0, \tau^2 I)$ 通过熵正则化的最优传输（OT）耦合进行关联，该耦合使用稳定的对数域 Sinkhorn 迭代计算。
训练目标： 训练该流以最小化网络预测的速度与线性插值向量 $(u-z)$ 之间的匹配损失。
验证： 根据在投影子空间上计算的 SGLD 适应性诊断（包括条件性、残差相关性和尾部稳定性）来选择检查点，确保传输映射专门用于改善有限步 MCMC 行为，而不导致流形拓扑坍缩。

3. 使用预处理 SGLD 的无约束 EBM

一旦 token 被传输到潜在空间 $u$ ，便会对一个无约束的能量模型（一个残差 MLP）进行训练。

训练： 该模型使用持续对比散度（PCD）。负样本通过**预处理随机梯度 Langevin 动力学（pSGLD）**进行更新。预处理矩阵 $M_k$ 通过平方梯度的移动平均（类似于 RMSProp）计算，以适应所学能量景观的局部几何结构。
损失函数： 目标是最小化正样本的能量，同时最大化负样本的能量，并加入能量幅度和梯度平滑度的正则项。

4. 异常评分

在推理过程中，异常评分直接从学习到的能量景观中导出。每个 patch 的分数为梯度范数 $\|\nabla_u E_\phi(u)\|_2$ ，代表了将样本移向正常流形所需的“恢复力”的大小。这些 patch 分数会被上采样并平滑，以生成像素级的异常图。

核心贡献

几何诊断： 本文指出，统一 token 空间 EBM 的不稳定性源于各向异性基础模型 token 对欧几里得度量假设的违反，而非模型容量的限制。
几何重参数化： ReFP-AD 引入了一种新策略，利用 OT 耦合的整流流将高维视觉 token 映射到各向同性的潜在空间。这使得在不使用架构瓶颈或降维的情况下，实现稳定的有限步 MCMC 采样成为可能。
统一评估： 该方法在 MVTec-AD 和 VisA 数据集上，在严格的统一协议（所有类别共享单个流和 EBM）下进行了评估，证明了在几何得到正确调节时，显式密度估计可以优于基于重建和基于相似性的基准方法。

实验结果

该方法在 MVTec-AD（15 个类别）和 VisA（12 个类别）数据集上进行了评估。

性能： ReFP-AD 在基于密度的检测器中达到了最先进水平：
- MVTec-AD： 98.6% 图像 AUROC / 97.9% 像素 AUROC。
- VisA： 97.3% 图像 AUROC / 99.0% 像素 AUROC。
对比： 它在 VisA 的图像 AUROC 上比先前的统一 EBM 基准（如 MPDR）高出多达 +10.8%。它也超越了领先的基于归一化流的方法（HGAD）在 MVTec-AD 上的表现。
消融研究洞察：
- 预处理的必要性： 去除整流流会导致性能显著下降（例如，VisA 图像 AUROC 从 97.3% 降至 87.0%），证实了原始 token 空间不适合有限步 Langevin 动力学。
- 采样效率： 预处理空间允许快速的 MCMC 混合。仅需 20 个 SGLD 步数即可实现稳定性能，而原始空间中的标准 SGLD 则无法有效混合。
- 统一 vs. 每类别专用： 统一模型的表现仅比专门的每类别模型低 0.4–0.6%，证明了异构数据使用单个模型的可行性。

意义与主张

本文声称，将基于能量的模型扩展到基础表示的主要障碍是采样几何，而非模型容量。通过通过学习到的传输映射解决几何失配，ReFP-AD 实现了：

稳定的高维训练： EBM 可以直接在稠密的高维 token 表示（1536-D）上进行训练，而不会将其压缩进低维瓶颈。
保留语义： 与压缩特征的方法不同，ReFP-AD 保留了准确定位和多类建模所需的丰富且有结构的 token 信息。
通用原则： 该工作提出了一个通用的能量建模范式：首先调节表示的几何，然后学习能量。

作者承认，虽然该方法提高了检测鲁棒性，但与前馈或 k-NN 基于的检测器相比，ODE 集成（10 步 RK4 解算器）和梯度评估的要求增加了推理延迟，使其更适用于离线检测或统一建模优于严格实时约束的场景。