🤖 machine learning

DriftXpress: Faster Drifting Models via Projected RKHS Fields

DriftXpress 是一种加速漂移模型构建方法，它利用投影的再生核希尔伯特空间场在低秩特征空间中近似漂移核，从而在降低训练成本的同时，保持标准漂移模型的一步推理优势与图像质量。

原作者： Ali Falahati, Elliot Creager, Gautam Kamath, Shubhankar Mohapatra

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Ali Falahati, Elliot Creager, Gautam Kamath, Shubhankar Mohapatra

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人艺术家如何画出一幅完美的猫。

旧方法（标准漂移）
在 AI 艺术的世界里，有一种流行的方法叫做“漂移模型”。这就像一位老师站在机器人艺术家身旁。每当机器人画出一笔草图，老师就会同时查看机器人的画作和一座包含真实猫咪照片的巨大图书馆。然后老师说：“好吧，把你的画笔稍微向真实猫咪的方向移动一点，同时把你当前这幅杂乱的草图推开。”

问题在于？老师必须为机器人画的每一笔都进行这种计算，将草图与图书馆中的每一张照片进行比较。虽然极其准确，但这令人筋疲力尽。机器人大部分时间都在等待老师做计算，而不是真正在作画。“推理”（生成最终图像）很快，但“训练”（学习如何作画）却痛苦地缓慢且昂贵。

新方法（DriftXpress）
这篇论文的作者 DriftXpress 问道：“我们能否在不降低机器人表现的前提下，让老师变得更快？”

他们的解决方案就像在课程开始前，先聘请一位图书管理员来整理图书馆。

地标照片：老师不再每次查看图书馆里的每一张猫咪照片，而是挑选一小部分具有代表性的“地标”照片（例如 500 只不同的猫）。
摘要：在机器人开始作画之前，图书管理员基于这 500 个地标创建了一份“作弊条”（数学摘要）。这份作弊条捕捉了整个图书馆的精髓。
捷径：现在，当机器人画出一笔草图时，老师不需要将其与 50,000 张照片进行比较。他们只需将其与这份作弊条进行比较。这就像查看城市地图摘要，而不是阅读城市中每一条街道的地址。

魔法技巧
论文声称这种捷径之所以有效，是因为：

更快：老师因为查看的是摘要而非整个图书馆，所以能更快地进行计算。这将训练过程的速度提高了2 到 6 倍（具体取决于数据集）。
依然出色：尽管他们不再查看每一张照片，但这份“作弊条”在代表整个图书馆方面如此出色，以至于机器人学习作画的效果与之前一样好。最终生成的图片质量也完全相同。
“推”与“拉”：老师仍然必须为“推”的部分（告诉机器人远离其自身糟糕的草图）进行艰难的数学计算，但对于“拉”的部分（告诉机器人向真实猫咪靠近），这种捷径完美有效。

结果
论文在各种图像数据集（如 SVHN、CIFAR 和 ImageNet）上测试了这种方法。他们发现：

机器人学习作画的速度快得多（就实际耗时而言）。
最终画作的质量（通过称为 FID 的分数衡量）与缓慢的原始方法相比几乎完全相同。
他们甚至能够处理巨大的图书馆（如 ImageNet），方法是将“作弊条”拆分成更小的块（称为“分片”），以防止计算机内存耗尽。

一言以蔽之
DriftXpress 就像是将老师从“阅读图书馆里的每一本书来提供建议”升级为“使用一份高度准确、预先写好的摘要”。机器人学习的效果一样好，但老师不再感到疲惫，整个课程也完成得快得多。这篇论文证明，你可以既拥有蛋糕（快速训练），又能吃到它（高质量图像），而无需等待缓慢的旧方法。

技术摘要：DriftXpress

问题陈述

漂移模型（Drifting Models）代表了生成建模的范式转变，它能够在无需扩散模型或流模型所需的迭代推理的情况下，实现单步图像生成。漂移模型不进行迭代去噪，而是学习特征空间中的吸引 - 排斥场，将生成的样本拉向数据分布，并将其推离当前的模型分布。

尽管有效，但标准漂移模型引入了显著的权衡：推理成本低廉（单步），但训练成本高昂。主要瓶颈在于对吸引场的重复估计，这需要在每个训练步骤中计算每个生成样本与整个训练支撑集（或大型小批量）之间的精确核交互。这导致了极高的实际训练时间成本，限制了该方法的扩展性。本文探讨是否可以通过改进这种训练 - 推理权衡，在保持单步推理优势的同时降低训练成本。

方法论：DriftXpress

作者提出了DriftXpress，这是一种基于投影再生核希尔伯特空间（RKHS）场的漂移模型加速公式。其核心思想是利用源自 Nyström 方法的低秩特征空间来近似漂移场中的吸引分量，同时保持排斥分量的精确性。

1. 基于 Nyström 地标点的 RKHS 投影

该方法利用 Nyström 近似，将核交互投影到由训练数据中预先选定的一组固定“地标”点所张成的子空间上。

地标选择：从训练数据中采样一组地标 $U = \{u_1, \dots, u_r\}$ （例如，按类别均匀采样）。这些地标定义了一个子空间 $H_U \subset H_k$ 。
特征映射：利用地标核矩阵 $K_{UU}$ 以及点 $z$ 与地标之间的核评估值，构建 Nyström 特征映射 $\phi(z)$ 。这使得核相似性 $k(x, y)$ 可以通过低秩点积 $\phi(x)^\top \phi(y)$ 进行近似。

2. 带缓存摘要的投影吸引

在标准漂移中，吸引场 $V_p^+(x)$ 被计算为训练样本的归一化核加权均值。DriftXpress 用投影核 $k_U$ 替换了精确核 $k$ 。

预计算：DriftXpress 不再在每一步重新计算与完整训练集的交互，而是预先计算整个训练数据集的两个紧凑摘要：
- $A_p = \sum \phi(y_j^+) (y_j^+)^\top$
- $b_p = \sum \phi(y_j^+)$
高效评估：在训练期间，利用这些缓存摘要和查询的投影特征 $\phi(x)$ 高效地计算吸引均值 $\mu_p^U(x)$ ：
$\mu_p^U(x) = \frac{A_p^\top \phi(x)}{\phi(x)^\top b_p + \epsilon}$
这将每一步的复杂度从依赖于训练集大小 $N_+$ 降低为依赖于地标维度 $r$ （其中 $r \ll N_+$ ）。

3. 精确排斥

排斥分量 $V_q^-(x)$ 用于将样本推离当前生成的批次，该分量保持精确。作者观察到，近似排斥会导致严重的模式崩溃和不稳定性。因此，DriftXpress 采用混合方法：使用投影吸引以提高效率，使用精确排斥以确保稳定性。

4. 组合摘要（分片）

为了处理在内存中存储所有类别的摘要不可行的大型数据集，DriftXpress 采用分片策略。训练数据被划分为多个分片（例如按类别划分），并为每个分片维护单独的摘要。最终的吸引场通过按顺序累加每个分片的贡献来计算。这种方法使得该方法能够扩展到 ImageNet 等数据集，而无需在 GPU 内存中实例化完整的摘要张量，以略微降低吞吐量为代价换取了内存可行性。

主要贡献

RKHS 重构：作者在漂移核诱导的 RKHS 中重构了漂移场，使得吸引场能够进行基于地标的低秩评估。
DriftXpress 算法：他们提出了一种实用算法，用缓存的预计算摘要替换了重复的精确吸引计算，并为大规模数据集跨分片组合这些摘要。
理论保证：本文提供了投影场失真的界限，表明误差由地标核残差和局部核质量控制。这量化了近似保持准确的条件。
实证验证：大量实验表明，DriftXpress 在大幅减少训练时间的同时，保持了样本质量。

结果

作者在 SVHN、CIFAR-10、CIFAR-100 和 ImageNet 上评估了 DriftXpress，并将其与标准漂移模型进行了比较。

训练效率：DriftXpress 在实际训练时间和吞吐量方面实现了显著加速。
- 在CIFAR-10上，它在保持相当或略优的 FID 分数（5.52 对比 5.64）的同时，实现了6.63 倍的吞吐量加速（从约 2,463 提升至约 16,342 张图像/秒）。
- 在ImageNet上，分片变体实现了2.64 倍的加速（5,453 对比 2,058 张图像/秒），且 FID 相当（9.21 对比 8.83）。
收敛性：DriftXpress 在实际时间上更快地达到低 FID 区域。由于投影场使用的是整个数据集的摘要，而非嘈杂的小批量交互，训练动态更加平滑，从而实现了更快的收敛。
样本质量：该方法保持了与标准漂移相当的样本质量。定性比较显示，生成的图像在视觉上与标准方法生成的图像无法区分。
地标选择：实验表明，简单的按类别随机地标选择极具竞争力且计算高效，通常优于更复杂的选择策略（如 k-center）。
推理：关键在于，推理成本与标准漂移完全相同（单次前向传播），因为近似仅应用于训练场估计阶段。

意义与主张

本文声称，DriftXpress 成功地将漂移模型的训练 - 推理权衡推向了更远的方向。通过将场估计的计算负担从训练循环转移到一次性预处理阶段（以及高效的低秩查找），该方法降低了漂移模型的主要瓶颈——昂贵的训练成本，同时未损害单步推理的核心优势。

作者强调，这种方法使得漂移模型能够扩展到更大的数据集（如 ImageNet）和更大的批量大小，而无需承担与精确核交互相关的不可接受的内存和计算成本。这项工作表明，单步生成模型的“训练成本”可以与“推理成本”显著解耦，从而使高保真单步生成变得更加实用。本文得出结论，虽然近似排斥仍然是一个未解决的挑战，但投影吸引与精确排斥相结合的混合方法提供了一条稳健且可扩展的前进道路。