🤖 machine learning

Beyond Generative Priors: Minority Sampling with JEPA-Guided Diffusion

本文介绍了 JEPA 引导，这是一种扩散采样框架，它利用联合嵌入预测架构（JEPA）世界模型，依据现实世界的语义稀有性而非模型特定的密度来定义和生成少数样本，从而提升在各种生成任务中生成的低密度实例的保真度与有效性。

原作者： Sol Park, Soobin Um

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Sol Park, Soobin Um

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《超越生成先验：JEPA 引导的扩散模型进行少数采样》的通俗解读，辅以生动的类比。

核心难题：AI 艺术的“回声室”效应

想象一下，你请一位 AI 艺术家画一幅“稀有动物”的图。如今的大多数 AI 模型就像回声室。它们是在互联网上数百万张照片的基础上训练出来的。如果它们看到了 1000 张白背景下的狗的照片，它们就会认为那是狗“正常”的样子。如果你要求画一只“稀有”的狗，AI 可能只会画出一只颜色怪异或姿势奇特的狗，但它本质上仍然是一只白背景下的狗。

该论文指出，当前 AI 寻找“稀有”事物的方法存在局限，因为它们只在 AI 自身的“记忆”中寻找稀有之物。它们无法理解现实世界中什么才是真正稀有的。例如，“隐形飞机”在现实世界中是真正稀有的，但如果 AI 从未见过它，它就不会知道要将其画为“稀有”对象。它可能只会画出一只非常模糊的狗。

解决方案：新的向导（JEPA）

作者提出了一种新方法，教导 AI 理解“稀有”的真正含义。他们引入了一位名为JEPA（联合嵌入预测架构）的新向导。

将 AI 的绘图过程（扩散模型）想象成一名徒步者在广阔多雾的山脉中寻找隐藏洞穴。

旧方法：徒步者只拥有一张他们刚刚走过的区域的地图（训练数据）。他们寻找的是相对于刚才走过的路径而言“隐藏”的洞穴。他们可能会在熟悉的岩石中发现一个小洞，但却错过了世界其他地方存在的巨大而独特的洞穴系统。
新方法（JEPA 引导）：徒步者现在获得了一张整个星球的卫星视图（即“世界先验”）。这张卫星视图是由一位超级聪明的观察者（JEPA）构建的，它见过数十亿张图片，并理解世界的真实地理。这位向导告诉徒步者：“不要在你脚下的岩石里找洞。去寻找那些真正独特、未被触碰的地方，就像在满是飞鸟的天空中寻找隐形飞机一样。”

工作原理：“低密度”狩猎

在 AI 的世界里，“高密度”区域是大多数事物存在的地方（如拥挤的城市广场）。“低密度”区域则是空旷、安静的地方（如沙漠或秘密基地）。

目标：论文希望 AI 从这些“低密度”区域生成图像，这些图像在现实世界中是真正稀有的，而不仅仅是在 AI 的训练集中稀有。
技巧：AI 在绘图过程中利用 JEPA 向导来检查其工作。在绘图的每一步，它都会询问 JEPA 向导：“这张图像在现实世界中是常见的还是稀有的？”
引导：如果图像变得过于“常见”（例如一只标准的狗），向导就会将绘图推向“稀有”的方向（例如带翅膀的狗或隐形飞机）。它将 AI 从拥挤的城市广场引向世界那些安静而独特的角落。

提速机制：“捷径”

计算这种“现实世界的稀有度”通常非常缓慢且耗时，就像试图数清海滩上的每一粒沙子以找到特定的一粒。该论文引入了一种数学捷径（使用随机化 SVD和包络定理）。

想象你需要称量一块巨大的岩石。与其搬起整块石头，不如对其表面进行几次巧妙的测量，并利用公式以极高的精度估算其重量。这使得 AI 能够在不过度拖慢绘图过程的情况下，使用“世界先验”向导。

结果：更好、更奇特、更真实

该论文在多项任务上测试了这种方法：

绘制人脸：它不再只是生成长相怪异的人脸，而是生成了真正独特的人脸（例如具有特定的罕见特征），而不仅仅是杂乱无章的图像。
绘制动物：它成功生成了如“隐形飞机”或“鸵鸟”等现实世界中稀有的事物，而其他方法只是生成了长相奇怪的狗。
文生图：当被要求绘制特定场景时，它生成的图像既准确契合文本，又出奇地独特，避免了“平庸乏味”的外观。

为何这很重要

作者表明，通过使用“世界先验”（JEPA）而不仅仅是"AI 的记忆”（生成先验），我们可以创造出更具惊喜感和真实感的 AI 艺术。这之间的区别在于：是一个只知道见过什么的 AI，还是一个理解更广阔、更奇异现实的 AI。

简而言之：这篇论文教会了 AI 停止在自家后院寻找稀有事物，转而探索整个世界，以发现真正独特且有趣的图像。

以下是论文《超越生成先验：JEPA 引导的扩散模型少数采样》的详细技术总结。

问题陈述

少数采样旨在生成数据流形上的低密度实例，这对于医疗诊断、异常检测和创意人工智能等应用至关重要。然而，现有方法将“少数”定义为相对于模型自身学习到的生成先验（即训练数据的分布）而言。这造成了一个根本性的局限：被识别为“罕见”的样本往往仅仅是特定训练集或模型归纳偏见的产物，而非现实中真正不典型的实例。例如，在标准数据集上训练的模型可能会因为一只白背景下的狗在训练数据中代表性不足而将其视为“罕见”，而一架隐形飞机在现实中可能 genuinely 罕见，但如果模型的先验过于狭窄，则无法将其捕捉为罕见样本。论文指出，现有方法未能与现实世界先验保持一致，而后者对于捕捉真正的语义稀有性是必不可少的。

方法论：JEPA 引导

作者提出了JEPA 引导，这是一个将少数采样从以生成器为中心的观点转向以世界为中心的框架。这是通过利用联合嵌入预测架构（Joint-Embedding Predictive Architecture, JEPA，如 DINOv2 等世界模型）的隐式密度来引导扩散模型实现的，这类模型以其编码广泛且语义丰富的表示能力而闻名。

核心机制：

以世界为中心的定义：该方法不是最小化扩散模型密度 $p_\theta(x)$ 下的概率，而是寻求最小化 JEPA 诱导密度 $p_\phi(x)$ 下的概率。少数样本被定义为位于 JEPA 表示空间中低密度区域的样本。
JEPA-SCORE：该方法利用JEPA-SCORE，这是一种源自预训练 JEPA 编码器 $f_\phi$ 的雅可比矩阵的密度度量。具体而言，它是雅可比矩阵 $J_f(x)$ 奇异值对数的总和。较低的 JEPA-SCORE 值表示在现实世界先验中密度较低（即不典型性较高）。
通过随机化 SVD 进行近似：在每一个扩散步骤中计算完整的雅可比矩阵及其奇异值分解（SVD）在计算上是不可行的。作者采用随机化 SVD来高效近似压缩雅可比矩阵的前 $k$ 个奇异值。他们提供了近似误差的理论上限，将其分解为随机化 SVD 估计误差和截断误差。
包络定理以提高效率：为了避免通过依赖于输入 $x_t$ 的随机化 SVD 内部优化循环进行反向传播，作者运用了包络定理。这使得他们在计算梯度时可以将最优投影矩阵 $Q^*$ 视为常数，从而显著减少内存使用和计算开销，同时保持正确的一阶梯度。
延迟引导：为了解决扩散模型的噪声中间潜在变量与 JEPA 编码器期望的干净输入之间的域差距，作者引入了延迟引导。JEPA 引导仅在中间时间步 $\tau T$ （例如 $t=0.8T$ ）之后应用，确保去噪估计 $\hat{x}_{0|t}$ 足够清晰，以便 JEPA 编码器有效评估。这也使得该方法能够扩展到条件生成（例如文本到图像），因为条件在过程早期建立，早于以世界为中心的引导开始。

主要贡献

以世界为中心的少数采样：范式转变，基于现实世界先验（通过 JEPA）而非生成模型的狭窄先验来重新定义少数样本。
JEPA 引导框架：一种原则性的扩散采样方法，将轨迹引导至 JEPA 诱导先验下的低密度区域。
高效计算：开发了原则性的近似策略（随机化 SVD），并应用包络定理使 JEPA 引导在计算上可行，同时辅以理论误差界限。
无需训练的集成：该方法完全无需训练，仅需预训练的扩散模型和 JEPA 模型，并可在推理时集成，无需修改底层模型。

实验结果

作者在无条件、类条件以及文本到图像生成任务中评估了 JEPA 引导（使用了 CelebA、ImageNet、Stable Diffusion 1.5 和 SDXL-Lightning）。

不典型性：与 Sehwag 等人（2022）、MG、SGMS 和 MinorityPrompt 等基线相比，JEPA 引导始终实现了最低的JEPA-SCORE（表明在现实世界先验下具有更高的不典型性）。
保真度与有效性：尽管针对稀有区域，该方法仍保持了高保真度。在文本到图像任务中，它在生成语义独特样本（例如年长的军事人员、非裔美国棒球运动员）方面取得了具有竞争力的文本对齐分数（CLIPScore、PickScore、ImageReward），而其他方法未能生成此类样本。
定性比较：可视化显示，以生成器为中心的方法通常产生具有不典型上下文的样本（例如起重机附近的鹰），而 JEPA 引导产生具有不典型语义或行为的样本（例如交配的鹰、不寻常的动物形状），这更符合现实世界的稀有性。
下游效用：在用于分类器训练的数据增强任务中，使用 JEPA 引导的少数样本进行增强，在样本数量较少的情况下，取得了优于或相当于其他方法的性能，表明这些样本提供了更具信息量的训练信号。

意义与主张

论文声称，JEPA 引导为现有少数采样器被困在生成模型自身分布中的局限性提供了一个稳健的解决方案。通过利用世界模型（JEPA），该方法生成的样本在现实世界中是真正罕见的，而不仅仅是相对于特定数据集而言的罕见。

作者强调，这种方法：

解耦了少数概念与生成先验。
弥合了生成建模与世界建模之间的差距，这是追求通用人工智能的关键组成部分。
提供了一种实用的、无需训练的工具，用于需要多样化和不典型数据的应用，如鲁棒性测试、公平性改进和创意内容生成。

作者还承认了潜在的双重使用担忧：反转引导方向可能会强化现实世界先验中现有的偏见，因此他们鼓励负责任地使用。他们指出，虽然与标准采样器相比，该方法引入了计算开销，但它仍快于某些复杂的基线（如 MinorityPrompt），并且对于以世界为中心的不典型性的显著提升而言，这是一个合理的权衡。