🤖 machine learning

UR-JEPA: Uniform Rectifiability as a Regularizer for Joint-Embedding Predictive Architectures

UR-JEPA 引入了一种基于一致可定向性和 Carleson 型平方函数的创新正则化项，用以防止联合嵌入预测架构中的表示崩溃，在实现具有竞争力的准确度的同时显著降低了训练方差，并与现有方法相比，在嵌入空间中诱导出了独特的低维几何结构。

原作者： Triet M. Le

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Triet M. Le

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人理解世界。你向它展示两张同一物体的略微不同的照片（比如从左侧看和从右侧看的一只猫）。机器人的目标是学习一个“心理地图”（嵌入/embedding），使得这两张照片即使像素不同，看起来也几乎一模一样。

这个领域的重大问题是崩溃（Collapse）。如果你不小心，机器人就会变得偷懒。与其学习一个丰富的地图，它可能会决定：“嘿，如果我把所有东西都画成房间中央的一个点，它们看起来不就都一样了吗！”这是一个失败案例；这意味着机器人什么也没学到。

为了阻止这种情况，之前的方法（如 LeJEPA）使用了一条规则：“你的心理地图必须看起来像一团完美的、蓬松的气体，在各个方向均匀地扩散开来。”这就像是强迫机器人填满整个房间的雾气。虽然这能防止机器人坍缩成一个点，但它违背了自然界的运作方式。现实中的物体（如猫或星系）通常生活在一个低维的“片”或“带”上，而不是在那个大房间里随机漂浮。

UR-JEPA 是一种新方法，它改变了规则，使其更好地符合现实。以下是详细拆解：

1. 旧规则 vs. 新规则

旧规则 (LeJEPA)： “用雾气填满整个房间。”
- 类比： 想象你试图通过把所有的书都扔到空中，并希望它们落在完美的均匀云团中来整理图书馆。这确实能防止书堆在角落里，但它忽略了书其实应该放在书架上。
新规则 (UR-JEPA)： “将书整理在平坦、光滑的书架上。”
- 类比： UR-JEPA 不再是随机的云团，而是告诉机器人：“你的数据应该看起来像是坐在一个光滑、平坦的片（流形）上。如果你放大观察该片的任何微小部分，它看起来应该像一张平整的纸。”
- 用数学术语来说，这被称为一致可微性（Uniform Rectifiability）。这意味着数据不仅仅是“散开”了，而且是有结构的、光滑的，并且拥有特定的“方向”可以移动（就像 3D 房间里的一个 2D 薄片）。

2. 它是如何工作的（“尺子”与“尺子的影子”）

论文引入了两种主要方式来检查机器人是否遵循了这条新规则：

方法 A：密度尺 (CGLT Loss)：
想象你正在检查一群人是否站在平坦的地板上。你在不同的位置落下一个“密度尺”（高斯核）。如果人们是在一个平坦的片上，那么当你改变尺子的尺寸时，尺子下的观测人数会保持一致。如果他们只是一个随机的云团或一个单一的堆积物，数值就会发生剧烈波动。UR-JEPA 利用这一点来确保数据保持在那个“平坦的片”上。
方法 B：局部地图检查 (Beta-Number Loss)：
想象你在森林里。你观察自己周围的一个小圆圈。如果树木排列成一条直线（1D 流形），你可以画出一条完美的直线来拟合它们。如果它们是随机的灌木丛，你就无法做到。这种方法会检查数据点在小邻域内是否可以用一个平面来拟合。如果不能，机器人就会受到惩罚。

3. 结果：发生了什么？

作者在四个数据集上测试了它：

ImageNet-10： 一个包含 10 种常见物体的较小集合。
Galaxy10： 星系照片。
ImageNet-100： 一个更大的 100 种物体的集合。
EuroSAT： 陆地（森林、河流等）的卫星图像。

研究发现：

更高的准确度： 在小型物体数据集（ImageNet-10）上，UR-JEPA 以微弱但显著的优势击败了旧方法。它学习到了更好的地图。
更强的稳定性： 旧方法有时会根据你使用的随机种子（起始点）给出非常不同的结果。UR-JEPA 则更加一致，像是一辆每次都能启动的可靠汽车，而旧方法则有些反复无常。
“形状”的学习： 这是最有趣的部分。当研究人员观察机器人的“心理地图”的形状时：
- 旧方法产生了一个“平坦”的地图，其中每个方向都同样重要（就像一个完美的球体）。
- 新方法产生了一个“悬崖”地图。它意识到在 32 个可能的方向中，只有大约 20 到 25 个方向实际上被用来承载数据。其他方向是空的。
- 为什么这很重要： 这证明了机器人确实学习到了数据生活在一个低维结构（“片”）上，而不是仅仅填满了整个房间。它找到了“书架”，而不仅仅是制造了“雾”。

4. 权衡 (Trade-offs)

优点： 它创造了一种更具结构化、更真实的表示。它更稳定（随机方差更小），并且在某些情况下更准确。
缺点： 它需要你大致告诉机器人数据的“平坦度”是多少（一个被称为 $n$ 的内在维度参数）。旧方法则不需要这个。此外，计算新规则比旧规则在计算上稍微昂贵一些。

总结

UR-JEPA 是一种更聪明的教机器人“看”世界的方式。它不再强迫它们将世界想象成一个随机、均匀的云团，而是教会它们将世界视为结构化的、光滑的表面。其结果是，机器人变得更加一致，在某些任务上更聪明，并且创建了一个真正反映现实世界几何结构的心理地图。

技术摘要：UR–JEPA：作为联合嵌入预测架构的均匀可微正则化项

1. 问题陈述

联合嵌入预测架构（JEPAs）通过在潜空间中预测一个增强视图的嵌入来学习表示。训练 JEPA 的一个核心难点是防止表示崩溃（representation collapse），即编码器将所有输入映射为常数或平凡解。

历史上的补救措施大多是启发式的（例如：停止梯度、对比负样本、协方差惩罚）。LeJEPA [1] 通过使用单一的显式目标分布正则化项——草图各向同性高斯正则化（SIGReg），推动了这一领域的发展。SIGReg 要求嵌入分布在整个环境维度 $D$ 上服从各向同性高斯分布 $N(0, I_D)$ 。

然而，这一目标与**流形假设（manifold hypothesis）相冲突，该假设认为现实世界的数据嵌入会集中在低维的本征维度 $n \ll D$ 的子集上。强制嵌入填充整个 $D$ 维空间以实现各向同性，违背了驱动表示学习的先验假设。本文提出的 UR–JEPA 用均匀 $n$ -可微测度（uniformly $n$ -rectifiable measure）**取代了各向同性高斯目标。该目标强制要求嵌入在小尺度下表现为定量上的 $n$ 维特性，使正则化与真实数据的几何结构保持一致。

2. 方法论

UR–JEPA 保留了 LeJEPA 的预测损失 $L_{pred}$ ，但用源自**均匀 $n$ -可微性（UR）**的几何测度论目标替换了 SIGReg 正则化项。文中利用了两种互补的均匀可微性表征，以构建适用于随机梯度下降（SGD）的可微损失函数。

2.1 理论基础

均匀 $n$ -可微性： 如果一个测度 $\mu$ 是 $n$ -Ahlfors–David 正则的（密度随 $r^n$ 缩放）并拥有“Lipschitz 图像的大块区域（Big Pieces of Lipschitz Images）”，则称其为均匀 $n$ -可微。
表征方式：
1. CGLT 平方函数： 基于 Chousionis–Garnett–Le–Tolsa (CGLT) 定理，该定理通过涉及尺度归一化球体密度的 Carleson 型平方函数来表征 UR。
2. Jones $\beta$ -数： 衡量局部数据相对于最佳拟合 $n$ 维仿射平面的偏差。

2.2 UR–JEPA 损失族

A. 高斯核平滑 Carleson 损失 ( $L_{CGLT}$ )

该系列通过使用高斯核来平滑经验密度，从而近似 CGLT 平方函数，以避免原始球体计数带来的噪声问题。

密度估计： 使用带宽为 $r$ 的高斯核计算尺度归一化密度 $\theta_r(x)$ 。
对数增量变体（默认）： 为了避免损失函数与绝对密度水平耦合（该水平是未知的），损失函数作用于对数密度增量： $\Delta_r \log \theta(x) = \log \theta_{2r}(x) - \log \theta_r(x)$ $Δ_{r} lo g θ (x) = lo g θ_{2 r} (x) - lo g θ_{r} (x)$ 。
- 损失函数： $L_{CGLT}^{UR} = \sum_{x \in A} \sum_k (\Delta_{r_k} \log \theta(x))^2$ 。
- AD-正则性锚点： 一个单独的项 $L_{AD}$ 惩罚 $\log \theta_r$ 在锚点间的方差，以强制执行 $n$ -Ahlfors–David 正则性条件（恒定密度水平）。
尺度导数变体： 使用尺度导数 $t \partial_t \log \theta_t$ 或原始核导数的替代方案。研究发现，对数导数变体对于稳定性至关重要，因为原始形式会受到局部密度水平的寄生耦合影响。

B. Jones $\beta$ -数损失 ( $L_\beta$ )

该系列强制要求局部邻域靠近一个 $n$ 维仿射平面。

局部 PCA： 对于每个锚点 $x$ 和尺度 $r$ ，构建一个加权散布矩阵。损失函数是对应于前 $n$ 个特征向量的正交补部分的特征值之和（即残差方差）。
反崩溃机制： 原始 $\beta$ $β$ -损失存在一个平凡的点质量最小化解（坍缩为一个点会导致残差为零）。文中引入了两种补救措施：
1. 本征对数迹惩罚： 添加 $-\gamma \log \text{tr}(S_r(x))$ 以惩罚局部邻域体积的坍缩。
2. 自适应特征值阈值化： 不再固定切向维度为 $n$ ，而是选择方差份额超过阈值 $\tau$ 的特征向量。这允许局部本征维度随每个锚点而变化，同时维持全局几何目标。

2.3 反崩溃特性

与 $\beta$ -损失不同，基于 CGLT 的损失在构造上具有反崩溃特性。在点质量配置下，平滑密度随 $r^{-n}$ 缩放，导致对数增量 $\Delta_r \log \theta$ 为一个非零常数（ $n \log 2$ ）。因此，损失函数保持在远离零的水平，从而无需辅助惩罚即可防止优化器陷入坍缩状态。

3. 核心贡献

用于 JEPAs 的几何正则化： 本文将均匀 $n$ -可微性转化为一种训练损失，为 LeJEPA 的各向同性高斯目标提供了一个原则性的替代方案。这使正则化与流形假设保持一致。
引入新的损失族： 提出了两类具体的、适用于 SGD 的损失族：
- $L_{CGLT}$ ： 基于 CGLT 定理，利用高斯核平滑密度和对数增量。
- $L_\beta$ ： 基于通过局部 PCA 计算的 Jones $\beta$ -数，并辅以对数迹惩罚以防止坍缩。
理论与实践的桥梁： 展示了深度学习如何通过可微近似来实现复杂的几何测度论概念（Carleson 测度、Jones $\beta$ -数）。
方法论洞察： 本文确立了密度的对数变换（或尺度导数）在方法论上是必不可少的。原始尺度导数形式的表现显著逊于对数形式，因为后者消除了与局部密度水平的耦合。

4. 实验结果

实验在 ImageNet-10 (Inet10)、Galaxy10 SDSS、ImageNet-100 (Inet100) 和 EuroSAT 上进行。

4.1 与 LeJEPA 的性能对比

Inet10： UR–JEPA( $L_{CGLT}$ ) 达到 0.9141 ± 0.0014 的 Top-1 准确率，优于匹配配方的 LeJEPA( $L_{SIGReg}$ ) (0.9058 ± 0.019) 0.83 个百分点 (pp)。至关重要的是，UR–JEPA 的种子标准差降低了约 30%。
Galaxy10 SDSS： 在匹配配方下，UR–JEPA( $L_{CGLT}$ ) (0.8142) 与 LeJEPA (0.8105) 在统计上持平，但 UR–JEPA 表现出更低的方差。两者都显著优于已发表的 LeJEPA 基准（归功于配方改进），但正则化本身相对于匹配的 LeJEPA 基准仅提供了微弱且不显著的提升。
Inet100 & EuroSAT： UR–JEPA 和 LeJEPA 收敛到相同的峰值准确度区间。在 EuroSAT 上，UR–JEPA 保持了其相比 LeJEPA 约 2 倍更紧凑的种子方差的特征。
缩放性： 不同于 LeJEPA 在增加投影器维度 $D$ 从 16 到 32 时性能下降，UR–JEPA 表现出提升，这表明其局部几何统计对环境空间的稀疏性不那么敏感。

4.2 几何差异

尽管准确率相似，但两种方法产生了结构截然不同的表示：

LeJEPA： 产生近乎各向同性的谱（平坦的特征值分布），与其高斯目标一致。
UR–JEPA： 产生高度各向异性的谱。在索引 $\sim 20\text{--}25$ 处（总维度 $D=32$ ），协方差特征值下降了 4 到 5 个数量级。这表明存在一个有效的低秩投影，符合自然图像的本征维度，同时保持了近乎高斯的单维边缘分布（这是 Diaconis–Freedman 现象的结果）。
鲁棒性： UR–JEPA 的“悬崖”特征在不同种子和数据集上都是可复现的，而 LeJEPA 则保持各向同性。

4.3 消融实验

本征维度 ( $n$ )： 性能在广泛的平台期内表现稳健（ $n \in [6, 10]$ ），但在 $n=4$ 时发生灾难性崩溃。
对数变换： 使用对数导数形式的 CGLT 损失显著优于原始形式（提升约 1.5 pp），证实了对数变换对于稳定性的必要性。
$\beta$ -损失： 原始 $\beta$ -损失在 Inet10 上发生坍缩。然而，在引入对数迹惩罚（ $L_{\beta, \gamma}$ ）后，它在 Galaxy10 上变得具有竞争力，尽管其表现仍逊于 CGLT 变体。

5. 重要性与主张

本文声称 UR–JEPA 为自监督学习提供了一种基于原则的几何替代方案。

结构恢复： UR–JEPA 恢复了局部切向维度作为可调参数，并强制执行尺度无关的形状约束（Carleson 型条件），这是 LeJEPA 无法实现的。它产生的表示在全局上是有效低秩的，同时保持了局部的 $n$ -可微性。
稳定性： 该方法展示了比 LeJEPA 更低的种子方差和更好的维度缩放性，表明其优化景观更加稳定。
谦逊态度： 作者承认，虽然 UR–JEPA 在准确率上匹配或略微超过 LeJEPA，但主要的提升在于结构性（低秩、几何一致的表示）和统计性（降低方差）。他们并未声称在所有任务中都具有普遍的准确率优越性，指出在 Galaxy10 和 EuroSAT 上，两者在收敛时在统计上是持平的。
理论差距： 本文承认，目前尚未提供将 Carleson 损失最小化以趋向 UR 目标的有限样本收敛保证，这仍是一个开放的理论问题。

总之，UR–JEPA 成功地将均匀可微性这一几何测度论概念转化为一种实用的、可微的正则化项，使其与流形假设相契合，从而产生了在几何上与众不同且在统计上更稳定的表示。