📊 statistics

Generalization analysis with deep ReLU networks for metric and similarity learning

本文通过基于真实度量的显式形式构建结构化深度 ReLU 网络，推导出平衡近似误差与估计误差的显式超额风险界，从而首次对度量和相似性学习进行了严格的泛化分析。

原作者： Junyu Zhou, Puyu Wang, Ding-Xuan Zhou

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Junyu Zhou, Puyu Wang, Ding-Xuan Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教计算机如何区分两样东西，比如 T 恤和毛衣，或者猫和狗。在机器学习领域，这被称为度量和相似性学习。其目标是构建一把“尺子”（一个数学函数），用来衡量两个物品之间的相似或差异程度。如果物品属于同一类型，这把尺子应判定为“非常接近”；如果它们不同，则应判定为“相距甚远”。

长期以来，科学家们一直使用简单的形状（如直线或平面）来构建这些尺子。但现实世界是混乱且弯曲的。本文提出了一个重大问题：如果我们使用一个非常复杂、深层的“神经网络”（一个拥有多层结构的计算机大脑）来构建这把尺子，它在面对新的、未见过的数据时，实际表现究竟如何？

以下是作者所做工作的简要拆解，并辅以简单的类比说明。

1. 问题：“完美尺子”是隐藏的

想象你正在绘制一张城市地图。你知道那里存在一张“完美地图”（即真实的度量），但你无法直接看到它。你只有几张模糊的照片（你的数据）来推测地图的样子。

先前的研究尝试使用简单工具（如直尺）来猜测这张地图。本文的作者意识到，要获得一张真正优秀的地图，必须理解完美地图本身的隐藏结构。他们问道：这把完美的尺子在数学上究竟长什么样？

2. 发现：“概率配方”

作者发现，对于一种特定的学习工具（称为“合页损失”），完美的尺子并非一条随机的曲线。它拥有一个非常具体的配方：

第一步：观察你要比较的两个物品。
第二步：询问，“这两个物品属于同一组的概率是多少？”（例如：它们都是 T 恤的概率是多少？）
第三步：如果该概率很高（超过 50%），尺子就会判定“它们相似”；如果概率很低（低于 50%），尺子就会判定“它们不同”。

作者意识到，这把“完美尺子”实际上只是一种花哨的方式，用于检查它们属于同一组的概率是否大于 50%。

3. 解决方案：构建“乐高”神经网络

既然他们知道了完美尺子的配方，他们并没有随意抛出一个巨大且混乱的神经网络来解决这个问题。相反，他们构建了一个结构化的网络，就像一套专门为这项工作定制的乐高积木。

他们的网络包含三个特殊部分：

估计器：小型子网络，用于猜测某个物品属于特定组的概率（例如：“这是 T 恤吗？”）。
乘数：一个特殊层，将这些概率相乘（因为数学要求将概率相乘）。
开关：最后一层，像一个电灯开关。如果最终计算结果超过某个阈值，它就切换到“相同”；如果低于该阈值，就切换到“不同”。

他们在数学上证明，如果你用适当数量的“乐高积木”（复杂度）来构建网络，它就能无限接近完美的尺子。

4. 保证：“误差预算”

在机器学习中，犯错有两种方式：

估计误差：你没有足够的数据来很好地学习模式。
近似误差：即使你有无限的数据，你的工具（网络）也不够复杂，无法描绘出该模式。

作者进行了一次精心的平衡。他们表明，通过选择合适大小的“乐高”网络，可以将总误差最小化。他们推导出了一个具体的公式（一个“速度限制”），描述了计算机随着看到更多数据时的学习速度。

结果：他们证明，他们的方法比先前的方法学习得更快、更准确，尤其是在数据平滑且可预测的情况下。

5. “陷阱”：距离如何欺骗你

最有趣的发现之一是关于对称性的。

旧观念：许多人认为，一个物品与它自身之间的距离应始终为零（或尽可能小的数字）。
本文的发现：作者表明，这并不总是正确的！
- 类比：想象一对同卵双胞胎（物品 A 和物品 A）。如果计算机对它们的身份非常不确定，这把“尺子”可能会说它们“相距甚远”，因为它们属于同一组的概率很低。
- 然而，如果你将双胞胎 A 与一个长得和双胞胎 A 一模一样的陌生人（物品 B）进行比较，尺子可能会说它们“很近”。
- 发生这种情况是因为尺子是基于概率，而不仅仅是物理距离。作者证明，为了使他们的方法发挥最佳效果，一个物品与它自身之间的“距离”不一定应该是最小的数字。

6. 证明：真实与虚假的实验

为了证明他们的理论，他们进行了两类测试：

真实数据：他们在服装数据集（FashionMNIST）上进行了测试。他们定制的“乐高”网络表现略优于标准的“深度学习”尺子，特别是在那些看起来非常相似的棘手服装配对上。
虚假（合成）数据：他们创造了一个虚构的世界，其中的“真相”基于概率，而非简单的距离。
- 陷阱：基于简单距离的标准尺子在这里惨败，因为它们无法理解概率这一“花招”。
- 赢家：作者的结构化网络彻底击败了竞争对手，证明了理解底层的“配方”（概率）比仅仅猜测形状要好得多。

总结

这篇论文就像一位大师级建筑师，他意识到要建造完美的桥梁，首先需要理解河流的物理特性，而不是仅仅往上面扔更多的混凝土。通过找出完美相似性尺子的确切数学“配方”，他们构建了一个专用的神经网络，它学习得更快、犯错更少，并能理解那些基于简单距离的模型所忽略的微妙概率。

技术摘要：基于深度 ReLU 网络的度量与相似度学习泛化分析

1. 问题陈述

度量与相似度学习旨在学习一个函数 $d(x, x')$ ，以基于观测值 $(x, x')$ 的标签估计它们之间的距离或相似度。其性能通常通过泛化误差（真实风险） $E(d) = \mathbb{E}_{Z,Z'}[\ell(\tau(Y, Y')d(X, X'))]$ 来衡量，其中 $\ell$ 是凸代理损失函数（例如合页损失）， $\tau$ 是指示标签是否匹配的降维函数。

尽管关于度量学习的估计误差（经验最小化器收敛到固定假设空间内最佳函数）已有大量理论工作，但关于近似误差（假设空间内最佳函数与真实最优度量 $d_\rho$ 之间的差距）的严格理解仍然缺失。先前的研究主要集中于线性假设空间，例如马氏距离 $d_M(x, x') = (x-x')^\top M (x-x')$ 或成对相似度 $s_M(x, x') = x^\top M x'$ 。这些空间的表达能力有限，因为其复杂度受输入维度 $p$ 的限制（具体为 $O(p^2)$ ），这可能导致即使估计误差快速收敛，近似误差仍然很大。

本文通过研究真实度量 $d_\rho$ 的具体结构，并构建一个能够利用深度 ReLU 网络有效逼近该结构的假设空间，填补了泛化分析方面的空白。

2. 方法论

2.1 真实度量的显式形式

作者首先推导了合页损失下真实度量 $d_\rho$ 的显式表示。通过最小化损失的条件期望，他们证明了真实度量由两个样本具有相同标签的条件概率决定：
$\eta(x, x') = \mathbb{P}(Y = Y' \mid X=x, X'=x') = \langle P_x, P_{x'} \rangle$
其中 $P_x$ 是给定 $x$ 的标签条件概率向量。真实度量被证明为：
$d_\rho(x, x') = \text{sgn}(1 - 2\eta(x, x')) = \text{sgn}\left(1 - 2\sum_{i=1}^m p_i(x)p_i(x')\right)$
其中 $p_i(x) = \mathbb{P}(Y=y_i \mid X=x)$ 。这一表示揭示了学习度量等价于学习条件概率 $p_i(x)$ 及其内积。

2.2 结构化深度 ReLU 网络构建

为了逼近 $d_\rho$ ，作者构建了一个由三部分组成的结构化深度 ReLU 网络 $d(x, x')$ ：

子网络（ $h_i$ ）： $m$ 个深度 ReLU 网络，用于逼近条件概率 $p_i(x)$ 。
乘积逼近（ $\phi$ ）： 一个深度 ReLU 网络，用于逼近乘法函数 $xy$。
符号逼近（ $F_a$ ）： 一个两层 ReLU 网络，用于逼近符号函数 $\text{sgn}(\cdot)$ ，定义为 $F_a(t) = \frac{1}{a}(\sigma(t+a) - \sigma(t-a) - a)$ 。

最终假设定义为：
$d(x, x') = F_a\left(1 - 2\sum_{i=1}^m \phi(h_i(x), h_i(x'))\right)$
该结构显式地模仿了推导出的 $d_\rho$ 形式。

2.3 误差分析框架

作者通过将超额泛化误差 $E(\hat{d}_S) - E(d_\rho)$ 分解为近似误差和估计误差来进行分析：

近似误差： 利用条件概率的光滑性（Sobolev 空间 $W^{r, \infty}$ ）和 Tsybakov 噪声条件，他们界定了结构化网络逼近 $d_\rho$ 的误差。
估计误差： 他们利用假设空间的伪维数以及从噪声条件导出的方差 - 期望界，界定了经验风险与真实风险之间的偏差。
权衡： 通过平衡网络复杂度（深度、宽度、权重数量）与样本量 $n$ ，他们推导出了明确的超额风险率。

3. 主要贡献

首个显式超额风险界： 本文提供了度量与相似度学习的首个泛化分析，得出了涵盖估计误差和近似误差的显式超额风险界。先前的工作仅界定了估计误差。
显式学习率： 在温和条件下（条件概率的 Sobolev 光滑性和 Tsybakov 噪声条件），作者推导出了量级为以下形式的学习率：
$O\left(n^{-\frac{(\theta+1)r}{p+(\theta+2)r}}\right)$
（忽略对数因子），其中 $p$ 是输入维度， $\theta$ 是噪声参数， $r$ 是光滑性指数。
结构化假设空间： 构建了一种特定的深度 ReLU 架构，使其与真实度量的理论形式相一致，证明了此类网络能够实现有利的近似和估计界。
结构洞察：
- 偏置项： 论文表明，度量学习中常用的偏置项 $b$ 并非真实度量理论表征的内在属性；它仅仅引起一个常数偏移。
- 有限标签： 论证了标签空间 $Y$ 应当是有限的；如果 $Y$ 是连续的，真实度量几乎必然成为一个广义常数。
- 对称性与自相似性： 证明了真实度量具有对称性。此外，在凸且非递减的损失函数下，论文探讨了相同样本间的距离小于或等于不同样本间距离的条件，为马氏距离等对称模型提供了理论依据。

4. 实验结果

作者通过两组实验实证验证了其理论发现：

真实世界数据（FashionMNIST）：
- 将提出的结构化模型与基于距离准则 $\|f(x) - f(x')\|^2 - b$ 的标准深度度量学习（DML）基线进行了比较。
- 在中等难度和困难难度的类别对上，提出的模型均取得了稍高的平衡准确率（例如，中等难度对上为 93.86% 对比 93.67%；困难难度对上为 74.87% 对比 74.30%）。
- 结果表明，提出的模型更有效地捕捉了潜在的相似度结构。
合成数据：
- 设计了一个受控实验，其中真实度量由内积结构主导，该结构违背了标准的基于距离的直觉（具体而言，“不确定区域”中的样本对可能基于标签概率而非几何距离表现为相似或不相似）。
- 提出的模型在不同程度的不确定性（ $\lambda$ ）和类别数量（ $m$ ）下，均保持了接近最优的准确率（约 99.9%）。
- 相比之下，基于距离的 DML 基线性能随着不确定区域的增长或类别数量的增加而显著下降，在困难情形下降至约 75%。这证实了理论预测：当相似度结构并非纯粹几何时，基于距离的度量会失效。

5. 意义与主张

本文声称是首个为度量与相似度学习提供显式超额风险界的研究，超越了以往仅关注受限线性假设空间内估计误差的分析局限。

通过利用真实度量的特定结构，作者证明了深度 ReLU 网络不仅在理论上可作为通用逼近器，更可作为与学习问题的概率性质相一致的结构化工具。推导出的学习率突出了输入维度、噪声和光滑性之间的相互作用，为这些任务中的泛化提供了更细致的理解。

作者指出，他们的假设是为适应其证明技术（依赖于一致逼近）而定制的，并将扩展到其他损失函数（如逻辑损失）和其他噪声条件作为未来工作的方向。