技术摘要：从数据的信息估计几何中学习距离度量

问题陈述

距离函数对于数据的组织与解释至关重要，然而如何推导出一种能与人类感知对齐的、针对自然信号（如图像）的有意义距离度量的挑战仍然巨大。现有的方法通常依赖于使用人类标注数据库的有监督学习，这类方法成本高昂、存在噪声且在数学上难以解释。相反，纯粹基于信息论（如互信息）的无监督方法往往忽略了数据分布的几何结构。本文解决的核心问题是：如何在不依赖人类标签的情况下，仅通过底层连续概率密度 $p_x$ 在信号域上的几何结构，推导出全局距离函数和局部黎曼度量。

方法论：信息估计度量 (IEM)

作者引入了信息估计度量 (Information-Estimation Metric, IEM)，这是一种源于信息论与估计理论之间关系的距离函数。该方法论建立在 Tweedie–Miyasawa 公式之上，该公式将模糊信号的得分函数（对数密度的梯度）与最优去噪器的误差联系起来。

理论构建

1. 观测信道： 作者定义了一个高斯观测信道 $y_\gamma = \gamma x + w_\gamma$，其中 $w_\gamma$ 是加性高斯噪声。随着信噪比 (SNR) $\gamma$ 的增加，分布 $p_{y_\gamma}$ 会向原始密度 $p_x$ “收缩聚焦”。
2. 逐点 I-MMSE： 基于 I-MMSE 关系，信号的对数概率被分解为跨所有 SNR 水平的去噪误差（或等效地，得分向量）的积分。
3. 度量定义： 信号 $x_1$ 与 $x_2$ 之间的 IEM 定义为对数概率比过程的二次变分平方根。具体而言，它是不同 SNR 水平下 $[0, \Gamma]$ 范围内，模糊密度在 $x_1$ 和 $x_2$ 周围的得分向量场之间的均方误差 (MSE) 积分：
   $$\text{IEM}(x_1, x_2, \Gamma) := \left( \int_0^\Gamma \mathbb{E} \left[ \| \nabla \log p_{y_\gamma}(\gamma x_1 + w_\gamma) - \nabla \log p_{y_\gamma}(\gamma x_2 + w_\gamma) \|^2 \right] d\gamma \right)^{1/2}$$
4. 泛化： 作者通过在计算二次变分之前对对数概率比过程应用标量函数 $f$，提出了一个广义 IEM ($\text{IEM}_f$)，从而允许通过对分布不同方面的加权来实现灵活性。

局部几何

论文推导了平方 IEM 的局部二阶近似，得到了一个黎曼度量 $G(x, \Gamma)$。该局部度量被证明：

• 与对数密度的期望平方海森矩阵（局部曲率）成正比。
• 与给定噪声观测下信号的后验协方差相关。
• 在对数密度高的区域以及对引起信号概率大幅变化的扰动最为敏感。

实现

为了在实践中计算 IEM，作者在 ImageNet 数据集上训练了一个神经去噪器（具体为 Hourglass Diffusion Transformer）。该去噪器近似于 MMSE 估计器 $E[x|y_\gamma]$，这通过 Tweedie–Miyasawa 公式等价于得分函数。距离通过在不同噪声水平下对去噪器输出（或导出的得分）的平方差进行数值积分来计算。

核心贡献

1. 新颖的度量定义： 引入了 IEM，这是一种纯粹从概率密度的几何中推导出的有效的全局距离度量，并被证明满足对称性、非负性、同一性以及三角不等式。
2. 理论统一： 论文证明了对于高斯分布，IEM 与 马氏距离 (Mahalanobis distance) 一致。对于非高斯分布，它会根据“数据支撑”进行局部和全局的自适应，表现得像是一个局部自适应的马氏距离。
3. 无监督学习： 该框架允许通过训练去噪器从无标签数据中学习感知距离度量，从而绕过了在度量定义阶段对人类感知标签的需求。
4. 泛化框架： 提出的 $\text{IEM}_f$ 允许通过在预训练的无监督基础度量之上学习函数 $f$，从而实现对不同类型人类数据的适配。

实验结果

作者在标准全参考图像质量评估基准（TID2013, LIVE, CSIQ）以及一个特定纹理数据集（TQD）上评估了 IEM。

• 自然图像性能： 无监督 IEM（取 $\Gamma=1/4$）在 TID2013、LIVE 和 CSIQ 上取得了与最先进的有监督指标（如 LPIPS, DISTS, PieAPP）具有竞争力的斯皮尔曼等级相关系数 (SRCC)，尽管其并未经过人类标签训练。
• 纹理敏感性： 使用二次函数 $f$ 的变体 $\text{IEM}_{sq}$ 在 TQD 纹理数据集上优于大多数方法，而该领域是许多标准度量难以处理的领域。
• 统一性能： 一个有监督变体 $\text{IEM}_{f_\omega}$（仅在预训练去噪器之上学习函数 $f$）在所有数据集上同时实现了强劲的表现，展示了该框架的灵活性。
• 最大差异化竞争： 在固定 PSNR 约束下最小化感知距离的实验中，最小化 IEM 生成的图像保留了几何结构并看起来在感知上是自然的，而最小化其他指标（如 DISTS）则会导致不自然的伪影。最大化 IEM 则能正确识别出无结构的噪声是感知上最具破坏性的失真。

重要性与主张

论文声称 IEM 提供了一种原则性的、有数学根据的方法，用于从数据的统计几何中推导感知距离。其重要性在于：

• 可解释性： 不同于黑盒化的有监督度量，IEM 源于概率、信息与估计之间的基本关系，为感知判断提供了更清晰的数学解释。
• 数据效率： 它证明了可以从无标签数据中学习高质量的感知度量，减少了对昂贵且多噪的人类标注的依赖。
• 鲁棒性： 该度量能够自适应自然图像和纹理的能力，以及其在优化任务（逆问题）中的表现，表明它比现有的欧几里得或有监督替代方案能更有效地捕捉“数据支撑”。

作者承认存在局限性，主要是与标准前馈度量相比，数值积分的计算成本较高，且需要一个系统性的原则来选择超参数 $\Gamma$ 和函数 $f$。他们建议未来的工作是将这些原理应用于其他类型的信号（如音频），并将该度量用于无监督聚类和生成模型评估。