技术摘要：秩并非容量：潜在图模型的光谱占用

问题陈述

在图表示学习中，潜在空间的维度是一个决定模型行为的关键设计选择。然而，该维度传统上被视为一个脆弱的超参数：它在训练前固定，并通过保留集性能进行调优。这种方法存在两个根本性问题：

1. 可识别性：学习到的潜在因子仅在旋转和全局缩放下可识别。因此，名义秩（声明的维度）很少与实际上支配模型行为的量相一致。
2. 缺乏控制：现有的选择程序（例如轮廓似然拐点、贝叶斯选择、交叉验证）通常在拟合之前或之后选择一个单一维度。它们未能将“表示容量”（即拟合模型实际使用的潜在模式数量）作为模型内部可测量、可控制或可审计的量进行揭示。
   在过参数化情形下，起作用的量并非声明的秩，而是表示质量在潜在模式上的分布方式。

方法论：SPECTRA

作者提出了光谱前缀提取与容量目标表示分析（SPECTRA），这是一个用学习到的正定（PSD）核的光谱取代名义秩作为分析单位的框架。

核心组件

1. 迹归一化核：
   SPECTRA 不将秩 $r$ 固定为维度，而是通过秩受限因子 $L \in \mathbb{R}^{N \times r}$ 参数化潜在亲和核 $K \in \mathbb{R}^{N \times N}$。关键在于，核是迹归一化的：
   $$K(L) = \frac{N \cdot LL^\top}{\text{tr}(LL^\top)}$$
   这种归一化将总光谱质量固定为 $N$，确保特征值分布的差异反映表示如何在潜在模式间分配其固定的光谱预算，而非整体幅值的差异。这使得光谱在不同拟合和秩上限之间具有可比性。

2. 光谱占用与有效维度：
   归一化特征值 $\lambda_i(K)$ 定义了光谱模式上的概率分布 $p_i(K) = \lambda_i(K)/N$，称为光谱占用分布。作者将有效光谱维度（$d_{\text{spec}}$）定义为该分布香农熵的指数：
   $$d_{\text{spec}}(K) := \exp\left( -\sum_{i: p_i > 0} p_i \log p_i \right)$$
   与硬秩不同，$d_{\text{spec}}$ 是已实现容量的平滑连续度量。如果所有质量集中在一个模式中，它等于 1；如果质量均匀分布在 $s$ 个模式上，它等于 $s$。

3. 容量控制目标：
   为了在训练期间控制已实现维度，SPECTRA 引入了一个熵正则化目标：
   $$F_\eta(L, a, \beta) = \ell(L, a, \beta) - \eta \log d_{\text{spec}}(K(L)) + R(L, a, \beta)$$
   其中，$\ell$ 是链接预测损失，$R$ 是二次正则化项，$\eta$ 是标量熵权重。

   • $\eta > 0$ 鼓励弥散的光谱（更高的 $d_{\text{spec}}$）。
   • $\eta < 0$ 鼓励集中的光谱（更低的 $d_{\text{spec}}$）。
   • $\eta = 0$ 对应于没有光谱熵偏差的标准最大似然拟合。

4. 目标设定与校准：
   作者证明，在局部正则性条件下（简单活跃谱和非退化海森矩阵），已实现维度 $d_{\text{spec}}(\eta)$ 关于 $\eta$ 是局部 $C^1$ 且单调非递减的。这允许使用二分法来寻找 $\eta^*$，以在指定容差内针对期望的有效维度 $d^*_{\text{spec}}$。

5. 光谱前缀：
   单个拟合核产生一个嵌套的、对齐的低维表示族。通过将核截断为其前 $k$ 个特征模式（$K_k$），可获得最优的秩-$k$ PSD 近似（根据 Eckart–Young–Mirsky 定理）。这些光谱前缀提供了同一拟合模型的对齐、低容量视图，而无需重新训练。

主要贡献

1. 作为已实现容量的光谱占用：该论文用学习到的 PSD 核的迹归一化光谱取代名义秩，使用香农有效秩（$d_{\text{spec}}$）作为已实现潜在维度的平滑度量。
2. 训练时的容量控制：它引入了一个熵正则化目标，其中标量 $\eta$ 塑造已实现的光谱维度，从而能够通过二分法针对特定的 $d_{\text{spec}}$ 值。
3. 理论保证：作者验证了在简单谱条件下活跃光谱模式的可识别性，并建立了已实现维度剖面的局部 $C^1$ 行为和单调性。他们还证明了光谱前缀是最优的低秩 PSD 摘要。
4. 经验容量前沿：在八个基准网络（协作、社交、生物、基础设施）上的实验表明，预测性能（AUC）与已实现的 $d_{\text{spec}}$ 对齐，而非名义秩。这区分了“饱和”数据集（性能在秩上限以下达到峰值）和“秩上限绑定”数据集（性能随上限增加而提升）。
5. 单次拟合前缀族：一个拟合核提供了嵌套的、对齐的光谱前缀族，无需重新训练即可提供同一表示的低容量视图。
6. 光谱控制的过参数化：在配对实验中，针对 $\eta$ 的过参数化拟合（其中 $r > d_{\text{spec}}$）相比仅基于秩上限的基线，在匹配有效容量的情况下，提高了测试对数似然并减小了训练 - 测试差距。

实验结果

• 数据集：该方法在八个无向图上进行了评估，包括引文网络（ca-GrQc, ca-HepTh）、社交网络（socfb-American75, socfb-Amherst41）、生物网络（bio-grid-human, bio-grid-worm）和基础设施网络（inf-power, inf-openflights）。
• 基线：SPECTRA 与欧几里得嵌入（Node2Vec, Role2Vec）、矩阵分解（NetMF, GRAREP）、混合成员模型（MNMF）和潜在距离单纯形模型（HM-LDM）进行了比较。
• 性能：
  • 在参数数量匹配的情况下，SPECTRA（$\eta=0$）在各种维度下于 7/8 个数据集中取得了最高或次高的 AUC。
  • 容量目标 SPECTRA 在显著更小的已实现维度下仍保持竞争力。例如，针对基线的中位有效秩通常能以显著更低的 $d_{\text{spec}}$ 获得可比的性能。
  • 前沿分析：当绘制 AUC 与已实现 $d_{\text{spec}}$ 的关系图时，来自不同秩上限（$r=64, 128, 256$）的曲线坍缩到一条共同的前沿上。这证实了性能是由已实现的光谱容量组织的，而非名义秩。
  • 过参数化：使用更大的秩上限 $r$ 针对特定的 $d^*_{\text{spec}}$ 进行目标设定，相比使用等于 $d^*_{\text{spec}}$ 的秩上限进行训练，产生了校准更好的模型（更低的泛化差距和更高的测试对数似然）。

意义与主张

该论文主张容量应被视为拟合模型的属性，而非训练过程的超参数。通过将焦点从名义秩转移到光谱占用，SPECTRA 使预测精度与已实现维度之间的权衡变得可见且可控。

作者声称这种方法：

• 为过参数化情形下的容量提供了原则性的控制手段。
• 允许在不重新训练的情况下提取模型的对齐、低容量视图（光谱前缀）。
• 区分了那些潜在结构由少量模式完全捕获的数据集（饱和）和那些受秩上限约束的数据集。
• 提供了一个连续坐标（$d_{\text{spec}}$）用于比较不同网络的结构复杂性，可能适用于研究网络复杂性在不同背景（如社交、生物、基础设施）下的变化。

该工作对其局限性持适度态度，指出其目前仅在欧几里得潜在空间内运行。将这些概念扩展到非欧几里得几何（例如单纯形值或双曲嵌入）以及开发用于跨网络比较的通用预处理协议，留待未来工作完成。