Covariate Selection for Joint Latent Space Modeling of Sparse Network Data

技术摘要：稀疏网络数据联合潜空间建模中的协变量选择

问题陈述
社会科学和传染病流行病学中的网络数据通常面临两个并发挑战：边稀疏性（存在许多孤立节点或低度节点）以及高维节点协变量。虽然潜空间模型（LSMs）通过假设节点占据低维空间来有效捕捉网络结构，但现有方法在整合高维节点属性方面表现不佳。盲目引入协变量会稀释信号、增加计算负担并降低可解释性。此外，将估计的潜位置视为固定预测因子的标准方法忽略了稀疏网络中固有的测量误差，从而导致推断偏差。此外，没有边的节点（孤立点）对基于边的似然函数贡献极小，导致它们在协变量建模中未被充分利用。

方法论
作者提出了一种联合潜空间建模框架，通过共享的潜位置将网络边和高维二元节点协变量耦合在一起。该方法采用两阶段工作流：

1. 联合估计： 作者首先利用全量协变量估计潜位置（$Z$）、节点社交性因子（$\alpha$）和回归系数（$\beta$）。此阶段利用网络邻接矩阵（$A$）和节点协变量（$Y$）在给定潜位置下的联合似然函数。网络边的建模是通过对潜内积进行逻辑回归实现的，而节点协变量则遵循在潜位置上的独立逻辑回归。
2. 带有测量误差校正的协变量选择：
   • 组 Lasso（Group Lasso）： 为了处理高维情况（$q$ 个协变量），该方法将每个协变量的系数向量（将协变量与 $k$ 维潜空间联系起来的向量）视为一个组。应用组 Lasso 惩罚项以在协变量层面诱导稀疏性，从而仅选择与潜结构相关的协变量。
   • 测量误差稳定化： 意识到潜位置（$\hat{Z}$）是估计而非观测到的，作者在组 Lasso 目标函数中加入了一个岭类（ridge-type）稳定化项。该项受高维广义线性模型中具备测量误差感知正则化的启发，旨在减轻使用带有噪声的 $Z$ 估计值作为预测因子所带来的偏差。
   • 重拟合（Refitting）： 在筛选之后，使用仅选定的协变量子集重新估计模型，以提高信噪比。

理论结果
论文确立了协变量部分的预测误差率，涵盖两种情景：

• 预知设置（完美观测的 $Z$）： 在标准假设（有界线性预测因子、稀疏组结构、限制强凸性）下，$q$ 个协变量的统一控制预测误差率为 $O_p(\log q / n)$ 阶。
• 估计的 $Z$（测量误差）： 当潜位置以有界误差（$\delta_\infty$）被估计时，预测误差率为 $O_p(\log q / n + \delta_\infty^2)$。作者表明，如果第一阶段的估计误差以 $O(n^{-1/2})$ 的速率衰减，则测量误差项将被统计误差主导，从而恢复最优速率。

模拟与应用结果

• 模拟： 该方法在具有不同稀疏度和噪声协变量的模拟网络（$n=200, q=25$）上进行了评估。
  • 在稀疏网络中，忽视协变量稀疏性的方法随着噪声增加表现出显著的性能下降。
  • 提议的测量误差感知 Lasso（meLasso）成功剔除了高比例的噪声协变量（在较不稀疏的网络中高达 87%，在具有高噪声的稀疏网络中为 56%），并保持了对节点属性的稳健预测性能。
  • 未考虑稀疏性或测量误差的朴素方法表现出性能退化，特别是在稀疏网络设置下。
• 真实数据应用： 该框架被应用于来自印度农村 75 个村庄的社会网络数据。作者通过选择 10 个村庄来筛选包含 32 个协变量（8 个真实的，24 个随机的）的工具包，以此模拟一项试点研究。
  • 筛选过程识别出了一个精简的协变量子集，使剩余 65 个村庄的数据收集需求减少了 69%。
  • 网络预测准确度（AUC）在筛选后保持不变。
  • 所选协变量的预测准确度实际上有所提高（平均 AUC 增加 0.09），这表明移除无关变量增强了模型预测剩余属性的能力。

意义与主张
论文声称解决了网络分析中的三个特定挑战：

1. 纳入孤立节点： 通过使用联合模型，该方法利用了即使对于没有边的节点也有效的变量，确保所有节点都对估计做出贡献。
2. 高维选择： 组 Lasso 方法有效地从高维空间中选择相关协变量，防止信号稀释。
3. 不确定性量化： 引入测量误差感知的稳定化项，校正了使用估计的潜位置作为预测因子所引入的偏差。

作者强调，他们的方法支持高效的研究设计，允许研究人员在试点研究中筛选大规模的协变量工具包，从而在不牺牲网络预测准确度的前提下，减轻数据收集负担。理论保证和实证结果表明，只要网络和协变量信息不同时处于极端稀疏状态，具备稀疏性感知的估计技术就能提供实质性的收益，且丢弃信息变量的风险极小。