技术摘要：群体感知矩阵估计与潜在子空间恢复

问题陈述

现代矩阵补全问题常涉及异构数据，其中行属于多个重叠的元类别（例如，推荐系统中的人口统计群体，或神经科学中的录音会话与脑区）。基于全局核范数最小化的标准低秩估计器强加单一的潜在几何结构。虽然这些方法在恢复平均结构方面有效，但它们往往会“平滑掉”特定子组的变异，特别是在观测值在各组间分布不均时。此外，现有结合侧信息的方法（例如归纳式矩阵补全）通常依赖特定的生成假设（例如双线性分解），若假设设定错误，会引入结构性偏差，而不仅仅是调优效率低下。

核心挑战在于如何估计一个具有缺失项的矩阵 $X \in \mathbb{R}^{n \times m}$，使得：

1. 保留局部结构：特定子组内独特的低秩几何结构不会被平均化。
2. 处理重叠：属于多个类别（重叠元类别）的行得到处理，而无需将矩阵强制划分为独立的非重叠块。
3. 鲁棒性：即使侧信息存在噪声或生成模型未知，该方法依然有效。

方法论：群体感知矩阵估计 (GAME)

作者提出了群体感知矩阵估计 (GAME)，这是一种旨在利用重叠类别结构的凸框架。

1. 问题表述

给定具有观测值集合 $\Omega$ 的部分观测矩阵 $X$，GAME 通过求解以下凸优化问题来估计矩阵 $W$：

$$\hat{W} \in \arg \min_{W \in \mathbb{R}^{n \times m}} \frac{1}{2} \| P_\Omega(X - W) \|_F^2 + \lambda \sum_{c \in \mathcal{C}} \alpha_c \| W_c \|_*$$

其中：

• $P_\Omega$ 是投影到观测项上的投影算子。
• $\mathcal{C}$ 是元类别的集合。
• $W_c$ 是 $W$ 中对应于类别 $c$ 中行的子矩阵。
• $\| \cdot \|_*$ 表示核范数。
• $\lambda > 0$ 是全局正则化参数。
• $\alpha_c \geq 0$ 是权重，总和为 1，允许针对特定类别进行缩放。

与惩罚 $\|W\|_*$ 的全局估计器不同，GAME 对由元类别定义的特定行子集应用核范数惩罚。这使得模型能够学习组内的局部低秩结构，同时共享的坐标系和重叠的行成员资格在组间传播信息。

2. 优化算法

由于元类别存在重叠，正则化项是不可分的，导致标准的交替方向乘子法 (ADMM) 因辅助变量随类别数量 $|\mathcal{C}|$ 缩放而不切实际。

作者利用了近端平均 (Proximal Average, PA) 框架。他们观察到正则化项是函数 $f_c(W) = \lambda \alpha_c \| D_c W \|_*$ 的加权和，其中 $D_c$ 是行选择算子。由于行选择算子是半正交的（$D_c D_c^\top = I$），每一项的近端算子 simply 是对应子矩阵的奇异值阈值（软阈值）。

作者采用了**PA-APG（近端平均加速近端梯度）**算法。该方法直接结合特定类别的近端更新，无需引入辅助变量或一致性约束，确保了即使在许多重叠类别的情况下也具有可扩展性。该算法的收敛性具有源自 Yu [2013] 的保证。

3. 理论保证

该论文在具有次指数噪声和均匀采样的噪声矩阵补全模型下，提供了重构误差和特定子组子空间恢复的有限样本保证。

• Frobenius 误差界：误差界取决于局部复杂度之和 $\sum_{c} r_c (n_c \vee m)$，而非全局秩 $r^* (n \vee m)$。其中，$r_c$ 是类别 $c$ 子矩阵的秩，$n_c$ 是该类别中的行数。
• 子空间恢复：利用 Davis-Kahan/Wedin 定理的变体（Yu et al., 2015），作者表明每个类别的右奇异子空间以高概率被恢复。子空间恢复的误差与 Frobenius 误差成比例。
• 改进区间：理论证明，当矩阵在全局上仅中度低秩，但在有意义的类别内实质上是更低秩时，只要类别间的重叠是有界的，GAME 就严格优于全局核范数正则化。

主要贡献

1. 子组感知凸估计器：引入 GAME，它在保持共享坐标系的同时促进重叠子组的低秩结构，避免了设定错误的侧信息模型带来的结构性偏差。
2. 可扩展优化：开发了一种近端平均求解器，避免了 ADMM 的一致性开销，使该方法适用于具有许多重叠类别的场景。
3. 可证明的保证：建立了重构误差和每类别子空间恢复的有限样本界，阐明了其对采样密度、子组秩和重叠结构的依赖关系。
4. 实证验证：在合成数据、推荐系统、生态学和神经科学数据集上展示了具有竞争力或更优越的性能，特别是在具有结构化缺失值的区间内。

实验结果

作者将 GAME 与全局低秩方法（SVT, ALS）、侧信息方法（DirtyIMC, Maxide, FNNM, OCMC）以及现代插补基线（MissForest, TabImpute）进行了评估。

• 合成聚类：在具有交叉组结构的设置中，GAME 在恢复隐藏子簇方面几乎达到了完全观测的 Oracle 的性能，优于平滑掉局部几何结构的全局方法。
• MovieLens-100k：在全局、分块（针对特定年龄组）和噪声元数据条件下，GAME 一致实现了最低的测试 RMSE。当缺失值由子组结构化以及元数据被破坏时，它表现出特别的鲁棒性。
• BirdSet（生态学）：在具有标签结构化缺失值的多标签鸟鸣分类任务中，GAME 插补的特征比基线更好地保留了下游分类信号（AUROC, cmAP），证明了群体感知补全保留了判别性信息。
• Neuropixels（神经科学）：在具有跨脑区和会话的块状缺失的大规模神经记录上，GAME 在恢复潜在神经动力学方面实现了最低的 Grassmann 距离。它成功地将特定区域的动力学与特定会话的批次效应分离开来，优于假设单一共享潜在空间的方法。

意义与主张

该论文主张 GAME 确立了群体感知正则化作为高维异构矩阵估计的原则性且实用的范式。其意义在于：

• 处理异质性：它解决了全局估计器无法捕捉异构数据中不同局部几何结构的局限性。
• 对侧信息的鲁棒性：与归纳式矩阵补全不同，GAME 不假设特定的生成模型（例如 $X \approx AMB^\top$）。它纯粹利用元类别来定义低秩假设的分区，即使侧信息微弱或存在噪声，也能保持鲁棒性。
• 科学效用：通过保留局部潜在子空间，GAME 支持依赖于忠实子组特定变异的下游任务（聚类、分类、动力学恢复），这在神经科学和生态学等领域至关重要。
• 理论洞察：该工作阐明，在异构设置中，统计复杂度应由局部秩之和而非全局秩来衡量，前提是重叠结构是有界的。

作者指出，该方法的优势取决于元类别是否捕捉到了有意义的子组特定低秩结构；如果元数据缺乏信息量，相对于全局方法的增益可能有限。未来的工作建议将这些保证扩展到一般采样分布，并在多组学和电子健康记录应用中纳入更复杂的元类别。