Sparse topic modeling via spectral decomposition and thresholding

问题陈述
本文研究了概率潜在语义索引（pLSI）模型中主题-词矩阵 $A$ 的估计问题。在该框架下，期望语料库矩阵 $E(D)$ 被假定为低秩，分解为 $D_0 = AW$，其中 $A$ 代表词在不同主题中的分布，而 $W$ 代表主题在不同文档中的分布。该领域的一个重大挑战在于“高维”设定，即词汇量 $p$ 极大，通常超过文档数 $n$ 和平均文档长度 $N$。

现有文献在此类情形下面临两个主要局限：

1. 对可分性（Separability）的依赖： 许多现有方法（例如 Arora 等人，2012；Bing 等人，2020b）依赖于“可分性”假设，即假设每个主题至少有一个仅出现在该主题中的“锚点词”（anchor word）。在主题高度重叠的现实数据中，这一假设经常被违反。
2. 参数范围限制： 最近的谱方法，如 Topic-SCORE (Ke 和 Wang, 2022)，虽然提供了极小极大最优率（minimax-optimal rates），但需要对 $n$、$N$ 和 $p$ 之间的关系进行严格限制（例如 $N > p^{4/3}$）。此外，当语料库中许多词的出现频率较低时，这些方法往往表现不佳，因为其归一化步骤涉及除以微小的噪声数值，从而导致高估计误差。

方法论：阈值化 Topic-SCORE (TTS)
作者提出了一种新的谱程序，称为阈值化 Topic-SCORE (TTS)，用于估计 $A$。该方法将谱分解与数据驱动的阈值化步骤相结合，以处理高维稀疏性。

1. 阈值化（Thresholding）： 该程序首先根据词在语料库中的经验频率识别一个词子集 $J$。频率低于与 $\sqrt{\frac{\log(p \vee n)}{nN}}$ 成比例的阈值的词将被剔除。这一步移除了会对估计产生噪声的低频词。
2. 谱分解（Spectral Decomposition）： TTS 不是对完整的 $p \times n$ 矩阵进行奇异值分解（SVD），而是对较小的 $|J| \times |J|$ 矩阵 $G_{JJ}$ 进行特征分解，其中 $G = DD^T - \frac{n}{N}M$，且 $M$ 是词频的对角矩阵。
3. SCORE 归一化（SCORE Normalization）： 计算前 $K$ 个特征向量 $\hat{\xi}_1, \dots, \hat{\xi}_K$。随后，通过将后续特征向量逐元素除以第一个特征向量（$\hat{\xi}_1$）来进行 SCORE 归一化，从而将数据映射到低维空间。
4. 顶点搜寻（Vertex Hunting）： 归一化矩阵的行在 $\mathbb{R}^{K-1}$ 中形成一个点云。应用顶点搜寻算法（例如连续投影法、草图顶点搜索或原型分析）来识别包含该点云的单纯形（simplex）的 $K$ 个顶点。
5. 恢复（Recovery）： 利用估计的顶点求解线性方程组以恢复概率权重，然后通过归一化获得最终的估计量 $\hat{A}$。

该方法旨在适应未知的稀疏水平 $s$，并基于列向 $\ell_q$-稀疏性假设（$0 < q < 1$），这模拟了文本中词频通常遵循齐夫定律（Zipf's law，即有序条目快速衰减）的经验观察。

核心贡献

• 新的估计程序： 引入了 TTS，它将谱分解与阈值化步骤结合，在降维之前过滤掉低频词。
• 稀疏性假设： 提出了针对主题-词矩阵 $A$ 的列向 $\ell_q$-稀疏性假设，其动机源于齐夫定律。该假设使得误差界限仅通过对数项而非多项式项来依赖词汇量 $p$。
• 放宽的可辨识性（Identifiability）： 本文证明，只要使用合适的顶点搜寻程序（如原型分析），即使在非可分点云的情况下，TTS 的理论保证依然成立。
• $K$ 的估计： 提出了一种通过检查矩阵 $G_{JJ}$ 的谱来估计主题数量 $K$ 的程序，利用了间隙检测策略。

理论结果
作者建立了 $\ell_1$-损失 $\|\hat{A} - A\|_1$ 的误差界。在 $\ell_q$-稀疏性假设下，误差率显示为：
$$\|\hat{A} - A\|_1 \lesssim \left(\frac{\log(p \vee n)}{nN}\right)^{1/4} + s \left(\frac{\log(p \vee n)}{nN}\right)^{\frac{1-q}{2}}$$
至关重要的是，该界限适用于所有参数范围，包括 $p \gg \max(n, N)$ 的高维设定。与需要对词频下界有要求的先前方法不同，该界限不依赖于语料库中的最小词频。

实验结果
论文通过在合成数据集和真实世界数据集上的广泛实验验证了 TTS：

• 合成数据： 在各种参数范围内，TTS 始终优于 LDA、AWR 和 Topic-SCORE。当 $p$ 很大且词频遵循齐夫定律时，它表现出卓越的性能。即使在稀疏性假设被违反的情况下（例如在均匀词频分布下），该方法仍保持了竞争力。
• 研究论文语料库： 在应用于包含 20,140 篇研究摘要（$p \approx 81,000$）的语料库时，与 LDA 和 Topic-SCORE 相比，TTS 实现了更高的主题分辨率（数据拆分之间的一致性）和更连贯的主题词。值得注意的是，由于 Topic-SCORE 对低频异常值敏感，其生成的主题被稀有外来词所主导，而 TTS 则有效地过滤掉了这些词。
• 单细胞与微生物组数据： 该方法被应用于单细胞免疫细胞数据和微生物组数据集。在这些应用中（统计模型相关但参数范围不同，如低 $p$，高 $N$），TTS 在主题精炼和连贯性方面表现出竞争性或优越的性能，且计算成本显著降低。

意义与主张
本文声称 TTS 为高维设定下的主题建模提供了一个鲁棒的替代方案，特别是在词汇量巨大且词频异质性较高的情形下。通过利用文本数据中固有的稀疏结构（齐夫定律）并在谱分析前移除低频词，该方法实现了无需依赖严格的可分性假设或先前谱方法中不切实际的参数约束的一致估计。作者将 TTS 定位为一种计算高效且统计可靠的方法，适用于广泛的参数范围，尤其是在 $p$ 较大的情况下。