Compressed Bayesian Tensor Regression

技术摘要：压缩贝叶斯张量回归

问题陈述
张量回归模型已成为处理多维数据统计学习的重要工具。然而，在处理高维张量值协变量时，这些模型面临着严重的计算限制。传统的降维技术（如主成分分析 PCA 或因子分析）往往面临随着数据维度增加而呈指数级增长的计算成本。此外，当协变量数量足够大时，提取最优因子变得不可行。目前迫切需要一种能够在贝叶斯框架内，在减少张量预测因子维度、保留其解释能力和结构信息的同时，实现高效计算的方法。

方法论
作者引入了压缩贝叶斯张量回归 (CBTR)，这是一个将广义张量随机投影 (GTRP) 与贝叶斯推断相结合的框架。

1. 广义张量随机投影 (GTRP)：
   该方法的核心是一个灵活的投影算子，它将高维张量协变量 $\mathcal{X} \in \mathbb{R}^{p_1 \times \dots \times p_N}$ 映射到低维子空间 $\mathbb{R}^{q_1 \times \dots \times q_M}$。GTRP 算子定义为：
   $$\text{GTRP}(\mathcal{X}) \coloneqq \mathcal{X} \times_1 H_1 \times_2 \dots \times_R H_R \times_{\{R+1,\dots,N\}}^{\{M-R+1,\dots,M-R+N-R\}} \mathcal{H}$$
   其中 $H_m$ 是随机投影矩阵，$\mathcal{H}$ 是随机投影张量。这种形式通过以下方式推广了现有方法：

   • 模态级投影 (Mode-wise projection)： 在保留张量结构的同时减少特定模态的大小（例如 $R=M=N$）。
   • 张量级投影 (Tensor-wise projection)： 同时收缩多个模态，以减少模态数量或维度（例如 $R=0, M=1$）。
   • 组合投影 (Combined projection)： 一种混合方法，前 $R$ 个模态进行模态级投影，剩余的模态进行张量级投影。
     投影矩阵使用稀疏随机变量（遵循 Achlioptas, 2003）构建，以增强计算速度。

2. 贝叶斯框架与先验分布：
   模型假设线性关系 $y_j = \mu + \langle \mathcal{B}, \text{GTRP}(\mathcal{X}_j) \rangle + \sigma \varepsilon_j$。为了处理系数张量 $\mathcal{B}$ 的高维性，作者提出了两种先验设定：

   • 独立高斯先验 (Independent Gaussian Prior)： 标准张量正态分布。
   • 分层 PARAFAC 先验 (Hierarchical PARAFAC Prior)： 一种低秩表示 $\mathcal{B} = \sum_{d=1}^D \gamma^{(d)}_1 \circ \dots \circ \gamma^{(d)}_N$，利用具有全局和局部收缩参数（逆伽马分布、伽马分布、指数分布和狄利克雷分布）的分层结构来诱导稀疏性并进一步减少参数。

3. 推断与模型平均：

   • 吉布斯采样 (Gibbs Sampling)： 开发了一个定制的吉布斯采样器，用于从后验分布中采样。所有参数（包括分层先验中的超参数）的全条件分布均具有闭式解，从而实现了高效的 MCMC 采样。
   • 贝叶斯模型平均 (BMA)： 为了减轻结果对特定随机投影实现的敏感性，作者采用了 BMA。生成多个独立的投影，并将它们的预测密度结合起来。BMA 所需的归一化常数通过逆逻辑回归进行估计。

主要贡献
本文对贝叶斯张量回归和随机投影的文献做出了五项主要贡献：

1. 投影的泛化： 它将现有的张量投影方法（特别是高阶计数草图 Higher-Order Count Sketch 和基于 CP 的投影）扩展到了一个通用的框架，该框架支持任意数量的模态，并允许模态级和张量级两种降维方式。
2. 理论界限： 作者推导了所提 GTRP 的集中不等式。值得注意的是，他们利用 Meijer G-函数 的性质，为保持成对距离（Johnson-Lindenstrauss 型不等式）建立了更紧密的界限，这不同于先前文献中使用的标准超收缩性论证。
3. 后验一致性： 本文提供了压缩张量回归的后验一致性理论保证。研究表明，在关于回归量增长率和投影特性的特定假设下，压缩模型的预测分布会收敛到真实的生成过程。
4. 高效推断： 开发了针对压缩张量数据中分层先验的可行吉布斯采样器。
5. 实证验证： 通过广泛的模拟实验和实际应用证明了该方法的有效性。

结果

• 模拟研究： 作者通过改变张量维度、样本量、稀疏度水平和投影类型进行了模拟。
  • 性能： 相比于带有 LASSO 或 PARAFAC 先验的标准贝叶斯张量回归 (BTR)，压缩模型始终能获得更好的样本外预测表现；在准确性与速度的权衡方面，通常优于带有高斯先验的 BTR。
  • 投影类型： 模态级投影（尤其是保留特定模态的投影）的表现通常优于张量级投影，特别是当底层系数张量具有结构稀疏性时。张量级投影往往表现出较高的偏差。
  • 稀疏性： 研究发现，投影矩阵的中度稀疏水平（例如 $\psi=3$）是最优的，能够平衡信息保留与计算效率。
  • 计算效率： CBTR 模型比带有高斯先验的标准 BTR 模型快约一个数量级，同时保持了极具竞争力的预测准确度。其“效率得分”（定义为 $1/(\text{RMSE} \times \text{Time})$）显著更高。
• 实证应用： 该方法被应用于预测 S&P 500 回报率，使用的是组织为 3 模态张量的混合频率金融数据（每日石油波动率、汇率等）。
  • CBTR 模型在样本外预测中优于标准 BTR（较低的 RMSE）。
  • 模态保留投影（MW(1) 和 MW(1,2)）产生了最佳的预测性能，证实了模拟研究的发现。

意义与主张
本文声称 CBTR 为传统的张量回归方法建立了一个可扩展且具有理论依据的替代方案。通过将高维张量协变量嵌入到信息损失极小的低维子空间中，该方法在不牺牲张量数据结构解释性的情况下解决了“维度灾难”。

作者强调，当由于协变量数量庞大导致无法进行最优因子提取时，该方法提供了一个可行的解决方案。通过结合随机投影与贝叶斯推断，并在后验一致性和集中不等式的支持下，确保了尽管经过压缩，统计有效性依然得以维持。使用贝叶斯模型平均进一步增强了方法对于随机投影所引入的变异性的鲁棒性。

研究工作表明，通过模态级投影来保留张量结构对于维持结构化数据的预测能力至关重要，而所提出的框架允许从业者在计算可行性与统计准确性之间取得平衡。提到的未来方向包括在压缩前对预测因子进行预筛选以剔除无信息特征，以及探索其他的随机投影构造方式（例如基于 Kronecker 或张量列 Tensor Train 的方法）。