Zero Variance Portfolio

1. 研究背景与问题 (Problem)

• 核心挑战：在现代金融市场中，投资者通常面对的是“高维、小样本”的数据环境（即 $N \gg T$，例如构建包含 500 只股票的组合，但每月仅有约 22 个交易日的历史数据）。
• 传统方法的失效：
  • 传统的样本协方差矩阵 $S_0$ 在 $N > T$ 时是奇异的（不可逆）。
  • 若使用伪逆（Pseudoinverse）求解，即所谓的“无脊”（Ridgeless）估计量，虽然能在训练数据上实现完美的插值（In-sample Interpolation），导致样本内方差为零，但其在样本外（Out-of-Sample, OOS）的表现极差，风险发散。
  • 传统的收缩估计量（Shrinkage Estimators，如 Ledoit-Wolf）通常假设 $N$ 和 $T$ 同阶，在极度过参数化（$N \gg T$） regime 下可能无法达到最优。
• 研究动机：受机器学习领域“双重下降”（Double Descent）现象的启发，即过参数化模型在插值训练数据后，随着模型复杂度进一步增加，测试误差反而下降。作者试图探究：在 $N \gg T$ 的极端高维情况下，是否存在一种简单的基于样本协方差矩阵的方法，能够利用丰富的横截面信息，构建出具有良好泛化能力的零方差投资组合？

2. 方法论 (Methodology)

论文提出了一种名为 Ridgelet 的新型估计量，并区分了两个版本：

2.1 Ridgelet1 (基础版)

• 核心思想：在样本协方差矩阵 $S_0$ 上添加一个极小的正则化项（Ridge），即 $S_\tau = S_0 + \tau I_N$，其中 $\tau$ 是一个极小的常数（如 $10^{-8}$），不是通过交叉验证调节的超参数。
• 权重估计公式：
  $$\hat{\omega}_\tau = \frac{S_\tau^{-1} \mathbf{1}}{\mathbf{1}^\top S_\tau^{-1} \mathbf{1}}$$
• 理论依据：
  • 当 $N > T$ 时，存在无数个权重向量使得样本内方差为零（零方差组合 ZVP）。
  • Ridgelet1 实际上是寻找最小 $\ell_2$ 范数的零方差组合解的近似解。
  • 与使用伪逆的 Ridgeless 估计量（$\hat{\omega}_+$）不同，Ridgelet1 在 $\tau \to 0$ 时是连续的，且其解位于样本协方差矩阵的零空间（Null Space），而 Ridgeless 位于列空间（Column Space），两者正交。

2.2 Ridgelet2 (改进版)

• 核心思想：为了在更一般的因子模型下达到最优，Ridgelet1 需要利用异质性协方差矩阵（Idiosyncratic Covariance Matrix, $\Omega$）的信息。
• 改进方法：将 $S_\tau$ 中的单位矩阵 $I_N$ 替换为异质性协方差矩阵的一致估计量 $\hat{\Omega}$（例如使用 Fan et al. (2013) 的 POET 估计量）。
  $$S_{\tau, \hat{\Omega}} = S_0 + \tau \hat{\Omega}$$
• 权重估计公式：
  $$\hat{\omega}_{\tau} = \frac{S_{\tau, \hat{\Omega}}^{-1} \mathbf{1}}{\mathbf{1}^\top S_{\tau, \hat{\Omega}}^{-1} \mathbf{1}}$$
• 优势：在 $N \gg T$ 且资产收益服从近似因子模型时，Ridgelet2 能够渐近地达到“神谕”（Oracle）水平，即其样本外风险收敛于理论最小风险。

3. 主要理论贡献 (Key Contributions)

1. 揭示了 Ridgeless 估计量的失败：

   • 证明了在 $N > T$ 时，使用伪逆的 Ridgeless 估计量虽然能插值训练数据，但其样本外相对风险（Relative Variance）会发散至无穷大（$RV \to \infty$），表现甚至不如简单的等权重（EW）组合。
   • 指出 Ridgeless 解与最小 $\ell_2$ 范数的零方差解是正交的，因此不是正确的插值路径。

2. 证明了 Ridgelet 的泛化能力与“双重下降”现象：

   • 利用随机矩阵理论（RMT），证明了 Ridgelet 估计量在 $N \gg T$ 的过参数化区域具有优异的样本外泛化能力。
   • 展示了风险曲线呈现“双重下降”：随着 $N$ 增加，风险先上升（接近 $N=T$ 时达到峰值），然后在 $N > T$ 后迅速下降，并在 $N \gg T$ 时达到最优。

3. 建立了基于因子模型的最优性理论：

   • 在近似因子模型下，证明了当 $N \to \infty$ 且 $N/T \to \infty$ 时，Ridgelet1 的风险收敛于消除因子风险后的最优风险。
   • 进一步证明，如果 $\Omega$ 能被一致估计，Ridgelet2 可以完全消除异质性噪声的影响，达到神谕水平（Oracle Optimality）。

4. 实证与模拟结果 (Results)

• 模拟研究：

  • 在正态分布和重尾分布（t 分布）下，Ridgelet 方法均表现出稳健性。
  • 在 $N \gg T$ 的场景下，Ridgelet1 和 Ridgelet2 的表现显著优于传统的线性收缩（LS）、非线性收缩（FNLS）以及等权重（EW）组合。
  • Ridgelet2 在异质性协方差非对角元素稀疏的情况下表现最佳，验证了利用 $\Omega$ 结构信息的必要性。

• 实证应用：

  • 标普 500 (S&P 500)：使用 1999-2023 年的数据，Ridgelet 方法在仅使用一个月（22 天）数据的情况下，成功构建了包含 500 只股票的投资组合，其年化风险显著低于基准方法。
  • 跨国组合 (S&P 500 + Nikkei 225)：将资产池扩展至约 725 只股票（美股 + 日股）。结果显示，随着资产维度的增加（$N$ 增大），Ridgelet2 的风险进一步降低，体现了“维度的祝福”（Blessing of Dimensionality）。
  • 对比表现：Ridgelet2 在大多数情况下略优于 Ledoit-Wolf 的非线性收缩（FNLS），且计算更简单（无需复杂的调参）。

5. 意义与结论 (Significance & Conclusion)

• 挑战传统智慧：论文挑战了“高维下必须避免使用样本协方差矩阵”的传统金融智慧，证明了在 $N \gg T$ 的特定条件下，通过极小的正则化（Ridgelet），简单的样本协方差矩阵反而能利用高维信息实现最优泛化。
• 连接 AI 与金融：将机器学习中的“双重下降”和“良性过拟合”（Benign Overfitting）理论成功引入最小方差投资组合优化领域，为高维金融优化提供了新的理论视角。
• 实用价值：Ridgelet 方法（特别是 Ridgelet2）提供了一种无需复杂调参、计算高效且理论有保证的高维投资组合构建方案。它允许投资者在数据稀缺（时间短）但资产丰富（种类多）的环境下，构建出风险更低、更稳健的投资组合。
• 核心洞见：在极度过参数化区域，插值训练数据并不一定导致过拟合失效，关键在于选择正确的插值路径（最小 $\ell_2$ 范数解，即 Ridgelet），而非伪逆解（Ridgeless）。

总结：该论文通过引入随机矩阵理论和机器学习视角，提出了一种简单而强大的 Ridgelet 估计量，解决了高维最小方差投资组合中的病态问题，证明了在资产数量远超样本量时，通过极小的正则化项，可以实现样本外风险的最优化，为现代量化投资提供了重要的理论支持和实践工具。