Robust Regression with Student's T: The Role of Degrees of Freedom

这篇论文《基于学生 t 分布的稳健回归：自由度的作用》（Robust Regression with Student's T: The Role of Degrees of Freedom）由 Amanda Ng、Shangkai Zhu、Archer Gong Zhang 和 Nancy Reid 撰写，主要探讨了在线性回归模型中，当误差项服从学生 t 分布时，如何有效地估计自由度参数 $\nu$，以及这种估计对回归系数 $\beta$ 稳健性和准确性的影响。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 传统回归的局限性：普通最小二乘法（OLS）对异常值非常敏感，导致参数估计失真和推断可靠性下降。
• t 分布回归的优势：使用学生 t 分布建模误差项可以容纳重尾数据，从而提供比正态分布更稳健的估计。t 分布的尾部厚度由自由度参数 $\nu$ 控制：$\nu$ 越小，尾部越重，对异常值的鲁棒性越强；当 $\nu \to \infty$ 时，t 分布收敛于正态分布。
• 核心挑战：在实际应用中，$\nu$ 通常是未知的。
  • 如果固定 $\nu$ 为一个较小的值，虽然稳健但可能在数据实际接近正态分布时效率低下。
  • 如果固定 $\nu$ 为一个较大的值，则失去了稳健性。
  • 现有的文献建议在大样本时估计 $\nu$，小样本时固定 $\nu$，但缺乏系统性的比较。
• 研究目标：比较不同的 $\nu$ 估计方法（频率学派与贝叶斯学派），并评估这些估计方法对回归系数 $\beta$ 估计精度的影响，特别是在高维数据（$p$ 较大）和存在异常值的情况下。

2. 方法论 (Methodology)

2.1 模型设定

线性回归模型：$y = X\beta + \sigma\epsilon$，其中误差项 $\epsilon_i$ 独立同分布于自由度为 $\nu$ 的学生 t 分布。
似然函数 $L(\beta, \sigma, \nu; y)$ 基于 t 分布构建。

2.2 自由度 $\nu$ 的估计方法比较

论文比较了四种估计 $\nu$ 的方法：

1. 轮廓对数似然估计 (Profile Likelihood, $\hat{\nu}$)：直接最大化关于 $\nu$ 的轮廓对数似然函数 $\ell_p(\nu; y)$。
2. 调整后的轮廓对数似然估计 (Adjusted Profile Likelihood, $\hat{\nu}_{adj}$)：基于 Cox & Reid (1987) 的方法，通过减去关于干扰参数（$\beta, \sigma$）的 Fisher 信息矩阵的对数行列式项，修正了 nuisance 参数估计带来的偏差。
   • 公式：$\ell_{adj}(\nu; y) = \ell_p(\nu; y) - \frac{1}{2} \log |j_{\lambda\lambda}(\nu, \hat{\lambda}_\nu)|$。
3. 贝叶斯方法 (Jeffreys Prior, $\hat{\nu}_{Bayes}$)：使用 Jeffreys 先验（基于独立性假设），最大化后验分布得到最大后验估计（MAP）。
4. 伪后验方法 (Pseudo-posterior, $\hat{\nu}_{Pseudo}$)：将 $\nu$ 的轮廓似然视为真实似然，并配合先验 $\pi(\nu) \propto I_{\nu\nu}^{1/2}(\nu)$ 构建伪后验分布进行估计。

2.3 两阶段估计过程

为了获得回归系数 $\beta$ 的估计：

1. 首先使用上述四种方法之一估计 $\nu$。
2. 将估计出的 $\hat{\nu}$ 固定，在似然函数中最大化 $\beta$ 和 $\sigma$。
3. 将此方法与固定 $\nu$ 的方法、Huber 损失函数回归以及 OLS 进行对比。

3. 主要结果 (Key Results)

3.1 自由度 $\nu$ 的估计性能

• 低维情况 ($p$ 较小)：当样本量 $n$ 相对于 $p$ 较大时，标准的轮廓似然估计 $\hat{\nu}$ 表现良好，均方误差（RMSE）最小。
• 高维情况 ($p$ 较大)：随着 $p$ 增加（例如 $p=60, 80$），标准轮廓似然估计的偏差显著增加，RMSE 急剧上升。相比之下，调整后的轮廓似然估计 ($\hat{\nu}_{adj}$) 表现出更强的适应性，在高维设置下具有最小的 RMSE。
• 贝叶斯方法：Jeffreys 先验和伪后验方法的 RMSE 与似然方法相当，但在高维下不如 $\hat{\nu}_{adj}$ 稳健。

3.2 回归系数 $\beta$ 的估计性能

• 重尾误差 ($t_2$)：
  • 在低维 ($p/n < 0.5$) 情况下，估计 $\nu$ 的方法（特别是 $\hat{\nu}_{adj}$）表现优异，其 RMSE 与将 $\nu$ 固定在真实值（或接近真实值，如 $\nu=3$）时的表现相当，且显著优于 OLS 和 Huber 回归。
  • 在高维情况下（$p/n \approx 0.57$），数据中的异常值会被高维模型“吸收”进系数中，导致残差变小，似然函数倾向于选择较大的 $\nu$（即更接近正态分布）。此时，$\hat{\nu}_{adj}$ 虽然能估计出较大的 $\nu$，但其 $\beta$ 的 RMSE 略高于固定 $\nu$ 为最优值（如 $\nu=7$）的情况，但仍优于 OLS。
• 轻尾误差 (正态分布)：
  • 当误差服从正态分布时，OLS 表现最好。
  • 估计 $\nu$ 的方法（尤其是 $\hat{\nu}_{adj}$）表现接近 OLS，且优于 Huber 回归。这表明该方法在轻尾分布下不会造成严重的效率损失。
• 异常值鲁棒性：
  • 在存在不同比例（10%-30%）和类型（正态污染、卡方污染、两点污染）的异常值模拟中，$\hat{\nu}_{adj}$ 方法通常能提供比 OLS 和 Huber 回归更稳健的 $\beta$ 估计。
  • 在极高污染率（30%）且非重尾分布的异常值下，所有方法性能均下降，但 $\nu$ 估计方法仍显示出一定的优势。

3.3 关键发现

• 自由度的校准至关重要：论文强调，选择合适的自由度参数 $\nu$ 与选择稳健分布本身同样重要。
• 调整轮廓似然的优势：$\hat{\nu}_{adj}$ 是推荐的方法，特别是在 $p/n$ 比率不是特别大的情况下。它在重尾和轻尾分布、以及受污染数据中均表现出最佳的平衡性（稳健性与效率）。
• 高维限制：当 $p/n$ 非常大时，高维性会导致残差被“压缩”，使得 $\nu$ 被高估（趋向于正态分布），从而降低了对异常值的鲁棒性。此时，固定 $\nu$ 为一个较大的值可能比估计 $\nu$ 更有效。

4. 结论与意义 (Significance)

1. 理论贡献：论文系统地比较了频率学派和贝叶斯学派在估计 t 分布自由度上的表现，证明了**调整轮廓似然（Adjusted Profile Likelihood）**在修正高维偏差方面的优越性。
2. 实践指导：
   • 对于中等维度的数据，强烈建议使用调整轮廓似然法来估计 $\nu$，而不是随意固定 $\nu$。
   • 该方法提供了一个自动化的稳健回归框架，无需用户手动选择 Huber 损失函数的调优参数或 t 分布的自由度。
   • 当 $p/n$ 比率过高时，需谨慎使用估计方法，可能需要固定 $\nu$。
3. 工具发布：作者发布了 R 包 RobustTRegression，实现了文中提出的方法，促进了该方法的实际应用和复现。

总结：这篇文章解决了稳健回归中一个长期存在的痛点——如何自适应地选择 t 分布的自由度。通过引入调整轮廓似然估计，作者提出了一种在广泛场景（不同误差分布、不同维度、存在异常值）下均能保持高准确性和稳健性的解决方案，填补了现有文献在系统比较不同 $\nu$ 估计策略及其对回归系数影响方面的空白。