New Confidence Regions for Linear Regression Parameters with Stationary-Ergodic Dependent Errors

技术摘要：具有平稳–遍历相依误差的线性回归参数的新置信区域

问题陈述
在依赖结构未指定的情况下，构建线性回归系数的联合置信区域仍是一个重大挑战。尽管标准方法依赖于估计长期协方差矩阵（例如 Newey–West HAC 估计量），但这些方法在有限样本中对调参选择较为敏感，特别是在存在持续性依赖或样本量适中的情况下。替代方法，如固定 b 渐近理论或自标准化统计量，提供了不同的极限理论，但通常要求特定的弱依赖条件。此外，在具有长记忆误差的模型中，推断往往依赖于对序列依赖的参数化或半参数化描述，从而在结构未知时限制了其适用性。本文旨在解决对一种稳健推断程序的需求，该程序既不对误差过程施加参数模型，也不直接估计长期协方差矩阵。

方法论
所提出的方法将 Longla 和 Peligrad (2021) 引入的随机平滑技术从均值估计扩展到线性回归系数。核心方法论包含以下步骤：

1. 矩向量重构：回归系数向量 $\beta$ 被重新表述为有限维总体矩向量 $\mu$ 的光滑变换 $g(\mu)$。该向量 $\mu$ 由解释变量协方差矩阵的下三角元素以及解释变量与响应变量之间的交叉矩组成。
2. 随机平滑估计量：通过利用由收缩带宽 $h_n$ 驱动的核权重，将观测样本与独立的辅助样本进行积分，构建平滑估计量 $\hat{\mu}_n$。该估计量避免了对长期方差的直接估计。
3. 渐近正态性：在平稳性、遍历性和有限二阶矩的假设下，本文证明了平滑矩向量具有渐近正态性。通过对变换 $g$ 应用多元 Delta 方法，回归系数估计量 $\hat{\beta}_n$ 继承了渐近正态性。
4. 实施改进：
   • 缩放估计量：针对直接估计量的均方误差展开中缺乏标准内部最优解的问题，引入了一种缩放变体 $\tilde{\beta}_n$。这恢复了可处理的偏差–方差权衡，使得数据驱动的带宽选择成为可能。
   • 带宽选择：提出了一种自适应带宽规则。对于短记忆过程，推导出了 MSE 最优速率。对于长记忆过程（标准条件可能失效），采用稳健的对数速率（$h_n \propto \log n / n$），并通过记忆参数的 Geweke–Porter-Hudak (GPH) 估计量进行校准。
   • 截断：引入了一种温和的截断装置，以在设计矩阵行列式估计值接近零时稳定程序，确保估计量在有限样本中定义良好，同时保持渐近可忽略性。

主要贡献与结果
本文为所提出的方法提供了理论保证和实证证据：

• 理论结果：作者证明，在平稳性、遍历性和有限二阶矩的条件下，所提出的估计量能够产生渐近有效的 Wald 型置信区域和联合置信区间，无需参数化依赖模型或直接估计长期协方差。
• 模拟性能：在多种依赖结构下进行了广泛的模拟，包括 ARMA、ARFIMA、基于 Copula 的马尔可夫模型和分数高斯噪声，并涵盖了高斯和重尾边缘分布。
  • 联合覆盖率：所提出的方法在广泛的依赖结构下，对联合置信椭球体表现出接近名义水平的覆盖率。
  • 与 HAC 的比较：与 Newey–West HAC 和 MAC 程序相比，所提出的方法表现出更稳定的联合校准，特别是在具有非线性依赖（扩展 FGM Copula）和强持续性（ARFIMA、分数高斯噪声）的设置中。虽然 Newey–West 方法在短记忆线性依赖下在区域大小上可能更经济，但在持续性或非线性设置中，它们往往表现出较不平衡的边缘覆盖率以及对参数配置的更大敏感性。
  • 长记忆：在长记忆场景中，竞争的基于 OLS 的程序在小样本中经常覆盖率不足，而随机平滑方法随着样本量的增加保持了可靠的联合性能。
• 真实数据应用：该方法被应用于北京冬季 PM2.5 浓度对天气协变量的回归分析。分析证实了残差中存在序列依赖，并提供了在时间块上保持稳定的联合置信区域，说明了该方法在具有相依误差的现实场景中的实际效用。

意义
本文声称，这项工作的主要意义在于为序列依赖结构未指定时的回归推断提供了可信的基础。随机平滑框架为传统的基于 HAC 的推断提供了一种稳健的替代方案，特别擅长于具有持续性或非线性依赖特征的联合推断。该方法无需显式的长期方差估计或对误差过程进行参数化建模即可实现可靠的校准，填补了现有文献中的空白，因为现有程序通常依赖于特定的结构假设，或在有限样本中对调参参数过于敏感。