Shrinkage Estimators in Finite Mixture of Mixed Generalized Estimating Equations

技术摘要：混合有限混合广义估计方程中的收缩估计量

问题陈述
本文探讨了对来自异质性群体数据的建模挑战，其中个体由于重复测量或随机效应而表现出组内相关性。标准线性混合模型（LMM）假设单一的同质总体结构，当底层总体由具有不同回归参数的不同子群组成时，这种假设是不恰当的。虽然有限混合模型（FMM）可以处理总体异质性，而线性混合模型可以处理受试者内的相关性，但现有文献通常将两者分开处理。作者确定了在估计**有限混合混合模型（FMMM）**参数方面的空白，该模型结合了这两项特征：即线性混合模型的混合。此外，在高维设置或存在预测变量多重共线性时，标准估计方法（如极大似然法或标准最小二乘法）可能会导致估计值不稳定或效率低下。本文提出了一种解决方案，将收缩估计技术集成到 FMMM 框架中，以提高参数稳定性和选择性。

方法论
作者提出了一种基于最小二乘原理结合收缩方法的新型估计框架。核心方法论包括以下步骤：

1. 模型定义： FMMM 定义为响应变量 $y_{ti}$（第 $i$ 个观测值在因子水平 $t$ 下）是 $K$ 个线性混合成分的混合。每个成分 $j$ 具有固定效应 $\beta_j$、随机效应 $\alpha_{tj}$ 和混合概率 $\pi_j$。模型假设随机效应和误差服从正态分布。
2. 迭代加权最小二乘法 (IWLS)： 基于 Rezazadeh 等人 (2020) 的工作，作者将 IWLS 算法应用于 FMMM。由于误差的方差不是固定的，且取决于混合结构，模型通过由协方差结构 ($\Sigma^{-1/2}$) 导出的权重矩阵进行转换。该算法通过求解由加权最小二乘目标函数导出的正规方程，迭代地估计混合概率 ($\pi$) 和固定效应向量 ($\beta$)。
3. 收缩集成： 为了解决潜在的多重共线性和过拟合问题，作者将三种特定的收缩估计量纳入 IWLS 目标函数中：
   • 岭回归 (Ridge Regression)： 在最小二乘准则中添加 $L_2$ 惩罚项 ($\sum \beta^2$)。
   • Lasso 回归： 添加 $L_1$ 惩罚项 ($\sum |\beta|$) 以诱导稀疏性。
   • 弹性网络 (Elastic Net)： 结合了 $L_1$ 和 $L_2$ 惩罚项。
     目标函数经过修改，以包含这些由混合概率加权的惩罚项。
4. 调优参数选择： 使用交叉验证 (CV) 方法来选择收缩方法的正则化参数。
5. 评估指标： 通过蒙特卡洛模拟计算广义均方误差 (GMSE)，以此评估估计量的性能。

主要贡献

• 模型构建： 本文正式定义了有限混合混合模型 (FMMM)，并推导了其矩阵表示、期望和方差-协方差结构。
• 算法扩展： 它将先前用于标准混合模型的 IWLS 算法扩展到了更复杂的 FMMM 背景下，通过在固定效应的迭代估计中直接引入收缩惩罚。
• 对比分析： 研究系统地比较了 FMMM 框架下的 Ridge、Lasso 和 Elastic Net 估计量，这种组合在以往针对该特定模型类型的文献中并未得到广泛覆盖。

结果
作者进行了广泛的蒙特卡洛模拟，并分析了两个真实世界数据集以评估所提方法：

• 模拟研究：

  • 模拟在不同的样本量 ($n=50, 100, 200$)、预测变量维度 ($p=8, 12$) 和相关水平 ($\rho = 0.75, 0.90, 0.99$) 下进行。
  • 性能： 结果表明，在 GMSE 方面，Lasso 和 Elastic Net 通常优于 Ridge 回归，特别是在多重共线性 ($\rho$) 增加的情况下。
  • 成分敏感性： 性能随混合成分数量 ($K$) 的变化而略有不同。对于 $K=3$，Elastic Net 表现出优越的性能；而对于 $K=2, 4, 5, 6$，Lasso 的表现往往优于 Elastic Net 和 Ridge。
  • 高共线性： 在极高相关性 ($\rho=0.99$) 的场景下，Ridge 估计量的 GMSE 显著增加，而 Lasso 和 Elastic Net 保持稳健。

• 真实数据应用：

  • 棒球薪资： 在分析 337 名球员的 1992 年薪资时，作者使用 $\log(\text{salary})$ 作为响应变量。Lasso 和 Elastic Net 的 GMSE（分别为 16.955 和 17.035）低于 Ridge（25.471）。
  • 女学生身高： 在分析 20 名女生的生长数据时，Lasso 和 Elastic Net 同样展示了比 Ridge (21.349) 更低的 GMSE (分别为 19.777 和 19.896)。

意义与主张
本文声称，将 IWLS 方法与收缩方法相结合，为有限混合混合模型的参数估计提供了一个稳健的框架。作者断言，他们提出的迭代收缩方法能够同时有效处理总体异质性和个体内的相关性。

其主要意义在于实证发现：收缩方法（特别是 Lasso 和 Elastic Net）在估计 FMMM 参数时，比标准的 Ridge 回归提供了更高的准确性和稳定性，尤其是在存在多重共线性时。该研究将自己定位为 Rezazadeh 等人 (2020) 工作的延续，通过将正则化引入其 IWLS 工作，从而为存在总体子群和随机效应的复杂数据结构（常见于社会科学、医学和经济学领域）提供了实用的解决方案。作者谦逊地总结道，其模拟结果支持在 FMMM 背景下采用这些收缩估计量以改进参数估计。