A Generative Approach to Joint Modeling of Quantitative and Qualitative Responses

技术摘要：定量与定性响应联合建模的生成式方法（GAQQ）

问题陈述
在许多科学领域，如材料科学和遗传学，研究人员遇到的数据集通常包含定量（连续）和定性（分类）响应，并伴随大量预测变量（高维数据）。关于混合结果的现有文献通常采用条件回归模型，即将一种响应类型视为结果，另一种视为预测变量，或者利用潜变量方法。然而，这些方法往往忽略了预测变量本身之间的依赖关系，而这种依赖关系可为建模响应的联合行为提供关键信息。此外，在这些条件框架中处理高维输入（$p \ge n$）通常会导致计算复杂性增加，并难以建立渐近性质。

方法论：GAQQ 框架
作者提出了一种名为 GAQQ 的新型生成式方法，该方法对预测变量（$X$）、定量响应（$y$）和定性响应（$Z$）的联合分布进行建模。

• 模型假设：该方法假设组合向量 $W = (X', y)'$ 在给定类别标签 $Z$ 的条件下服从多元正态分布。具体而言，对于 $K$ 个类别，$W | Z=k \sim N(\mu_k, \Sigma)$。该模型假设各类别间具有共同的协方差矩阵 $\Sigma$，但允许各类别具有特定的均值向量 $\mu_k$。
• 正则化估计：为了解决 $p \ge n$ 的高维设置，作者构建了一个惩罚对数似然优化问题。这涉及对均值差异（$\delta_k = \mu_k - \mu_1$）和逆协方差矩阵（精度矩阵）$C = \Sigma^{-1}$ 施加 $L_1$ 正则化（Lasso）。目标函数最小化：
  $$-n \ln |C| + \sum_{k=1}^K \sum_{i \in G_k} (w_i - \mu_k)'C(w_i - \mu_k) + \lambda_1 \|C\|_1 + \lambda_2 \sum_{k=2}^K |\mu_k - \mu_1|_1$$
  其中 $\|C\|_1$ 是 $C$ 的非对角元素绝对值之和，$\lambda_1, \lambda_2$ 为调节参数。
• 算法求解：该优化问题通过迭代过程求解，将问题分解为两个子问题：
  1. 将均值差异视为固定，使用图 Lasso（Glasso）技术估计 $C$。
  2. 将 $C$ 视为固定，使用 Lasso 技术估计均值差异 $\delta_k$。
     这种交替最小化持续进行直至收敛。调节参数通过 BIC 型准则进行选择。
• 预测策略：
  • 定量响应（$y$）：基于预测的类别标签，利用多元正态分布的条件期望进行预测。
  • 定性响应（$Z$）：使用从估计的联合分布导出的线性判别分析（LDA）规则进行分类。
  • 联合预测：作者证明，预测顺序（先预测 $y$ 再预测 $Z$，或反之）不影响最终结果。该过程计算每个类别假设下 $y$ 的候选值，评估联合密度，并选择使后验概率最大化的类别及对应的 $y$ 值。
• 扩展：该框架通过正则化每个类别均值与基线类别均值之间的差异，自然地扩展到多类定性响应（$Z \in \{1, \dots, K\}$）。

主要贡献

1. 生成式视角：与现有的条件模型不同，GAQQ 对预测变量和响应的联合分布进行建模，利用预测变量之间的依赖结构来改进估计。
2. 理论保证：在正则性条件（包括限制特征值和不可表示条件）下，作者建立了分类规则的渐近最优性。具体而言，误分类率收敛于贝叶斯风险。此外，定量预测的均方误差（MSE）收敛于最优贝叶斯预测器的 MSE。
3. 计算效率：通过将复杂的联合优化分解为迭代的 Glasso 和 Lasso 步骤，该方法为高维设置下的参数估计提供了一种高效的程序。
4. 处理混合结果：该方法同时处理多类定性响应和多变量定量响应，这是潜变量或标准条件回归方法难以轻易实现的。

结果

• 模拟研究：进行了广泛的模拟研究，涉及不同的协方差结构（稀疏、稠密、复合对称）和均值差异的稀疏程度。
  • 分类：在误分类率（ME）方面，GAQQ 始终优于基准方法（GLDA、CL、ENET、WT、CHWE），特别是在维度增加且潜在模型变得更加稀疏的情况下。
  • 预测：在预测定量响应方面（以均方根预测误差 RMSPE 衡量），GAQQ 的表现优于竞争对手。作者将此归因于对 $Z$ 的准确分类以及对协方差矩阵的正则化估计。
• 案例研究：
  • 材料科学（Heusler 化合物）：应用于根据元素特征预测热力学稳定性（二分类定性）和混合焓（定量）。与 GLDA、ENET 和 CL 相比，GAQQ 实现了最低的 ME（10.49%）和 RMSPE（0.142）。
  • 遗传学（IBD）：应用于溃疡性结肠炎和克罗恩病的基因表达数据（多分类定性），并随机选择一种基因作为定量响应。在 GLDA、WT 和 CHWE 中，GAQQ 产生了最低的 ME（15.77%）和 RMSPE（0.661）。

意义与主张
本文声称，GAQQ 方法通过将问题视为生成式建模任务而非条件回归任务，提供了一种独特且有利的视角。作者断言，这种方法：

• 能够在高维设置下对两种响应类型进行高效的参数估计和准确预测。
• 提供了坚实的理论基础，在标准正则性条件下确立了分类和预测的渐近最优性。
• 允许与不同响应类型相关的参数“相互学习”，从而提高了性能，优于那些仅建模一种响应类型而仅间接从另一种响应类型中受益的方法。

作者总结道，虽然当前框架假设具有共同的协方差矩阵（LDA），但未来的工作可以探索二次判别分析（QDA）以处理更灵活的协方差结构，或将该方法扩展到半连续和有序响应。然而，他们指出，此类扩展将带来重大的技术和计算挑战。