A constrained iteratively-reweighted least-squares framework for generalised linear models

这是一篇关于**受约束广义线性模型（Constrained Generalised Linear Models, GLMs）的学术论文的技术总结。该论文提出了一种名为受约束迭代重加权最小二乘法（CIRLS）**的通用框架，旨在解决在广义线性模型中施加线性系数约束时的估计、推断和模型选择问题。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 现状： 广义线性模型（GLM）广泛应用于统计学和科学领域。然而，在许多实际应用场景中（如单调回归、成分数据分析、Lasso 回归等），研究者需要基于先验知识或物理假设对模型系数施加线性约束（例如：系数非负、系数单调递增、系数之和为零等）。
• 痛点： 尽管线性约束很有用，但目前缺乏一个统一的框架来系统地处理受约束 GLM 的估计、推断和模型选择。
  • 现有的算法多局限于线性模型，扩展到 GLM 的较少。
  • 缺乏成熟的软件实现，导致实际应用受阻。
  • 传统的推断方法（如基于渐近正态分布的置信区间）在约束条件下不再有效，因为约束会改变系数的分布并引入偏差。
  • 模型选择标准（如 AIC）中的自由度（Degrees of Freedom, DoF）计算在约束条件下变得复杂，传统的计数方法可能不准确。

2. 方法论 (Methodology)

论文提出了一个包含三个核心部分的完整框架：

A. 估计算法：受约束迭代重加权最小二乘法 (CIRLS)

• 核心思想： 将标准的 GLM 拟合算法（IRLS）中的每一步最小化问题转化为一个**二次规划（Quadratic Program, QP）**问题。
• 数学形式： 在第 $k$ 次迭代中，更新系数 $\hat{\boldsymbol{\beta}}^{[k+1]}$ 以最小化加权残差平方和，同时满足线性约束 $\mathbf{l} \le \mathbf{C}\boldsymbol{\beta} \le \mathbf{u}$。
  $$\hat{\boldsymbol{\beta}}^{[k+1]} = \min_{\boldsymbol{\beta}} (\boldsymbol{\beta}^T \mathbf{X}^T \mathbf{W} \mathbf{X} \boldsymbol{\beta} - 2\mathbf{z}^T \mathbf{W} \mathbf{X} \boldsymbol{\beta}) \quad \text{s.t.} \quad \mathbf{l} \le \mathbf{C}\boldsymbol{\beta} \le \mathbf{u}$$
• 求解器： 利用高效的二次规划算法（如 Goldfarb 和 Idnani 的对偶算法）求解。
• 收敛性： 该算法可被视为**序列二次规划（SQP）**的一种简化形式。在 GLM 的特定条件下（如使用规范连接函数，目标函数为凹函数），算法具有二次收敛性，能快速且稳定地收敛到全局最优解。

B. 推断理论：截断多元正态分布 (TMVN)

• 分布特性： 在约束条件下，估计量 $\hat{\boldsymbol{\beta}}$ 不再服从标准的多元正态分布。论文证明，受约束的系数向量 $\mathbf{C}\hat{\boldsymbol{\beta}}$ 服从截断多元正态分布（Truncated Multivariate Normal, TMVN）。
• 推断方法：
  • 由于解析计算置信区间困难，框架采用模拟方法（基于 Botev, 2017 的重要性采样方案）从 TMVN 中生成样本，进而计算置信区间和预测区间。
  • 偏差与方差权衡： 约束估计量通常是有偏的（Bias），但方差（Variance）显著降低。论文指出，即使约束条件略微偏离真实值（即真实参数在可行域边缘外），这种方差降低带来的收益往往能抵消偏差，从而降低均方误差（RMSE）。

C. 模型选择与自由度 (Degrees of Freedom)

• 观测自由度 (odf)： 定义为 $p - m_a$，其中 $p$ 是参数个数，$m_a$ 是拟合模型中活跃约束（即约束取到边界值）的数量。由于 $m_a$ 依赖于样本，odf 是一个随机变量，可能导致模型选择偏差。
• 期望自由度 (edf)： 为了更准确地反映模型复杂度，论文提出了期望自由度的概念：
  $$edf = p - \sum_{k=0}^{m} k \cdot P(m_a = k)$$
  即参数个数减去活跃约束数量的期望值。通过模拟无约束模型来估计活跃约束的概率分布，从而计算 edf。
• 优势： 模拟表明，edf 比 odf 能更稳定、准确地估计模型复杂度，特别是在约束较多或接近边界的情况下，有助于改进 AIC/BIC 等模型选择准则。

3. 软件实现 (Implementation)

• R 包 cirls： 作者开发了 R 语言包 cirls，将 CIRLS 算法嵌入到标准的 glm() 函数接口中。
• 易用性： 用户可以使用熟悉的公式接口或矩阵接口定义约束，无需编写复杂的优化代码。
• 功能： 包内集成了基于 TMVN 的推断函数（vcov(), confint()）和模型选择函数（AIC(), BIC()），支持多种 QP 求解器。

4. 实验结果 (Results)

A. 模拟研究

• 场景： 设置了非负回归（Non-negative regression）和非递减分层回归（Non-decreasing strata）两种数据生成机制（DGM），涵盖从完全可行到不可行的不同约束强度。
• 估计性能：
  • 当约束条件正确或接近正确时，受约束模型的RMSE 显著低于无约束模型。
  • 即使真实参数略微违反约束（不可行），受约束模型在大多数情况下仍优于无约束模型，体现了“偏差 - 方差”权衡的优势。
• 推断性能：
  • 基于 TMVN 的置信区间覆盖率在参数可行时接近名义水平（95%）。
  • 在参数不可行时覆盖率下降，但偏差校正后的覆盖率表现良好。
• 自由度估计：
  • edf 比 odf 更能准确反映模型复杂度，且方差更小。odf 在约束较多时往往高估了自由度的减少量，导致模型选择倾向于过拟合。

B. 真实案例研究

1. 全球温度异常（单调回归）：
   • 应用：估计 1850-2015 年全球气温变化趋势，强制要求趋势非递减。
   • 结果：受约束模型在稳定期平滑了波动，在升温期与无约束模型一致。使用样条基函数时，约束有效正则化了拟合曲线，避免了过拟合。
2. GDP 构成与预期寿命（成分数据分析）：
   • 应用：分析欧盟国家 GDP 六大产业占比对预期寿命的影响。
   • 约束：系数之和为零（$\sum \beta_j = 0$），符合成分数据的性质。
   • 结果：模型成功估计了各产业占比的相对影响（如交通通信占比高与寿命短相关，教育医疗占比高与寿命长相关），且无需像传统对数比方法那样选择参考变量，解释性更强。

5. 结论与意义 (Significance)

• 统一框架： CIRLS 提供了一个统一的框架，能够处理各种线性约束 GLM 问题（包括单调回归、成分回归、Lasso 等），打破了以往需要针对不同问题开发专用算法的局限。
• 计算效率与稳定性： 利用成熟的二次规划求解器，算法收敛快且稳定，克服了以往约束 GLM 计算困难的障碍。
• 统计推断的完善： 提出了基于 TMVN 的推断方法和期望自由度（edf）计算，解决了约束条件下标准推断失效和模型选择偏差的问题。
• 实际应用价值： 通过开源 R 包 cirls，极大地降低了受约束 GLM 的使用门槛，使研究人员能够轻松地在流行病学、环境科学、经济学等领域应用这些高级统计方法。
• 局限性： 当前推断方法要求约束数量 $m$ 不超过参数数量 $p$（否则无法进行逆变换），且需要拟合无约束模型作为基准（这在 $p \ge n$ 时可能不可行）。未来工作将探索基于 Bootstrap 的推断和更广泛的非线性约束扩展。

总结： 该论文不仅提出了一种高效的算法，还完善了相关的统计理论（分布、偏差、自由度），并提供了易用的软件工具，显著推动了受约束广义线性模型在理论和实践中的应用。