Forecasting sub-population mortality using credibility theory

这是一份关于论文《Forecasting sub-population mortality using credibility theory》（使用可信度理论预测子群体死亡率）的详细技术总结。

1. 研究背景与问题 (Problem)

• 核心挑战：在人口学、流行病学和精算科学中，经常需要对具有共同特征的小规模子群体（sub-populations）的死亡率进行建模和预测。然而，当子群体规模较小或历史数据不足时，直接为每个子群体建立独立的死亡率模型往往会导致参数估计不可靠，进而产生不准确的预测。
• 现有局限：
  • 虽然可以针对超群体（super-population，即包含所有子群体的大总体，如整个国家人口）建立可靠的预测模型（如 Lee-Carter 模型），但直接将其应用于小样本子群体会忽略子群体特有的生物学、人口学或行为因素。
  • 现有的多群体模型（Multi-population models）通常涉及复杂的参数共享机制，或者依赖于特定的分布假设（如贝叶斯方法），在小样本情况下可能过度依赖先验假设。
• 研究目标：开发一种能够结合超群体宏观趋势与子群体特异性信息的预测方法，在数据稀缺时提供稳健的预测，同时在小样本数据积累后能自动向子群体特异性模型过渡。

2. 方法论 (Methodology)

本文提出了一种基于可信度理论（Credibility Theory）的扩展框架，专门用于处理由潜在随机过程驱动的死亡率预测问题。

2.1 模型设定

• 数据生成过程：假设子群体 $i$ 在年龄 $x$ 和时间 $t$ 的死亡人数 $D_{x,t}^i$ 服从泊松分布：
  $$D_{x,t}^i | E_{x,t}^i, \Theta_x^i, \mu_{x,t} \sim \text{Poisson}(E_{x,t}^i \Theta_x^i \mu_{x,t})$$
  其中：
  • $\mu_{x,t}$ 是超群体的基准死亡率（通过 Lee-Carter 等模型预测）。
  • $E_{x,t}^i$ 是风险暴露量。
  • $\Theta_x^i$ 是随机效应（Random Effect），代表子群体 $i$ 在年龄 $x$ 上的相对生存率（Relative Survival），假设其不随时间变化，且 $E[\Theta_x^i]=1$。
• 假设：
  1. 给定 $\Theta_x^i$ 和 $\mu_{x,t}$，死亡人数服从泊松分布。
  2. $\Theta_x^i$ 与 $\mu_{x,t}$ 独立，且期望为 1。
  3. 不同时间点的观测值在给定暴露量和强度下条件独立。

2.2 线性可信度预测器 (Linear Credibility Estimator)

文章推导了未来中央死亡率 $\mu_{x,t'+h}(\Theta_x^i)$ 的线性可信度预测器。该预测器是超群体预测值与子群体特异性相对生存预测值的加权平均：

$$\hat{\mu}_{x,t'+h}(\Theta_x^i) = (1 - z_x^i)\mu_{x,t'+h} + z_x^i \mu_{x,t'+h}^i$$

其中：

• $\mu_{x,t'+h}$：超群体的预期死亡率。
• $\mu_{x,t'+h}^i = \mu_{x,t'+h} \hat{R}_x^i$：基于子群体历史数据修正后的相对生存模型预测值。
• $z_x^i$：可信度权重（Credibility Weight），取值在 0 到 1 之间。

2.3 权重机制与插值估计 (Plug-in Estimation)

• 权重 $z_x^i$ 的决定因素：
  • 暴露量 ($E$)：子群体暴露量越大，权重越接近 1（更信赖子群体数据）。
  • 方差 ($\text{Var}(\Theta_x^i)$)：子群体相对于超群体的异质性越大（方差越大），权重越接近 1。
  • 数据量：数据量不足时，权重接近 0，预测结果退化为超群体模型。
• 实际计算：由于理论公式涉及不可直接计算的期望和方差，作者提出了**插值估计（Plug-in estimation）**方法：
  • 使用矩估计法（Method of Moments）估计 $\text{Var}(\Theta_x^i)$。
  • 使用样本均值估计 $E[\Theta_x^i/E_{x,t}^i]$。
  • 引入了零调整估计器以确保方差非负。

2.4 预测误差分析

推导了预测器的期望二次预测误差（Expected Quadratic Forecast Error）的显式表达式。该表达式不仅包含超群体模型的预测误差，还包含了子群体随机效应带来的额外变异（Over-dispersion），即使在权重为 0 或 1 的边界情况下，这种异质性方差依然存在。

3. 主要贡献 (Key Contributions)

1. 理论扩展：将经典的可信度理论（通常用于非寿险索赔频率，假设均值静态）扩展到随机强度模型（Stochastic Intensity Model），能够处理如 Lee-Carter 模型中随时间演变的日历期效应（Calendar Period Effect）。
2. 通用性：该方法不依赖于超群体模型的具体形式（可以是 Lee-Carter, APC, RH 等），具有广泛的适用性。
3. 显式误差公式：推导了预测误差的显式表达式，使得无需复杂的模拟即可评估预测的不确定性。
4. 自动校准机制：提出的预测器能够根据子群体的数据量（暴露量）和异质性程度，自动在“完全依赖超群体”和“完全依赖子群体数据”之间进行平滑过渡，解决了小样本建模的稳定性问题。
5. 与贝叶斯方法的对比：相比于贝叶斯多群体模型，该方法仅依赖前两阶矩（均值和方差）和依赖结构，无需指定具体的分布假设，在小样本数据稀缺时更具鲁棒性。

4. 实验结果 (Results)

作者基于意大利人口数据进行了模拟研究，构建了三个不同规模的子群体（小、中、大）：

• 单数据集表现：
  • 权重动态：随着样本年份增加，可信度权重 $z_x^i$ 平滑增加，预测结果从超群体模型逐渐向子群体相对生存模型移动。
  • 年龄效应：在低龄段（死亡人数少），权重较低，预测更贴近超群体模型；在高龄段（死亡人数多），权重较高，预测更贴近子群体特异性模型。
  • 小样本稳定性：对于极小样本（如子群体 2，每队列 500 人），独立建模（Separate Model）往往无法收敛或产生极大误差，而可信度模型提供了稳定的预测。
• 样本外预测性能（30 次重复模拟）：
  • 指标：使用均方误差（MSE）和泊松偏差（Poisson Deviance）进行评估。
  • 对比模型：
    • A: 提出的可信度模型。
    • B: 相对生存模型（仅用子群体数据修正超群体）。
    • C: 子群体独立模型。
    • D: 超群体全局模型。
  • 结论：
    • 对于小样本子群体，可信度模型（A）的表现显著优于独立模型（C），且通常优于或等同于全局模型（D）。
    • 对于中等样本，可信度模型在低龄段接近全局模型，在高龄段接近相对生存模型，综合表现最佳。
    • 相对生存模型（B）通常优于独立模型（C），说明直接利用子群体数据修正全局趋势比完全独立建模更有效。
    • 可信度模型成功地在“过度拟合小样本噪声”和“忽略子群体特征”之间找到了最佳平衡点。

5. 意义与结论 (Significance)

• 实践价值：该方法为精算师、人口学家和公共卫生专家提供了一种实用的工具，用于预测少数群体（如特定职业、特定疾病患者、少数族裔等）的死亡率，特别是在数据有限的情况下。
• 理论价值：成功地将可信度理论从静态的索赔频率建模推广到了动态的死亡率随机过程建模，填补了该领域的理论空白。
• 稳健性：通过显式的误差分析和插值估计，该方法在数据稀缺时表现出极强的鲁棒性，避免了传统统计方法在小样本下的不稳定性。
• 未来方向：该框架可以进一步扩展到包含更多协变量或更复杂的随机过程结构中。

总结：这篇论文通过引入可信度理论，巧妙地解决了小样本子群体死亡率预测中的“数据不足”与“特征差异”之间的矛盾，提供了一种数学上严谨、计算上可行且在实际应用中表现优异的解决方案。