📊 statistics

Interpretable models for forecasting high-dimensional functional time series

该论文提出了一种结合可解释的函数方差分析（FANOVA）与函数因子模型的框架，用于将高维函数时间序列分解为确定性均值结构和随机残差过程，从而在提升预测精度的同时揭示数据背后的驱动因素，并以日本分地区分性别死亡率数据验证了该方法的有效性。

原作者： Han Lin Shang, Cristian F. Jiménez-Varón

发布于 2026-03-31

📖 1 分钟阅读☕ 轻松阅读

原作者： Han Lin Shang, Cristian F. Jiménez-Varón

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是在教我们如何**“拆解并预测未来”**，特别是针对那些非常复杂、数据量巨大的“曲线数据”。

想象一下，你手里有一堆关于日本各个地区、不同性别、从 1975 年到 2023 年每年的**“死亡率曲线”**。每一条曲线都像是一条蜿蜒的山路，横轴是年龄（从 0 岁到 100 岁+），纵轴是死亡风险。

现在，政府想知道：未来 10 年，这些“山路”会变成什么样？ 这很难，因为数据太多了（47 个地区 × 2 个性别 × 49 年），而且它们之间互相影响（比如东京和大阪的死亡率变化可能有关联，男性和女性的趋势也不同）。

这篇论文提出了一套**“三步走”的拆解魔法**，把复杂的预测变得清晰、透明且准确。

第一步：把“大杂烩”拆成“标准件” (FANOVA 分解)

想象你在做一道复杂的**“大锅炖”**（高维数据）。如果不加区分地预测，就像试图一次性猜出整锅汤的味道，很难猜准。

作者的做法是先把这锅汤拆成几个**“标准调料包”**：

基础汤底（总平均效应）： 这是全日本、不分男女、不分地区的“平均死亡趋势”。就像汤里的水，是大家都有的基础。
地区风味（行效应）： 比如冲绳地区可能因为气候好，整体死亡率偏低；北海道可能因为冬天冷，某些年龄段的死亡率偏高。这是每个地区的“独家秘方”。
性别口味（列效应）： 众所周知，女性通常比男性长寿。这是男性和女性之间的“口味差异”。

这一步的妙处在于“可解释性”： 以前的很多高科技模型像个“黑盒子”，告诉你“预测结果是 A"，但不知道是为什么。而这套方法告诉你：“预测结果是 A，因为基础汤底是 B，加上冲绳的秘方 C，再减去男性的口味 D。”这让政策制定者能看懂数据背后的原因。

第二步：处理“意外惊喜” (交互项分解)

有时候，地区风味和性别口味混在一起会产生**“化学反应”。
比如，冲绳的老年男性可能比冲绳的老年女性更长寿，但这种差异在东京可能就不明显。这种“地区 + 性别”的特殊组合效应**，就是“交互项”。

作者没有忽略它，而是专门用一个小工具（单向方差分析）把它单独挑出来。这就像在炖汤时，发现“冲绳 + 男性”这个组合需要额外加一点特殊的香料，不能简单地用“冲绳味”加“男性味”来概括。

第三步：捕捉“随机的波动” (功能因子模型)

拆完了上面那些“有规律的调料”后，锅里剩下的就是**“随机的波动”**（残差）。
这些波动可能源于当年的流感爆发、经济危机或者偶然的医疗进步。它们看起来杂乱无章，但其实也有规律（比如今年的波动可能和去年的有关）。

作者用了一个**“功能因子模型”，就像给这些杂乱的波动装上了一个“雷达”**。这个雷达能捕捉到隐藏在噪音中的共同趋势（比如全日本都在经历某种共同的老龄化加速），从而把剩下的随机部分也预测得比较准。

第四步：给预测结果穿上“防弹衣” (预测区间)

预测未来总是有风险的。作者不仅给出了“最可能的曲线”（点预测），还计算了**“预测区间”**（就像给预测结果穿上一件防弹衣，告诉你未来数据有 95% 的概率会落在这个范围内）。

他们用了两种聪明的方法（分裂式共形预测和序列共形预测）来校准这件防弹衣：

分裂式： 像考试前做模拟题，用一部分历史数据来测试预测准不准，然后调整防弹衣的厚度。
序列式： 像开车时的自适应巡航，每来一条新数据，就自动微调一下防弹衣的大小，不需要重新做模拟题。

为什么这个方法很厉害？

透明度高（不像黑盒子）： 以前的模型可能只说“未来死亡率会降”，这个模型会说“因为基础趋势在降，加上冲绳地区改善，虽然男性波动有点大，但总体还是降”。这对政府制定养老金、医疗资源分配政策非常有价值。
更准： 论文通过日本 1975-2023 年的真实数据测试，发现这套“拆解 + 重组”的方法，比传统的“黑盒子”方法预测得更准，无论是预测具体的数值，还是预测波动的范围。
灵活： 它既能处理成千上万条曲线（高维），又能处理它们之间的复杂关系。

总结

这就好比你要预测**“未来全日本 47 个县的男女老少寿命变化”**。
以前的做法是扔进一个超级计算机，让它自己算，算出来结果你也看不懂。
这篇论文的做法是：

先算出**“全国平均”**；
再算出**“各地特色”和“男女差异”**；
接着算出**“地区与性别的特殊搭配”**；
最后用**“雷达”捕捉剩下的“随机波动”**。

把这几部分加起来，你就得到了一个既准确又让人看得懂的未来预测。这对于政府如何分配医疗资源、规划养老院，提供了非常清晰的“导航图”。

这是一份关于论文《可解释的高维函数时间序列预测模型》（Interpretable models for forecasting high-dimensional functional time series）的详细技术总结。

1. 研究背景与问题 (Problem)

高维函数时间序列 (HDFTS) 的挑战：随着数据存储和记录技术的进步，科学领域（如人口学、气象学、金融）产生了大量高维函数时间序列数据。这类数据具有两个特征：
1. 时间依赖性：同一曲线随时间的变化。
2. 截面相关性：不同曲线（如不同地区、不同性别）之间存在相互依赖。
3. 高维性：截面数量 $N$ 往往大于时间序列长度 $T$ ( $N > T$ )。
现有方法的局限性：
- 现有的降维技术（如基于主成分分析 PCA 或因子模型的方法）虽然在计算上高效，但生成的因子和载荷矩阵通常是“黑盒”数学构造，缺乏可解释性。
- 这些方法难以直接对应到可观测的类别驱动因素（如具体的地理区域、性别群体），导致决策者难以理解数据变异的来源（例如：是区域差异还是性别趋势？）。
具体应用场景：日本各都道府县按年龄和性别划分的死亡率数据。这类数据不仅对养老金和医疗政策至关重要，而且存在数据质量差、噪声大、跨区域异质性强的问题。

2. 方法论 (Methodology)

作者提出了一种结构化、可解释的分解框架，将 HDFTS 分解为确定性部分和随机部分，主要包含三个核心步骤：

2.1 双向函数方差分析 (Two-way Functional ANOVA, TWA)

首先对平滑后的死亡率曲线 $Y_{it}^g(u)$ 进行分解，以提取确定性均值结构：
$Y_{it}^g(u) = \mu(u) + \alpha_i(u) + \delta^g(u) + \gamma_{ig}(u) + X_{it}^g(u)$

$\mu(u)$ ：总体函数效应（Grand effect）。
$\alpha_i(u)$ ：行效应（地区/都道府县效应）。
$\delta^g(u)$ ：列效应（性别效应）。
$\gamma_{ig}(u)$ ：交互项（地区与性别的交互作用）。
$X_{it}^g(u)$ ：残差项。
创新点：不同于以往仅关注主效应的模型，本文显式地建模了交互项，以捕捉不同地区在不同性别下的异质性。

2.2 单向函数方差分析 (One-way Functional ANOVA, OWA)

为了进一步处理交互项和残差，作者将 $X_{it}^g(u)$ 中的交互部分和剩余残差视为新的对象，按性别 $g$ 分别进行单向 FANOVA 分解：
$X_{it}^{g,\dagger}(u) = \theta^g(u) + \eta_i^g(u) + R_{it}^g(u)$

$\theta^g(u)$ ：性别特定的总体效应。
$\eta_i^g(u)$ ：性别特定的地区效应。
$R_{it}^g(u)$ ：剩余的随机残差项。
目的：将交互效应从随机噪声中分离出来，作为确定性结构的一部分，从而净化残差，使其更适合随机建模。

2.3 函数因子模型 (Functional Factor Model, FFM)

对经过上述两步分解后剩余的随机残差 $R_{it}^g(u)$ 进行建模，以捕捉时间依赖性和截面相关性：
$R_{it}^g(u) = \sum_{k=1}^{k^*} \int B_{ik}^g(u, v) F_{tk}^g(v) dv + \varepsilon_{it}^g(u)$

采用 Leng et al. (2026) 的统一因子模型框架，包含函数因子载荷和函数因子。
通过特征值分析估计因子数量 $q$ 和因子得分，从而捕捉残差中的动态趋势。

2.4 预测区间构建 (Conformal Prediction)

为了量化预测的不确定性，作者采用了共形预测 (Conformal Prediction) 方法，这是一种模型无关且分布自由的方法：

分割共形预测 (Split)：将数据分为训练集、验证集和测试集，利用验证集校准残差的缩放参数。
序列共形预测 (Sequential)：无需固定验证集，利用自回归模型对绝对残差进行分位数回归，随着新数据到来动态更新预测分位数。
最终预测公式：
$\hat{Y} = \underbrace{\hat{\mu} + \hat{\alpha} + \hat{\delta}}_{\text{TWA (确定性)}} + \underbrace{\hat{\theta} + \hat{\eta}}_{\text{OWA (确定性)}} + \underbrace{\hat{R}}_{\text{FFM (随机)}}$

3. 主要贡献 (Key Contributions)

可解释性框架：提出了一种将 HDFTS 分解为“数据驱动确定性成分”（地区、性别、交互项）和“随机残差”的结构化方法。这解决了传统因子模型“黑盒”问题，使政策制定者能清晰识别变异来源。
交互项建模：在函数方差分析中显式引入并建模交互项（通过单向 FANOVA 处理），捕捉了跨组（地区 - 性别）的异质性，这是以往研究（如 Jim´enez-Var´on et al., 2024）未充分关注的。
混合建模策略：结合了确定性分解（FANOVA）和随机因子模型（FFM），既利用了结构化先验知识，又保留了捕捉复杂动态的能力。
先进的不确定性量化：将共形预测应用于高维函数时间序列，特别是提出了序列共形预测方法，避免了验证集划分带来的样本损失，更适合有限样本场景。

4. 实验结果 (Results)

研究使用了日本 1975-2023 年各都道府县按年龄和性别划分的死亡率数据（共 47 个地区，2 个性别，49 年数据）。

点预测精度 (Point Forecast)：
- 指标：均方根预测误差 (RMSFE) 和平均绝对预测误差 (MAFE)。
- 结果：提出的 TWA + OWA + FFM 模型在 1 到 10 步预测中，其误差均显著低于基准方法（仅 TWA+FFM 和 Jim´enez-Var´on et al. (2024) 的多变量函数时间序列方法）。
- 发现：包含交互项（OWA 步骤）能进一步提升精度，特别是在中短期预测中。
区间预测精度 (Interval Forecast)：
- 指标：经验覆盖概率 (ECP)、覆盖概率差异 (CPD) 和区间得分 (IS)。
- 结果：
  - 序列共形预测表现优于分割共形预测，因为它能更好地适应数据变化，避免了因验证集划分导致的低估或高估。
  - 提出的框架在区间预测的准确性（更窄的区间且保持高覆盖率）上优于基准方法。
  - 在长预测 horizon (h=10) 下，序列共形预测依然保持了稳健性。

5. 意义与结论 (Significance)

政策制定支持：该模型不仅提高了预测精度，更重要的是提供了透明、可解释的洞察。决策者可以明确看到死亡率变化是由总体趋势、特定地区差异、性别差异还是交互效应驱动的，从而制定更精准的养老和医疗资源分配政策。
方法论推广：该框架不仅适用于死亡率数据，还可推广至其他高维函数面板数据（如多站点温度曲线、多股票收益率曲线等），特别是当需要解释变量间异质性时。
未来方向：论文建议未来可探索交互项显著性的假设检验、生命表死亡数的建模（作为概率密度函数），以及更复杂的时空依赖模型。

总结：这篇论文通过结合函数方差分析（FANOVA）的可解释性与函数因子模型的灵活性，成功解决高维函数时间序列预测中的“精度”与“可解释性”难以兼得的问题，并在日本死亡率数据的实证研究中证明了其优越性。