技术摘要：测试函数型数据的完全随机缺失假设

问题陈述

函数型数据分析（FDA）传统上假设观测值是在一个共同定义域上的。然而，在许多实际应用中，数据是“部分观测”的，这意味着每个函数仅在定义域 $I$ 的一个子集 $O$ 上可观测，而在 $I \setminus O$ 上存在缺失值。现有的大多数用于此类数据的重建和推断方法的一个关键前提是，缺失机制满足**完全随机缺失（Missing Completely at Random, MCAR）**假设。该假设认为观测函数 $X$ 与观测集 $O$ 是独立的。

虽然存在许多在 MCAR 假设下恢复缺失函数型数据的方法（例如，Delaigle 和 Hall, 2016; Kraus, 2015），但目前缺乏通用的统计程序来验证这一假设。现有的多元设置下的 MCAR 测试（例如，Little, 1988）依赖于按不同的缺失模式对数据进行分组。这种方法在处理函数型数据时是不可行的，因为观测集的数量是不可数无穷的，并且在实践中，每个观测模式可能都是唯一的。本文旨在填补这一空白，开发一个通用的测试框架来确定 $X$ 与 $O$ 是否独立。

方法论

1. 划分观测集

所提框架的核心是将观测集空间 $\mathcal{K}$ 划分为两个不相交的子集 $\mathcal{A}$ 和 $\mathcal{B}$，使得 $\mathcal{K} = \mathcal{A} \dot{\cup} \mathcal{B}$。

• 经验性划分（Ad Hoc Partitioning）： 一种简单的方法是将数据分为“完整”函数和“不完整”函数。
• 系统化聚类： 作者提出了一种基于质心的聚类方法。他们使用对称差测度定义了集合 $S_1, S_2$ 之间的距离：$d(S_1, S_2) = \lambda(S_1 \triangle S_2)$，这对应于其指示函数的 $L^1$ 距离。
• 最优中心： 划分通过寻找两个最优中心（中值）$M_A$ 和 $M_B$ 来确定，这两个中心最小化了到最近中心的期望距离。集合 $\mathcal{A}$ 和 $\mathcal{B}$ 是与这些中心相关的 Voronoi 胞腔。
• 定义域限制： 为了确保有效的比较，分析被限制在一个子定义域 $I \subset [0, 1]$ 内，在该定义域内两组都具有足够的覆盖率（具体而言，$P(t \in O | \mathcal{A}) > 0$ 且 $P(t \in O | \mathcal{B}) > 0$）。

2. 假设检验

零假设 $H_0$ (MCAR) 意味着 $X$ 和 $O$ 是独立的。该测试框架评估一个更强的假设 $H_0^F$：
$$H_0^F: P(X(t) \le z | O \in \mathcal{A}) = P(X(t) \le z | O \in \mathcal{B}), \quad \forall z \in \mathbb{R}, t \in [0, 1].$$
在 $H_0^F$ 下，给定观测集组的条件分布应该是相同的。作者提出了两个统计量：

• 均值比较 ($T_\mu$)：
  该统计量比较两组的经验均值函数 $\hat{\mu}_{\mathcal{A}}(t)$ 和 $\hat{\mu}_{\mathcal{B}}(t)$。
  $$T_\mu = \sqrt{n} \| \hat{\mu}_{\mathcal{A}} - \hat{\mu}_{\mathcal{B}} \|_\infty$$
  作者证明了在 MCAR 条件下，$T_\mu$ 收敛于高斯过程的上确界。一个关键的理论贡献是处理了部分观测数据的经验均值函数通常是不连续（càdlàg）的事实，因此需要使用 Skorokhod 空间 $D[0, 1]$ 而不是 $L^2[0, 1]$ 或 $C[0, 1]$。

• 分布比较 ($T_F$)：
  该统计量比较经验条件分布函数 $\hat{F}_{\mathcal{A}}(t, z)$ 和 $\hat{F}_{\mathcal{B}}(t, z)$。
  $$T_F = n \int_{[0,1] \times \Xi} (\hat{F}_{\mathcal{A}}(t, z) - \hat{F}_{\mathcal{B}}(t, z))^2 d(\lambda \otimes \nu)(t, z)$$
  这是一个 Cramér–von Mises 型统计量。研究表明，与均值比较相比，它对于更广泛的备择假设具有一致性，因为它能检测整个分布的差异，而不仅仅是均值的差异。

3. 渐近理论与实现

论文推导了在零假设下这两个统计量的渐近分布。极限分布涉及具有特定协方差结构的高斯过程，该结构取决于观测模式。

• 协方差估计： 作者提供了用于近似零分布所需的协方差函数估计器。
• 同时置信带： 引入了一种方法来构建均值函数差值的同时置信带，为可视化潜在的 MCAR 违规情况提供了图形工具。
• 一致性： 理论结果（定理 3）确立了当均值函数或分布函数在两组之间存在差异时，这些测试是一致的。

关键结果

模拟研究

使用布朗运动模拟对方法进行了评估：

• 第一类错误： 在 MCAR 条件下，两种测试（$T_\mu$ 和 $T_F$）在各种样本量（$n=100, 250, 500$）下均保持了接近标称水平（0.05）的错误率。
• 功效（Power）：
  • 在由于删失（非随机缺失 - MNAR）导致违反 MCAR 的场景中，分布测试 $T_F$ 比均值测试 $T_\mu$ 展示了更高的功效。
  • 特别是在条件均值相同（$\|\mu_A - \mu_B\|_\infty = 0$）的对称删失场景中，$T_\mu$ 未能拒绝零假设，而 $T_F$ 成功检测到了违规。
  • 系统化聚类方法在许多场景中表现出与确定性划分（例如，完整 vs 不完整）相当或更好的性能，特别是在样本量较小时。

实际数据应用

该框架被应用于三个数据集：

1. 心率数据（瑞士肾脏项目）： 分析了 878 个心率剖面。测试未拒绝 MCAR 假设（$T_\mu$ 的 $p$ 值为 0.765，$T_F$ 的 $p$ 值为 0.911）。这支持了流行病学观点，即缺失（由于设备移除或故障引起）是随机的。
2. 电价数据： 分析了 583 条每周价格曲线。测试强烈拒绝了 MCAR（$p < 0.001$）。均值差异图显示了显著偏差，这与市场结构相符，即价格水平与观测持续时间相关（较大的观测集对应较高的价格）。
3. 温度数据： 分析了 76 条每日温度曲线。测试拒绝了 MCAR（$T_\mu$ 的 $p$ 值为 0.036，$T_F$ 的 $p$ 值为 0.054）。结果表明可能存在传感器技术缺陷（例如，对高温敏感或电源问题），而非随机缺失。

意义与贡献

本文声称其贡献如下：

1. 新颖框架： 引入了第一个通用的函数型数据 MCAR 假设测试框架，克服了多元设置中基于模式分组的不可行性。
2. 系统化划分： 提出了一种基于 Fréchet-Nikodym-Aronszajn 距离的自适应数据聚类方法，用于系统地划分观测集，而非仅仅依赖于经验性的定义。
3. 理论进展： 在 Skorokhod 空间 $D[0, 1]$ 中建立了渐近结果，以适应部分观测均值函数固有的不连续性。
4. 分布测试的优越性： 作者证明了比较完整分布（$T_F$）比比较均值（$T_\mu$）更具鲁棒性和功效，特别是在缺失影响高阶矩或分布形状而非均值的情况下。
5. 实用价值： 该方法为研究人员提供了一个诊断工具，用于验证其函数型数据重建方法的假设，并能通过检测现实世界中的传感器缺陷和市场驱动的缺失来体现其能力。

作者指出，虽然他们的方法是通用的，但测试的功效取决于划分的选择。他们建议，对于小样本量，专家指导的确定性划分可能更为理想，未来的工作可以探索监督分类方法以优化组间分离。