📊 statistics

Latent Functional PARAFAC for modeling multidimensional longitudinal data

本文引入了潜在函数型 PARAFAC（Latent Functional PARAFAC），这是一种概率张量分解方法，通过对具有平滑函数结构的高维纵向数据进行建模，以实现在稀疏且不规则采样方案下的稳健分析，并通过模拟实验以及在阿尔茨海默病神经认知数据上的应用展示了其效用。

原作者： Lucas Sort, Laurent Le Brusquet, Arthur Tenenhaus

发布于 2026-01-28

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Lucas Sort, Laurent Le Brusquet, Arthur Tenenhaus

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图理解一个庞大且混乱的图书库。但这些书并不是普通的书；它们是有生命的、呼吸着的叙事，每天都在变化，由成千上万不同的人编写，而且有些页面缺失或被撕掉了。

这就是这篇论文的作者试图解决的问题。他们处理的是纵向数据（longitudinal data）——即随时间收集的信息（例如，每隔几个月测量一次、持续十年的患者健康评分）。但他们拥有的不仅仅是每个人的一个数字，而是一个包含许多不同评分、在不同时间点测量的多个维度的数据“张量”（tensor，即多维数据立方体）。

以下是他们解决方案的简单拆解，使用了日常类比：

1. 问题所在：“混乱的图书馆”

在现实世界中，数据很少是完美的。

它是连续的（Continuous）： 时间像河流一样平滑流动，但我们只在随机时刻进行“快照”（测量）。
它是非规律的（Irregular）： A 可能在 1 月、3 月和 10 月接受测量。B 可能在 2 月和 7 月接受测量。
它是带有噪声的（Noisy）： 测量结果并不完美；总会存在一些“静电干扰”或误差。
它是巨大的（Huge）： 如果你有 1,000 个人、10 年的数据和 6 种不同的测试，这些数据庞大到无法直接观察。这就像试图同时阅读一百万本书。

现有的工具（称为“张量分解”）擅长总结数据，但它们将时间视为一系列独立的、互不相连的点。它们无法理解时间是一种平滑的流动。此外，当数据缺失或测量时间极其不规则时，这些工具也会表现挣扎。

2. 解决方案：“智能总结器”（LF-PARAFAC）

作者发明了一种名为 潜在函数式 PARAFAC（Latent Functional PARAFAC） 的新工具。可以把它看作是一个理解两条特殊规则的超级智能总结器：

规则 A：平滑的故事（函数式/Functional）： 该工具不把时间看作一系列点，而是将其视为一条平滑的曲线。它假设如果你知道第 1 天和第 3 天的分数，你就可以推测出第 2 天的分数，因为故事的流动是平滑的。这使得它即使在数据稀疏（缺失页面）的情况下也能填补空白。
规则 B：隐藏的随机性（概率性/Probabilistic）： 该工具承认每个人都是不同的。它将“普遍的故事”（平均趋势）与“个体的特质”（随机噪声）区分开来。它将数据视为从一个巨大的可能性袋子中抽取的，从而能够处理人类行为的自然随机性。

3. 它是如何工作的：“食谱”

想象一下，你想用几种基础原料（模型）来描述一道复杂的菜肴（数据）。

原料（分解/Decomposition）： 该工具将庞大的数据立方体分解为三个简单的部分：
- “时间风味”（函数模式/Functional Mode）： 一条平滑的曲线，展示事物随时间变化的总体方式（例如，“认知能力的下降在第 5 年后变得更加剧烈”）。
- “测试风味”（特征模式/Feature Mode）： 一份显示哪些测试之间存在关联的清单。例如，它可能会发现“记忆力测试 A”和“记忆力测试 B”总是同步移动，因此它们共享同一种原料。
- “人物风味”（样本模式/Sample Mode）： 每个人的得分，显示他们在多大程度上遵循普遍趋势，以及在多大程度上成为异类。
烹饪过程（算法/Algorithm）：
该工具使用一种“块松弛法（block relaxation）”。想象你在解一个拼图，但你看不见全貌。你先固定一块，然后是下一块，如此循环往复，直到整个画面精准契合。

因为该工具使用的是协方差（covariance）（一种衡量事物如何共同运动的数学方法）而非仅仅是原始数字，所以即使在厨房很乱（数据缺失）或原料散落各处（时间不规律）的情况下，它也能完成这个“食谱”。

4. 现实世界测试：阿尔茨海默症研究

作者在来自**阿尔茨海默病神经影像学倡议（ADNI）**的一个真实数据集上测试了他们的工具。

数据： 他们观察了 888 名患者（包括健康人群和阿尔茨海默病患者）长达 10 年的数据。他们追踪了 6 种不同的认知评分（如记忆力测试和日常生活能力）。
混乱程度： 数据简直是一场噩梦。患者的测试时间各异，且存在大量缺口。标准的工具完全失效了，因为数据过于混乱且维度过高。
结果： 他们的工具表现完美。它发现了隐藏在数据中的 4 个主要“故事”（模式）：
1. 剧烈衰退： 一种显示记忆力和功能快速下降的模式，主要出现在前 5 年内的阿尔茨海默病患者身上。
2. 稳定性： 一种显示人们保持健康和稳定的模式。
3. 缓慢消逝： 一种显示非常缓慢、渐进式衰退的模式。
4. 双胞胎测试： 一种显示两种特定记忆测试（MOCA 和 MMSE）如此相似以至于它们基本上在讲述同一个故事的模式。

至关重要的是，该工具能够根据这些模式清晰地将“健康组”与“阿尔茨海默病组”区分开来，即便存在大量的缺失数据点。

5. 模拟实验：“伪造数据”检查

为了证明这不仅仅是运气，他们创建了 100 个已知答案的伪造数据集。他们故意删除了 20%、50% 甚至 80% 的数据点，使任务变得极其困难。

结果： 即使在丢失 80% 信息的情况下，他们的方法在重建原始数据方面依然表现出色。这证明了他们的“平滑 + 随机”方法在处理混乱的现实世界数据时，比旧方法要优秀得多。

总结

简而言之，作者构建了一台数学显微镜，能够观察混乱、不完整、基于时间的数据，并从中找到底层的平滑且隐藏的故事。这就像是将一段模糊、破碎的物体运动视频，通过数学手段还原成清晰、平滑的物体运动轨迹，即使摄像机只捕捉到了寥寥几帧。他们展示了该工具在追踪人类思维随时间变化（特别是在阿尔茨海默病背景下）方面的强大能力。

技术摘要：用于建模多维纵向数据的潜在函数式 PARAFAC

1. 问题陈述

本文解决了分析组织为张量的多维纵向数据时面临的挑战，其中一个维度（通常是时间）表现出平滑的连续函数结构，而另一个维度（样本维度）代表来自底层分布的随机抽样。

现有方法在此背景下面临特定的局限性：

标准 CPD (CANDECOMP/PARAFAC)： 虽然在降维方面非常有效，但标准 CPD 将条目视为离散值。它无法整合函数数据的内在连续结构，也无法处理纵向研究中常见的非规则或稀疏采样方案。
函数数据分析 (FDA)： 如函数主成分分析 (FPCA) 等方法虽然处理了平滑性，但通常局限于向量值数据，或者需要将张量向量化，这会破坏张量结构，并在高阶张量中变得计算上不可行。
现有的张量-函数混合方法： 先前的尝试（例如 Guan [2023], Han et al. [2023]）通常受限于特定的张量阶数（如 3 阶），缺乏用于解释采样随机性的概率建模，或者无法处理不规则的采样设计。

作者确定了一个能够分解任意阶函数张量、容纳稀疏且不规则采样并显式建模样本维度固有随机性的通用框架的空白。

2. 方法论

2.1 潜在函数式 PARAFAC (LF-PARAFAC) 模型

作者提出了一种新的分解模型，将秩为 $R$ 的 CPD 扩展到希尔伯特空间 $\mathcal{H} = L^2(I)^{p_1 \times \dots \times p_D}$ 中的函数张量。

该模型将一个随机函数张量 $\mathbf{X}$ 表示为：
$\mathbf{X}(t) \approx \sum_{r=1}^R u_r \phi_r(t) (\mathbf{a}_{1r} \circ \dots \circ \mathbf{a}_{Dr})$
其中：

$\phi_r(t) \in L^2(I)$ 是连续维度的平滑函数分量（基函数）。
$\mathbf{a}_{dr} \in \mathbb{R}^{p_d}$ 是离散维度的固定因子矩阵。
$u_r$ 是代表样本维度得分的随机变量，从某种分布（通常是高斯分布）中抽取，以捕捉数据的随机性质。
$\mathbf{U} = (u_1, \dots, u_R)$ 是潜在随机得分向量。

这种被称为 LF-PARAFAC 的公式，将函数数据的平滑性与张量分解的概率结构相结合。

2.2 通过基于协方差的块松弛进行估计

为了估计参数 ( $\Phi, \mathbf{A}_1, \dots, \mathbf{A}_D, \Lambda$ )，作者推导出了一个基于协方差的块松弛算法（算法 1）。

目标： 优化过程最小化观测张量与模型之间的期望平方误差。通过对随机变量 $\mathbf{U}$ 进行积分消除，问题被重新表述为仅依赖于数据的协方差结构。
协方差曲面： 该算法依赖于估计坍缩后的函数协方差矩阵 $\Sigma^{[f]}(s,t)$ 和 $\Sigma^{[d]}(s,t)$ 。这些矩阵源自函数条目的互协方差曲面。
处理不规则性： 遵循 Yao et al. [2005] 的方法，该方法在规则网格上使用局部线性平滑来估计这些协方差曲面。这使得该方法能够处理稀疏且不规则的采样时间点，而无需进行数据插补或对齐。
迭代程序： 算法在更新潜在得分的协方差矩阵 ( $\Lambda$ )、函数分量 ( $\Phi$ ) 以及离散因子矩阵 ( $\mathbf{A}_d$ ) 之间交替进行，直到收敛。

2.3 样本维度推断（贝叶斯方法）

对于具有稀疏观测值的特定受试者，直接通过最小二乘法估计潜在得分 $\mathbf{U}$ 可能会不稳定。作者提出了一个贝叶斯估计器（命题 4），假设潜在得分和残差项服从联合高斯分布。这产生了一个经验贝叶斯估计器，通过借鉴总体协方差结构来预测个体轨迹，即使在观测值极少的情况下也是如此。

2.4 可识别性

论文建立了 LF-PARAFAC 模型可识别性的条件（命题 3）。在缩放和置换约束下，如果函数空间是无限维的，且因子矩阵的 $k$ -秩满足特定的不等式（类似于标准 CPD 条件），则该模型是可识别的。

3. 核心贡献

通用框架： 引入了 LF-PARAFAC 模型，该模型将 CPD 扩展到任意阶函数张量，同时结合了概率潜在结构。
对采样的鲁棒性： 开发了一种基于协方差的估计程序，能够自然地处理稀疏且不规则的采样方案，这是纵向数据中一个关键特征，因为不同受试者的时间点各不相同。
概率集成： 将样本维度显式建模为随机分布，从而能够更有效地捕捉潜在的随机性，并实现针对个体的贝叶斯推断。
算法解决方案： 推导出了利用互协方差曲面的块松弛算法，使高维、稀疏数据的分解在计算上变得可行。

4. 结果

4.1 ADNI 数据应用

该方法应用于阿尔茨海默病神经影像学倡议 (ADNI) 数据集，分析了 888 名受试者（518 名认知正常者，370 名阿尔茨海默病患者）在 10 年间内的 6 项神经认知评分（ADAS, MMSE, RAVLT, FAQ, MOCA, LDEL）。

数据特征： 数据具有高度不规则的采样（1064 个唯一时间点）和缺失值，导致标准 PARAFAC 失效。
发现： 秩为 4 的分解成功捕捉到了不同的轨迹：
- 分量 1： 捕捉了前 5 年内剧烈的认知衰退，清晰地将 AD 患者（高衰退评分）与认知正常 (CN) 患者区分开来。
- 分量 2： 描述了十年间稳定的认知测量指标。
- 分量 3： 代表了缓慢、渐进的下降过程。
- 分量 4： 捕捉了 MOCA 和 MMSE 评分之间的共同方差。
可解释性： 函数分量提供了平滑且可解释的轨迹，且潜在得分有效地根据诊断对患者进行了分层。

4.2 模拟研究

在不同稀疏水平（0% 到 80% 缺失数据）下，对秩为 3、5 和 10 的合成张量进行了模拟。

性能： 模拟表明，在重建张量方面，LF-PARAFAC 方法相比现有方法具有“显著优势”，特别是在高稀疏性和不规则采样条件下。
鲁棒性： 即使移除大部分观测值，该方法仍能保持恢复底层函数结构和离散结构的准确性。

5. 重要性与主张

论文声称 LF-PARAFAC 方法为现有的张量和函数数据分析工具提供了必要的扩展。其主要意义在于其能力：

统一平滑函数结构与概率张量分解。
在具有稀疏性和不规则性的现实纵向设置中有效运行，而在这些设置中传统张量方法往往失效。
增强可解释性，通过提供可与协变量（如诊断）联系起来的平滑函数分量和概率得分。

作者总结道，虽然该方法在重建和特征描述方面表现出强大的性能，但其局限性在于对协方差估计的需求（这需要足够的数据密度来进行平滑）以及对高斯潜在分布的假设。未来的工作可能会探索非高斯扩展和其他平滑技术。