📊 statistics

Bayesian local clustering of functional data via semi-Markovian random partitions

本文提出了一种基于 B 样条基展开与新型半马尔可夫随机划分模型的贝叶斯框架，用于对功能数据进行间接局部聚类，从而有效捕捉局部特征并克服传统马尔可夫假设的局限性。

原作者： Giovanni Toto, Antonio Canale

发布于 2026-04-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Giovanni Toto, Antonio Canale

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一种新的**“智能分组”方法，专门用来分析那些像波浪、温度变化或潮汐**一样随时间连续变化的数据（统计学上称为“函数数据”）。

为了让你轻松理解，我们可以把这项技术想象成**“给一群会跳舞的人拍视频，然后分析他们的舞步”**。

1. 核心问题：为什么以前的方法不够好？

想象一下，你有一群人在跳舞（这就是你的数据）。

传统方法（全局聚类）： 就像是一个严厉的导演，他只看整支舞，然后说：“你们这组人跳得差不多，算作‘第一组’；你们那组算作‘第二组’。”
- 问题： 这太死板了！也许这群人在前 10 秒跳的是探戈，但在中间 10 秒突然变成了街舞，最后又变回了探戈。传统方法会强行把整支舞归为一类，忽略了中间那段精彩的“变奏”。
本文的新方法（局部聚类）： 这位新导演非常细心，他会逐帧观察。他会说：“前 10 秒，A 和 B 是一伙的；中间 10 秒，A 和 C 是一伙的；最后 10 秒，大家又都分开了。”
- 目标： 捕捉数据在不同时间段（或不同位置）的局部相似性。

2. 核心工具：B-样条（B-splines）—— 像乐高积木一样

为了分析这些连续的舞蹈动作，作者使用了一种叫**"B-样条”**的数学工具。

比喻： 想象你要画一条复杂的曲线。B-样条就像是一排乐高积木。
- 每一块积木（基函数）只负责曲线的一小段。
- 如果你把几块积木拼在一起，就能形成一段平滑的曲线。
- 关键点： 每一块积木只影响它附近的一小段区域（这叫“局部支撑”）。

3. 核心创新：半马尔可夫随机分区模型 (smRPM) —— 给积木加“记忆”

这是文章最厉害的地方。作者发明了一种新的规则，来决定哪些积木应该归为一类。

以前的规则（马尔可夫）： 就像玩“传话游戏”，第 2 块积木只记得第 1 块积木说了什么。如果第 1 块积木说“我要变红”，第 2 块就变红。但这不够，因为 B-样条的积木是互相重叠的。
作者的新规则（半马尔可夫）： 作者发现，B-样条的积木有**“记忆”。一块积木的状态，不仅取决于前一块，还取决于前几块**（比如前 3 块）的状态。
- 比喻： 想象你在玩一个**“多米诺骨牌”**游戏。
  - 传统的规则是：推倒第 1 个，第 2 个就会倒。
  - 作者的新规则是：要推倒第 10 个，必须保证第 7、8、9 个都已经倒下了，并且它们倒下的方向是一致的。
- 为什么重要？ 因为 B-样条的数学特性决定了，要确定一段曲线是否相同，需要连续的几个积木参数都相同。作者的新模型（smRPM）专门设计来捕捉这种**“连续几块积木必须保持一致”**的依赖关系。

4. 辅助变量：给积木加“锁”

为了让模型更灵活，作者还引入了一种叫**“辅助变量”**的东西。

比喻： 想象每个积木上都有一个**“小锁”**。
- 如果锁是开着的（0），这个积木可以随意换颜色（换组）。
- 如果锁是关着的（1），这个积木就被“锁”在当前组，接下来的几块积木必须跟着它，不能乱跑。
作者还发现，这些“锁”本身也是有规律的（比如如果前几个都锁住了，下一个也大概率会锁住），所以他又给这些“锁”加了一层**“连锁反应”**的机制。

5. 实际应用：威尼斯的潮汐

为了证明这个方法好用，作者用它分析了威尼斯泻湖的潮汐数据。

场景： 威尼斯有 11 个监测站，记录水位变化。
现象： 有时候，所有站的水位变化都一样（全局相似）；但在某些特殊时刻（比如 MOSE 防洪屏障启动时，或者暴风雨天），某些站的水位会突然变得和其他站不一样（局部差异）。
结果： 新方法成功识别出了：
- 在平静日子，大家是一伙的。
- 在防洪屏障启动时，某些站因为位置不同，水位变化模式突然“分裂”成了不同的组。
- 甚至在暴风雨天，数据变得混乱时，模型也能通过概率告诉我们：“这里可能有 3 组，但也可能是 4 组”，而不是强行给出一个死板的答案。

总结

这篇文章就像发明了一种**“超级智能的乐高分类器”**：

它不只看整体，而是逐段分析。
它懂得**“连续几块积木必须保持一致”**的数学规律（半马尔可夫性）。
它能处理**“锁”**的连锁反应，让分组更自然、更灵活。
最终，它能帮我们在复杂的波浪、潮汐或任何连续变化的数据中，发现那些稍纵即逝的局部规律，而不会把它们强行抹平。

这就好比，以前我们只能看到“这是一群跳舞的人”，现在我们可以说：“看，前 5 秒他们在跳华尔兹，中间 5 秒有人突然跳起了街舞，最后大家又整齐划一了。”

这是一份关于论文《基于半马尔可夫随机划分的函数数据贝叶斯局部聚类》（Bayesian local clustering of functional data via semi-Markovian random partitions）的详细技术总结。

1. 研究背景与问题定义 (Problem)

核心问题： 传统的函数数据聚类（Functional Data Clustering）通常采用全局聚类，即假设每条函数曲线（如时间序列、曲线）整体属于同一个簇。然而，在实际应用中，函数数据往往表现出局部异质性：不同的曲线在定义域的不同区间可能表现出相似或不同的行为。

挑战： 现有的方法（如基于混合 Dirichlet 过程或隐马尔可夫模型 HMM 的方法）要么难以捕捉局部特征，要么假设过于严格（如仅依赖一阶马尔可夫依赖），无法有效处理函数基展开（Basis Expansion）中参数之间的局部连续性约束。
目标： 提出一种间接局部聚类框架，允许单条函数曲线在定义域的不同部分属于不同的簇，同时保持函数整体的平滑性和局部特征的连贯性。

2. 方法论 (Methodology)

该论文提出了一种贝叶斯分层框架，结合了 B 样条基展开和一种新颖的半马尔可夫随机划分模型（semi-Markovian Random Partition Model, smRPM）。

2.1 基于 B 样条的间接局部聚类

基展开： 将函数 $y_i(x)$ 表示为 B 样条基函数的线性组合： $y_i(x) = \sum_{k=1}^K b_k(x)\theta_{ik}$ 。
局部聚类定义： 不再为每条曲线分配单一的全局簇标签，而是为每个基系数 $\theta_{ik}$ 分配局部簇标签 $c_{ik}$ 。
关键洞察： 利用 B 样条的局部支撑性（Local Support）。对于 $d$ 次 B 样条，函数在某个子区间内的行为完全由 $d+1$ 个连续的基系数决定。因此，如果两条曲线在 $d+1$ 个连续系数上共享相同的簇标签，它们在该局部区间内就是“重合”的。

2.2 半马尔可夫随机划分模型 (smRPM)

这是论文的核心创新，用于建模局部簇标签序列 $C = (c_{i1}, \dots, c_{iK})$ 的演化。

依赖结构： 传统的随机划分模型（如 tRPM）通常假设相邻划分之间仅存在一阶马尔可夫依赖。smRPM 引入了高阶依赖，以匹配 B 样条的阶数。
辅助变量机制： 引入二元潜变量 $\gamma_{ik}$ $γ_{ik}$ 来控制第 $i$ $i$ 个单元在后续 $d_\rho$ $d_{ρ}$ 个索引中的重分配（reallocation）。
- 若 $\gamma_{ik}=1$ ，则单元 $i$ 在接下来的 $d_\rho$ 次划分中保持簇标签不变（锁定）。
- 若 $\gamma_{ik}=0$ ，则允许重分配。
半马尔可夫性质： 通过设置依赖阶数 $d_\rho$ （通常设为 B 样条的次数），模型强制簇标签在 $d_\rho$ 个连续基上保持一致，从而满足 B 样条局部重合的数学要求。
辅助变量的自回归依赖： 为了增加灵活性，论文还提出了辅助变量 $\gamma$ 自身的依赖结构（阶数 $d_\gamma$ ），使用 Logistic 自回归模型，使得辅助变量的演化不仅受当前状态影响，还受历史状态影响。

2.3 贝叶斯推断

先验设定：
- 初始划分 $\rho_1$ 遵循中国餐馆过程（CRP，Dirichlet 过程的特例）。
- 簇特定的 B 样条系数 $\theta^*_{kj}$ 通过条件先验生成，确保相邻簇的系数平滑过渡（即使簇发生合并或分裂）。
- 观测数据模型假设噪声服从高斯分布。
后验推断： 使用 Gibbs 采样 算法进行后验推断。推导了划分 $\rho_k$ 、辅助变量 $\gamma_{ik}$ 以及超参数 $\alpha$ 的全条件分布。算法利用了 Neal (2000) 的算法 8 来高效处理随机划分的更新。

3. 主要贡献 (Key Contributions)

提出了 smRPM 模型： 这是一个通用的依赖随机划分模型，通过引入高阶依赖（ $d_\rho$ 和 $d_\gamma$ ），突破了传统一阶马尔可夫假设的限制。它不仅适用于函数数据，也适用于任何需要序列依赖划分的场景。
实现了基于 B 样条局部支撑的间接聚类： 巧妙地将 B 样条的数学性质（ $d+1$ 个连续系数决定局部行为）与随机划分模型结合，使得模型能够自然地识别局部重合的函数行为，而无需显式地定义局部距离度量。
灵活的依赖结构： 通过匹配 B 样条的阶数与 smRPM 的依赖阶数，模型在保持计算可行性的同时，极大地提高了对局部特征建模的准确性。
广泛的适用性验证： 不仅在模拟数据上验证了模型性能，还在威尼斯泻湖潮汐数据的真实应用中展示了其捕捉全球趋势和局部异常（如 MOSE 防洪系统激活期间的局部差异）的能力。

4. 实验结果 (Results)

4.1 模拟研究

依赖阶数的选择： 模拟表明，当划分分布的依赖阶数 $d_\rho$ 和辅助变量分布的依赖阶数 $d_\gamma$ 均设置为 B 样条的次数（例如 3 次样条设为 3）时，模型性能最佳（调整 Rand 指数 ARI 最高）。
与现有方法对比：
- 相比一阶马尔可夫模型（tRPM），smRPM 在恢复真实划分序列方面表现显著更好。
- 相比两阶段方法（如 HMFLCM，先全局聚类再局部聚类），smRPM 在样本量较小或基函数设定不匹配（Misspecification）的情况下具有更强的鲁棒性和更低的预测误差（RMSE）。
计算效率： 尽管模型复杂度增加，但高阶依赖（ $d_\rho$ 增大）实际上减少了需要更新的辅助变量数量，使得计算效率在某些情况下甚至优于低阶模型。

4.2 真实数据应用：威尼斯泻湖潮汐

数据： 11 个监测站的潮汐水位数据。
发现：
- 模型成功识别了全局模式（所有站点在 MOSE 未激活时行为一致）和局部模式（MOSE 激活期间或风暴期间，不同站点表现出显著的局部差异）。
- 通过局部聚类，模型揭示了传统全局聚类无法捕捉的细节，例如特定站点在特定时间段（如 8 月 28-29 日的高潮位）表现出的独特行为。
- 后验概率分布提供了关于簇数量不确定性的量化信息，展示了贝叶斯方法的优势。

5. 意义与结论 (Significance & Conclusion)

理论意义： 该工作扩展了贝叶斯非参数统计中依赖随机划分的理论边界，证明了通过放松马尔可夫假设并引入高阶依赖，可以更有效地建模具有复杂局部结构的序列数据。
应用价值： 为函数数据分析提供了一种强大的工具，特别适用于需要精细刻画局部动态变化的场景（如环境监测、生物信号分析、金融时间序列等）。
未来方向： 论文指出可以进一步扩展噪声模型（如使用高斯过程代替高斯噪声）、引入协变量依赖、以及探索其他类型的先验（如 Gibbs 类型先验）来增加模型的灵活性。

总结： 这篇论文通过结合 B 样条的局部性质和创新的半马尔可夫随机划分模型，成功解决了一个长期存在的函数数据局部聚类难题，提供了一种既灵活又具有坚实数学基础的贝叶斯解决方案。